導入
人間が画像を認識する際、その画像の「形」や「構造」を捉えることは極めて重要です。しかし、デジタル画像処理の分野では、画像が持つ情報の種類について興味深い事実が知られています。1981年にOppenheimとLimが発表した画期的な研究は、自然画像をフーリエ変換(Fourier Transform)し、その**位相(Phase)情報だけを用いて画像を再構成しても、元の画像が認識可能なまま残ることを示しました。一方で、画像の振幅(Magnitude)**情報だけでは、ほとんど元の画像の識別性を失ってしまうのです。これは、画像のアイデンティティ（何であるか）が振幅よりも位相に強く依存していることを示唆しています。
この発見は画像処理の基礎的な知見として広く知られていますが、現代の深層学習モデル、特に画像分類器が学習する内部表現において、この「位相の重要性」がどの程度再現されているのかは未解明な部分が多く残されています。ニューラルネットワークは人間の視覚システムを模倣すると言われることもありますが、その内部で実際にどのような情報が優先されているのかを理解することは、モデルの振る舞いを解き明かし、より堅牢で説明可能なAIを構築するために極めて重要です。本研究は、この古典的なOppenheim-Limテストを、訓練済みの画像分類器の「隠れ層」の内部で実施し、ニューラルネットワークが画像のアイデンティティをどのようにエンコードしているのかを因果的に探求しています。
この研究の新規性
本研究の最大の新規性は、Oppenheim-Limの古典的な知見を、深層学習モデルの内部表現に直接適用し、その因果関係を解明しようとした点にあります。従来の多くの研究は、ニューラルネットワークの入力画像に対してフーリエ変換を適用し、その結果を分析するものでした。しかし、この論文では、訓練済みモデルの隠れ層から得られる**特徴マップ(Feature Map)**に対して、位相と振幅を分離し、それらを異なる画像間で「移植」するというユニークな手法を採用しています。
具体的には、2つの異なる画像AとBを用意し、モデルの特定層で得られた画像Aの特徴マップの位相（または符号）と、画像Bの特徴マップの振幅を組み合わせます。この改変された特徴マップを、ネットワークの残りの部分に入力し、最終的な予測が画像AとBのどちらに従うかを観察します。この因果的なテストにより、「画像認識における位相の重要性」というOppenheim-Limの問いを、ニューラルネットワークの隠れ層レベルで直接検証することが可能になりました。
このアプローチにより、ResNet-50のような畳み込みニューラルネットワーク(CNN)と、ViT-B/16のようなVision Transformer(変換器)といった異なるアーキテクチャが、情報の位相をどのように利用しているか、そしてその利用方法がアーキテクチャ固有の特性（ReLU(Rectified Linear Unit)のような活性化関数やリードアウト(Readout)層の形状など）によってどのように変化するかを、詳細に比較分析しています。
技術的な核心
本研究の中心にあるのは、「内部Oppenheim-Limテスト」と呼ばれる手法です。これは以下のステップで実行されます。
- 特徴マップの抽出: まず、分類対象となる2つの画像AとBを訓練済みモデルに入力し、特定の隠れ層から特徴マップ $F_A$ と $F_B$ をそれぞれ抽出します。
- 位相と振幅の分離: 抽出した特徴マップに対して、フーリエ変換を適用するか、あるいは空間ドメインで直接、位相に相当する「符号(Sign)」情報と、振幅に相当する「大きさ」情報を分離します。特に、ReLUのような非線形活性化関数を含む層の後の特徴マップでは、フーリエ位相よりも「符号」の方が直接的な意味を持つ場合があります。
- 情報の移植(Transplantation): 画像Aの特徴マップから得られた位相（または符号）と、画像Bの特徴マップから得られた振幅を組み合わせて、新しい改変された特徴マップ $F_{A_phaseB_mag}$ を生成します。逆も同様に $F_{B_phaseA_mag}$ を生成します。この操作は、特徴マップの各チャネルに対して独立に行われます。
- 改変マップの入力: 生成された改変特徴マップを、ネットワークの残りの層（後続の層）に再入力します。
- 予測の観察: モデルが最終的にどの画像（AまたはB）のカテゴリを予測するかを記録し、位相（または符号）情報が予測にどれほど影響を与えたかを評価します。
この手法は、複数の異なるアーキテクチャに対して適用されました。具体的には、PRISM2D、GFNet、Vision Transformer(ViT-B/16)、そしてResNet-50です。
ResNet-50の場合、活性化関数であるReLUの直後に符号情報を移植すると、予測にほとんど影響がないように見えました。これは、ReLUが負の値をゼロにするため、符号情報が失われてしまうことに起因します。そこで研究者たちは、ReLUが適用される「前」の層で符号を移植するという「公正な介入」を行いました。これにより、ResNet-50の後期のブロックにも、画像のアイデンティティを強く保持する潜在的な符号コードが存在することが明らかになりました。
さらに、特定のコントロール実験も実施されました。例えば、DC-onlyコントロールでは、特徴マップの空間的な平均値のみを後続の層に渡し、ネットワークがチャネルごとの空間平均を消費していることを示しました。また、振幅情報が単に画像に依存しなくなるという自明なケースではないことを示すためのコントロール実験も行われ、本研究で得られた結果の頑健性を裏付けています。
実験結果と評価
本研究の実験結果は、異なるアーキテクチャ間で画像のアイデンティティのエンコード方法に共通点と相違点があることを示しています。
-
PRISM2D、GFNet、ViT-B/16: これらのモデルでは、予測は位相または符号を提供した画像（Donor Image）に追従することが分かりました。つまり、画像Bの振幅情報に画像Aの位相情報を移植すると、モデルは画像Aのカテゴリを予測する傾向が強かったのです。さらに、画像固有の振幅情報を全て削除しても、分類精度はほとんど低下しませんでした。この結果は、これらのモデルにおいて、画像のアイデンティティが主に位相（または符号）に乗っており、画像固有の振幅は読み出し（Readout）層にとってほとんど不要であることを強く示唆しています。
-
ResNet-50: ResNet-50は、一見するとこのパターンを破るように見えました。特に、ReLU層の後に符号を移植しても、予測への影響は限定的だったためです。しかし、研究者たちがReLU層が適用される「前」に介入して符号を移植する「公正な介入」を行ったところ、後期のブロックに強力な潜在的符号コードが存在することが明らかになりました。これは、ResNetが内部で符号情報を活用しているものの、ReLUによってそれが「異なる基底」で表出されていることを示しています。DC-onlyコントロール実験では、ResNetの読み出しがチャネルごとの空間平均を消費することも示唆されました。
-
コントロール実験: 振幅情報が単純に画像に依存しなくなるという自明なケースではないことが、様々なコントロール実験によって確認されました。これにより、得られた結果が、実際にネットワーク内部での情報処理のメカニズムを反映していることが保証されます。
これらの結果から、異なるアーキテクチャは、画像のアイデンティティを位相/符号コードとして共有しているものの、その情報を活性化関数による整流(Rectification)や読み出し層の幾何学的構造によって、異なる形で表出させていることが分かりました。
実用への示唆
本研究の成果は、深層学習モデル、特に画像分類器の「ブラックボックス」を解き明かす上で重要な示唆を与えます。具体的には、以下のような実用的な影響が考えられます。
- モデル理解の深化: 異なるアーキテクチャ（CNNとTransformerなど）が、画像のアイデンティティをどのようにエンコードし、どの情報（位相/符号 vs. 振幅）を優先しているかを明確にしました。これにより、なぜ特定のモデルが特定のタスクで優れた性能を発揮するのか、あるいは特定のバイアスを持つのかについて、より深い理解が得られます。
- テクスチャ-形状ギャップのメカニズム解明: CNNとアテンションモデル(Vision Transformerなど)の間には、「テクスチャ(質感)」と「形状(形)」のどちらをより重視するかという既知のギャップがあります。本研究は、CNNのReLUによる整流と、読み出し層の幾何学的構造が、位相/符号情報の表出方法に影響を与え、このギャップのメカニズムを説明する機械論的なアカウントを提供しています。これは、形状バイアスやテクスチャバイアスを持つモデルを意図的に設計する際の指針となり得ます。
- よりロバストなモデル設計: 位相情報が画像の識別性に重要であることが分かったことで、ノイズや摂動(Perturbation)に対してよりロバストなモデルを設計するためのヒントが得られるかもしれません。例えば、入力データの位相情報を強調したり、ネットワークが位相情報をより効果的に学習・保持できるようなアーキテクチャや訓練方法を開発したりするアプローチが考えられます。
- 説明可能なAI(XAI)への貢献: ネットワーク内部の特定の情報（位相/符号）が予測に決定的な影響を与えることを示すことで、モデルの意思決定プロセスをより透明にすることができます。これは、AIシステムの信頼性を高め、ユーザーがその挙動を理解する上で役立ちます。
まとめ
本研究は、古典的なOppenheim-Limテストを深層学習モデルの内部表現に適用するという独創的なアプローチにより、画像分類器が画像のアイデンティティを「フーリエ位相」あるいはそれに類する「符号」情報に強く依存してエンコードしていることを明らかにしました。PRISM2D、GFNet、Vision Transformerでは、予測が位相（または符号）に追従し、振幅情報はほとんど不要であることが示されました。ResNet-50においては、ReLUの影響で直接的な符号の移植では効果が薄れるものの、ReLU前の「公正な介入」により、潜在的な符号コードが依然として存在することが確認されました。
これらの結果は、異なるアーキテクチャが、共通の位相/符号アイデンティティコードを共有しながらも、活性化関数による整流や読み出し層の幾何学的構造によって、その情報を異なる基底で表出させていることを示しています。これにより、CNNとアテンションモデル間のテクスチャ-形状ギャップのメカニズムが解明され、深層学習モデルの振る舞いをより深く理解し、将来的にロバストで説明可能なAIシステムの設計に貢献する重要な一歩となるでしょう。
元論文
タイトル: The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers 著者: (著者情報不明) arXiv ID: 2606.17037
※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。