Vision-Language Model (VLM: ビジョン言語モデル) は、画像や動画といった視覚情報とテキスト情報を統合的に理解し、様々なタスクに応用されることで注目を集めています。しかし、VLMが扱う視覚コンテキストが長尺になるにつれて、大きな課題に直面していました。
具体的には、大量の画像や長時間の動画から特定の情報を検索する場合、モデルは膨大な数の視覚トークン（視覚的な特徴を表すデータ単位）を処理しなければなりません。このとき、関連する情報が多数の無関係な情報（ディストラクター）の中に埋もれてしまう「ニードル・イン・ア・ヘイスタック（干し草の山の中の針）」問題が発生し、モデルの検索性能が著しく低下することが知られています。さらに、これら全ての視覚トークンを同時に処理しようとすると、特にGPUメモリの制約から、計算が非現実的になるという問題がありました。
このような背景のもと、本論文で提案された「ReToken」は、VLMが長尺の視覚コンテキストから効率的かつ高精度に情報を検索するための革新的なアプローチを提供します。この手法は、単一の学習可能なトークンを活用することで、計算効率と検索精度の両立を目指しています。
この研究の新規性
既存のVLMが長尺の視覚コンテキストを扱う際、全ての視覚トークンを処理するか、あるいは複雑なアテンションメカニズムを用いて重要な部分を特定しようとします。しかし、これらの方法は計算コストが高く、メモリ効率も悪いため、特にGPUメモリの制約下では大規模な入力に適用することが困難でした。
ReTokenの最も新規性の高い点は、そのシンプルかつ効果的な設計にあります。この研究は、「単一の学習可能な埋め込み (learnable embedding)」 を「明示的な検索ターゲット (explicit retrieval target)」として導入します。これは、Vision-Languageモデルの視覚KVCache（Key-Value Cache：Transformerモデルで使われる、過去の情報を効率的に保存・再利用する仕組み）から、クエリに関連するまばらな（sparse）視覚トークンの集合を効率的に選択するためのものです。これにより、モデルは膨大な視覚情報の中から、本当に必要な部分だけを選び出し、後続の処理に回すことが可能になります。
この軽量な設計は、既存の大規模VLMにアドオンとして組み込むことができ、学習コストや推論コストを大幅に抑えながら、VLMの長尺コンテキスト処理能力を飛躍的に向上させるブレイクスルーと言えます。
技術的な核心
ReTokenの技術的な核心は、その名前が示す通り「Retokenization（再トークン化）」に近いプロセスを、極めてシンプルな形で実現する点にあります。
まず、VLMが画像や動画などの視覚情報を処理する際、それらは通常、多数の視覚トークンに分解され、Transformer (変換器) のエンコーダによって処理されます。これらのトークンの「Key (K)」と「Value (V)」表現は、KVCacheに格納されます。KVCacheは、特に長いシーケンスを扱う際に、以前に計算されたアテンションのKとVを保存し、再利用することで計算効率を高めるために使われます。
ここでReTokenが登場します。ReTokenは、特定のセマンティックな意味を持つように特別に学習された「単一のトークン」です。このトークンは、通常のテキストクエリトークンとは異なり、KVCacheから関連性の高い視覚情報を「引き出す」ためのプローブ（探索子）として機能します。
具体的なメカニズムは以下の通りです。
- 視覚情報のKVCacheへの格納: 入力された画像や動画は、まずVLMの視覚エンコーダを通って、大量の視覚特徴トークンに変換されます。これらのトークンは、それぞれKey（情報の内容を識別するための表現）とValue（実際の情報）として、TransformerのKVCacheに格納されます。
- ReTokenの導入と類似度計算: テキストクエリが与えられた後、ReTokenがTransformerのデコーダの一部として導入されます。このReTokenは、KVCacheに格納された全ての視覚トークンのKey表現と、自身の埋め込み（embedding）表現との間で類似度（例えばドット積）を計算します。これは、ReTokenがKVCacheの中から「どの視覚トークンがクエリに対して最も関連性が高いか」を探索するプロセスです。
- スパースなトークン選択: 計算された類似度に基づき、ReTokenは最も類似度の高い（すなわち、クエリに関連性の高い）上位数個、あるいは閾値を超える視覚トークンのKeyとValueのペアのみを選択します。このプロセスにより、KVCache内に存在する膨大な数の視覚トークンの中から、必要な情報だけを「まばらに（sparseに）」抽出することが可能になります。
- 後続処理への供給: 選択された少数の視覚トークンのみが、VLMのデコーダの後続レイヤーに供給され、テキストクエリとの統合的な理解や応答生成に利用されます。これにより、モデルは無関係な情報に惑わされることなく、かつ大幅に計算量を削減して、高精度な出力を生成することができます。
ReTokenは、その学習自体も少量画像-QAデータセットのみで行われるため、特別な大規模データセットを必要としない点も特徴です。単一のH100 GPUで、学習と長尺動画推論の両方が可能であるという軽量設計は、その実用性を大きく高めています。
実験結果と評価
ReTokenの有効性は、複数のベンチマークと既存のVision-Language Model (VLM) を用いた厳密な実験によって検証されています。
主要な評価は、以下の二つのベンチマークで行われました。
- Visual Haystacks: 画像内の多数のディストラクターの中から、クエリに関連する特定の情報を検索する能力を測るための難易度の高いベンチマークです。このテストは、VLMが「ニードル・イン・ア・ヘイスタック」問題をどれだけうまく解決できるかを評価するのに適しています。
- LVBench: 長尺動画におけるVLMの理解力と情報検索能力を評価するためのベンチマークです。特に、時間的な広がりを持つコンテキストからの情報抽出に焦点が当てられています。
実験では、Qwen3VL-8BやInternVL3.5といった既存の大規模VLMにReTokenを適用し、その性能向上を測定しました。
定量的成果は以下の通りです。
- Visual Haystacksベンチマーク: Qwen3VL-8Bモデルにおいて、ReTokenはベースラインと比較して13.4ポイントの性能向上を達成しました。InternVL3.5モデルでも、12.4ポイントの性能向上を示しており、これは相対的に20%以上の改善に相当します。
- LVBenchベンチマーク: 長尺動画へのゼロショット転移（学習時に見たことのない種類のデータへの適用）において、Qwen3VL-8BモデルはReTokenの適用により8.0ポイントの性能向上を達成しました。
これらの結果は、ReTokenが画像検索だけでなく、長尺動画からの情報検索においても、既存のVLMの性能を大幅に向上させることを明確に示しています。特に、単一の学習可能トークンというシンプルなメカニズムでありながら、これだけの性能改善を達成している点は注目に値します。
また、ReTokenの軽量設計は、単一のNVIDIA H100 GPUで、学習プロセスと長尺動画に対する推論の両方を実行できるという高い計算効率性も実現しています。これは、限られた計算リソースを持つ環境でも、大規模VLMの長尺コンテキスト処理能力を向上させることが可能であることを意味します。
実用への示唆
ReTokenは、Vision-Language Model (VLM) の実用的な応用範囲を大きく広げる可能性を秘めています。
まず、最も直接的な影響としては、長尺動画からの高精度な情報検索が挙げられます。例えば、監視カメラの膨大な映像の中から特定の人物やイベントを瞬時に特定したり、教育コンテンツの長い講義動画から特定のトピックに関連する部分を効率的に見つけ出したりすることが可能になります。これは、コンテンツ管理、セキュリティ、教育といった多様な分野での応用が期待できます。
また、大規模な画像データベースからの精密な情報抽出も大きく改善されるでしょう。製品カタログや医療画像アーカイブなど、膨大な画像群の中から特定の条件を満たす画像を効率的に検索するタスクにおいて、現在のVLMが抱える「関連情報埋没問題」をReTokenが解決します。これにより、ユーザーはより迅速かつ正確に求める情報にアクセスできるようになります。
さらに、ReTokenの軽量設計は、GPUリソースが限られる環境での大規模VLMの展開を促進します。単一のH100 GPUで学習から長尺動画の推論までこなせるという特性は、スタートアップ企業や研究機関など、大規模な計算インフラを持たない組織でも、高度なVLM技術を活用できる道を開きます。これは、AI技術の民主化にも寄与する可能性を秘めていると言えるでしょう。
既存のVLMに容易に組み込めるアドオン的な性質を持つため、開発者は現在のモデルアーキテクチャを大幅に変更することなく、ReTokenの恩恵を受けることができます。将来的には、より多様なマルチモーダルタスク、例えば視覚的根拠に基づく質問応答やコンテンツ要約などへの応用も期待でき、VLMの次世代の進化を牽引する技術となるかもしれません。
まとめ
本記事では、Vision-Language Model (VLM) が長尺の視覚コンテキストを効率的かつ高精度に処理するための新手法「ReToken」について解説しました。
ReTokenは、単一の学習可能な埋め込みを明示的な検索ターゲットとして用い、VLMのKVCacheからクエリに関連するまばらな視覚トークンを選択することで、既存のVLMが抱える計算コストと性能劣化の課題を克服します。Visual HaystacksやLVBenchといったベンチマークでは、Qwen3VL-8BやInternVL3.5といったモデルにおいて、最大13.4ポイントの絶対的な性能向上、相対的に20%以上の改善を達成しました。さらに、単一のH100 GPUで学習と長尺動画推論が可能という、非常に高い計算効率性も兼ね備えています。
この軽量で効果的なアプローチは、長尺動画からの情報検索や大規模画像データベースからの精密な抽出など、多岐にわたる実世界のアプリケーションにおいてVLMの利用を促進し、AI技術のさらなる発展に貢献すると期待されます。
元論文
- タイトル: ReToken: One Token to Improve Vision-Language Models for Visual Retrieval
- 著者: (著者不明)
- arXiv ID: 2607.28627
※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。