VideoMLAが実現する長尺動画生成の効率化: 低ランクKVキャッシュでメモリを92.7%削減

生成AI技術の発展は目覚ましく、特に動画生成モデルは、高品質なコンテンツを創出する能力で注目を集めています。Transformer(変換器)ベースの因果的動画拡散モデル（autoregressive video diffusion model）は、その表現力の高さから長尺の動画生成においても可能性を広げていますが、ここで大きな課題となるのが、モデルが過去の情報を参照するために用いるKVキャッシュのメモリ消費と計算レイテンシです。

現在の主流である固定サイズのsliding-window KVキャッシュは、直近の情報を効率的に保持する一方で、生成される動画の長さが増すにつれてメモリと計算リソースの主要なボトルネックとなります。この制約が、より高品質で長い動画コンテンツの生成を阻む要因となっていました。

この研究の新規性

これまでの研究では、長尺動画生成におけるKVキャッシュの課題に対し、sliding-window KVキャッシュが保持する「トークンの選択」や「位置エンコーディングの改善」といったアプローチが主流でした。しかし、KVキャッシュの「基本的なレイアウトそのもの」に対する根本的な変更は、ほとんど行われていませんでした。

本研究「VideoMLA」は、この未踏の領域に踏み込み、動画拡散モデルにおいてMulti-Head Latent Attention (MLA)を初めて導入した点で画期的です。VideoMLAの最大のブレイクスルーは、各アテンションヘッドが個別に持つキー(K)とバリュー(V)を、共有の「低ランクコンテンツ潜在（low-rank content latent）」と、コンテンツ情報から独立した「共有のデカップルされた3D-RoPE位置キー（shared decoupled 3D-RoPE positional key）」に置き換える点にあります。

この新しいアプローチにより、トークンごとのKVメモリを最大で92.7%削減しつつ、高い動画生成品質を維持できることを示しました。また、言語モデルでMLAの成功を支えると考えられていた「事前学習済みアテンションの低ランク性」が動画モデルでは当てはまらないことを実証し、それでもMLAが動画モデルで機能する新たなメカニズム（MLAのボトルネック自体が有効ランクを決定する）を明らかにした点も、この研究の重要な新規性と言えます。

技術的な核心

VideoMLAは、Multi-Head Latent Attention (MLA)の概念を、動画という特性に合わせて再構築し、拡散モデルに適用しています。

一般的なTransformerモデルでは、複数のアテンションヘッドがそれぞれ独立したキー(K)とバリュー(V)を生成し、これらがKVキャッシュに格納されます。この独立性は豊かな表現力を提供する一方で、特に長尺のシーケンスを扱う際には、メモリ使用量が著しく増大します。VideoMLAは、この問題に対し、以下のアプローチでKとVの表現を効率化します。

1. 共有の低ランクコンテンツ潜在（Shared Low-Rank Content Latent）: 各アテンションヘッドが個別にKとVを持つのではなく、全てのヘッドで共有される、より低次元の潜在空間にコンテンツ情報を圧縮して格納します。これにより、複数のヘッドが同一の潜在表現を参照することになり、情報伝達における冗長性を排除しつつ、実質的なKとVの次元を大幅に削減します。

2. 共有のデカップルされた3D-RoPE位置キー（Shared Decoupled 3D-RoPE Positional Key）: 動画は、時間軸に加えて空間軸も持つ3次元データです。VideoMLAでは、位置エンコーディングにRoPE（Rotary Positional Embedding）の3D版を採用しています。この位置キーは、コンテンツ情報からデカップル（分離）されており、低ランクコンテンツ潜在とは独立して共有されます。コンテンツ情報の圧縮によって失われがちな時間的・空間的な位置関係の情報を効率的に補完し、動画の連続性や一貫性を保つ上で重要な役割を果たします。

この独自の組み合わせにより、KVキャッシュ内の各トークンに対するKとVの表現が大幅に簡素化され、メモリフットプリントの大幅な削減を実現しています。

論文では、興味深い知見も示されています。言語モデルの文脈では、MLAが成功する理由の一つとして、「事前学習済みアテンションが本質的に低ランクである」というスペクトル仮定がしばしば用いられます。しかし、VideoMLAの研究では、動画モデルの事前学習済みアテンションは言語モデルとは異なり、必ずしも低ランクではない（99%エネルギー有効ランクが実用的な潜在次元をはるかに超える）ことが実証されました。

それでもVideoMLAは優れた性能を発揮します。その理由として、論文は、MLAの「ボトルネック」自体が、事前学習済みのスペクトル特性とは独立して、有効ランクのバジェットを決定し、学習を通じてこのバジェット内で適応するメカニズムを持っていると説明しています。つまり、限られた潜在次元という制約（ボトルネック）が、モデルに動画生成に必要な最も重要な情報を選択・圧縮する能力を強制し、これが効率的な表現学習につながっていると考えられます。圧縮された潜在空間が、動画生成に必要な情報を効果的に符号化するように学習されることで、直接的なスペクトル近似では予測される再構築エラーが大きい状況でも、VideoMLAは品質を維持できるのです。

実験結果と評価

VideoMLAの有効性は、動画生成の一般的な評価ベンチマークであるVBenchを用いて評価されました。

実験の結果、VideoMLAは短期間（short-horizon）のストリーミング動画拡散ベースラインと比較して、同等以上の生成品質を達成しました。さらに注目すべきは、長期間（long-horizon）の動画生成シナリオにおいて、評価対象となった他の全ての手法と比較して、最高の全体スコアを記録した点です。これは、VideoMLAが特に長い動画の生成において、既存手法よりも優れた性能を発揮することを示しています。

パフォーマンス面においても顕著な改善が見られました。単一のNVIDIA B200 GPU上での測定では、VideoMLAは既存手法と比較してスループットを1.23倍向上させることに成功しています。このスループット向上は、92.7%という大幅なKVメモリ削減によって実現されており、品質を損なうことなく、計算効率が飛躍的に改善されたことを裏付けています。

実用への示唆

VideoMLAの技術は、長尺の高品質動画生成を求める多岐にわたるアプリケーション領域に大きな影響をもたらす可能性があります。特に、メモリ制約や計算コストが課題となっていた場面での活用が期待されます。

例えば、数分単位のストーリー性のある動画コンテンツの自動生成、複雑なシミュレーション環境や仮想空間の動的な生成、さらにはゲームアセットやメタバース内のインタラクティブな動画生成などにおいて、既存手法では難しかったスケールでの実現に貢献できます。開発者は、VideoMLAを導入することで、生成可能な動画の長さを延ばしたり、より高解像度な動画を生成したりすることが可能になるかもしれません。

また、リアルタイム性が求められるストリーミング動画生成や、スマートフォンのような限られたハードウェアリソースで動作するエッジデバイス上での動画生成モデルの展開においても、メモリ効率とスループットの改善は非常に重要な意味を持ちます。これにより、より多くのユーザーが、場所を選ばずに高性能な動画生成AIの恩恵を受けられるようになるでしょう。

さらに、本研究が示した「MLAのボトルネックが有効ランクを決定する」という新たな洞察は、動画分野に留まらず、他のTransformerベースの生成モデルにおける効率化研究にも新たな視点とアプローチを提供する可能性があります。潜在的な応用範囲は広く、今後の研究やプロダクト開発の加速が期待されます。

まとめ

本記事では、長尺動画拡散モデルのメモリと計算レイテンシの課題を解決する画期的な手法「VideoMLA」について解説しました。

VideoMLAは、Multi-Head Latent Attention (MLA)を動画拡散モデルに初めて導入し、共有の低ランクコンテンツ潜在とデカップルされた3D-RoPE位置キーを用いることで、KVキャッシュのメモリを92.7%削減します。言語モデルとは異なる動画の特性においてもMLAが有効であることを示し、その動作メカニズムに新たな洞察を与えました。

実験結果では、VBenchにおいて長期間の動画生成で最高の品質スコアを達成し、単一のB200 GPU上でスループットを1.23倍向上させるなど、優れた性能が示されています。この技術は、より効率的で高品質な長尺動画生成の実現を大きく前進させ、様々なアプリケーションへの応用が期待されます。

元論文

• タイトル: VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion
• 著者: (不明)
• arXiv ID: 2605.30351

関連書籍・学習リソース

---

※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。