アーキテクチャ解析

Kimi K3.1 Pro アーキテクチャ解説:3T MoE、KDA ハイブリッドアテンション、1M コンテキストのスケーリング

Kimi K3.1 Pro の内部アーキテクチャを解剖。69 層の KDA と 24 層の Gated DSA が、3T 級 MoE における 100 万トークンの KV キャッシュボトルネックをどう解決したかを技術解説。

1M コンテキストの壁:従来の Transformer で KV キャッシュが肥大化する理由

1,000,000 トークン(1M)の超長文コンテキストウィンドウへの対応は、AI 業界において単なる技術実証の段階を脱し、自律型 Agent やソフトウェア工学における必須要件となりつつあります。しかし、従来の Transformer アーキテクチャを用いて 1M のシーケンスを商用環境で稼働させる際には、自己回帰デコード時に発生する Key-Value(KV)キャッシュのメモリ肥大化と帯域幅制限という深刻なボトルネックに直面していました。

標準的な Multi-Head Attention(MHA)や Grouped-Query Attention(GQA)では、KV キャッシュの容量がシーケンス長に比例して線形に増大します。新しいトークンを 1 つ生成するたびに、数百 GB に及ぶ過去の KV 状態を高帯域幅メモリ(HBM)から計算コア(SRAM)へ転送する必要があり、Tensor Core はメモリアクセス待ちにより算力稼働率(MFU)が著しく低下します。Multi-Head Latent Attention(MLA)が KV 空間を圧縮したものの、1M トークンの高並行処理においては依然としてスループットの急落が課題でした。

100 万トークン環境におけるアテンション機構の比較
アテンション方式KV キャッシュのメモリ増加率計算量メモリ帯域制限 (Memory Bound)長期コンテキスト保持能力
標準 Multi-Head Attention (MHA)O(L) 線形増加O(L^2) 二次関数的増加極めて深刻 (帯域ボトルネック)Softmax グローバル正規化のノイズによる希釈が発生しやすい
Grouped-Query Attention (GQA)O(L / G) サブライン増加O(L^2) 二次関数的増加高いメモリアクセス遅延極端な長文において局所的な意味欠落の懸念
Multi-Head Latent Attention (MLA)O(L * d_latent) 潜在空間圧縮O(L^2) 二次関数的増加中程度のメモリ制限128k〜256k において極めて安定した検索性能
KDA + Gated DSA ハイブリッド (K3.1 Pro)69 層の KDA が O(1) 一定 + 24 層の DSA が Top-2048 制限線形 / 劣二次関数的計算量劇的に緩和 (演算律速への移行に成功)ゼロドリフト状態追従 + 局所高精度ピンポイント検索

総パラメータ約 2.8 兆(3T 級)、1 トークンあたりのアクティブパラメータ 104B を誇るオープンウェイトモデル Kimi K3.1 Pro では、前世代の Kimi K3 で採用されていたフル Gated MLA を脱却し、非対称なハイブリッド構造を採用しました。すなわち、69 層の Kernelized Delta Attention(KDA)と 24 層の Gated DeepSeek Sparse Attention(Gated DSA) の組み合わせです。公式の技術詳細は Hugging Face 公式リポジトリ にて確認できます。

69 層の Kernelized Delta Attention (KDA):O(1) メモリと誤差駆動型更新

全 93 層のトランスフォーマー層のうち、Kimi K3.1 Pro は大部分にあたる 69 層に Kernelized Delta Attention(KDA)を割り当てています。KDA は線形アテンション(Linear Attention)と状態空間モデル(SSM)の思想を融合させた先駆的なアプローチです。従来の線形アテンションは単純な加算累積を行うため、長いコンテキストにおいて時間の経過とともに記憶が急速に失われる問題がありました。

KDA は以下の 2 つの数学的工夫によりこの壁を打破しました:

  • カーネル特徴写像:非線形カーネル関数 φ(Q) および φ(K) を通じてクエリとキーを直交特徴空間に射影し、Softmax の大域除算を不要にすることで、行列積の結合法則を成立させます。
  • Delta ルール誤差修正:新規のキー・バリュー外積を無条件に加算するのではなく、予測誤差 Δ = Vt - St-1 φ(Kt) をリアルタイムで追跡。状態行列 S は、適応型学習率 βt に基づいて予期せぬ残差のみを選択的に書き込み・修正します。

以下の Python 疑似コードは、KDA がどのように一定のメモリサイズで状態を更新するかを示しています:

import torch

def kda_step(hidden_state, query, key, value, beta, phi):
    """
    Conceptual representation of O(1) constant-memory state update in KDA.
    hidden_state shape: (batch_size, dim_k, dim_v) - fixed regardless of sequence length.
    """
    phi_k = phi(key)      # Kernel feature projection
    phi_q = phi(query)

    # 1. Calculate prediction error against current persistent state (Delta Rule)
    predicted_val = torch.matmul(hidden_state, phi_k)
    residual_error = value - predicted_val

    # 2. Update state matrix; memory footprint remains constant from token 10 to 1,000,000
    state_delta = beta * torch.outer(residual_error, phi_k)
    new_state = hidden_state + state_delta

    # 3. Retrieve output embedding for the current step
    step_output = torch.matmul(phi_q, new_state)
    return step_output, new_state

隠れ状態行列の幾何学的次元がシーケンス位置から完全に切り離されているため、これら 69 層の KDA は、1,000 トークンであっても 1,000,000 トークンであっても、メモリ消費量が常に一定の O(1) に保たれます。

24 層の Gated DSA:高解像度な局所的精確定位

KDA が一定のメモリで大局的な長文コンテキストを維持する一方、純粋な線形アテンションは厳密な局所相関(例:8 万行の大規模コード内におけるクロスファイルのポインタ定義特定)において限界が生じることがあります。そこで K3.1 Pro では、ネットワークの要所に 24 層の Gated DeepSeek Sparse Attention(Gated DSA)を配置しました。

Gated DSA は効率的な 2 段階の動的アドレッシングシステムを構成します:

  • 32 個の低次元インデックスヘッド:7,168 次元の全隠れ層で総当たり計算を行うのではなく、独立した 32 個のインデックスヘッド(次元数 128)が低次元多様体上で高速にキーをスキャン。99.8% の無関係な背景ノイズを即座に破棄し、関連性の最も高い Top-2,048 のキー候補 だけを精密な Softmax 計算に送ります。
  • 入力適応型ソフトゲーティング:ダイナミックな SN 比ゲーティング係数 O = Gate(X) ⊙ SparseAttention(Q, K, V) を導入。局所的な構文解析時は長距離ノイズを抑制し、モジュール間の依存関係を追跡する際にはゲートを開放して広範なコンテキストを取り込みます。

微細なアテンション計算を Top-2,048 の固定枠内に収めることで、長時間の動画フレームや大規模リポジトリを処理する場合でも、計算負荷の上限が厳格に維持されます。

3T MoE トポロジとハードウェア最適化:896 エキスパート、MXFP4 QAT、ネイティブマルチモーダル

アテンション機構の革新は、モデル全体の MoE 構造および量子化認識学習(QAT)と密接に連携しています:

Kimi K3.1 Pro の主要技術仕様
アーキテクチャ項目仕様 / トポロジ規格エンジニアリング上の役割
総パラメータ数 (Total Params)~2.8 Trillion (3T クラス)クロスドメインの深い抽象化と知識基盤を提供
アクティブパラメータ104 Billion (1,040 億 / トークン)高スループット推論を維持するスパースルーティング
階層構造93 層 (Dense 1 層 + KDA 69 層 + DSA 24 層)メモリ効率と局所精度を高次元で両立するハイブリッド構成
MoE エキスパート構成896 エキスパート (16 選択 + 2 共有)下流タスクの細粒度な分業と汎用常識の共有固定化
ネイティブコンテキスト長1,048,576 トークン (1M)大規模リポジトリや数十万字の技術ドキュメントを直接展開
数値量子化規格ネイティブ MXFP4 重み + MXFP8 活性化極端な長文での精度劣化を防ぐ端から端までの QAT 学習
ビジョンエンコーダMoonViT-V2 (401M パラメータ)テキスト、画像、動画を単一の表現空間に直接統合

学習完了後に適用される事後量子化(PTQ)は長文コンテキストで精度崩壊を招きがちですが、K3.1 Pro は設計段階から MXFP4(マイクロスケール 4bit 浮動小数点)重みおよび MXFP8 活性化 を前提として QAT を実施。最新の GPU Tensor Core 上で直接高効率に動作し、メモリ帯域負荷を大幅に削減します。

次世代自律型 Agent システム開発への示唆:外部 RAG から完全コンテキスト作業メモリへ

Kimi K3.1 Pro の登場は、自律型コーディングおよびリサーチ Agent のシステム設計に根本的なパラダイム転換を提示しています:

  1. 断片化された RAG からの脱却:従来のコンテキスト制限下では、コードリポジトリを 500 トークンの小片に分割してベクトル検索を行う必要があり、循環参照や継承関係が寸断されがちでした。KDA の一定メモリ特性を活かすことで、プロジェクト全体をそのまま「作業メモリ(In-Context Working Memory)」として常駐させることが可能になります。
  2. 長距離ベンチマークによる実証:数百に及ぶ専門領域にまたがる大規模強化学習(Joint RL)により、長期間のソフトウェア工学ベンチマークである SWE-Marathon v1.1 で約 51.7%、Linux コマンドラインの自律実行ベンチマーク Terminal-Bench 4.0 で約 65.7% を記録し、高精度なエラー自動検知と修復能力を実証しました。
  3. ハイブリッドアテンションという新たな標準:全層で総当たり Softmax を行う手法は計算量の限界に突き当たり、純粋な線形モデルは微細な文脈把握に弱点を残します。K3.1 Pro が示した「巨視的線形骨格(KDA)+ 局所スパース検索(DSA)」というハイブリッド構成は、1M 超長文時代における有力な標準設計となるでしょう。

100万トークンの実稼働システムを構築する際は、料金ページで各モデルの最新価格を確認し、クイックスタートに沿って設定を行うか、登録ページでアカウントを作成してスループットを直接検証してください。