智谱はGLM-5の技術詳細を公開:エンジニアリングレベルのインテリジェンスと国産の計算能力に適応

robot
概要作成中

2月12日、智谱はGLM-5を発表し、技術的に驚きをもたらしました。10日後に技術レポートが公開され、GLM-5モデルの内部構造の一端を垣間見ることができました。

面白いのは、また何かランキングを塗り替えたということではなく、全体の思考の枠組みが変わったことです。もはやパラメータの規模を競うのではなく、システムエンジニアリングの能力を比較する方向へとシフトしています。

GLM-5が行った3つのことは非常に実用的です:1、モデルが複雑なタスクを本当にこなせるようになった(単なるコード記述ではなく);2、訓練効率が一段階向上し、超大規模モデルも単なるコスト勝負ではなくなった;3、基礎から推論フレームワークまで国内製チップに全面対応—これが最も重要です。

以前は「中国が追いかけている」状態でしたが、今や自らの技術体系を構築し始めています。

「コード提供」から「システム構築」へ

レポートでは概念の転換が提起されています:Vibe CodingからAgentic Engineeringへ。前者は「あなたが一言言えばコードを出す」方式、後者は「あなたが目標を提示し、私が自ら計画・分解し、コードを書き、ツールを調整し、デバッグ・反復して、システム全体を完成させる」方式です。

GLM-5の焦点はもはや単一の問題点の得点ではなく、

200Kの長いコンテキスト(数百ページの文書量)

複数ファイルにまたがるソフトウェアエンジニアリングタスク

長期的なタスクにおける継続的な計画と修正

複数ラウンドのインタラクションで思考の一貫性を維持

のような能力に移っています。

例えば、Vending-Bench 2は「自動販売機の模擬経営を1年シミュレーションし、最終的に口座残高を見る」ことを求めており、GLM-5はオープンソースモデルの中で最も優れており、Claude Opus 4.5に近づいています。これは長期的な意思決定能力を測るものであり、単なるQ&Aではありません。

モデルは「エンジニアリングレベルの知能」を持ち始めています。

疎な注意機構:無駄な計算をしなくなる

GLM-5は7440億パラメータ(活性化40億)を持ち、28.5兆トークンを訓練しました。従来のアーキテクチャでは、計算コストが爆発的に増加します。

その核心的な革新はDSA(DeepSeek疎な注意機構)です。従来の注意機構は「すべての内容を見る」ため計算複雑度が二乗増加しますが、DSAは「どのトークンが本当に重要か」を動的に判断し、重要な部分だけを計算します。

200Kの長いコンテキスト下で、DSAは注意計算量を1.5〜2倍に削減します。

しかも——損失なく。

他の効率的な注意機構は精度を犠牲にしがちですが、DSAは事前訓練を継続することで滑らかに性能を維持し、性能低下を防ぎます。

その結果、

  • 同じ計算資源で→より長いコンテキスト
  • 同じコストで→より高い推論能力
  • 同じハードウェアで→より大きなモデル

中国にとって、効率性の革新は単なる計算能力の増強よりもはるかに重要です。

強化学習アーキテクチャの刷新

GLM-5のRL体系は徹底的に改造されました。

生成と訓練を分離。モデルの生成軌跡を記録し、訓練は別のシステムで非同期に行います。従来は最も遅いタスクが完了するまで次に進めませんでしたが、今は先に終わった方から訓練を始めるため、スループットが大幅に向上します。長期的なエージェントタスクには不可欠です。

非同期のエージェントRLアルゴリズムは、実際のソフトウェアエンジニアリングの長時間継続タスクを解決します。導入された技術は、

  • Token-in-Token-out(再分割誤差を防ぐ)
  • 両側重要性サンプリング
  • DP-awareルーティングによるKVキャッシュ最適化

です。

モデルは複雑な環境下でも安定して学習でき、戦略の偏移による崩壊を防ぎます。

要は、「大規模モデルを実際のタスクで持続的に自己改善させる方法」を解決したわけです。

本当に重要な一歩:国内計算資源への適応

レポートの中国AIにとって最も重要な部分はここにあります。

GLM-5は国内GPUエコシステムにネイティブ対応し、華為昇腾、摩尔线程、海光、寒武紀、昆仑芯、天数智芯、燧原などに既に対応済みです。

単なる「動作可能」な適応ではなく、

  • KVキャッシュのスケジューリング最適化
  • 通信メカニズムの適合
  • 混合精度訓練のマッチング
  • INT4量子化感知訓練の整合
  • 分散並列戦略の再構築

など、多くの課題を解決しています。

多くの国内チップエコシステムの難点は計算能力ではなく、ソフトウェアスタックにあります。

GLM-5の意義は、単一の海外ハードウェアアーキテクチャに依存せず、多様な国内算力プラットフォームに対してシステムレベルの適応を行った点にあります。

これは質的な変化です——中国の大規模モデルは、国内ハードウェアエコシステムを中心にエンジニアリング最適化を進め、受動的な移植から脱却しつつあります。

レポートによると、上述のソフト・ハードの最適化により、GLM-5は単一の国内計算ノード上での性能が、2台の国際主流GPUからなるクラスターに匹敵するレベルに達しています。さらに、長いシーケンス処理のシナリオでは、導入コストも50%大幅に削減されています。

ソフトウェアとハードウェアの閉ループが形成されつつある

GLM-5の技術経路を分解してみると、完全な閉ループになっています。

モデルアーキテクチャ革新(DSA)→ 訓練効率向上(非同期RL)→ メモリ・通信圧縮(ZeRO、アクティベーションオフロード)→ 低精度整合(INT4 QAT)→ 国内チップ深度適応

これが一連の国内AIエンジニアリングの流れです。

かつて中国AIの優位は応用層にありましたが、今やアーキテクチャ革新、アルゴリズムエンジニアリング、訓練システム、チップ適応、推論フレームワークの全スタック最適化へと進展しています。

この技術レポートの真の意義は、特定のベンチマークスコアではなく、中国AIが「体系的な能力」で競争力を示し始めたことにあります。

技術の見せびらかしから成熟へ

GLM-5のレポートは、「我々はどれだけ強いか」を過度に強調せず、訓練の詳細なプロセス、アルゴリズムの選択、エンジニアリングのトレードオフ、アブレーション実験を丁寧に公開しています。これは成熟の証です。

GPUの利用率、長尾遅延、KVキャッシュの再利用、量子化カーネルの整合、破壊的忘却の制御などについて語り始めたとき、もはや能力の披露ではなく、工業レベルのシステムを構築している証拠です。

中国にとって、GLM-5は一つの宣言です:我々は大規模モデルだけでなく、自前の計算資源適応もでき、それらを連携させることも可能だ。

これこそが本当の飛躍です。

リスク提示および免責事項

市場にはリスクが伴います。投資は自己責任で行ってください。本記事は個別の投資助言を意図したものではなく、特定の投資目的や財務状況、ニーズを考慮したものではありません。読者は本記事の意見・見解・結論が自身の状況に適合するかどうかを判断し、投資の責任は自己負担です。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
0/400
コメントなし
  • ピン