DeepSeek 揭露超越殘餘連接性的次世代 AI 架構「mHC」

來源：TokenPost 原文標題：中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 原文連結：https://www.tokenpost.kr/news/ai/320188 中國的AI研究機構DeepSeek(DeepSeek)公布了一種能大幅提升下一代人工智慧學習性能的新架構。這項名為’mHC(Manifold-Constrained Hyper-Connections)'的技術，突破了在大型語言模型(LLM)和視覺識別模型中必不可少的’殘差連接(residual connection)'方式，提升了學習準確度以及硬體效率，受到廣泛好評。

mHC是對現有’超連接(Hyper-Connections)'技術的改進。超連接是一種幫助深度學習模型層(layer)之間更有效傳遞信息的結構，曾受到關注，但在實際運行環境中，由於各種技術限制，未能廣泛應用。DeepSeek通過結合’manifold(manifold)'概念，克服了這一限制。數學上，manifold是一種具有多層結構的空間，從簡單的圓形到超過三維的複雜結構皆有。DeepSeek表示，mHC利用這種基於manifold的結構，在模型訓練中生成的梯度(誤差反向傳播信號)的穩定性和一致性方面起到了關鍵作用。

為驗證該架構的性能，DeepSeek分別用30億、90億、270億個參數的三種大型語言模型在mHC結構下進行訓練，並用相同規格的模型在超連接基礎上進行對比實驗。結果顯示，mHC結構的模型在8個基準測試中均表現出更優的性能。特別是在記憶體需求方面，比傳統結構更為高效，訓練過程中產生的硬體開銷僅約6.27%。

DeepSeek的研究人員表示：“通過更深入理解基於manifold的拓撲結構與優化算法之間的關係，mHC有望突破當前AI模型的限制，開啟下一代基礎設施設計的新方向。”他們強調了這項技術的意義。

此次發布受到全球對AI學習架構重新審視的趨勢影響。傳統的殘差連接自2015年深度學習研究引入以來，已廣泛應用於LLM和圖像分類模型中。這種結構在最後輸出層產生的誤差信號反向傳遞，傳遞學習信息，但也伴隨著信息失真的問題。

隨著AI模型逐漸變得超大，殘差連接的局限性逐漸顯現，為此也出現了多種改進嘗試。DeepSeek的mHC正是在這一背景下的最新技術，有望直接促進整個AI產業中模型學習效率的提升。