DeepSeek 的多元突破：超連結獲得穩定性升級

DeepSeek 透過一篇新論文推動神經網絡架構設計的界限，介紹了 Manifold-Constrained Hyperconnections (mHC)，據 PANews 報導。這項核心創新解決了一個長期困擾超連接網絡 (HC) 的持續挑戰：當身份映射屬性被破壞時，訓練變得不穩定且擴展困難。

創新背後的問題

超連接網絡曾展現出潛力，但逐漸遇到瓶頸。隨著這些網絡變得越來越複雜，支撐它們的殘差連接開始表現出不可預測的行為。這種連鎖反應使得大規模訓練越來越困難，限制了 HC 在實際應用中的部署。

Manifold 約束如何解決問題

mHC 解決方案設計巧妙：它將 HC 固有的殘差連接空間限制在特定的流形上。透過這樣做，DeepSeek 恢復了保持網絡穩定的身份映射特性。但這還不是全部——團隊加入了嚴謹的基礎設施優化，以保證計算效率，確保架構在擴展時不犧牲性能。

實際應用影響

結果不言自明。實驗顯示出顯著的性能提升和大幅度的擴展性改善。DeepSeek 認為 mHC 不僅僅是一個修補方案；它是 HC 的一個靈活且實用的擴展，開啟了新的可能性。團隊將此視為邁向更佳拓撲架構設計的墊腳石，也為下一代基礎模型的發展提供了更清晰的路徑。

研究團隊

這篇論文由謝震達、韋一軒、曹歡奇等研究人員領導的合作團隊完成，梁文峰也為此工作做出了貢獻。他們的專業背景展現了 DeepSeek 在基礎層面推動 AI 基礎設施的承諾。