DeepSeek发布超越残余连接的下一代AI架构“mHC”

来源：TokenPost 原文标题：中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 原文链接：https://www.tokenpost.kr/news/ai/320188 中国的AI研究机构DeepSeek(DeepSeek)发布了一种能够大幅提升下一代人工智能学习性能的新架构。被命名为’mHC(Manifold-Constrained Hyper-Connections)'的技术，采用超越大规模语言模型(LLM)和视觉识别模型中必不可少的’残差连接(residual connection)'方式的结构，不仅提升了学习准确率，还提高了硬件效率，受到广泛关注。

mHC是在现有’超连接(Hyper-Connections)'技术基础上的改进。超连接结构帮助深度学习模型的层(layer)之间更高效地传递信息，曾备受关注，但在实际运营环境中由于各种技术限制未能广泛应用。DeepSeek通过结合’manifold(manifold)'概念，克服了这一限制。多样的多层空间结构在数学上被称为流形，从简单的圆形到超过三维的复杂结构不等。DeepSeek表示，mHC利用这些基于流形的结构，在模型训练过程中确保梯度(误差反向传播信号)的稳定性和一致性，起到关键作用。

DeepSeek为了验证该架构的性能，使用了参数分别为30亿、90亿和270亿的三种大规模语言模型（LLM），采用mHC结构进行训练，并与相同规格的模型在超连接基础上进行了对比实验。结果显示，mHC结构的模型在8个基准测试中表现出持续优越的性能。特别是在内存需求方面，比传统结构更高效，训练时的硬件开销仅为6.27%左右。

DeepSeek的研究团队表示：“通过更深入理解基于流形的拓扑结构与优化算法之间的关系，mHC有望突破当前AI模型的局限，为下一代基础设施设计开辟新路径。”他们强调了该技术的意义。

此次发布引起关注的原因之一是其背景——全球范围内对AI学习架构的重新审视。自2015年引入深度学习研究中的残差连接以来，这一结构已被广泛应用于LLM和图像分类模型中。其原理是在最后输出层生成的误差信号向上传递，传递到各层以指导学习，但也带来了信息失真的问题。

随着AI模型逐渐变得超大规模，残差连接的局限性逐渐显现，相关改进尝试不断出现。DeepSeek的mHC作为最新技术，预计将在提升模型学习效率、推动AI产业基础发展方面发挥重要作用。