DeepSix, arquitetura de IA de próxima geração que supera conexões residuais, revela 'mHC'

Fonte: TokenPost Título Original: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Link Original: https://www.tokenpost.kr/news/ai/320188 A instituição de investigação de IA chinesa DeepSeek(DeepSeek) anunciou uma nova arquitetura que pode melhorar drasticamente o desempenho de aprendizagem de inteligência artificial de próxima geração. Nomeada ‘mHC(Manifold-Constrained Hyper-Connections)’, esta tecnologia é uma estrutura que ultrapassa o método essencial de ‘conexões residuais(residual connection)’ em modelos de linguagem de grande escala(LLM) e modelos de reconhecimento visual, elevando tanto a precisão de aprendizagem quanto a eficiência de hardware.

O mHC é uma melhoria em relação à tecnologia existente de ‘hiper conexões(Hyper-Connections)’. As hiper conexões foram destacadas por ajudar a transmitir informações de forma mais eficiente entre camadas(layer) de modelos de deep learning, mas na prática, devido a várias limitações técnicas, não foram amplamente utilizadas em ambientes operacionais. A DeepSeek superou essa limitação ao incorporar o conceito de ‘manifold(manifold)’. Um manifold é um espaço matemático com estrutura de múltiplas camadas, variando desde formas simples até estruturas complexas que ultrapassam o tridimensional. A DeepSeek explicou que o mHC utiliza essa estrutura baseada em manifold para garantir a estabilidade e a consistência do gradiente(erro de retropropagação) gerado durante o treinamento do modelo, desempenhando um papel fundamental.

Para validar o desempenho desta arquitetura, a DeepSeek treinou três tipos de LLMs com 3 bilhões, 9 bilhões e 27 bilhões de parâmetros, usando a estrutura mHC, e comparou-os com modelos de mesma especificação baseados em hiper conexões. Como resultado, os modelos com estrutura mHC mostraram desempenho superior de forma consistente em 8 benchmarks diferentes. Em particular, foi possível realizar um treinamento mais eficiente em termos de consumo de memória, e o overhead de hardware durante o treinamento foi reportado em torno de 6,27%.

A equipe de pesquisa da DeepSeek destacou: “Ao aprofundar a compreensão da relação entre a estrutura topológica baseada em manifold e os algoritmos de otimização, o mHC pode superar os limites atuais dos modelos de IA e abrir novos caminhos para o design de infraestruturas de próxima geração”, enfatizando o significado técnico da inovação.

Este anúncio é particularmente relevante no contexto de uma recente movimentação global para reavaliar as arquiteturas de aprendizagem de IA. Desde sua introdução em pesquisas de deep learning em 2015, as conexões residuais têm sido amplamente utilizadas em modelos de LLM e classificação de imagens. Essa estrutura permite que o sinal de erro gerado na última camada de saída seja propagado de volta às camadas anteriores, transmitindo informações de aprendizagem, ajudando a compensar a distorção de informações que ocorre nesse processo.

No entanto, à medida que os modelos de IA se tornaram cada vez maiores, as limitações das conexões residuais se tornaram evidentes, levando a várias tentativas de melhorias. O mHC da DeepSeek é uma tecnologia de ponta nesse contexto, e há análises de que ela pode contribuir diretamente para a melhoria da eficiência de aprendizagem de modelos, que é a base de toda a indústria de IA.