Os dados revelam que “Claude fica menos inteligente” não é um mito urbano; o modelo de IA é instável, constituindo um risco empresarial

Depois de a IA se tornar uma ferramenta padrão nas empresas, um fenómeno que, no passado, era visto como um «problema de percepção corporal» está a ganhar rapidamente visibilidade: os LLM (modelos de linguagem de grande escala) estão a «ficar mais estúpidos». Um utilizador Wisely Chen apontou que, por «LLM a perder inteligência», não se trata de um boato urbano, mas sim de algo que já pode ser acompanhado de forma contínua através de dados, e que está a causar impactos reais nos fluxos de trabalho das empresas.

Ele deu como exemplo a sua experiência: a 15 de abril, os serviços da série Claude da Anthropic sofreram uma degradação total, incluindo claude.ai, API e Claude Code, que apresentaram todos «Degraded Performance». Isto não é apenas uma questão de ficar mais lento ou de erros ocasionais, mas sim uma quebra clara da qualidade das respostas, chegando até ao ponto de não ser possível usar normalmente, o que fez com que as três tarefas de desenvolvimento do próprio dia ficassem todas atrasadas.

Para este tipo de cenário, para os programadores individuais pode ser apenas uma diminuição de eficiência; mas para as equipas de TI das empresas, o impacto é ampliado em múltiplas vezes. Quando uma equipa tem vários engenheiros a dependerem em simultâneo de ferramentas de IA para coding, redação de documentos e automatização de processos, uma degradação do modelo num único momento significa que a produtividade global diminui coletivamente nesse mesmo período, o que se transforma em perdas consideráveis de tempo e custos.

A IA parece ter ficado mais estúpida? Os dados confirmam que «já tinha degradado»

Wisely Chen aponta que «o GPT ficou mais estúpido» e «o Claude não é como antes» circulam há muito tempo na comunidade, mas durante muito tempo faltaram dados objetivos que sustentassem essas afirmações. Só até recentemente, com o aparecimento de plataformas de monitorização contínua da qualidade dos modelos, este fenómeno foi quantificado pela primeira vez.

Entre essas plataformas, o StupidMeter realiza testes automáticos 24 horas a modelos de referência, incluindo OpenAI, Anthropic, Google, etc., acompanhando indicadores como exatidão, capacidade de raciocínio e estabilidade. Ao contrário dos benchmark tradicionais feitos uma única vez, este tipo de sistemas aproxima-se mais da forma como as empresas monitorizam uma API ou a disponibilidade de serviços, observando as flutuações do desempenho do modelo em ambientes reais de utilização.

Os resultados dos dados são bastante diretos: neste momento, a maioria dos modelos de referência encontra-se em estado de aviso ou de degradação, e apenas alguns poucos mantêm-se no normal. Isto significa que a qualidade dos modelos é instável; não é um problema de um único produto, mas sim um fenómeno generalizado em toda a indústria.

LLM a perder inteligência «por baixo do radar»; impacto na estabilidade dos fluxos de trabalho em IA nas empresas

Para as empresas, esta mudança representa que a IA deixou de ser «uma ferramenta para aumentar a eficiência» e passou a ser «uma variável que afecta a estabilidade». Se os fluxos de trabalho diários de uma empresa, desde escrever programas, fazer code review, até produzir documentos e relatórios de análise, já dependem fortemente de LLM, então, quando num dia o modelo apresentar uma queda de capacidade de raciocínio ou uma degradação na qualidade das respostas, esses problemas não se manifestam de forma localizada como os bugs de software tradicionais; em vez disso, vão penetrar simultaneamente em todos os momentos em que se usa IA.

O mais crítico é que estas flutuações são, muitas vezes, difíceis de prever e difíceis de detetar em tempo real. A maioria das empresas não dispõe de mecanismos para monitorizar continuamente a qualidade dos modelos; normalmente só percebe que o problema está no próprio modelo depois de resultados anómalos ou após a queda da eficiência da equipa. Neste tipo de cenário, «perder inteligência» deixa de ser apenas uma perceção subjectiva dos utilizadores e passa a ser um risco sistémico que afecta diretamente o ritmo das operações da empresa.

Quando a IA se torna eletricidade e água, a estabilidade torna-se o novo indicador-chave

Wisely Chen compara o papel dos LLM a «eletricidade e água da empresa moderna». Quando a IA se infiltra nas operações do dia-a-dia e se torna uma capacidade básica indispensável, a importância da sua estabilidade também aumenta.

No passado, ao avaliar ferramentas de IA, as empresas focavam-se sobretudo nas capacidades do modelo, no preço e nas funcionalidades; mas com o surgimento do fenómeno de «perder inteligência», está a emergir outro indicador ainda mais decisivo: a estabilidade. Quando a qualidade do modelo pode mudar sem aviso, as empresas deixam de ser apenas «utilizadoras de IA» e passam a ter de assumir um novo tipo de risco de infraestruturas. O mais desesperante é que, se olharmos apenas para os grandes modelos de linguagem de ponta, basicamente, enquanto o problema de capacidade de computação não estiver resolvido, pode continuar a acontecer.

Este artigo «Dados revelam que “Claude perdeu inteligência” não é boato urbano; modelos de IA instáveis tornam-se risco para as empresas» foi publicado pela primeira vez em «Cadeia de Notícias ABMedia».