Ok - é por isso que nunca se deve confiar em benchmarks de IA.
Um estudo recente comparou o Opus 4.6 (o último modelo Claude) versus o Opus 4.5 em 165 tarefas diferentes. A pesquisa aprofundada concluiu que o Opus 4.6 não foi melhor do que o modelo anterior. Mas o Opus 4.6 fez isso com 50% do custo e 50% do tempo de execução. Ainda assim, melhorias enormes, apenas tenha cuidado com os títulos de benchmarks. A melhor maneira de determinar se um modelo é melhor do que as versões anteriores é testá-lo para as suas necessidades específicas. De qualquer forma, parabéns à equipa da Anthropic por esta redução massiva de custo/tempo de execução.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Ok - é por isso que nunca se deve confiar em benchmarks de IA.
Um estudo recente comparou o Opus 4.6 (o último modelo Claude) versus o Opus 4.5 em 165 tarefas diferentes.
A pesquisa aprofundada concluiu que o Opus 4.6 não foi melhor do que o modelo anterior.
Mas o Opus 4.6 fez isso com 50% do custo e 50% do tempo de execução.
Ainda assim, melhorias enormes, apenas tenha cuidado com os títulos de benchmarks.
A melhor maneira de determinar se um modelo é melhor do que as versões anteriores é testá-lo para as suas necessidades específicas.
De qualquer forma, parabéns à equipa da Anthropic por esta redução massiva de custo/tempo de execução.