Последние исследования MIT дали интересное озарение: при обработке последовательностей токенов свыше десятков миллионов, наиболее эффективное решение вовсе не заключается в наращивании возможностей внутри весов модели — а в переносе основной вычислительной логики во внешнюю структурированную среду. В качестве примера можно привести среду выполнения кода — это практический пример этой идеи.

С другой стороны, носители знаний и рассуждений претерпевают изменения. Ранее мы считали, что веса модели — это контейнер для понимания всего, но это исследование показывает, что при достаточно больших масштабах, истинный интеллект проявляется именно в тщательно спроектированных внешних рамках — в тех геометрических структурах. За этим скрывается глубокий смысл: будущие архитектуры ИИ, скорее всего, будут всё больше напоминать инженерные системы, всё больше полагаться на изящное системное проектирование, а не только на масштаб модели.