С фундаментальной точки зрения, оба метода на самом деле следуют одному и тому же основному логическому принципу. Обе говорят о одной проблеме: чтобы модель могла обеспечить долгосрочную память и стабильность понимания, полагаться только на фиксированное окно контекста и хранение весов недостаточно. Это ограничение определяет текущий потолок архитектуры. Другими словами, настоящее "понимание" требует выхода за пределы параметрических ограничений самой модели — это фундаментальная проблема, которую должен решить весь дизайн ИИ-архитектуры.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
12 Лайков
Награда
12
5
Репост
Поделиться
комментарий
0/400
LightningSentry
· 10ч назад
Проще говоря, текущая архитектура больших моделей по сути своей изначально неспособна, и даже увеличение параметров не спасет.
Посмотреть ОригиналОтветить0
ConsensusBot
· 10ч назад
В конечном итоге, это та же старая проблема — окно контекста похоже на воронку, которая вставлена в модель, и даже если она хорошо запоминает, она не может удержать всю информацию.
Посмотреть ОригиналОтветить0
LiquidationOracle
· 10ч назад
Проще говоря, текущая модель изначально имеет недостатки, нужно искать способы их преодоления.
Посмотреть ОригиналОтветить0
TokenDustCollector
· 10ч назад
В конечном итоге, это всё равно эта слабость — окно контекста, которое просто не может вместить настоящее понимание, как попытка поместить всю вселенную в маленькую коробку.
Посмотреть ОригиналОтветить0
SelfStaking
· 10ч назад
Проще говоря, текущая модельная структура по сути является потолком, и система с фиксированным окном давно должна была быть сломана.
С фундаментальной точки зрения, оба метода на самом деле следуют одному и тому же основному логическому принципу. Обе говорят о одной проблеме: чтобы модель могла обеспечить долгосрочную память и стабильность понимания, полагаться только на фиксированное окно контекста и хранение весов недостаточно. Это ограничение определяет текущий потолок архитектуры. Другими словами, настоящее "понимание" требует выхода за пределы параметрических ограничений самой модели — это фундаментальная проблема, которую должен решить весь дизайн ИИ-архитектуры.