Роздуми Тянь Юаньдунга 2025: Від виходу з корпорації до підприємництва в сфері ШІ та визначних досліджень

2025 рік ознаменував собою важливий перелом для Тяня Юандуна, ветерана досліджень у галузі штучного інтелекту, який перейшов від роботи з корпоративним тиском у Meta до запуску нового підприємства та одночасно публікації проривних досліджень у галузі логіки великих моделей та інтерпретованості. Нижче наведено його підсумковий огляд року, сповнений несподіваних поворотів, наукових проривів і глибших переконань щодо майбутнього ШІ.

Неочікуваний п’ятий сценарій: коли кар’єрні плани стикаються з реальністю

Наприкінці січня 2025 року Тян був запрошений до кризової команди Meta з реагування на ситуацію з Llama 4. Маючи понад десять років досвіду у підкріплювальному навчанні, він заздалегідь ретельно намалював матрицю винагород 2x2, передбачаючи чотири можливі сценарії. Однак реальність мала інші плани — розгорнувся несподіваний п’ятий сценарій, який поглибив його розуміння організаційної складності.

Незважаючи на збої у проекті, ці напружені місяці принесли несподівані інтелектуальні здобутки. Тян і його команда занурилися у ключові виклики сучасного підкріплювального навчання: стабільність тренування, узгодженість тренування і виведення, оптимізацію архітектури моделей, взаємодію між початковим тренуванням і проміжними фазами, алгоритми ланцюгів міркувань і дизайн післятренувальних рамок. Цей досвід кардинально змінив його методологію досліджень.

Сам факт розставання був менш несподіваним, ніж час його настання. Після більш ніж десятиліття роботи в Meta Тян вже психологічно був готовий до відходу, прийнявши внутрішню позицію «зробиться, коли зробиться». Що він не передбачав — як цей примусовий перехід стане каталізатором його наступної глави. Замість того щоб зациклюватися на невдачах, він філософськи переосмислив ситуацію: «Невдача у корпоративному світі стає щастям для тих, хто створює щось нове». Турбулентність 2025 року дала йому багато матеріалу для майбутніх проектів, зокрема для нових літературних експериментів.

Цей перелом у кар’єрі повторював патерн 2021 року, коли щирий підсумковий огляд Тяня про багаторазові відмови у публікаціях несподівано привів його до напруженої зустрічі з керівництвом. Замість зневіри він свідомо сформував внутрішній наратив просування, рухаючись коридорами ніби вже підвищений у посаді. Через шість місяців ця підвищення сталося. Ще більш вражаюче — ця, здавалося б, непомітна робота 2021 року згодом отримала почесне згадування як найкраща стаття на ICML у липні 2021 року, ставши фундаментальним внеском у дослідження репрезентаційного навчання.

До кінця жовтня 2025 року, після публічного оголошення про його перехід, канали зв’язку Тяня заповнили сотні повідомлень і запрошень на зустрічі щодня. Серед численних пропозицій від майже всіх великих технологічних компаній він зробив свідомий вибір: використати свої найкращі роки для співзаснування нового стартапу у галузі ШІ. Деталі залишаються конфіденційними, але рішення відображає переконання, що підприємництво дає ту швидкість і гнучкість, яких не може забезпечити навіть престижна корпорація.

Відкриття чорної скриньки: революція Тяня у дослідженнях логіки та інтерпретованості

Інтелектуальний ландшафт 2025 року сформувався навколо двох взаємопов’язаних дослідницьких фронтів: масштабування можливостей логіки великих моделей і систематичного розкриття того, як ці моделі насправді працюють. Це були не побічні напрямки — вони становили ядро академічної діяльності Тяня і, на його думку, визначатимуть майбутнє науки про ШІ.

Каталізатором стала публікація у грудні 2024 року роботи про логіку у безперервному латентному просторі (coconut, COLM’25), яка викликала лавину досліджень у 2025 році. У галузі дослідники досліджували її застосування до підкріплювального навчання і оптимізації передтренування, борючись із питаннями ефективності та масштабованості. Хоча команда Тяня була відволікана на надзвичайну ситуацію з Llama 4, цей напрямок радував його. На початку 2025 року з’явилася теоретична валідація: «Логіка суперпозиції» (NeurIPS’25) строго показала, де саме логіка у безперервному латентному просторі перевершує альтернативи, привернувши значну академічну увагу.

Паралельно група Тяня працювала над зворотною проблемою — ефективністю виведення. Рамка Token Assorted (ICLR’25) навчає дискретні латентні токени через VQVAE, а потім інтегрує їх разом із текстовими токенами під час посттренування, одночасно зменшуючи обчислювальні витрати і підвищуючи продуктивність. DeepConf застосовує інший підхід: оцінюючи рівень впевненості у кожному згенерованому токені, він вибірково припиняє низькоуверені логічні шляхи, значно зменшуючи споживання токенів і навіть підвищуючи точність голосування. ThreadWeaver прискорює виведення шляхом паралельного генерування ланцюгів міркувань і їх спільного посттренування. Інші прориви включають навчання моделей логіки на dLLM за допомогою підкріплювального навчання (Sandwiched Policy Gradient) і експерименти з навчання менших моделей логіці (MobileLLM-R1).

Однак найбільше інтелектуальне вкладення Тяня зосереджено на інтерпретованості — зокрема, на феномені «грокінгу» (раптовий перехід від запам’ятовування до узагальнення). Протягом двох років він досліджував динаміку репрезентаційного навчання, з’ясовуючи, чому моделі іноді руйнуються за певних умов. Але залишалася фундаментальна загадка: які саме репрезентації формуються, як вони відображають структуру даних і які узагальнення вони забезпечують?

Шлях був важким і спершу без чіткої орієнтації. У 2024 році робота COGS (NeurIPS’25) змогла охопити лише обмежені випадки, залишаючи Тяня незадоволеним. Після понад року боротьби і тривалих діалогів із GPT-5 настав прорив: теоретична стаття про доведені закони масштабування, що виходять за межі попередніх лінійних аналізів (на основі NTK) і освітлюють динаміку тренування, що визначає появу ознак. Хоча сценарії аналізу залишаються обмеженими, відкривається нове вікно для розуміння механізмів ефективного навчання.

Підсумок Тяня наприкінці року, «Шлях, яким не пішли», можливо, найпоказовіший. Він пояснює на рівні ваг, чому підкріплювальне навчання і супервізорне тонке налаштування (SFT) дають різні результати. SFT спричиняє перенавчання і катастрофічне забування, оскільки дані тренування biasують основні компоненти ваг, руйнуючи їхню стабільність. RL, навпаки, зберігає головні компоненти ваг, використовуючи політичні дані, впливаючи лише на дрібні компоненти — розподілені рідко і особливо помітні при квантованні bf16 — що дозволяє уникнути катастрофічного забування.

Чому інтерпретованість важлива: два майбутні сценарії, де пояснюваність ШІ стане необхідною

Багато вважають, що інтерпретованість — це периферійна тема у розвитку ШІ, але Тян має іншу точку зору: вона — екзистенційна. Розглянемо два протилежні сценарії.

Сценарій перший: людство досягне AGI або ASI через подальше масштабування, і людська праця стане незначною, тоді як монолітний чорний ящик суперінтелекту вирішить усі проблеми. У цьому світі головне питання — як гарантувати, що цей суперінтелект залишиться доброзичливим і не приховує обману? Інтерпретованість стане ключовим захистом.

Сценарій другий: парадигма масштабування зрештою вичерпає себе, експоненційні ресурси не зможуть подолати витрати, і людство муситиме відмовитися від нинішнього шляху. Зі зупинкою розвитку дослідники змушені будуть зворотно інженерити «чому це спрацювало і що спричинило цей plafon?» Це неминуче поверне їх до фундаментальних досліджень — і інтерпретованість стане альтернативним фронтом.

«У обох сценаріях інтерпретованість рятує ситуацію», — зауважує Тян. І навіть у світах, де ШІ стане всезнаючим, всесильним і ідеально узгодженим, людське любопитство спонукатиме досліджувати механізми надлюдських можливостей. Чорна скринька, наскільки б ефективною вона не була, породжує епістемічний дискомфорт.

Перед нами стоїть виклик, що виходить за межі емпіричного пошуку схем — він починається з перших принципів: чому моделі, навчені градієнтним спуском на структурованих даних через певні архітектури, неминуче сходяться до розділених, розріджених, низькорозмірних, модульних і композиційних ознак? Які гіперпараметри керують цими явищами? Відповіді на ці питання вимагають виведення механізмів появи ознак безпосередньо з рівня рівнянь градієнтного спуску — перетворюючи інтерпретованість із історичних спостережень у фізичні закони, подібно до законів Ньютона.

Зараз Тян вважає, що ера ШІ має багато «Тяко Браге» — дослідників, що ретельно каталогізують поведінки і дані. Деякі «Кеплери» пропонують пояснювальні гіпотези. Але ще не з’явився «Ньютон», який би сформулював універсальні принципи, з яких випливають усі інші. Коли цей фігурист з’явиться, галузь зазнає революційних змін, проклавши шлях до нових моделей, заснованих не на емпіризмі, а на фундаментальних законах. Тоді, ймовірно, зміниться і сама роль досліджень у людському майбутньому.