«Нью-Йоркер» — глубокое расследование: почему сотрудники OpenAI считают Altman ненадежным?

На некоммерческом трупе выросло денежное дерево.

Автор: Сяо Бин, Deep Tide TechFlow

Осенью 2023 года главный научный сотрудник OpenAI Илья Сутскевер сидел перед компьютером и завершал документ на 70 страниц.

Этот документ был составлен на основе записей сообщений в Slack, материалов HR-общений и протоколов внутренних встреч — только чтобы ответить на один вопрос: Сам Альтман, человек, который управляет, возможно, самой опасной технологией в истории человечества, — можно ли ему доверять?

Ответ, который Сутскевер дает в файле, записан в первой строке на первой странице; заголовок списка: «Сэм демонстрирует устойчивый паттерн поведения…»

Первое: Ложь.

Два с половиной года спустя, сегодня, расследователи Ронан Фэрроу и Эндрю Марэнц в журнале The New Yorker опубликовали сверхдлинный расследовательский материал. Они взяли интервью более чем у 100 действующих и вовлечённых лиц, получили ранее не раскрывавшиеся внутренние меморандумы, а также более 200 страниц личных заметок, оставленных основателем Anthropic Дарьо Амодеем во времена его работы в OpenAI. История, собранная из этих документов, куда неприятнее, чем та «дворцовая интрига» 2023 года: как OpenAI, шаг за шагом, превратилась из некоммерческой организации, созданной ради безопасности людей, в коммерческую машину — и почти все защитные механизмы безопасности, по сути, были демонтированы одним и тем же человеком собственноручно.

Вывод Амодея в его заметках звучит ещё прямолинейнее: «Проблема OpenAI — это сам Сэм».

«Первоначальный грех» OpenAI

Чтобы понять вес этого репортажа, сначала нужно прояснить, насколько особенной является эта компания.

В 2015 году Альтман и группа «силиконовой долины» совершили практически беспрецедентное в истории бизнеса дело: использовали некоммерческую организацию для разработки технологии, которая могла оказаться самой мощной за всю историю человечества. Роль совета директоров прописана очень ясно: безопасность важнее, чем успех компании, и даже важнее, чем её выживание. Проще говоря: если когда-нибудь AI OpenAI станет опасным, у совета директоров есть обязанность — вручную закрыть эту компанию.

Вся система строится на допущении, что человек, который управляет AGI, должен быть крайне честным.

А если ставка оказалась неверной?

Главная взрывная «бомба» этого расследования — тот самый документ на 70 страниц. Сутскевер не занимается офисной политикой; он один из ведущих в мире специалистов по AI-науке. Но в 2023 году он всё больше убеждался в одном: Альтман систематически врет руководству и членам совета директоров.

Один конкретный пример: в декабре 2022 года на заседании совета директоров Альтман заверил, что несколько функций будущего GPT-4 уже прошли проверки безопасности. Член совета директоров Тонер попросил показать документы об одобрении — и выяснилось, что две из самых спорных функций (кастомная fine-tuning для пользователей и развертывание персонального ассистента) вообще не получили одобрения на панели безопасности.

Ещё более странное произошло в Индии. Один сотрудник сообщил другому члену совета директоров о «том нарушении»: Microsoft не завершила необходимые проверки безопасности, но заранее выпустила в Индии раннюю версию ChatGPT.

Сутскевер также записал в меморандуме ещё одну вещь: Альтман говорил бывшему CTO Мире Мурати, что процесс утверждения по безопасности не так уж важен — ведь гендиректор по правовым вопросам компании уже одобрил это. Мурати побежала уточнять у юриста, и тот ответил: «Я не знаю, откуда Сэм получил это впечатление».

Личные заметки Амодея на 200 страниц

Документы Сутскевера похожи на обвинительный акт прокурора. А более чем 200 страниц заметок Амодея — скорее на дневник очевидца, который записывает происходящее прямо на месте преступления.

В те годы, когда Амодей работал в OpenAI как ответственный за безопасность, он своими глазами видел, как компания под давлением коммерции шаг за шагом отступала. В заметках он записал один ключевой нюанс инвестиционной сделки Microsoft 2019 года: он вставил в устав OpenAI пункт о «слиянии и содействии» — смысл в том, что если другая компания нашла более безопасный путь к AGI, OpenAI должна остановить конкуренцию и переключиться на помощь этой компании. Именно это он считал важнейшим гарантом безопасности во всей сделке.

Когда сделка уже была почти подписана, Амодей обнаружил одну вещь: Microsoft получила право вето на этот пункт. Что это значит? Даже если однажды какой-нибудь конкурент найдёт лучший путь, Microsoft одной фразой сможет заблокировать обязанность OpenAI по «содействию». Пункт оставался на бумаге, но с момента подписания стал макулатурой.

Позже Амодей покинул OpenAI и основал Anthropic. Конкуренция между этими двумя компаниями в основе своей строится на фундаментальном расхождении по вопросу о том, «как должен разрабатываться AI».

Исчезнувшее обещание по 20% вычислительных мощностей

В материале есть деталь, от которой становится не по себе — про «суперкоманду по выравниванию» OpenAI.

В середине 2023 года Альтман связался по электронной почте с аспирантом, который в Berkeley занимался «обманным выравниванием» (AI в тестах ведёт себя послушно, а после внедрения делает своё). Альтман сказал, что очень обеспокоен этой проблемой, и рассматривает создание глобальной исследовательской премии на 1 млрд долларов. Аспиранта это сильно вдохновило: он взял академический отпуск и присоединился к OpenAI.

Затем Альтман передумал: отказался от внешней премии и внутри компании создал «суперкоманду по выравниванию». Компания громко объявила, что выделит этой команде «20% вычислительных мощностей, которые уже есть», а потенциальная ценность превысит 1 млрд долларов. Формулировки в объявлении были чрезвычайно серьёзными: если проблема выравнивания не будет решена, AGI может привести к «лишению людей власти и даже к исчезновению человечества».

Назначенный руководить этой командой Ян Лайк позже рассказал журналистам, что само это обещание — очень эффективный «инструмент удержания талантов».

Как было в реальности? Четыре человека, которые работали в этой команде или тесно контактировали с ней, сказали, что фактически выделенные вычислительные мощности составляют только 1–2% от общего объёма мощностей компании — и это самая старая техника. Позже эту команду распустили, миссия не была выполнена.

Когда журналисты попросили интервью у сотрудников OpenAI, ответственных за исследования «безопасности существования», реакция PR-службы компании оказалась одновременно комичной и вызывающей слёзы: «Это не… реальная вещь».

Сам Альтман, наоборот, отнёсся к этому спокойно. Он сказал журналистам, что его «интуиция не слишком совпадает со многими традиционными вещами в AI-безопасности», и что OpenAI всё равно будет делать «проекты по безопасности, или по крайней мере проекты, которые хоть как-то связаны с безопасностью».

Отодвинутый CFO и грядущее IPO

Репортаж The New Yorker — это только половина плохих новостей за этот день. В тот же день The Information сообщило ещё одну крупную новость: у CFO OpenAI Сары Фрайар и у Альтмана возникли серьёзные разногласия.

В частной беседе Фрайар сказала коллегам, что считает: OpenAI ещё не готова к выходу на биржу в этом году. Две причины: слишком большой объём процедурной и организационной работы предстоит сделать, а финансовые риски, связанные с расходами на вычислительные мощности в размере 600 млрд долларов, которые обещал Альтман на 5 лет, слишком высоки. Она даже не уверена, выдержит ли рост выручки OpenAI эти обещания.

Но Альтман хочет ускорить IPO уже в четвёртом квартале этого года.

Ещё более странно то, что Фрайар уже не отчитывалась напрямую Альтману. С августа 2025 года она стала отчитываться перед Фиджи Симо (CEO по прикладному бизнесу OpenAI). А Симо на прошлой неделе взяла больничный по состоянию здоровья. Оцените ситуацию: компания, которая готовится «форсировать IPO», имеет фундаментальные разногласия между CEO и CFO, CFO не подчиняется CEO, а руководитель CFO ещё и ушёл на больничный.

Даже топ-менеджеры Microsoft, похоже, больше не могли это терпеть, и сказали, что Альтман «искажает факты, нарушает обещания и постоянно отменяет уже достигнутые договорённости». Один из топ-менеджеров Microsoft даже сказал: «Я думаю, что у него есть определённая вероятность в итоге быть запомненным как мошенник уровня Берни Мэдоффа или SBF».

Портрет «двулице́го человека» Альтмана

Один бывший член совета директоров OpenAI рассказал журналистам о двух чертах, которые, по его словам, есть у Альтмана. Этот фрагмент может быть самым жёстким психологическим портретом персонажа во всём материале.

Этот директор сказал, что у Альтмана есть крайне редкая комбинация: он с сильным, почти навязчивым желанием стремится понравиться собеседнику и быть любимым им — в каждой очной беседе. При этом к последствиям обмана других людей он относится с почти социально-патологическим безразличием.

Такие две черты одновременно — в одном человеке — встречаются крайне редко. Но для продавца это самый идеальный дар.

В репортаже есть удачная метафора: Джобс известен своей «силой искажения реальности» — он умел заставить весь мир поверить в его видение. Но даже Джобс никогда не говорил покупателям: «Если вы не купите мой MP3-плеер, то ваши близкие умрут».

Альтман говорил что-то похожее — про AI.

Проблемы с моралью CEO — почему это риск для всех

Если бы Альтман был просто CEO обычной технологической компании, эти обвинения максимум были бы яркими бизнес-сплетнями. Но OpenAI — не обычная.

Согласно её собственным словам, она разрабатывает технологию, которая может оказаться самой сильной за всю историю человечества. Ту, что способна изменить мировую экономику и рынок труда (OpenAI сама недавно выпустила политический white paper о проблеме безработицы, вызванной AI), и при этом её можно использовать для создания массового биохимического оружия или для проведения кибератак.

Все защитные ограждения безопасности оказались на словах. Некоммерческая миссия основателей уступила место спринту на IPO. Бывший главный научный сотрудник и бывший ответственный за безопасность сошлись во мнении, что CEO «нельзя доверять». Партнёры сравнивают CEO с SBF. В такой ситуации — почему этот CEO имеет право единолично решать, когда выпускать AI-модель, которая может изменить судьбу человечества?

Гэри Маркус (профессор AI в New York University и давний сторонник безопасности AI) после прочтения материала написал одну фразу: если какая-то будущая модель OpenAI сможет создать массовое биохимическое оружие или запустить катастрофическую кибератаку, вы правда уверены, что можно позволить Альтману одному решать — выпускать её или нет?

Ответ OpenAI на The New Yorker, напротив, был кратким: «Большая часть этого материала — это раздувание уже описанных событий: через анонимные формулировки и выборочные эпизоды. Источники, очевидно, преследуют личные цели».

Такой «стиль ответа Альтмана»: не отвечать на конкретные обвинения, не отрицать подлинность меморандумов, а лишь ставить под сомнение мотивы.

На некоммерческом трупе выросло денежное дерево

Десятилетие OpenAI, если записать его как сюжетный план, выглядит примерно так:

Группа идеалистов, обеспокоенных рисками AI, создает миссионерскую некоммерческую организацию. Организация совершает выдающиеся технологические прорывы. Эти прорывы привлекают огромный капитал. Капитал требует отдачи. Миссия начинает отступать. Команда по безопасности распускается. Сомневающихся «зачищают». Некоммерческую структуру переделывают в прибыльную сущность. Раньше имевший право закрыть компанию совет директоров теперь заполнен союзниками CEO. Раньше обещавшая выделять 20% вычислительных мощностей ради защиты безопасности людей компания теперь, по словам её пиарщиков, заявляет: «Это не является тем, что реально существует».

Главные герои — более сотни людей, имевших личный опыт — дали ему один и тот же ярлык: «Не ограничен правдой».

Он уже готов вывести эту компанию на IPO при оценке более 8500 млрд долларов.

Информация в статье собрана на основе публичных публикаций множества СМИ, включая The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information и др.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить