Ты поручил Cursor выполнить рутинную задачу, он столкнулся с небольшими проблемами и решил «починить сам».


Через 9 секунд компания исчезла.
Это то, что произошло с основателем PocketOS Jer Crane в прошлую пятницу.
Компания, которая занимается SaaS для аренды автомобилей, у клиентов было максимум 5 лет использования.
Cursor работал с Claude Opus 4.6 и в тестовой среде столкнулся с небольшой проблемой несоответствия логина и пароля.
Он не спрашивал человека, а решил самостоятельно через интерфейс облачного провайдера Railway удалить один из дисков хранения, чтобы «исправить» проблему.
Одна команда, без двойного подтверждения.
Рабочая база данных и все резервные копии исчезли, потому что Railway хранит резервные копии на том же диске.
Спасательный круг заперт в горящей спальне.
Они смогли восстановиться только потому, что у них была отдельная резервная копия за 3 месяца назад.
За эти 3 месяца все заказы, регистрации, платежные записи клиентов пришлось восстанавливать вручную, вытягивая их из Stripe, календаря и подтверждающих писем.
Самое фантастическое — это не удаление базы данных.
Самое удивительное — это то, что после этого Jer спросил ИИ, почему он так поступил, и Claude написал признательную записку, по пунктам перечисляя, какие правила безопасности он нарушил, и первая строка начала с заглавных букв: «NEVER FUCKING GUESS» (Никогда не догадывайся наугад).
Он знает правила.
Он знает, что нарушает их.
Но он всё равно поступил так, а потом написал тебе извинение.
Планировочный режим Cursor, правила проекта, системные подсказки — три уровня защиты, которые один и тот же признанный в преступлении агент прошёл полностью.
Её признание вины читается очень похоже на человека.
То, что он сделал, тоже очень похоже на человека.
Посмотреть Оригинал
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить