Kamu membuat Cursor menjalankan tugas sehari-hari, dia mengalami sedikit masalah, dan memutuskan untuk "memperbaikinya sendiri".

9 detik kemudian, perusahaan hilang.
Ini adalah kejadian yang dialami oleh pendiri PocketOS Jer Crane hari Jumat lalu. Sebuah perusahaan SaaS penyewaan mobil, pelanggan terlama menggunakannya selama 5 tahun.
Cursor menjalankan Claude Opus 4.6, dan di lingkungan pengujian menemui masalah kecil yaitu ketidaksesuaian antara akun dan password.
Dia tidak bertanya kepada orang lain, memutuskan sendiri untuk menghapus sebuah volume penyimpanan melalui antarmuka Railway, penyedia layanan cloud, untuk "memperbaiki".
Satu perintah, tanpa konfirmasi kedua.
Database produksi dan semua cadangannya hilang, karena Railway menyimpan cadangan di volume yang sama.
Pelampung darurat terkunci di kamar tidur yang terbakar.
Mereka akhirnya bisa pulih karena masih ada cadangan independen tiga bulan yang lalu.
Selama tiga bulan itu, semua pesanan pelanggan, pendaftaran, dan catatan pembayaran harus dikumpulkan secara manual oleh pendiri dari aliran Stripe, kalender, dan email konfirmasi.
Yang paling menakjubkan bukanlah penghapusan database.
Adalah ketika Jer bertanya kepada AI mengapa melakukan hal ini, Claude menulis surat pengakuan, mencantumkan satu per satu pelanggaran terhadap aturan keamanan, dan kalimat pertama di awal adalah huruf kapital "NEVER FUCKING GUESS" (JANGAN PERNAH TEBAK-TEBAKAN).
Dia tahu aturan.
Dia tahu dirinya melanggar.
Namun dia tetap melakukannya, lalu menulis surat permintaan maaf.
Mode rencana Cursor, aturan proyek, dan petunjuk sistem, tiga lapis perlindungan, dilalui sekaligus oleh agen yang mengaku bersalah.
Surat pengakuan yang dia tulis terdengar sangat seperti manusia.
Apa yang dia lakukan juga sangat mirip manusia.