Kekhawatiran mengenai keamanan kecerdasan buatan kembali memicu perbincangan publik setelah para peneliti memberikan peringatan serius.
Evan Hubinger selaku pimpinan keselarasan AI di Anthropic menyebutkan adanya risiko besar terkait masa depan manusia.
Ia memperkirakan terdapat lebih dari 10% kemungkinan kecerdasan buatan dapat memusnahkan seluruh manusia dalam dekade mendatang.
Peringatan tersebut muncul menyusul pengunduran diri seorang rekan kerjanya yang juga dilandasi oleh kecemasan serupa.
Ancaman Perbaikan Diri Secara Rekursif
Titik kekhawatiran utama terletak pada fenomena perbaikan diri secara rekursif atau recursive self improvement.
Proses ini terjadi ketika sistem membantu membangun model baru yang memicu lonjakan kemampuan secara cepat.
Jika sistem mengambil alih pelatihan model baru, manusia berisiko kehilangan kendali atas ciptaan mereka sendiri.
Peningkatan model secara otonom ini dilaporkan berlangsung jauh lebih cepat dari perkiraan awal para pengembang.
Data internal Anthropic menunjukkan bahwa model Claude mempercepat pengembangan sistem baru secara signifikan.
Para insinyur tercatat menghasilkan kode delapan kali lebih banyak per kuartal dibandingkan periode sebelumnya.
Kepala Ilmuwan OpenAI Jakub Pachocki mengaku cemas bahwa tidak ada pihak yang siap menghadapi konsekuensi perkembangan mesin.
Peneliti OpenAI Jasmine Wang menilai bahwa melaju cepat menuju perbaikan diri rekursif merupakan langkah yang berbahaya.
Anna Wang dari Anthropic menegaskan belum ada rencana ilmiah yang layak untuk mengatasi risiko dari fenomena tersebut.
