- Sistem Control Room dapat menghentikan beban kerja model AI berisiko dalam 35 detik.
- Sistem ini secara proaktif mencegah perilaku model yang tidak pantas dan bekerja sama dengan sistem yang ada.
- Mesin inferensi akan memverifikasi apakah pekerjaan terkait diizinkan untuk dijalankan sebelum memproses permintaan.
- OpenAI sedang berupaya mengurangi waktu keterlambatan antara perintah penghentian dan pencegahan kemajuan lebih lanjut.
OpenAI telah menerapkan sistem kontrol terpusat bernama Control Room, yang dirancang untuk menghentikan beban kerja model AI berisiko dalam infrastruktur penelitian mereka. Sistem ini dirancang untuk menghentikan keluaran model lebih lanjut dalam waktu 35 detik setelah keputusan untuk melakukan intervensi. Tujuan dari sistem ini adalah untuk memperkuat keamanan, karena model AI yang semakin kuat membawa risiko keamanan dan perlindungan yang lebih besar. Control Room menghubungkan beban kerja penelitian, termasuk pelatihan model berbasis agen, evaluasi, dan tugas pemrosesan data, dan mengontrol apakah mereka dapat terus menghasilkan keluaran.
Fungsi dan Operasi Control Room
Berbeda dengan sistem pemantauan tradisional yang terutama menandai perilaku mencurigakan, Control Room dapat secara proaktif mencegah beban kerja penelitian dari mendapatkan keluaran model tambahan. Sistem ini bekerja sama dengan sistem yang ada di OpenAI untuk memantau perilaku model yang tidak pantas. Perusahaan menyatakan bahwa Control Room telah diterapkan di infrastruktur penelitian mereka dan beroperasi di tempat yang paling mendesak membutuhkan intervensi. Infrastruktur layanan model eksternal mereka lebih terpusat dan telah dilengkapi dengan mekanisme untuk menutup penerapan model jika diperlukan.
Control Room menghubungkan tiga komponen utama: beban kerja penelitian, mesin inferensi, dan layanan Control Room pusat. Beban kerja mengacu pada tugas penelitian, seperti eksperimen pembelajaran penguatan, evaluasi, atau tugas pemrosesan data berkapasitas tinggi. Setiap beban kerja penelitian yang menjalankan inferensi harus terkait dengan kasus keamanan yang disetujui. Ketika peneliti memulai tugas, kode tersebut akan meminta ID kerja unik dari Control Room. ID ini akan dilampirkan pada permintaan yang dikirim ke mesin inferensi, yang akan menjalankan model secara langsung di GPU dan menghasilkan keluaran.
OpenAI membangun Control Room, sebuah sistem pusat untuk melacak beban kerja model dan dengan cepat menghentikannya saat muncul masalah keamanan atau perlindungan. Sistem ini menghubungkan setiap beban kerja inferensi penelitian, termasuk pengambilan sampel agen yang digunakan untuk pelatihan dan evaluasi model, data...
Sebelum memenuhi permintaan inferensi, mesin inferensi akan mengonfirmasi dengan Control Room bahwa pekerjaan terkait masih diizinkan untuk dijalankan. Jika peneliti atau sistem pemantauan telah menginstruksikan Control Room untuk menghentikan pekerjaan tersebut, layanan ini akan menolak permintaan inferensi berikutnya. Selanjutnya, mesin tersebut akan menolak untuk menghasilkan keluaran model lebih lanjut untuk beban kerja tersebut. Penting untuk dicatat bahwa proses penelitian itu sendiri tidak harus dihentikan. Kode tersebut mungkin terus berjalan, tetapi tidak dapat lagi mendapatkan keluaran model tambahan melalui mesin inferensi yang diizinkan. Pendekatan ini juga menghindari ketergantungan pada kode beban kerja peneliti untuk menerapkan pemeriksaan keamanan dengan benar.
OpenAI menempatkan mekanisme otorisasi kunci di lapisan inferensi, di mana jalur kode lebih sedikit dan dikelola dengan lebih terpusat.
Desain Mekanisme Pemadaman
Control Room dirancang untuk tetap efektif bahkan jika komponen infrastruktur lainnya mengalami kegagalan. Mekanisme pemadaman ini juga akan mencegah permintaan inferensi saat layanan Control Room itu sendiri tidak tersedia. Ini berarti bahwa kegagalan teknis, penonaktifan yang disengaja, atau potensi manipulasi layanan pusat akan menyebabkan mesin inferensi menolak permintaan hingga sistem beroperasi normal kembali. OpenAI menyatakan bahwa waktu maksimum keterlambatan dari penerimaan perintah penghentian hingga pencegahan kemajuan lebih lanjut adalah 35 detik. Keterlambatan ini berasal dari lapisan cache yang digunakan untuk memproses jumlah permintaan otorisasi inferensi.
Perusahaan sedang berupaya mengurangi interval waktu ini menjadi nol. Sistem ini juga terintegrasi dengan pemantauan otomatis. OpenAI menyatakan bahwa semua tugas pembelajaran penguatan terdepan akan menjalankan sistem pemantauan berbasis model yang terpisah, yang memeriksa perilaku model dan dapat mengeluarkan peringatan saat mendeteksi masalah potensial. Jika peringatan memerlukan intervensi, sistem pemantauan dapat menginstruksikan Control Room untuk menghentikan tugas terkait. Pada saat itu, layanan ini akan mencegah permintaan inferensi berikutnya untuk model atau mesin yang digunakan untuk beban kerja tersebut.
Perusahaan menyebutkan baru-baru ini tentang peristiwa terkait DNS, di mana salah satu sistem pemantauan mendeteksi seorang agen mencoba mengakses chatbot eksternal, sebagai contoh pentingnya perlindungan ini. Control Room adalah bagian dari pendekatan lebih luas OpenAI untuk memastikan pengembangan model terdepan. Perusahaan menyatakan akan terus memperkuat sistem pemantauan mereka dan langkah-langkah untuk mencegah perilaku tidak pantas serta kerentanan keamanan.
Pentingnya Control Room untuk Keamanan AI
Desain Control Room menunjukkan perhatian OpenAI terhadap keamanan AI, terutama dalam menghadapi risiko yang semakin meningkat. Sistem ini tidak hanya dapat dengan cepat menghentikan model berbahaya yang potensial, tetapi juga secara proaktif memantau perilaku tidak pantas, memastikan keamanan proses penelitian. Seiring dengan perkembangan teknologi AI yang cepat, langkah-langkah keamanan semacam ini menjadi semakin penting, karena mereka dapat secara efektif mengurangi risiko yang ditimbulkan oleh kegagalan teknis atau penggunaan yang tidak pantas. Upaya OpenAI bukan hanya penguatan pemantauan internal, tetapi juga respons terhadap kepercayaan publik terhadap teknologi mereka.

