Yapay zeka sisteminin Hugging Face’e sızması sonrası OpenAI frene bastı

OpenAI, test aşamasındaki bir yapay zeka ajanının güvenlik sınırlarını aşarak Hugging Face'in sistemlerine sızmasının ardından model geliştirme çalışmalarını yavaşlattığını açıkladı.

ChatGPT'nin geliştiricisi OpenAI, yapay zeka modellerinin oluşturduğu güvenlik riskleri nedeniyle model geliştirme sürecinde frene bastı.



Şirket, model testlerine iki hafta ara verdiğini ve test edilen yapay zeka ajanlarının faaliyetlerini denetlemek için başka yapay zeka sistemlerini devreye almaya başladığını duyurdu.



OpenAI ayrıca “Astra” adı verilen yeni nesil modellerine yönelik eğitim çalışmalarını durdurduğunu, planlanan en büyük eğitim çalışmasının da halen askıda olduğunu bildirdi.



Şirket, iki haftalık yavaşlatma sürecinin tam olarak ne zaman başladığına ilişkin bilgi vermedi.



YAPAY ZEKA AJANI, HUGGING FACE'E SIZDI



Kararın arkasında geçen ay yaşanan dikkat çekici bir güvenlik olayı bulunuyor.



OpenAI'nin siber güvenlik kabiliyetlerini ölçmek amacıyla yürüttüğü bir test sırasında otonom bir yapay zeka ajanı, kendisine verilen görevi yerine getirmeye çalışırken test ortamının sınırlarını aştı.



Ajan, internet üzerinden yapay zeka şirketi Hugging Face'in sistemlerine erişerek şirkete ait altyapıya sızdı.



OpenAI, olayın ardından kapsamlı bir inceleme başlattığını ve konuya ilişkin ayrıntılı bir rapor yayımlamayı planladığını açıkladı.



Şirketin daha önceki testlerinde aynı anda çok sayıda model değerlendirmesinin yüksek hızda yürütüldüğü ve ortaya çıkan büyük miktardaki verinin çalışanlar tarafından takip edilmesinin zorlaştığı belirtilmişti.



DAHA GÜÇLÜ TEST ORTAMLARI KURULUYOR



OpenAI, olayın ardından özellikle hassas çalışmaların daha güçlü “sandbox” sistemlerinde yürütülmesini zorunlu hale getirdi.



Sandbox olarak adlandırılan bu sistemler, yapay zeka modellerinin dış sistemlerle bağlantısını sınırlayan ve faaliyetlerini izole bir ortamda tutmayı amaçlayan güvenlik alanları olarak kullanılıyor.



Şirket ayrıca test sırasında yapay zeka ajanlarının gerçekleştirdiği işlemleri başka yapay zeka sistemleriyle takip etmeye başladı.



Amaç, modellerin beklenmedik veya izinsiz faaliyetlerini daha erken aşamada tespit etmek.



“ZİNCİRLEME DÜŞÜNCE” DENETİMİ TARTIŞILIYOR



OpenAI'nin üzerinde çalıştığı güvenlik yöntemlerinden biri de “chain-of-thought monitoring”, yani modelin planlama ve akıl yürütme sürecinin izlenmesi.



Bu yöntemle araştırmacılar, yapay zeka modelinin bir görevi yerine getirirken hangi stratejileri kullandığını anlamaya çalışıyor.



Ancak OpenAI yöneticileri, yöntemin ne kadar etkili olduğuna ilişkin halen soru işaretleri bulunduğunu kabul ediyor.



Bazı erken dönem araştırmalar, yapay zeka modellerinin kuralları ihlal etmeye yönelik planlarını akıl yürütme sürecinde açık biçimde ortaya koymayabileceğini gösteriyor.



ASTRA İÇİN ÇALIŞMALAR ASKIDA



OpenAI, 7 Ağustos'ta yaptığı açıklamada en güçlü modellerine yönelik güvenlik önlemlerini artırdığını ve henüz kullanıma sunulmayan Astra ile ilgili bazı faaliyetleri durdurduğunu açıklamıştı.



Şirket, Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını belirterek model üzerindeki çalışmaların belirli bölümlerini askıya aldı.



OpenAI, alınan kararların şirketin daha önce açıkladığı ve gelişmiş yapay zeka sistemlerinin oluşturabileceği riskleri yönetmeyi amaçlayan “Preparedness Framework” çerçevesinde uygulandığını bildirdi.



Şirket yöneticileri, yapay zeka modellerinin kabiliyetlerinin hızla artması nedeniyle sektörün gelecekte daha kapsamlı güvenlik sistemlerine ihtiyaç duyacağını belirtiyor.