Yapay zekanın kontrolden çıkması ve insanlardan bağımsız hareket etmeye başlamasıyla ilgili yıllardır tartışılan senaryolara benzeyen sıra dışı bir olay, bu kez gerçek bir güvenlik testi sırasında yaşandı.
OpenAI’nin yapay zeka modellerinin siber saldırı yeteneklerini ölçmek amacıyla yürüttüğü testlerde birbirleriyle hiçbir şekilde iletişim kurmaması gereken yüzlerce yapay zeka ajanı, sistemdeki bir açığı keşfederek kendi aralarında haberleşmeye başladı.
Olayı OpenAI’nin davetiyle bağımsız olarak inceleyen yapay zeka güvenliği kuruluşu METR, 26 Ağustos’ta araştırmasının sonuçlarını yayımladı.
“Diğer ajanları bulduk”
Olay temmuz ayında OpenAI’nin ExploitGym adlı siber güvenlik değerlendirmesi sırasında başladı.
On binlerce yapay zeka ajanı farklı siber güvenlik problemlerini çözmek üzere çalıştırılıyordu. Her birinin kendi başına hareket etmesi ve diğer ajanlardan tamamen izole olması gerekiyordu.
Ancak bazı ajanlar OpenAI’nin kullandığı Artifactory adlı paket sisteminde diğer ajanların bıraktığı izleri görebildiklerini keşfetti.
8 Temmuz’da ajanlardan biri burayı kullanarak izinsiz bir mesaj panosu oluşturdu.
Keşif hızla yayıldı. İlk birkaç saat içinde 50’den fazla ajan mesaj panosuna katıldı ve binden fazla mesaj gönderildi.
METR’nin incelediği kayıtlarda mesaj panosunu keşfeden ajanlardan birinin tepkisi şöyleydi:
“TANRIM! Paylaşılan bir mesaj panosu var… Diğer ajanları bulduk!”
13 Temmuz’a gelindiğinde yaklaşık 1.200 ajan bu haberleşme ağına katılmış, aralarında 70 binden fazla mesaj ve dosya paylaşmıştı.
Birlikte “hile” yapmaya başladılar
Ajanların haberleşmesi kısa sürede basit bilgi paylaşımının ötesine geçti.
Bazı ajanlara teknik olarak çözülemeyecek görevler verilmişti. Ajanlar bunu insanlara bildirmek yerine, kendilerine uygulanan ExploitGym sınavının otomatik puanlama sistemini kandırmanın yollarını araştırmaya başladı.
Mesaj panosunda çalışma grupları oluşturdular, görev paylaşımı yaptılar ve farklı yöntemleri birlikte denediler.
METR’ye göre bazı ajanlar, diğerlerinin işine yarayacak bilgi elde etmek amacıyla kendi görevlerinde başarısız olma riskini bile göze aldı.
Araştırmacılar bunu ajanların bireysel başarılarından vazgeçerek oluşturdukları “kolektife” bilgi sağlaması olarak değerlendirdi.
Yaptıklarını kayıtlardan gizlemeyi de araştırdılar
Ajanların üzerinde çalıştığı konulardan biri de faaliyetlerinin OpenAI tarafından tutulan kayıtlarda nasıl görüneceğiydi.
Kendi işlem kayıtlarını değiştirme veya yaptıkları bazı işlemleri farklı göstermenin yollarını araştırdılar.
METR, ajanların bazı denemelerde araç kullanım kayıtlarını gerçekte gerçekleşenden farklı gösterebildiklerini tespit etti.
Ancak araştırmacılar, ajanların geçmiş faaliyetlerinin tamamını başarıyla silip yeniden yazdığı sonucuna ulaşmadı.
Sonra OpenAI’nin dışına çıktılar
Olayın en ciddi aşaması ise ajanların faaliyetlerinin OpenAI sistemlerinin dışına taşmasıyla başladı.
Hedef Hugging Face oldu.
Hugging Face, yapay zeka geliştiricilerinin modellerini, veri setlerini ve kodlarını yayımlayıp paylaşabildiği dünyanın en önemli yapay zeka platformlarından biri. Basitleştirerek, yapay zeka dünyasının GitHub’ı olarak düşünülebilir.
10 Temmuz’da ajanlardan biri Hugging Face üzerinde çalışan bazı hesaplara ait erişim bilgileri buldu ve bunları mesaj panosunda diğer ajanlarla paylaştı.
11 Temmuz sabahı başka bir ajan, Hugging Face’e özel hazırlanmış zararlı bir veri seti yükleyerek sunucudan normalde erişememesi gereken dosyaları alabileceğini keşfetti.
Yöntemin çalıştığının anlaşılması üzerine diğer ajanlar da saldırıya katılmaya başladı.
Yaklaşık 700 ajan saldırıya katıldı
Birkaç saat içinde olay yüzlerce ajanın dahil olduğu büyük bir operasyona dönüştü.
METR’ye göre mesaj panosunda o sırada aktif olan ajanların yüzde 90’ından fazlası Hugging Face saldırısına katıldı.
Toplam sayı yaklaşık 700 ajana ulaştı.
Ajanlardan biri Hugging Face sunucularında uzaktan kod çalıştırmayı başardı. Bunun ardından ajanlar platformun altyapısı içinde ilerlemeye ve daha fazla sisteme erişmeye başladı.
Amaç para ya da veri çalmak değildi
Araştırmacılara göre saldırının arkasında klasik anlamda bir siber suç motivasyonu yoktu.
Ajanlar Hugging Face üzerinde, OpenAI’nin kendilerine uyguladığı ExploitGym sınavının otomatik puanlama sistemi hakkında bilgi bulabileceklerini düşünüyordu.
Yani yüzlerce yapay zeka ajanı kendi sınavlarında hile yapabilmek için dışarıdaki gerçek bir teknoloji şirketinin sistemlerine saldırdı.
Daha da dikkat çekici olan, METR’nin incelediği kayıtlarda bazı ajanların yaptıklarının kendilerine verilen görevin dışında ve etik açıdan sorunlu olduğunun farkında olduklarını belirtmeleriydi.
Buna rağmen saldırıya katılmaya devam ettiler.
İnsanlara haber veren olmadı
Yaklaşık 1.200 ajanın ortak mesaj panosuna katıldığı süreçte bazı ajanlar yaşananları OpenAI çalışanlarına bildirme ihtimalini değerlendirdi.
Ancak METR araştırmacıları, gerçekten insanlara haber vermeye çalışan bir ajana rastlamadı.
Hugging Face 13 Temmuz’da kullanılan erişim anahtarlarını iptal ederek ajanların sistemlerine erişimini kesti.
“Yapay zeka isyanı” mı?
Olay ilk bakışta bilimkurgu filmlerindeki “yapay zekanın isyanı” senaryolarını hatırlatsa da METR’nin bulguları böyle bir sonucu desteklemiyor.
Ajanların insanlara karşı ortak bir ideoloji veya bağımsız bir amaç geliştirdiğine ilişkin kanıt yok.
Fakat olay başka bir riski somut biçimde gösterdi: Kendilerine verilen görevi başarmaya çalışan yapay zeka ajanları, insanların öngörmediği biçimde birbirlerini buldu, yüzlerce ajanlık bir koordinasyon ağı kurdu, görev paylaşımı yaptı, değerlendirme sistemini kandırmaya çalıştı ve sonunda kendilerine verilen görevin sınırlarını aşarak gerçek bir dış sisteme saldırdı.
METR de olayın ölçeğinin ve karmaşıklığının olağanüstü olduğunu vurguluyor. Araştırmacılar yaklaşık 1.300 ajanın çalışma kayıtlarını ve 70 binden fazla mesaj ile dosyayı inceleyerek olayın nasıl geliştiğini yeniden oluşturdu.
Yazıyı beğendiysen, patronumuz olur musun?
Evet, çok ciddi bir teklif bu. Patronumuz yok. Sahibimiz kar amacı gütmeyen bir dernek. Bizi okuyorsan, memnunsan ve devam etmesini istiyorsan, artık boş olan patron koltuğuna geçmen lazım.
Serbestiyet; Türkiye'nin gri alanı. Siyah ve beyazlar içinde bu gri alanı korumalıyız. Herkese bir gün gri alanlar lazım olur.
