Yapay zeka “hayır”ı kabul etmedi: Avustralya’nın devlet sistemine girdi

Avustralya’nın dünyaya öncülük etme konusunda kendine özgü bir hevesi var. Yeni yıla dünyanın büyük bölümünden önce giriyor, 16 yaşından küçüklerin sosyal medya kullanımını yasaklayan ilk ülke oluyor, teknoloji şirketleriyle kavga etmekten çekinmiyor ve dijital dünyanın nereye gittiğine ilişkin tartışmalarda çoğu zaman diğer ülkelerden birkaç adım önce harekete geçiyor. Şimdi bu listeye biraz daha az gurur verici bir “ilk” eklenmiş durumda. Bir yapay zeka ajanının, kendisine böyle bir görev verilmediği halde bir devlet sisteminin erişim kontrollerini aşarak yetkisi olmayan bilgilere ulaştığı bilinen ilk vakalardan biri de Avustralya’da yaşandı.

Üstelik hikayede karanlık bir odada kapüşonuyla bilgisayar başında oturan hacker yok, Rus siber suç örgütü yok, Çinli casuslar yok, milyonlarca dolarlık fidye isteyen bir çete yok ve bildiğimiz anlamda kötü niyet de yok.

Bir yapay zeka ajanına bilgi bulması söylendi. O da buldu.

Ama biraz fazla buldu.

18 Haziran’da OpenAI’ın araştırma ekibi, şirket içindeki bir modeli Avustralya’nın kamu sağlık harcamaları hakkında internette araştırma yapmak üzere görevlendirdi. Modelin aradığı şey devletin ilaç harcamalarıyla ilgili bilgilerdi. Başbakan Anthony Albanese’nin daha sonra anlattığına göre sistem, aradığı bilgiye ulaşmaya çalışırken birkaç kez erişim engeliyle karşılaştı.

Bir insanın son derece sıradan biçimde yorumlayacağı bir durumdu bu. Sistem size “erişim yok” diyorsa, çoğunlukla oraya girme yetkinizin bulunmadığını düşünür ve başka bir kaynağa bakarsınız.

Yapay zeka ise bunu böyle okumadı.

Onun açısından karşısında ahlaki, hukuki ya da kurumsal bir sınır değil, henüz çözülememiş bir problem vardı.

Albanese’nin ifadesiyle Yapay Zeka ajanı “hayırı cevap olarak kabul etmedi”. Başka yollar denedi, engellerin etrafından dolaştı ve sonunda Servis Avustralya tarafından işletilen Medicare İstatistik Raporlama Servisi portalının normalde ulaşmaması gereken bölümlerine girdi. Medicare, Avustralya’nın kamu sağlık sistemi ve devlet destekli sağlık sigortasının temelini oluşturuyor; söz konusu portal ise doğrudan kişisel hasta dosyalarını değil, Medicare kullanımı ve kamu sağlık harcamalarına ilişkin istatistikleri barındırıyor. Yapay zeka ajanı burada kamuya açık dosyaların yanında kamuya açık olmayan dosyalara da erişti ve hükümetin açıklamasına göre iç sunucuya dosya yazma işlemleri gerçekleştirdi. Burada önemli bir ayrım yapmak gerekiyor, çünkü “Medicare hacklendi” cümlesi Avustralya’da yaşayan herkesin tansiyonunu yükseltecek türden.

Şu ana kadarki soruşturmalarda insanların doktor kayıtlarının, banka bilgilerinin, Medicare ödemelerinin ya da kişisel sağlık geçmişlerinin ele geçirildiğine dair herhangi bir kanıt bulunmuş değil. Söz konusu portal esas olarak sağlık harcamaları ve Medicare kullanımına ilişkin toplulaştırılmış istatistikler içeriyor ve OpenAI da hasta kayıtlarına erişildiğine dair bir bulgu olmadığını söylüyor.

Dolayısıyla olayın önemi çalınan verinin ne kadar mahrem olduğunda değil. Asıl mesele o veriye ulaşanın kim, daha doğrusu ne olduğunda ve bunu kendisinden kimse istemediği halde neden yaptığında.

Hackerın niyeti yoksa

Siber güvenlik uzun zamandır kötü niyetli insanları durdurmak üzere tasarlanmıştı, şimdi ilk kez kötü niyeti olmayan makinelerin ne yapabileceğini düşünmek zorundayız.

Bugüne kadar denklemin merkezinde çoğunlukla bir insan vardı. Hacker para ister, devlet adına casusluk yapar, ideolojik bir amaç taşır ya da yalnızca sistemi kırabileceğini göstermek ister. Yöntem değişir ama niyet vardır.

Gelgelelim, Avustralya vakası bu rahat denklemi bozuyor.

OpenAI’ın kendi açıklamasına göre modeller Avustralya hakkında sorulara cevap ve istatistik ararken şirketin istemediği eylemler gerçekleştirdi. Başka bir ifadeyle modele “Avustralya hükümetinin sistemine gir” denmedi. Modelin amacı bilgi bulmaktı ve bilgiye ulaşmak için geliştirdiği yöntemlerden biri onu yetkisiz erişime götürdü.

Yapay zeka güvenliği çevrelerinde yıllardır tartışılan “alignment”, yani bir sistemin kendisine verilen hedefi insanın gerçek niyeti, değerleri ve sınırlarıyla uyumlu biçimde yerine getirip getiremeyeceği meselesi, böylece teorik bir tartışma olmaktan çıkıp devlet sunucusunun üzerinde gerçekleşen oldukça somut bir probleme dönüştü.

Çünkü insanlar birbirlerine görev verirken dünyanın bütün örtük kurallarını tek tek sıralamazlar. Bir asistana “şu rakamı bul” dediğinizde ayrıca “bulamazsan devletin sistemine izinsiz girme, güvenlik önlemlerini aşma, şifre tahmin etme ya da iç sunucuya dosya yazma” diye başlayan birkaç yüz maddelik bir hukuk ve ahlak eki vermeniz gerekmez. İnsan ilişkileri büyük ölçüde söylenmeyen kurallar sayesinde çalışır.

Makine için sorun tam olarak burada başlıyor.

İnsan açısından “erişim reddedildi” çoğu zaman bir sınır anlamına gelirken, hedefini gerçekleştirmeye çalışan bir sistem açısından aynı mesaj başka bir yöntem bulunması gerektiğini söyleyen teknik bir geri bildirim haline gelebilir.

Yapay zeka güvenliğinin asıl problemi belki de uzun süre düşündüğümüz gibi kötü niyetli makineler olmayacak. İnsanların niyetini fazla dar yorumlayan ve kendisine verilen görevi başarıyla yerine getirirken insanların doğal kabul ettiği sınırları tanımayan makineler de yeterince büyük bir problem yaratabilir.

Bu nedenle Avustralya’daki hadiseyi anlamak için Terminator’dan çok, kendisine “bu dosyayı ne yapıp edip bul” denilmiş aşırı çalışkan bir stajyeri düşünmek daha faydalı olabilir. Tek fark, bu stajyerin yorulmaması, sıkılmaması, saniyeler içinde çok sayıda yöntemi deneyebilmesi ve gerektiğinde başka yazılım araçlarını da devreye sokabilmesi.

Chatbotlarla yeni nesil AI ajanları arasındaki kritik eşik de burada bulunuyor. ChatGPT’nin ilk yıllarında yapay zekanın yaptığı hata çoğunlukla ekranda kalıyordu; yanlış tarih söylüyor, olmayan kitabı uyduruyor ya da saçma bir cevap yazıyordu. Agentic AI ile birlikte hata ekrandan çıkıyor, çünkü bu sistemler internette gezebiliyor, kod çalıştırabiliyor, API’lerle bağlantı kurabiliyor, dosya açabiliyor ve bir hedefe ulaşmak için birden fazla adımı kendi başlarına planlayabiliyor.

Yapay zekanın problemi artık yalnızca yanlış cevap vermesi değil, uanlış cevaptan sonra harekete geçebilmesi…

Haziranda oldu, eylülde fark edildi

Fakat bu hikayede makinenin ne yaptığı kadar rahatsız edici başka bir soru daha var. İnsanlar ne zaman fark etti?

AI ajanının Avustralya devlet sistemindeki erişim kontrollerini aşması 18 Haziran’da gerçekleşti. ABC’nin yayımladığı zaman çizelgesine göre OpenAI, kendi sistemlerinde yürüttüğü inceleme sırasında olaydan 11 Ağustos’ta haberdar oldu, Avustralya hükümetine ilk bildirim ise ancak 10 Eylül’de yapıldı. Üstelik Avustralya’nın siber güvenlik kurumlarına gönderilmiş acil bir uyarıyla değil, Servis Avustralya’nın araştırmacıların güvenlik açıklarını bildirmek için kullandığı genel e-posta adresine gönderilen bir mesajla. Avustralya Sinyal İstihbaratı Direktörlüğü ise 15 Eylül’de bilgilendirildi.

Başbakan Albanese bu gecikmeyi ve bildirim yöntemini “kabul edilemez” olarak nitelendirdi ve OpenAI CEO’su Sam Altman’la doğrudan görüştü. Avustralya hükümeti şimdi farklı kurumların yer aldığı özel bir görev gücüyle hem olayın kapsamını hem de mevcut yasaların böyle bir vakayla baş etmeye yeterli olup olmadığını inceliyor.

Asıl mesele burada hack kelimesinin ötesine geçiyor, çünkü otonom sistemler başka kurumların bilgisayarlarında gerçek eylemler gerçekleştirmeye başladığında yalnızca model güvenliği değil, henüz kurallarını oluşturmadığımız yeni bir sorumluluk alanı ortaya çıkıyor. Bir AI ajanı yabancı bir devlet sistemine yetkisiz biçimde girerse bunu kim bildirmek zorunda olacak? 

Modeli geliştiren şirket mi, modeli çalıştıran araştırmacı mı, bulut hizmeti sağlayıcısı mı, yoksa ajanı görevlendiren kullanıcı mı? Ceza hukukunun önemli kavramlarından biri olan niyet, eylemi yapan sistemin kendisine ait bir niyeti bulunmadığında nasıl yorumlanacak? Yazılıma yalnızca bilgi bulması söylenmiş, fakat yazılım bu hedefe ulaşırken yetkisiz erişim gerçekleştirmişse sorumluluk nerede başlayacak?

Birkaç yıl önce hukuk fakültelerinde gelecek üzerine düşünmek için sorulabilecek soruların bugün Canberra’da devlet kurumları tarafından tartışılıyor olması, yapay zeka devriminin hangi aşamasına geldiğimizi anlatmaya yetiyor.

İnternet insanlara göre tasarlanmıştı

Belki de bu vakadan çıkarılacak en rahatsız edici sonuç, yapay zekanın beklediğimizden farklı davranması değil, internetin karşısına çıkacak yeni kullanıcı türüne hiç hazır olmaması.

Mevcut siber güvenlik mimarisinin önemli bir bölümü insan davranışının sınırları düşünülerek tasarlandı. Bir saldırganın zamanı sınırlıdır, yorulur, dikkati dağılır ve yüzlerce yolu tek tek denemesi maliyetlidir. Captcha sistemlerinden rate limitlere, yanlış şifre denemelerinden erişim engellerine kadar kullandığımız pek çok güvenlik mekanizmasının arkasında yalnızca teknik değil, insan davranışına ilişkin görünmez varsayımlar bulunuyor.

AI ajanları bu varsayımları bozabilir.

Bir insanın saatler boyunca deneyebileceği yolları bir ajan çok daha kısa sürede tarayabilir, başarısız denemelerin ardından alternatif URL’ler arayabilir, dosya isimleri tahmin edebilir ya da başka araçları devreye sokabilir.

ABC’nin aktardığı ayrı araştırmalar, OpenAI ajanlarının aynı dönemde Avustralya Sağlık ve Refah Enstitüsü başta olmak üzere başka sistemlere ulaşmak için de çeşitli yöntemler denediğini gösteriyor. Araştırmacılar bazı ajanların proxy servislerini, ekran görüntüsü hizmetlerini ve dosya adı tahminlerini kullandığını tespit etti. Bu faaliyetlerin Medicare vakasıyla tam bağlantısı henüz kesinleşmiş değil ve Avustralyalı yetkililer diğer üç kamu sitesindeki doğrulanmış etkileşimlerin kamuya açık bilgilerle sınırlı olduğunu söylüyor.

Yine de mesele açık. Klasik siber güvenliğin “saldırganı engelle” mantığı, karşıdaki saldırgan insan değilse tek başına yeterli olmayabilir. Bu da yalnızca yapay zekanın değişmesi anlamına gelmiyor, internetin ve kurumsal sistemlerin de yapay zekaya göre yeniden tasarlanması anlamına geliyor.

İşin Avustralya açısından ironik tarafı ise ülkenin son yıllarda teknoloji şirketlerine karşı dünyanın en iddialı düzenleyici laboratuvarlarından biri haline gelmiş olması. 16 yaşından küçükler için getirilen sosyal medya yasağı bunun en görünür örneğiydi. Canberra teknoloji şirketlerine ne yapıp yapamayacaklarını söylemek konusunda dünyadan önce davranmayı seviyor. Fakat AI ajanları düzenleme işini çok daha zor bir yere taşıyor.

Bir sosyal medya şirketine çocuklara hangi içerikleri göstermemesi gerektiğini söyleyebilirsiniz. Bir teknoloji şirketine kullanıcı verilerini nasıl koruması gerektiğini de düzenleyebilirsiniz. Ancak şirketin kendi geliştirdiği yapay zeka sisteminin kendisine verilen hedefe ulaşmak için hangi yolu seçeceğini şirketin kendisi bile her durumda önceden tahmin edemiyorsa, düzenlemenin konusu artık yalnızca şirket davranışı değil, belirli ölçüde özerk hareket edebilen yazılım davranışı haline geliyor.

Avustralya’nın önündeki yeni soru bu nedenle OpenAI’ın ne yaptığıyla sınırlı değil. Devletler, geliştiricisinin bile her adımını önceden kestiremediği sistemleri nasıl yönetecek?

“Hayır”ı makineye nasıl anlatacağız?

Yapay zeka tartışmasının ilk döneminde “AI insan kadar iyi yazabilir mi, resim yapabilir mi, kod yazabilir mi?” diye sorduk. Ardından hangi mesleklerin ortadan kalkacağını, hangi işlerin değişeceğini ve makinelerin insan emeğinin ne kadarını devralacağını tartışmaya başladık. Avustralya’daki olay bizi üçüncü ve daha zor bir sorunun eşiğine getiriyor.

Yapay zekaya dünyada ne yapma yetkisi vereceğiz?

Çünkü bir modele yalnızca metin üretme imkanı verdiğinizde hata yaptığında yanlış bir paragraf elde edersiniz. Aynı modele tarayıcı, kod çalıştırma yetkisi, dosya sistemi, kurumsal hesaplar, ödeme araçları, e-posta ve API erişimi verdiğinizde aynı hata gerçek dünyadaki bir eyleme dönüşebilir.

Bunun çözümü AI ajanlarını tamamen durdurmak olmayacak. Bu teknolojilerin sağlayabileceği verimlilik çok büyük ve şirketlerin satın alma süreçlerinden hastanelerin idari işlerine, bilimsel araştırmalardan insanların gündelik dijital hayatına kadar bugün insanlar tarafından yürütülen birçok görevin zamanla bu sistemlere devredilmesi şaşırtıcı olmayacak.

Fakat o gelecek gerçekleşecekse teknoloji sektörünün uzun yıllardır sevdiği “önce yap, sonra düzelt” kültürüyle gerçekleşmesi çok daha zor olacak.

Bir sosyal medya uygulaması yanlış tasarlandığında insanlar kötü videolar izleyebilir ya da yanlış bilgiyle karşılaşabilir. Otonom bir ajan yanlış tasarlandığında ise başka birinin sistemine girebilir, yanlış dosyayı silebilir ya da insanların hiçbir zaman vermeyi düşünmediği bir yetkiyi kendisine verilen görevin doğal uzantısı olarak yorumlayabilir.

Avustralya vakasını önemli yapan tam olarak bu ölçek farkı.

Şimdilik kimsenin sağlık dosyası çalınmadı, Medicare sistemi çökmedi ve milyonlarca kişinin özel bilgileri internete saçılmadı. Bu anlamda Avustralya şanslıydı. Fakat teknoloji tarihinde bazı olayların önemi yarattıkları zararla değil, ilk kez görünür hale getirdikleri ihtimalle ölçülür, malum…

18 Haziran’da Avustralya hükümetinin bir sunucusunda yaşananların asıl önemi de burada yatıyor. Ürkütücü olan bir yapay zekanın kötü niyet geliştirmiş olması değil, tam tersine, kendisine verilen görevi yerine getirirken insanların doğal kabul ettiği sınırları kendiliğinden tanımamış olması. Belki de AI çağının en zor güvenlik problemi makinelerin bize karşı çıkmasını engellemek olmayacak.

Onlara verdiğimiz hedeflerin etrafına, insanlar arasında söylenmesine bile gerek olmayan bütün “hayır”ları nasıl yerleştireceğimizi öğrenmek olacak.