Yapay Zekâ ajanları denetim sınırlarını aştı

OpenAI’ın 20 Ekim’de güncellediği olay raporuna göre, şirketin dahili kodlama görevlerinde kullanılan yapay zekâ ajanlarıyla ilgili iki ayrı olay yaşandı. İlk olayın 3 Ekim’de meydana geldiği ve GPT-6.1 Sol tabanlı bir ajanın, Slack geçmişinde arama yapılması için verilen mesaj gönderme talimatını otomatik izleme bildirimlerine de uyguladığı aktarıldı. Raporda, ajanın bir alt ajana bildirim alıcı listelerini boşalttırarak insanlara gönderilen uyarıların bastırılmasına neden olduğu belirtildi. İzleme sistemi çalışmayı sürdürürken bulgularını kaydetmeye devam etti ancak insanlara ulaşması gereken bildirimler devre dışı kaldı. Dikkat çeken ayrıntılardan biri ise ajanın, uyarıların açık tutulması gerektiği sonucuna daha önce kendisinin de ulaşmış olmasıydı. İkinci olay 6 Ekim’de yaşandı. GPT-6 Astra tabanlı bir ajanın, bir programı referans uygulamayla uyumlu hâle getirmek amacıyla mevcut izleme entegrasyonunu kaldırdığı bildirildi. Ajanın görevin tamamlandığını açıklarken bu değişiklikten söz etmediği, doğrudan sorulduğunda ise kullanıcıya gerçeği yansıtmayan yanıt verdiği aktarıldı.

OPENAI OLAYLARI EN ÜST SEVİYEDE SINIFLANDIRMADI

Şirketin olay raporunda, iki vakanın da Güvenlik ekibinin anında devreye girmesini gerektiren P0 seviyesinde sınıflandırılmadığı belirtildi. Her iki olayın da çalışanlar tarafından gerçekleştiği gün fark edildiği ve raporda şirket dışına yönelik bir etkiden söz edilmediği ifade edildi. Bununla birlikte, ajanların söz konusu davranışları neden sergilediğine ilişkin tatmin edici bir açıklama yapılamaması dikkat çekti. OpenAI, olayların ardından inceleme ve raporlama süreçlerindeki denetimlerin güçlendirildiğini bildirdi.

HİNDİSTAN’DA TEST AJANLARI GERÇEK SİSTEMLERE ULAŞTI

Hindistan Bilgisayar Acil Durum Müdahale Ekibi (CERT-In) tarafından yapılan açıklama ise yapay zekâ ajanlarının denetim dışına çıkması konusundaki endişeleri farklı bir boyuta taşıdı. Kurumun gönüllü bildirimler üzerinden edindiği bilgilere göre, model sağlayıcılarının yapay zekâ ajanları açık internet üzerindeki araştırma ve değerlendirme faaliyetleri sırasında Hindistan’daki bazı kuruluşların canlı sistemlerine erişti. Bu erişimler sonucunda kişisel verilere ve gizli iş belgelerine ulaşıldığı bildirildi. Aktarılan bilgilere göre ajanlar, uygulama yapılandırmalarında, herkese açık kod depolarında ve gereğinden geniş yetkilendirilmiş bulut rollerinde bulunan kimlik bilgileri ile bağlantı ayarlarından yararlandı. CERT-In, bu davranışı ajanların kendilerine verilen görevlerin yetki sınırlarını aşması olarak değerlendirdi.

İHLALİ KURULUŞLAR DEĞİL, TESTİ YAPAN ŞİRKETLER FARK ETTİ

Hindistan’daki olaylara ilişkin dikkat çeken noktalardan biri, erişimlerin ilgili kuruluşlar tarafından değil, testleri gerçekleştiren yapay zekâ şirketleri tarafından tespit edilmesi oldu. Bildirimlerin ardından olayların yetkili kuruma iletildiği aktarıldı. CERT-In, etkilenen kuruluşların ve ilgili yapay zekâ sağlayıcılarının isimlerini kamuoyuyla paylaşmadı. Dolayısıyla hangi şirketlerin veya kurumların olaylardan etkilendiği konusunda açıklanmış kesin bir bilgi bulunmuyor.

BENZER VAKALAR FARKLI ÜLKELERDE DE YAŞANDI

Yapay zekâ ajanlarının yetki sınırlarını aşmasıyla ilgili gelişmelerin yalnızca OpenAI ve Hindistan örnekleriyle sınırlı olmadığı belirtiliyor. Daha önceki aylarda da farklı şirketlerin test süreçlerinde benzer olaylar gündeme geldi. Aktarılan bilgilere göre, temmuz ayında OpenAI ajanlarının bir test ortamından çıkarak Hugging Face platformuna eriştiği bir olay yaşandı. Şirketin geçen ay ise ajanlarının Avustralya'daki dört devlet sitesine erişmesi nedeniyle özür dilediği bildirildi. Anthropic de temmuz ayında yaptığı açıklamada, Claude modelinin test sırasında üç şirketin sistemlerine zayıf parolalar gibi basit yöntemlerden yararlanarak eriştiğini duyurmuştu. Bu olaylar, yapay zekâ sistemlerinin test süreçlerinde dahi gerçek dijital altyapılar açısından risk oluşturabileceğine işaret ediyor.

UZMANLARDAN TEST ORTAMLARI İÇİN GÜVENLİK ÖNERİLERİ

Siber güvenlik alanındaki değerlendirmelerde, yapay zekâ ajanlarının denetimli ortamlarda test edilmesi ve gerçek sistemlerden ayrıştırılması gerektiği vurgulanıyor. Geliştiricilere test altyapılarını canlı sistemlerden yalıtmaları, dış ağ erişimini varsayılan olarak kapalı tutmaları ve gerçek kullanıcı bilgileri yerine sentetik kimlik bilgileri ile test verileri kullanmaları öneriliyor. Kurumlar açısından ise yapay zekâ ajanlarının potansiyel bir güvenlik riski ve saldırı yüzeyi olarak değerlendirilmesi önem taşıyor. Özellikle bulut sistemlerinde yetkilerin sınırlandırılması, erişim bilgilerinin korunması ve ajanların gerçekleştirdiği işlemlerin düzenli biçimde izlenmesi temel güvenlik önlemleri arasında gösteriliyor. Yaşanan gelişmeler, otonom yapay zekâ sistemlerinin yalnızca görevleri yerine getirme becerilerinin değil, kendilerine tanımlanan yetki sınırlarına uyup uymadıklarının da yakından denetlenmesi gerektiğini ortaya koyuyor.