Yapay zekadaki arka kapı saldırılarına karşı üç yeni savunma tekniği geliştirildi

North Carolina State University'deki araştırmacılar, yapay zeka modellerine gizlice yerleştirilen "arka kapı" saldırılarını dağıtımdan önce etkisiz hale getirmeyi hedefleyen üç yeni teknik tanıttı. Ekip ayrıca aynı mantığı tersine çevirip kullanıcılar için ek bir güvenlik katmanı oluşturacak bir kavram da önerdi. Çalışmalar dört ayrı makalede anlatılıyor.

Arka kapı saldırısı nedir?

Arka kapı saldırısında biri modele gizli bir "tetikleyici" yerleştirir. Tetikleyici devreye girdiğinde model, saldırganın istediği belirli eylemleri yapmaya zorlanır. Çalışmanın sorumlu yazarı ve bilgisayar bilimleri yardımcı doçenti Jung-Eun Kim'e göre asıl sorun, tetikleyici yokken modelin tamamen normal davranması. Bu yüzden arka kapı, olağan kullanımda ya da testlerde fark edilmiyor. Tetikleyici çalıştığında ise istenmeyen metinler üretilebiliyor ya da zararlı komutlar yürütülebiliyor.

Kim, yapay zeka modellerinin finansal işlemlerden yazılım geliştirmeye kadar çok geniş bir alanda kullanıldığını hatırlatıyor. Bu nedenle davranışların dışarıdan kontrol edilebilmesini önemli bir zafiyet olarak tanımlıyor.

Risk, modellerin yeni görevlere uyarlanması için yapılan ince ayarla da büyüyor. İnce ayar, modelin ek veri kümeleriyle yeniden eğitilmesi anlamına geliyor. Bu süreç, modelin öğrendiği işleve göre özelleştirilmiş arka kapılar için yeni fırsatlar yaratıyor.

Üç düzeyde müdahale

Makalelerin ilk yazarı, doktora öğrencisi Jianwei Li, arka kapıların tetikleyici etkinleşene kadar tespit edilmesinin zor olduğunu belirtiyor. Amaçları, saldırıları model kullanıma sunulmadan önce önlemek. Bunun için modelin üç düzeyine bakıldı: öznitelikler, mimari ve ağırlıklar.

Li'nin tanımına göre ağırlıklar modeli oluşturan parametreler, öznitelikler modelin veriyi içeride temsil etme biçimi, mimari ise modelin iç işleyiş bileşenleri. Ekip her üç düzeyde de arka kapıyı kaldıran ya da etkisini azaltan teknikler geliştirdi. Araştırmacılara göre bunun bedeli performansta büyük bir kayıp olmuyor.

Öznitelik düzeyine odaklanan makalenin başlığı "Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection". Mimariye odaklanan çalışma "Backdoor Containment via Expert Quarantine and Shutdown in LLMs" adını taşıyor ve doktora öğrencisi Min-Seon Kim de yazarlar arasında. Ağırlıklara odaklanan çalışma ise "Purifying Generative LLMs from Backdoors without Prior Knowledge or Clean Reference" başlığını taşıyor.

Gizli hizalama önerisi

Araştırmacılar, arka kapı tetikleyicilerini yararlı işler için kullanmayı da öneriyor. "Gizli hizalama" adını verdikleri yaklaşımda, yalnızca yönetici düzeyindeki kullanıcıların bildiği bir tetikleyici yerleştirilebilir. Bu tetikleyici, onlara güvenli verilere ya da kontrol işlevlerine sınırlı erişim sağlar.

Bu fikri anlatan makale, "olumlu arka kapı" etiketinin bırakılmasını ve gizli hizalamanın katı, sistematik biçimde değerlendirilmesini savunuyor. Kim, tekniklerden oluşan kapsamlı bir paket sunduklarını ve hepsinin hemen uygulanabileceğini söylüyor.

Nerede sunuldu?

Ağırlıklara odaklanan makale, Rio de Janeiro'da yapılan Öğrenme Temsilleri Uluslararası Konferansı'nda (ICLR) sunuldu. Gizli hizalama makalesi ise Seul'de düzenlenen Uluslararası Makine Öğrenmesi Konferansı'nda (ICML) yer aldı. Öznitelik ve mimari makaleleri, Aralık ayında Sidney, Atlanta ve Paris'te düzenlenecek Sinir Bilgi İşleme Sistemleri Konferansı'nda (NeurIPS) sunulacak. Çalışmalar arXiv'de ön baskı olarak okunabiliyor.

Arka plan

Büyük dil modelleri çoğu zaman sıfırdan eğitilmiyor. Kurumlar, hazır bir modeli kendi görevine göre ince ayarla uyarlıyor. LoRA gibi yöntemler bu uyarlamayı ucuzlatıyor, çünkü modelin yalnızca küçük bir bölümünü güncelliyor. Hazır model ve veri paylaşım platformları ise bir tedarik zinciri riski doğuruyor: Kötü niyetli biri zehirlenmiş veriyle ya da değiştirilmiş bir modelle arka kapıyı baştan yerleştirebilir.

Klasik güvenlik testleri modelin beklenen girdilere verdiği yanıtlara bakar. Tetikleyici bu girdilerde bulunmadığı için sorun görünmez kalır. Bu yüzden modelin iç yapısına, yani ağırlıklara, özniteliklere ve uzman bileşenlere müdahale eden "arındırma" yaklaşımları araştırılıyor.

Neden önemli?

Yapay zeka sistemleri para hareketlerinden kod yazımına kadar hassas işlerde yer aldıkça, gizli bir tetikleyicinin sonuçları da ağırlaşıyor. Dağıtımdan önce uygulanabilen ve performansı belirgin biçimde düşürmeyen bir savunma, geliştiriciler için pratik bir seçenek sunuyor.

Öte yandan gizli hizalama önerisi iki ucu keskin bir konu. Aynı mekanizma yetkili kullanıcıya erişim verebildiği gibi kötüye de kullanılabilir. Makalenin sıkı ve sistematik değerlendirme çağrısı bu yüzden anlamlı. Savunma tekniklerinin gerçek dünyadaki başarısını ise bağımsız testler ve uygulamalar gösterecek.