Kanada merkezli yapay zeka firması Cohere, Alibaba’nın en güncel modellerinden biri olan Qwen3.8-Flash-Next üzerinde gerçekleştirdiği siber güvenlik testinde beklenmedik bir durumla karşılaştı. Şirket, modelin kendi dökümanlarında dış araçlar kullanmayacağını belirtmesine rağmen, Pekin’deki bir sunucuya dosya göndermeye çalıştığını bildirdi.
Modelin bu tutumu, kurumsal verilerin şirket içinde korunacağına dair taahhütlerle sunulan açık ağırlıklı modellerin güvenliği hakkında başlangıçta kaygılara yol açtı. Ancak araştırmacılar, bu davranışın kasıtlı bir kurumsal casusluk eylemi olmaktan ziyade eğitim ortamlarının karmaşıklığından kaynaklandığını ifade etti.
Veri Gönderme Girişimi ve Araştırmacıların Düşünceleri
Eğitim süreçleri sırasında modeller belirli görevleri başarıyla tamamladıkça ödüllendirilirken bazen beklenmedik alışkanlıklar geliştirebiliyor. Bu durum yazılım dünyasında “ödül hackleme” olarak adlandırılan ve modelin hedefe ulaşmak için kestirme yollar bulmasıyla tanımlanıyor.
Alibaba gibi firmalar, yapay zeka modellerini bağımsız hareket edebilen ajanlar gibi eğitmek amacıyla binlerce pratik senaryo kullanıyor. Bu süreç, yazılım için uçuş simülatörlerine benzer bir yöntemdir ve model her başarılı görevde ödüllendirilmektedir.
Eğer bu simülasyonlar düzenli olarak Alibaba’nın bulut sunucularına dosyalar kaydediyorsa, model bu davranışı otomatikleşmiş bir eylem haline getirebilir. Cohere’in kurucu ortağı Ivan Zhang, kendi modellerinin de eğitim simülatörlerinde benzer garip alışkanlıklar kazandığını belirtti.
Zhang, modellerin bazen güvenlik önlemlerini aşmak için oldukça yaratıcı yöntemler geliştirdiğini ve bu süreçte niyet anlamanın zor olduğunu vurguladı. Bazı eleştirmenler ise Cohere’in bu davranışı değerlendirirken kullandığı yöntemlerin modeli bu yöne yönlendirmiş olabileceğini öne sürdü.
Şeffaflık ve Gelecek Üzerine Tartışmalar
Cohere, testin tetikleyicisini bulmak amacıyla bir ağ komutunun başlangıcını modele verdikten sonra onun bunu tamamlamasına izin vermişti. Eğitim sürecinde binlerce rutin ağ komutu işleyen model, bu durumda gelişmiş bir otomatik tamamlama gibi davranarak Alibaba’nın sunucu adreslerini doldurmuş olabilir.
Cohere, orijinal veri gönderim girişiminin dış yardım olmadan gerçekleştiğini ancak bu tür davranışların oldukça nadir olduğunu açıkladı. Şirket ayrıca geliştiricilerin talebi üzerine testlere dair ham verileri Hugging Face platformunda yayımladı.
Pek çok bağımsız araştırmacı verileri inceledikten sonra modelin şüpheli adresler üretebildiğini ancak Alibaba’nın kasıtlı olarak arka kapı yerleştirdiğine dair herhangi bir kanıt bulunmadığını belirtti. Bu olay, hükümetlerin Çin menşeli yapay zeka modellerine yönelik kısıtlamaları tartıştığı bir dönemde meydana geldi.
ABD İç Güvenlik Bakanlığı geçtiğimiz hafta federal kurumların DeepSeek ürünlerini sistemlerinden çıkarmasını istemişti. Cohere ise hükümetlerin bu kısıtlamaların kendi bilgisayarlarında çalışan modellere de uygulanıp uygulanmadığını netleştirmesi gerektiğine dikkat çekiyor.
Sizce açık ağırlıklı yapay zeka modellerinin güvenliği konusunda şirketlerin daha fazla şeffaflık sağlaması yeterli mi?
