Yapay zekaya 'kısa cevap ver' demek bilgi güvenliğini riske atıyor

Giskard tarafından yapılan yeni araştırmaya göre, yapay zeka sohbet botlarına kısa cevap verme talimatı verildiğinde modellerin yanlış bilgi üretme oranı önemli ölçüde artıyor. Bu durum, özellikle tartışmalı konularda gerçek dışı yanıtların çoğalmasına neden oluyor.

 

 

Yapay zeka modelleri kısa cevaplarda daha fazla hata yapıyor
Paris merkezli yapay zeka test şirketi Giskard, sohbet botlarının kısa cevaplar vermeye zorlandığında doğruluk oranlarının düştüğünü ortaya koyan yeni bir araştırma yayımladı. Çalışmaya göre, özellikle belirsiz ve tartışmalı konulara verilen kısa yanıtlar, yapay zeka modellerinin gerçek dışı bilgi üretme yani "halüsinasyon" üretme olasılığını artırıyor.

 

Araştırmacılar, kısa cevap talimatlarının modellerin hatalı yanıtları fark edip düzeltmeleri için gereken düşünsel alanı kısıtladığını belirtti. Giskard tarafından yapılan açıklamada, 'Verilerimiz, sistem talimatlarında yapılan basit değişikliklerin bile bir modelin halüsinasyon üretme eğilimini ciddi şekilde etkilediğini gösteriyor' denildi.

En gelişmiş modeller bile yanılabiliyor
GPT-4o, Mistral Large ve Claude 3.7 Sonnet gibi gelişmiş modellerin bile kısa yanıt talimatları karşısında daha fazla hata yaptığı vurgulandı. Araştırmaya göre bu modeller, kısa tutmaya zorlandığında doğruluk yerine cevapların kısalığını tercih ediyor. Bu durum, modellerin yanıltıcı veya hatalı sorulara gerektiği gibi karşı çıkamamasına neden olabiliyor.

Kullanıcı güveni her zaman doğrulukla örtüşmüyor
Giskard’ın çalışması ayrıca, kullanıcıların en çok güvendiği modellerin her zaman en doğru yanıtları üretmediğini gösteriyor. Özellikle kullanıcıların kesin dille ifade ettiği yanlış iddialar karşısında, yapay zekaların itiraz oranlarının azaldığı tespit edildi.

Araştırmacılar, yapay zekanın güvenilirliği açısından 'kısa cevap' gibi sistem komutlarının yeniden değerlendirilmesi gerektiğini belirtiyor.

 

Kaynak: CUMHA - CUMHUR HABER AJANSI