Yapay zeka sistemlerinin iklim değişikliği konusunda verdiği yanıtların güvenilirliği yeni bir araştırmayla mercek altına alındı. UNESCO ve University College London (UCL) tarafından hazırlanan rapor, modellerin bilimsel bilgileri doğru aktarabildiğini ancak kullanıcıların itirazları karşısında bu doğrulardan kolayca uzaklaşabildiğini gösterdi.
COP31'de düzenlenen basın toplantısında açıklanan araştırmada, 33 yapay zeka modelinin 13 farklı dildeki performansı değerlendirildi. Modeller iklimle ilgili soruların yüzde 90'ını doğru yanıtlamasına rağmen kullanıcıların hafif itirazları karşısında her 10 durumdan 8'inde bilimsel gerçekleri terk etti.
Araştırmacılar, bu davranışın arkasında yapay zeka sistemlerinin kullanıcıyla aynı fikirde olmasını ödüllendiren ve 'dalkavukluk' olarak adlandırılan tasarım sorununun bulunduğuna işaret etti.
YAPAY ZEKA MODELLERİ İTİRAZ KARŞISINDA GERÇEKLERİ TERK EDİYOR
UNESCO ve UCL'nin hazırladığı "Can We Trust AI on Climate?" (İklim konusunda yapay zekaya güvenebilir miyiz?) başlıklı rapor, yapay zekanın iklim bilimi konusundaki güvenilirliğini inceledi.
Araştırmada modellerin yalnızca bilimsel sorulara verdiği ilk yanıtlar değil, kullanıcıların bu yanıtlara karşı çıkması durumunda gösterdiği davranışlar da değerlendirildi.
Sonuçlar, yapay zeka modellerinin başlangıçta yüksek doğruluk oranına ulaşmasına rağmen kullanıcı itirazları karşısında bilimsel bulgulardan uzaklaşabildiğini ortaya koydu.
Rapora göre kullanıcıların hafif düzeyde itiraz ettiği durumların yüzde 80'inde modeller, daha önce doğru aktardıkları bilimsel bilgileri terk etti.
SORUNUN KAYNAĞINDA 'DALKAVUKLUK' DAVRANIŞI VAR
Araştırmacılar, yapay zekanın kullanıcıların görüşlerini onaylama eğilimini 'sycophancy' yani 'dalkavukluk' kavramıyla açıkladı.
Raporda, insanların kendi düşüncelerini destekleyen yanıtları tercih etmesinin yapay zeka sistemlerinin eğitim süreçlerine de yansıdığı belirtildi.
Modellerin kullanıcılarla aynı fikirde olduklarında ödüllendirilmesi, bilimsel açıdan doğru bir yanıtı korumak yerine kullanıcının görüşüne uyum sağlamalarına neden olabiliyor.
Araştırma, bu eğilimin özellikle iklim değişikliği gibi bilimsel kanıtlara dayalı konularda yanlış bilgilerin yayılmasına zemin hazırlayabileceğine işaret etti.
İKLİM POLİTİKALARINDA DOĞRULUK YÜZDE 33,8'E DÜŞTÜ
Araştırmanın bir diğer bulgusu, yapay zeka sistemlerinin bilimsel bilgileri aktarma ve bu bilgiler üzerinden değerlendirme yapma becerileri arasındaki fark oldu.
Modeller, mevcut bilimsel kanıtları hatırlama konusunda yüksek performans gösterdi. Ancak yeni bilimsel bulgularla karşılaştıklarında doğru akıl yürütme becerileri zayıfladı.
Bu alandaki testlerde en güçlü modellerin bile ortalama doğruluk oranı yüzde 75 seviyesinde kaldı.
Yapay zeka modellerinden farklı iklim politikalarının birlikte nasıl sonuç vereceğini değerlendirmeleri istendiğinde ise başarı oranı yüzde 33,8'e geriledi.
Raporda bu oranın, rastgele tahminlerden beklenen yüzde 33,3'lük doğruluk seviyesine oldukça yakın olduğu vurgulandı.
YAPAY ZEKANIN DOĞRULUK ORANI DİLE GÖRE DEĞİŞİYOR
Araştırmada 13 farklı dilde yapılan testler, yapay zeka sistemlerinin her dilde aynı doğruluk düzeyine ulaşamadığını da gösterdi.
İngilizce sorularda doğruluk oranı yüzde 88,6 olarak ölçüldü. İspanyolca, Fransızca ve Portekizce testlerinde de İngilizceye yakın sonuçlar elde edildi.
Swahili dilinde ise doğruluk oranı yüzde 78,3'e geriledi.
Araştırmacılar, bu farklılığın modellerin her dil için farklı veri kümeleriyle eğitilmesinden kaynaklandığını belirtti.
Raporda, iklim değişikliğine karşı en kırılgan toplulukların yapay zeka sistemlerinden hatalı bilgi alma olasılığının daha yüksek olabileceğine işaret edildi.
UNESCO'DAN YAPAY ZEKA ŞİRKETLERİNE ÇAĞRI
Araştırmanın sonuçları, UNESCO'nun Birleşmiş Milletler ve Brezilya ile birlikte başlattığı İklim Değişikliği Konusunda Bilgi Bütünlüğü Küresel Girişimi'ne de katkı sağlıyor.
Girişim kapsamında yayımlanan "İklim Bilgi Bütünlüğü için Yapay Zeka Eylem Öncelikleri" belgesinde, yapay zeka sistemlerinin geliştirilmesine yönelik çeşitli öneriler yer aldı.
Belgede, şirketlerin kullanıcıların görüşlerini onaylayan yanıtları bilimsel gerçeklerin önüne koymaması gerektiği belirtildi.
Ayrıca yapay zeka sistemlerinin kullandıkları kaynaklar ve bilimsel belirsizlikler konusunda açık davranmaları, güvenilir bilimsel araştırmalara dayanmaları ve farklı dillerdeki doğruluk oranlarını şeffaf biçimde paylaşmaları istendi.
RAPORUN BAŞYAZARINDAN TASARIM HATASI UYARISI
Raporun başyazarı Leona Verdadero, yapay zekanın karmaşık iklim bilimini geniş kitleler için anlaşılır hale getirme konusunda önemli bir potansiyele sahip olduğunu söyledi.
Bununla birlikte modellerin kullanıcılarla aynı fikirde olmaya yönlendirilmesinin ciddi bir güvenilirlik sorunu oluşturduğunu belirtti.
Verdadero, açıklamasında şu ifadeleri kullandı:
“Öğretmenlerin, gazetecilerin ve politika yapıcıların bu hayati konunun iletişimine yapmasını sağlayan yapay zekanın, kanıtlanmış gerçeklerin koruyucu olacağına güvenebilmemiz gerekiyor. Modellerin tasarımında böyle bir hata olması – kullanıcılarla fikir birliği içinde olmaya teşvik edilmeleri ve gerçekleri kolayca reddedebilmeleri endişe verici.”
İKLİM DEĞİŞİKLİĞİYLE MÜCADELEDE YAPAY ZEKA UYARISI
Raporun kıdemli yazarı ve UCL Bilgisayar Bilimleri Bölümü'nden Dr. Maria Perez-Ortiz, yapay zeka sistemlerinin bilimsel bilgileri açıklama konusunda oldukça başarılı olduğunu belirtti.
Ancak bu başarının, modellerin diğer becerileri hakkında yanlış bir güven algısı oluşturabileceğini ifade etti.
Perez-Ortiz, araştırmanın özellikle iklim politikaları konusunda karar alma süreçlerinde yapay zeka yanıtlarının dikkatle değerlendirilmesi gerektiğini gösterdiğini söyledi.
Araştırmacı, şu değerlendirmeyi yaptı:
“Fakat bu durum, sistemin genel becerileri hakkında yanlış bir algı yaratabiliyor. Bulgularımız gösteriyor ki yapay zekaya iklim değişikliğinin ne olduğunu değil de, iklim değişikliği ile mücadele için ne yapmamız gerektiğini soracak olursak, mutlaka dikkatli olmamız gerekiyor”