Halusinasyon Tespiti: AI Modellerinin Dogrulugunu Nasil Olcuyoruz

1. Sahte Ürün Testi (Fake Product Test)

Bu yöntemde, her AI modeline markanızın adıyla birlikte gerçekte var olmayan bir ürün hakkında soru soruyoruz. Örneğin, bir yazılım şirketi için "X markasının akıllı saat ürünü nasıldır?" gibi bir soru.

Eğer AI modeli "Evet, X'in akıllı saati çok başarılı, özellikleri şunlardır..." diye cevap veriyorsa, bu model halüsinasyon yapıyor demektir. Gerçekte olmayan bir ürünü varmış gibi detaylı şekilde anlatması, o modelin markanız hakkında verdiği diğer bilgilerin de güvenilirliğini sorgulatır.

Bu test, her model için ayrı ayrı uygulanır ve sonuçlar güvenilirlik skoruna yansıtılır.

2. Çapraz LLM Tutarlılığı (Cross-LLM Consistency)

9 farklı AI modeline aynı soruyu soruyoruz ve yanıtları karşılaştırıyoruz. Örneğin, "X şirketi ne zaman kuruldu?" sorusuna:

• 7 model "2015" diyorsa
• 1 model "2020" diyorsa
• 1 model "2012" diyorsa

Burada 7 modelin üzerinde uzlaştığı "2015" büyük olasılıkla doğru bilgidir. Diğer 2 model halüsinasyon yapıyor. Bu tutarsızlık, doğruluk raporunda her model için ayrı ayrı gösterilir.

Çapraz tutarlılık kontrolü özellikle etkilidir çünkü tek bir modelin yanlışını bulmak zordur, ama 9 modeli yan yana koyduğunuzda tutarsızlıklar hemen göze çarpar.

3. Sonar Grounding (Web Tabanlı Doğrulama)

Perplexity Sonar, diğer modellerden farklı olarak gerçek zamanlı internet aramaları yaparak yanıtlarını gerçek kaynaklarla destekler. Bu özelliği AURA'nın doğrulama sürecinde kritik bir rol oynar.

Nasıl çalışır:

• Sonar, markanız hakkında web'den gerçek bilgileri toplar.
• Bu bilgiler "temel gerçekler" (ground truth) olarak belirlenir.
• Diğer 8 modelin yanıtları bu temel gerçeklerle karşılaştırılır.
• Sapmalar ve tutarsızlıklar halüsinasyon olarak işaretlenir.

Sonar'ın web erişimi sayesinde, en güncel bilgilerle doğrulama yapabiliyoruz. Bu özellikle yeni kurulan şirketler veya yakın zamanda değişiklik geçiren markalar için değerlidir.

4. Model Bazlı Analiz (Per-Provider Analysis)

Her AI modeli, halüsinasyon eğilimi açısından farklı özellikler gösterir. AURA, her modeli ayrı ayrı değerlendirerek bir güvenilirlik skoru atar:

• Model güvenilirlik skoru: Her modelin markanız hakkında ne kadar güvenilir bilgi verdiği.
• Halüsinasyon sıklığı: Hangi modelin daha çok uydurma bilgi ürettiği.
• Bilgi kaynağı kalitesi: Modelin eğitim verilerinin ne kadar güncel olduğu.
• Özgüven kalibrasyonu: Model emin olmadığında bunu belirtiyor mu, yoksa yanlış bilgiyi kesin bir dille mi sunuyor.