RAG
Endüstriyel RAG: doğru yanıtı nasıl ölçeriz?
PLC kılavuzlarından gelen bir yanıtın işe yararlılığını; kaynak, bağlam ve yanıt vermeme davranışıyla birlikte değerlendirin.
LLM halüsinasyonu nasıl azaltılır?
Kısa yanıt
Halüsinasyon, modelin kaynağı olmayan ama akıcı ve emin görünen bir cevap üretmesidir. Azaltmak için cevabı erişilebilir kaynaklara bağlayın, kaynak göstermesini isteyin ve kanıt bulunamadığında cevap vermeyi reddetmesini sağlayın. Ardından sabit bir soru setiyle ölçüm yapın. Hiçbir yöntem hataları tamamen ortadan kaldırmaz.
Halüsinasyon neden olur
Dil modeli bir sonraki olası kelimeyi tahmin eder. Varsayılan olarak bir veritabanına bakmaz; bu yüzden bilgi eksik olduğunda bile makul görünen bir cevap üretebilir.
Üç durum özellikle risklidir. Birincisi, soru belirsizdir: hangi makine, hangi yazılım sürümü? İkincisi, bilgi eğitim verisinde yoktur ya da eskidir. Üçüncüsü, model kendi cevabını bir kaynağa karşı doğrulayamaz.
Endüstride bu, var olmayan bir parça numarası, uydurulmuş bir alarm açıklaması ya da yanlış bir sıcaklık limiti olarak görünür. Halüsinasyonları tamamen ayıklamak mümkün olmayabilir, ama bu üç nedeni azaltmak riski düşürmeye yardımcı olur.
Örnek: belirsiz bir alarm sorusu
Diyelim ki bir operatör 'Pompada 4 numaralı alarm ne anlama gelir?' diye soruyor (hipotetik). Soruda makine modeli ya da yazılım sürümü geçmediği için model tahmin yürütebilir. Düzeltme iki adımdır: önce model ve sürüm sorulur, sonra yanıt yalnızca eşleşen kılavuzdan alınır. Kanıt bulunamazsa cevap 'Bu bilgi seçili belgelerde yok' olur.
Ölçüm (hipotetik): 50 soruluk sabit bir test setinde 40 soru cevaplanabilir, 10 soru cevapsızdır. Cevabı olmayan 10 sorunun 8'inde sistem 'Bu bilgi seçili belgelerde yok' dedi; 2'sinde ise uydurma bir cevap verdi. Yani doğru davranış yüzde 80, halüsinasyon yüzde 20 oldu. Cevaplanabilir 40 sorunun 36'sında doğru cevap verildi; bu oran yüzde 90.
Sınırlar ve sık yapılan hatalar
Kaynak göstermek tek başına yetmez. Model gerçek bir paragrafı, cümlenin desteklemediği bir yere iliştirebilir. Bu yüzden her iddianın, gösterilen metinle gerçekten örtüşüp örtüşmediğini kontrol edin.
Ters yönde de hata olur: reddetme eşiği çok sıkı tutulursa sistem gereksiz yere 'bilmiyorum' der ve kullanıcı güvenini kaybeder. Test setinin yalnızca kolay sorulardan oluşması da sık görülür; gerçek vardiya sorularını ve belirsiz soruları dahil edin.
Sistemi test setinin üzerinde ayarlayıp sonucu aynı setle raporlamak başarıyı şişirir. Model ya da belge sürümü değiştiğinde testi baştan çalıştırın.
Sık sorulanlar
Sıcaklık (temperature) ayarını düşürmek halüsinasyonu önler mi?
Hayır. Düşük sıcaklık çıktıyı daha tekrarlanabilir yapar, ama doğruluğu garanti etmez. Yanlış bir bilgi düşük sıcaklıkta da yanlış kalır. Kaynak bağlama ve ölçüm yine gereklidir.
Kaynak gösterimini otomatik kontrol edebilir miyim?
Kısmen. Kod, her atıfın gerçekten getirilmiş bir parçaya işaret edip etmediğini doğrulayabilir; cevaptaki sayılar, birimler ve parça numaraları kaynak metinde geçiyor mu, bunu da karşılaştırabilir. Bir pasajın iddiayı gerçekten desteklediği ise insan incelemesi ya da ayrı bir değerlendirme adımı ister.
Kaynaklar
Örnek sayılar varsayımsaldır; sahada doğrulanmış sonuç iddiası değildir.