RAG nedir ve nasıl çalışır?

Temel fikir

Bir dil modeli, eğitimi bittikten sonra öğrendiklerini ağırlıklarında taşır. Bir bakım kılavuzunun bu hafta yayımlanmış revizyonu ya da sabah yazılmış yeni bir prosedür o ağırlıklarda yoktur. RAG bu boşluğu sorgu anında doldurur.

Önce belgeler parçalara (chunk) ayrılır, her parça sayısal bir vektöre (embedding) çevrilir ve bir indekse yazılır. Kullanıcı soru sorduğunda soru da vektöre çevrilir ve indeksten en benzer parçalar, genellikle ilk birkaçı, seçilir. Model bu parçaları soruyla birlikte görür ve yanıtını yazar.

Modelin ağırlıkları değişmez; değişen tek şey, o anda modele verilen bağlamdır. Hangi parçanın kullanıldığı kaydedilirse yanıta kaynak da eklenebilir.

Hesaplanmış bir örnek

Hipotetik bir bakım kılavuzu düşünelim: 120 sayfa ve sayfa başına ortalama 400 kelime. Toplam metin 120 × 400 = 48 000 kelime eder. Parça boyutunu 500 kelime seçersek 48 000 / 500 = 96 parça oluşur.

Bir teknisyen 'pompa contası kaç saatte değiştirilir?' diye sorar. Sistem bu soruya en benzer 4 parçayı (k = 4) getirir. Bu parçalar 4 × 500 = 2 000 kelimedir. Model, kılavuzun 96 parçasından yalnızca 4'ünü, yani yaklaşık yüzde 4'ünü (2 000 / 48 000 ≈ 0,042) görür.

Cevap bu 4 parçanın birinde varsa model sayfayı gösterebilir. Yoksa cevap yanlış ya da eksik olur; bu durumda sorun getirme adımındadır.

Sınırlar ve sık yapılan hatalar

RAG'in başarısı büyük ölçüde getirme adımına bağlıdır. Doğru pasaj ilk sonuçlar arasında değilse model yine de akıcı bir cevap yazabilir; bu cevap bir halüsinasyon gibi görünür. Parçalama da sorun çıkarır: bir prosedürü ya da tabloyu ortadan bölen parça anlamını yitirir.

Eski revizyonların indekste kalması, eski bilgiyi yenisi gibi sunar. Parça numarası ya da alarm kodu gibi tam eşleşme gerektiren aramalarda yalnızca anlam temelli arama zayıf kalabilir; anahtar kelime aramasıyla birleştirmek yaygın bir çözümdür.

Son olarak, RAG kurmak doğru cevabı garanti etmez. Doğruluk, kendi sorularınızla yapılan ölçümle gösterilmelidir.

Sık sorulanlar