Endüstriyel RAG: doğru yanıtı nasıl ölçeriz?
PLC kılavuzlarından gelen bir yanıtın işe yararlılığını; kaynak, bağlam ve yanıt vermeme davranışıyla birlikte değerlendirin.
Bir kılavuzu rastgele uzunlukta parçalara bölmek, doğru yanıtın yanlış bir bağlamda aranmasına neden olur. Başlık, tablo ve sürüm bilgisini koruyun.
Kılavuzlar başlıklar, alt başlıklar, tablolar ve uyarı kutularından oluşur. Sabit karakter sayısıyla bölmek, bir tabloyu ortadan keser ya da bir uyarıyı ilgili adımdan ayırır. Başlık sınırlarına göre bölün ve her parçaya bağlı olduğu başlık yolunu ekleyin.
Hata kodu tabloları, satır satır anlam taşır. Bir satırı başlık satırı olmadan saklamak yanıltıcıdır. Her tablo satırına sütun başlıklarını ekleyin ya da tabloyu bir bütün olarak, parça sınırı içinde tutun. Çok büyük tablolarda satır grupları oluşturup her gruba başlığı tekrarlayın.
Her parçaya ürün ailesi, model, belge sürümü, dil ve sayfa bilgisini ekleyin. Bu alanlar hem aramada süzme hem de yanıtta kaynak gösterme için gereklidir. Farklı bir ürün ailesinden gelen benzer bir hata kodu, üst veri olmadan güvenilir biçimde ayrılamaz.
Parça boyutunu ve örtüşmeyi sezgiyle değil, sabit bir soru kümesiyle karşılaştırın: beklenen belgenin ilk beş sonuçta çıkma oranını her ayarda ölçün. Bu yaklaşım önerilen bir mühendislik yöntemidir; en iyi ayar belgenin yapısına ve soru türüne bağlıdır.
Parça boyutunu ve örtüşmeyi sezgiyle değil, sabit bir soru kümesiyle karşılaştırın. Her ayarda beklenen belgenin ilk beş sonuçta çıkma oranını ölçün. En iyi ayar, belgenin yapısına ve soru türüne bağlıdır. Bu yaklaşım önerilen bir mühendislik yöntemidir.
Her parçaya ürün ailesi, model, belge sürümü, dil ve sayfa bilgisi eklenmelidir. Bu alanlar hem aramada süzme hem de yanıtta kaynak göstermek için gereklidir. Üst veri olmadan farklı bir ürün ailesinden gelen benzer bir hata kodu güvenilir biçimde ayrılamaz.
Bu rehberdeki pilot adımları önerilen mühendislik iş akışlarıdır. Örnekler saha performansı iddiası içermez.