Kapsamı somutlaştırın
İlk adımı bütün sistemi değiştirmek olarak değil, sınırları belli bir kullanıcı işini iyileştirmek olarak tanımlayın. Mevcut davranışı gözlemleyin; hangi girdinin hangi çıktıya dönüştüğünü ve kimin karar verdiğini yazın.
Yapay Zekâ için bu kararın somut karşılığı: Arama kalitesi belgenin nasıl bölündüğünden etkilenir. Sistem bazen yeterli bilgiye sahip olmadığını söylemelidir.
RAG için belge parçalama
Arama kalitesi belgenin nasıl bölündüğünden etkilenir.
Başlık ve anlam sınırlarını koruyun; parça kimliğini kaynakla ilişkilendirin. Örnek senaryo: Uzun prosedür bölümlere ayrılır ama bölüm başlığı her parçayla saklanır.
Rastgele karakter kesimi gerekli bağlamı ikiye bölebilir. Kontrol: Gerçek sorularla bulunan parçanın yanıtı içerip içermediğini inceleyin.
Yapay zekâda geri çekilme yanıtı
Sistem bazen yeterli bilgiye sahip olmadığını söylemelidir.
Yanıtsız bırakma ve insana aktarım koşullarını önceden tanımlayın. Örnek senaryo: Belgede olmayan sözleşme hükmü için bot kesin cevap üretmez.
Her soruya kendinden emin yanıt verme hedefi hatalı bilgi üretir. Kontrol: Belirsiz ve kapsam dışı sorularda güvenli davranışı kontrol edin.
Model maliyetini izlemek
Token tüketimi trafik ve belge uzunluğuyla hızla değişebilir.
Görev bazında giriş, çıkış ve yeniden deneme maliyetini kaydedin. Örnek senaryo: Belge özeti ile kısa sınıflandırma ayrı maliyet gruplarında izlenir.
Sadece tek çağrının fiyatını hesaplamak zincir maliyetini gizler. Kontrol: Başarılı iş başına toplam maliyeti dönemsel karşılaştırın.
Karar ve kabul kaydı
Bu rehberin çıktısını üç ayrı kabul maddesine dönüştürün: Gerçek sorularla bulunan parçanın yanıtı içerip içermediğini inceleyin. Belirsiz ve kapsam dışı sorularda güvenli davranışı kontrol edin. Başarılı iş başına toplam maliyeti dönemsel karşılaştırın.
Öncelik, doğru hedefleri belirleme ve ölçülebilir bir yol haritası kurma için en belirsiz noktayı görünür kılmaktır. Her kontrolün sorumlusunu, kullanılan örneği ve sonucunu kaydedin. Başarısız bir denemeyi gizlemek yerine hangi varsayımın değiştiğini açıklayın; kapsamı bu kanıta göre yeniden değerlendirin.