Yeniliği kanıtla değerlendirin
Yeni bir araç veya yaklaşımı yalnızca güncel olduğu için seçmeyin. Mevcut yöntemin karşılayamadığı ihtiyacı belirleyin ve küçük bir denemede farkı ölçün. Sürüm, lisans ve veri şartlarını karar tarihinde yeniden kontrol edin.
Yapay Zekâ için bu kararın somut karşılığı: Dış içerik modele uygulama talimatı gibi görünebilir. Model bir aracı önerse de çalıştırma kararı uygulamaya aittir.
Prompt injection sınırları
Dış içerik modele uygulama talimatı gibi görünebilir.
Güvenilmeyen metni veri olarak işaretleyin ve araç yetkilerini sunucuda sınırlayın. Örnek senaryo: Belgedeki talimat hesap verisi silme yetkisi vermez.
Yalnızca sistem mesajına güvenmek araç güvenliği için yeterli değildir. Kontrol: Kötü niyetli belge örnekleriyle araç çağrılarını denetleyin.
AI araç çağrılarında izinler
Model bir aracı önerse de çalıştırma kararı uygulamaya aittir.
Her araç için kullanıcı yetkisi, parametre doğrulaması ve işlem sınırı tanımlayın. Örnek senaryo: Takvim aracı yalnızca kullanıcının kendi takvimine kayıt ekler.
Modelin ürettiği kullanıcı kimliğini doğrulamadan kullanmak tehlikelidir. Kontrol: Yetki dışı ve aşırı kapsamlı parametreleri reddetmeyi test edin.
Kişisel veri maskeleme
Modele gönderilen içerik gereğinden fazla kişisel veri içerebilir.
Görev için gereksiz alanları çıkarın ve geri eşlemeyi güvenli sınırda tutun. Örnek senaryo: Destek sınıflandırmasında kimlik numarası modele gönderilmez.
Basit desenlerle bütün hassas verinin bulunduğunu varsaymak hatalıdır. Kontrol: Farklı yazım biçimleri ve yanlış pozitiflerle maskeleme kalitesini ölçün.
Karar ve kabul kaydı
Bu rehberin çıktısını üç ayrı kabul maddesine dönüştürün: Kötü niyetli belge örnekleriyle araç çağrılarını denetleyin. Yetki dışı ve aşırı kapsamlı parametreleri reddetmeyi test edin. Farklı yazım biçimleri ve yanlış pozitiflerle maskeleme kalitesini ölçün.
Öncelik, güncel araçları iş sonucuna dönüşen seçimlerle değerlendirme için en belirsiz noktayı görünür kılmaktır. Her kontrolün sorumlusunu, kullanılan örneği ve sonucunu kaydedin. Başarısız bir denemeyi gizlemek yerine hangi varsayımın değiştiğini açıklayın; kapsamı bu kanıta göre yeniden değerlendirin.