RAG (Retrieval-Augmented Generation), bir dil modelinin soruyu yanıtlamadan önce kurumun kendi belge dağarcığından (sözleşmeler, prosedürler, teknik dokümanlar, arşiv) ilgili parçaları getirip (retrieval) yanıtı bu kaynaklara dayandırarak üretmesi (generation) yöntemidir. Böylece model “ezberinden” değil, kurumun gerçek bilgisinden yanıt verir ve kaynak gösterebilir.
Nasıl çalışır (adımlar)
- Belgeler parçalara bölünür ve anlamsal olarak indekslenir (vektör veritabanı).
- Kullanıcı soru sorduğunda en ilgili parçalar getirilir.
- Bu parçalar modele bağlam olarak verilir.
- Model yanıtı bu bağlama dayanarak üretir ve hangi belgeden geldiğini belirtir.
Neden önemli
- Güncellik: modeli yeniden eğitmeden yeni belge eklenebilir.
- Doğrulanabilirlik: yanıt kaynağa bağlı olduğu için kontrol edilebilir; halüsinasyon mimariyle yönetilir.
- Gizlilik: kapalı devre kurulumda belgeler kurum sınırından çıkmaz.
RAG, bir LLM ile kurumun bilgi tabanını birleştiren katmandır.