RAG nedir? Şirket dokümanlarıyla çalışan yapay zekâ asistanı

RAG (Retrieval-Augmented Generation, “erişimle güçlendirilmiş üretim”), bir yapay zekâ modelinin soruya cevap vermeden önce sizin dokümanlarınızda arama yapması ve cevabını yalnızca bulduğu parçalara dayandırması yöntemidir. Model şirketinizin bilgisini ezberlemez; her soruda ilgili belgeleri bulur, okur ve kaynağını göstererek cevap verir. Şirket içi yapay zekâ asistanlarının büyük çoğunluğu bu yöntemle kurulur.

Bu yazıda RAG’in nasıl çalıştığını, neden işe yaradığını, bir şirket asistanı kurarken hangi adımlardan geçtiğimizi ve en sık düşülen tuzakları anlatıyoruz.

RAG nedir? Bir benzetmeyle

Büyük bir dil modeli, çok okumuş ama sizin şirketinizi hiç tanımayan biri gibidir. Genel sorulara iyi cevap verir. “Bizim iade politikamızda kurumsal müşteriler için süre kaç gün?” diye sorduğunuzda ise ya bilmediğini söyler ya da — daha kötüsü — makul görünen bir cevap uydurur.

RAG, bu kişiye cevap vermeden önce şirket arşivine gidip ilgili dosyaları masaya koymasını söylemektir. Cevap artık modelin hafızasından değil, önündeki belgelerden gelir. Ve hangi belgeye baktığını gösterebilir.

Sözlüğümüzdeki RAG tanımı bu yöntemi tek cümlede özetliyor; burada biraz daha derine iniyoruz.

RAG nasıl çalışır? Dört adım

Bir RAG sistemi iki aşamada çalışır: önce hazırlık, sonra her soruda erişim ve cevap.

1. Dokümanları parçalara bölmek

Sözleşmeler, prosedürler, ürün kılavuzları, destek kayıtları anlamlı parçalara bölünür. Bir parça genellikle birkaç paragraftır. Parçanın hangi belgeden, hangi bölümden, hangi tarihten geldiği de yanına not edilir.

2. Parçaları aranabilir hâle getirmek

Her parça, anlamını temsil eden sayısal bir vektöre dönüştürülür ve bir vektör veritabanına kaydedilir. Bu sayede arama yalnızca kelime eşleşmesine değil, anlama göre yapılır. “Para iadesi” diye soran biri, “bedel iadesi” yazan bir belgeyi de bulabilir.

3. Soruya en uygun parçaları bulmak

Kullanıcı bir soru sorduğunda, sistem soruyu da aynı yöntemle vektöre çevirir ve en yakın parçaları getirir. İyi sistemlerde bu aşamaya klasik kelime araması ve bir yeniden sıralama adımı da eklenir.

4. Cevabı parçalara dayandırmak

Bulunan parçalar soruyla birlikte modele verilir. Modele açık bir talimat gider: “Yalnızca bu metinlere dayanarak cevap ver. Cevap bu metinlerde yoksa bilmediğini söyle. Hangi belgeye dayandığını belirt.”

Neden ince ayar yerine RAG?

Şirket bilgisini modele öğretmenin bir başka yolu da ince ayar, yani modeli kendi verinizle yeniden eğitmektir. Çoğu şirket asistanı için RAG daha doğru bir tercih:

	RAG	İnce ayar
Doküman güncellenince	Yeni belge eklenir, hemen kullanılır	Model yeniden eğitilmeli
Kaynak gösterme	Doğal olarak mümkün	Zor
Yetki kontrolü	Belge düzeyinde uygulanabilir	Pratikte uygulanamaz
İyi olduğu iş	Bilgiye dayalı cevap	Üslup, biçim, dar bir görev

İnce ayar, modelin “nasıl” konuştuğunu değiştirmekte iyidir. RAG ise modelin “neye dayanarak” konuştuğunu belirler. İkisi birlikte de kullanılabilir, ama bilgi sorunu genellikle RAG ile çözülür.

Şirket içi yapay zekâ asistanı: somut bir senaryo

Elli kişilik bir şirket düşünelim. İnsan kaynakları politikaları, satın alma prosedürleri, ürün teknik dokümanları ve yıllar içinde birikmiş destek kayıtları dağınık klasörlerde duruyor. Yeni katılan biri basit bir soruya cevap bulmak için üç kişiye soruyor.

Bu şirkete kurulan bir RAG asistanında:

• Satış ekibinden biri “X ürününün garanti kapsamında hangi parçalar yok?” diye sorar. Asistan ilgili kılavuz bölümünü bulur, cevabı yazar ve belgenin adını ve bölümünü gösterir.
• Bir çalışan “Yıllık izin devri nasıl işliyor?” diye sorar. Asistan güncel İK politikasından cevap verir; eski sürüm arşivde kalır, aramaya girmez.
• Biri maaş tablolarını sorar. Asistan bu belgelere erişim yetkisi olmadığı için cevap vermez; yetkisi olan birine yönlendirir.

Son madde önemli. İyi bir şirket asistanı, kullanıcının zaten erişebildiği belgelerin ötesine geçmez.

Kurarken izlediğimiz adımlar

Kaynakları seçmek

Her belge asistana girmemeli. Güncel olmayan, çelişkili ya da taslak belgeler cevap kalitesini düşürür. İlk iş, hangi kaynağın “doğru” sayılacağına karar vermektir. Bu çoğu zaman teknik değil, kurumsal bir karardır.

Yetkileri modellemek

Hangi kullanıcı hangi belgeyi görebilir? Bu bilgi arama aşamasına taşınır. Model, kullanıcının görme yetkisi olmayan bir parçayı hiç görmez.

Veri nerede işlenecek?

Dokümanların hangi modele gideceği, nerede saklanacağı ve kayıtların ne kadar tutulacağı baştan yazılı olarak belirlenir. Hassas veri içeren şirketlerde bu, mimarinin ilk maddesidir.

Ölçmek

Asistanı yayına almadan önce gerçek sorulardan oluşan bir test seti hazırlarız: sorular, beklenen cevaplar ve cevabın dayanması gereken belgeler. Her değişiklikten sonra bu set yeniden çalıştırılır. Ölçmeden “iyi çalışıyor” demek mümkün değil.

Küçük başlamak

İlk sürümü tek bir ekip ve tek bir belge grubuyla açarız. Örneğin yalnızca destek ekibi ve ürün kılavuzları. Ekip asistanı gerçek işinde kullanır; cevap veremediği soruları, yanlış bulduğu belgeleri ve en sık sorulan konuları görürüz. Bu geri bildirim, ikinci belge grubunu eklemeden önce parçalama ve arama ayarlarını iyileştirmek için en değerli kaynaktır. Herkese birden açılan bir asistanın hatalarını ayıklamak çok daha zordur.

En sık düşülen tuzaklar

• Kötü parçalama. Bir tabloyu ortasından bölmek ya da başlığı içeriğinden ayırmak, doğru belge bulunsa bile yanlış cevap üretir.
• Eski belgeler. Aynı politikanın üç sürümü aramaya girerse, model hangisinin geçerli olduğunu bilemez.
• Kaynak göstermemek. Kaynağı görünmeyen bir cevaba kullanıcı güvenmez — güvenmemeli de.
• “Bilmiyorum” diyememek. Modele bilmediğinde bunu söylemesi açıkça öğretilmezse boşluğu uydurarak doldurur. Bu, halüsinasyon dediğimiz sorundur ve yapay zekâ güvenliği yazımızda ayrıca ele alıyoruz.
• Belge sahibini belirlememek. Her belge grubunun güncel tutulmasından sorumlu bir kişi yoksa, asistan zamanla eskiyen bilgiyle cevap vermeye başlar.
• Arama kalitesini ölçmemek. Hataların çoğu modelden değil, aramadan gelir. Doğru parça bulunmazsa en iyi model bile doğru cevap veremez.

RAG’in ötesi: asistan bir şey yapmaya başlarsa

RAG asistanı okur ve cevap verir. Bir sonraki adım, asistanın şirket sistemlerinde bir şey yapmasıdır: bir talep açmak, bir kaydı güncellemek, bir rapor çıkarmak. Bu noktada asistan bir yapay zekâ ajanına dönüşür ve yetki, onay ve kayıt soruları daha da önem kazanır.

Sık sorulan sorular

RAG için dokümanlarımızı bir modele eğitmemiz gerekir mi?

Hayır. RAG’in temel avantajı budur. Model yeniden eğitilmez; dokümanlar aranabilir hâle getirilir ve her soruda ilgili parçalar modele verilir. Yeni bir belge eklendiğinde asistan onu kısa sürede kullanmaya başlar.

Asistan hiç yanlış cevap vermez mi?

Verebilir. RAG yanlış cevap oranını düşürür ama sıfırlamaz. Bu yüzden cevapların kaynağını göstermesini, bilmediğinde bunu söylemesini ve düzenli bir test setiyle ölçülmesini şart koşuyoruz.

Hangi tür dokümanlarla çalışır?

Metin içeren hemen her belgeyle: sözleşmeler, prosedürler, kılavuzlar, e-postalar, destek kayıtları. Taranmış belgeler önce metne çevrilmelidir. Tablolar ve görseller ise özel bir hazırlık ister.

RAG asistanının maliyetini ne belirler?

Belge hacmi, soru sayısı, cevapların uzunluğu ve kullanılan model başlıca etkenlerdir. Belgelerin çeşitliliği, yetki yapısı ve güncelleme sıklığı ise kurulumun kapsamını belirler. Taranmış belgeler ya da karmaşık tablolar ek hazırlık gerektirir. Kapsamı ilk görüşmede birlikte netleştirir, yazılı bir teklif hazırlarız.

Gizli belgeler başkalarına görünür mü?

Doğru kurulmuş bir sistemde hayır. Yetki kontrolü arama aşamasında uygulanır; kullanıcının erişemediği bir belge modele hiç ulaşmaz.

Kendi şirket dokümanlarınızla çalışan bir asistanı konuşmak isterseniz yapay zekâ sistem mimarisi sayfamıza bakabilir ya da bize yazabilirsiniz.