Yapay zekâ projelerinde halüsinasyon, veri gizliliği, insan onayı

Yapay zekâ projelerinde üç risk en sık karşımıza çıkar: modelin kendinden emin biçimde yanlış bilgi üretmesi (halüsinasyon), hassas verinin yanlış yere gitmesi ve sistemin insan onayı olmadan geri alınamaz bir adım atması. Üçü de tamamen ortadan kaldırılamaz; ama tasarımın ilk gününden itibaren ele alındığında küçük, görünür ve yönetilebilir hâle gelir. Bu yazıda her birini nasıl ele aldığımızı somut örneklerle anlatıyoruz.

Neden “sonra bakarız” olmuyor?

Yapay zekâ projelerinin çoğu bir demoyla başlar. Demo etkileyicidir: model soruları cevaplar, belgeleri özetler, taslaklar yazar. Sorunlar gerçek kullanıcı, gerçek veri ve gerçek sonuçlar devreye girdiğinde başlar.

Bu noktada güvenliği sonradan eklemek pahalıdır. Hangi verinin modele gittiği, hangi adımın onay istediği, hangi kararın kaydedildiği mimarinin temel parçalarıdır. Sonradan eklendiklerinde sistemin yarısını yeniden yazmak gerekir. Bu yüzden bu üç soruyu projenin ilk yazılı notunda cevaplıyoruz.

Halüsinasyon: model neden uydurur?

Halüsinasyon, bir dil modelinin gerçekte olmayan bir bilgiyi doğruymuş gibi sunmasıdır. Var olmayan bir yönetmelik maddesi, yanlış bir tarih, uydurulmuş bir kaynak.

Bunun nedeni modelin çalışma biçimidir. Dil modeli bir bilgi bankası değildir; bir metnin en olası devamını üretir. Bilmediği bir konuda da akıcı ve makul görünen bir cevap üretebilir. Akıcılık, doğruluk anlamına gelmez.

Halüsinasyonu azaltmanın yolları

Tamamen sıfırlamak mümkün değil. Ama şu yöntemlerle belirgin biçimde azaltılabilir:

Cevabı kaynağa bağlamak. Modelin genel hafızası yerine şirketin kendi belgelerinden cevap vermesini sağlamak. Bu, RAG yönteminin temelidir.
Kaynak göstermek. Her cevabın hangi belgeye dayandığını göstermek. Kullanıcı kontrol edebilir; sistem de kendi kendini denetleyebilir.
“Bilmiyorum” demeyi öğretmek. Modele, cevap kaynaklarda yoksa bunu açıkça söylemesi talimatını vermek ve bunu test etmek.
Görevi daraltmak. “Her şeyi cevapla” yerine “Yalnızca iade politikasıyla ilgili soruları cevapla” gibi dar bir görev tanımı.
Yapılandırılmış çıktı. Serbest metin yerine belirli alanları olan bir çıktı istemek ve bu alanları kodla doğrulamak. Bir tarih alanına tarih dışında bir şey gelirse sistem bunu yakalar.
Ölçmek. Gerçek sorulardan oluşan bir test seti hazırlamak ve her değişiklikten sonra çalıştırmak.

Bir örnek

Bir sigorta acentesinin asistanına “Kasko poliçemde deprem teminatı var mı?” diye soruluyor. Kötü kurulmuş bir sistem genel bilgiyle “Evet, kasko poliçeleri genellikle deprem teminatı içerir” diyebilir. Bu cevap, o müşterinin poliçesi için yanlış olabilir.

İyi kurulmuş bir sistem müşterinin poliçe belgesine bakar. Teminat listesinde depremi bulursa ilgili maddeyi göstererek cevap verir. Bulamazsa “Poliçenizde deprem teminatına dair bir madde bulamadım; kesin bilgi için acentenizle görüşmenizi öneririm” der. İkinci cevap daha az etkileyicidir, ama doğrudur.

Veri gizliliği: hangi veri nereye gidiyor?

Bir yapay zekâ sistemine gönderilen her metin bir yere gider. Bu yerin neresi olduğu, orada ne kadar kaldığı ve kimin erişebildiği projenin en başında cevaplanması gereken sorulardır.

Dikkat ettiğimiz noktalar:

Veri envanteri. Sistemin hangi verilere dokunacağını listelemek: müşteri adları, iletişim bilgileri, finansal veriler, sağlık bilgileri, ticari sırlar.
Minimum veri. Modele yalnızca görevi için gereken veriyi göndermek. Bir talebi sınıflandırmak için müşterinin kimlik numarası gerekmez.
Maskeleme. Gerekmediği yerlerde kişisel verileri modele gitmeden önce maskelemek ya da takma adla değiştirmek.
İşleme yeri ve sözleşme. Modelin nerede çalıştığını, sağlayıcının gönderilen veriyi nasıl sakladığını ve eğitimde kullanıp kullanmadığını yazılı olarak bilmek.
Yetki sınırı. Asistanın, onu kullanan kişinin zaten erişemediği veriye erişmemesi.
Kayıtların kendisi. Sistem kayıtları da veri içerir. Ne kadar tutulacakları ve kimin göreceği ayrıca belirlenir.

Türkiye’de kişisel verilerle çalışan projelerde KVKK yükümlülükleri, sağlık ya da finans gibi alanlarda ise sektöre özgü kurallar da devreye girer. Bu konularda hukuki değerlendirmeyi uzmanına bırakıyor, teknik tarafı buna göre kuruyoruz.

İnsan onayı: hangi adım kimde?

İnsan onayı, bir yapay zekâ sisteminin belirli adımları atmadan önce bir kişinin onayını beklemesidir. Her şeyi onaya bağlamak sistemi işe yaramaz hâle getirir. Hiçbir şeyi bağlamamak ise risklidir. Doğru denge, adımları sınıflandırmaktan geçer.

Adım türü	Örnek	Yaklaşımımız
Okuma	Bir kaydı sorgulamak, belge aramak	Onaysız, ama kayıtlı
Taslak	E-posta taslağı, not önerisi	Onaysız üretilir, gönderim onaylı
Geri alınabilir eylem	Etiket eklemek, talep açmak	Duruma göre onaysız, sınırlı
Geri alınamaz eylem	Ödeme, silme, dışarıya gönderim	Her zaman onaylı

Bu tabloyu her projede müşteriyle birlikte dolduruyoruz. Hangi adımın hangi satıra girdiği teknik bir karar değil, iş kararıdır.

Durdurma ve sınırlar

İnsan onayının yanında iki mekanizma daha kuruyoruz:

Durdurma anahtarı. Sistemi tek bir noktadan, anında devreden çıkarma imkânı. Kendi otonom ticaret sistemimiz CAI’de elle durdurma her zaman otomatik kararlardan önce gelir. Bunu baştan kurmak, sistemi gerçek sermayeyle canlıya almaya cesaret etmenin önkoşuluydu.
Bütçe ve adım sınırı. Bir ajanın ne kadar kaynak tüketebileceği, kaç adım atabileceği ve hangi durumda durup insana soracağı. Sınırsız bırakılan bir sistem hem maliyet hem de hata açısından öngörülemez hâle gelir.

Kayıt: “neden?” sorusunun cevabı

Bir şey ters gittiğinde ilk soru “neden?” olur. Bu sorunun cevabı ancak kayıt varsa verilebilir. Her kararın girdilerini, kullanılan kaynakları, modelin çıktısını ve kimin onayladığını kaydediyoruz.

Kayıt yalnızca hata ayıklama için değil, güven için de gereklidir. Bir müşteriye, bir denetçiye ya da kendi ekibinize sistemin nasıl karar verdiğini gösterebilmek, yapay zekâyı bir kara kutu olmaktan çıkarır. Bu yaklaşımın çok ajanlı bir sistemde nasıl uygulandığını çok ajanlı yapay zekâ yazımızda anlattık.

İlk görüşmede sorduğumuz sorular

Bir yapay zekâ projesine başlarken bu üç riski kısa bir soru listesiyle masaya koyuyoruz:

Sistem yanlış bir cevap verirse en kötü ihtimalle ne olur? Kim etkilenir?
Sistem hangi verilere dokunacak? Bunların içinde kişisel ya da ticari açıdan hassas veri var mı?
Bu veri hangi modele, hangi ülkedeki sunucuya gidecek?
Hangi adımlar geri alınamaz? Bunları kim onaylayacak?
Sistemi kim, nereden ve ne kadar hızlı durdurabilecek?
Bir hata olduğunda nedenini nasıl göreceğiz?
Başarıyı hangi ölçütle değerlendireceğiz?

Bu soruların cevapları, projenin yazılı mimari notunun iskeletini oluşturur. Cevabı belirsiz kalan her soru, ileride bir riskin habercisidir.

Sık sorulan sorular

Halüsinasyonu tamamen önlemek mümkün mü?

Hayır. Bugünkü dil modelleriyle sıfır hata mümkün değil. Ama cevapları kaynağa bağlamak, görevi daraltmak, “bilmiyorum” demeyi öğretmek ve düzenli ölçüm yapmak hata oranını belirgin biçimde düşürür. Kalan riski de insan onayı ve kayıtla yönetiriz.

Verilerimiz model sağlayıcısının eğitiminde kullanılır mı?

Bu, sağlayıcıya ve kullanılan hizmetin koşullarına göre değişir. Projenin başında hangi sağlayıcının hangi koşullarla kullanılacağını yazılı olarak belirliyor, hassas veri içeren işlerde bu koşulları özellikle inceliyoruz.

Her adıma insan onayı koymak en güvenli yol değil mi?

Kâğıt üzerinde evet, pratikte hayır. Her şeyi onaylatan bir sistemde onay bir süre sonra okunmadan verilen bir tıklamaya dönüşür. Onayı gerçekten önemli adımlara saklamak, onayın anlamını korur.

Mevcut bir yapay zekâ projesine bu kontroller sonradan eklenebilir mi?

Eklenebilir, ama genellikle mimaride değişiklik gerektirir. İşe mevcut sistemi inceleyip riskleri sıralayan kısa bir mimari notla başlıyoruz; en kritik açıklar önce kapatılır.

Kendi yapay zekâ projenizin risklerini birlikte gözden geçirmek isterseniz yapay zekâ sistem mimarisi sayfamıza bakabilir ya da bize yazabilirsiniz.