Şirkette yapay zekâ projesine nasıl başlanır? Pilot rehberi

Şirkette bir yapay zekâ projesine en sağlam başlangıç, tek bir işi seçen küçük bir pilottur. Pilotun beş parçası vardır: dar bir kapsam, sayıyla yazılmış bir başarı ölçütü, gerçek örneklerden oluşan veri, hangi adımın insan onayı istediğini gösteren bir tablo ve pilot başlamadan yazılmış bir durdurma kararı. Bu beşi netse, birkaç hafta içinde “devam mı, dur mu?” sorusuna kanıtla cevap verilir.

Bu yazıda bu beş parçayı sırayla ele alıyor, sonunda da pilottan önce doldurulmasını önerdiğimiz tek sayfalık bir pilot kartı paylaşıyoruz. Hangi işlerin dil modeline uygun olduğunu ayrıca ChatGPT entegrasyonu yazımızda anlattık; burada konu, seçilen işin nasıl denenip karara bağlanacağı.

Neden büyük bir projeyle başlanmaz?

Yapay zekâ projelerinde belirsizlik, klasik yazılım projelerinden yüksektir. Modelin sizin verinizle ne kadar isabetli çalışacağını, kullanıcıların onu benimseyip benimsemeyeceğini ve maliyetin gerçek kullanımda nereye varacağını önceden bilemezsiniz. Pilot, bu üç bilinmeyeni küçük bir alanda ölçmenin yoludur.

Büyük bir projeyle başlamanın tipik sonucu şudur: aylar sonra etkileyici bir demo çıkar, ama kimse onun gerçek işte ne kadar doğru çalıştığını söyleyemez. Pilot ise baştan bir soruya kilitlenir: “Bu iş, bu veriyle, bu ölçütle yapılabiliyor mu?”

1. Kapsam: hangi tek iş?

Pilotun kapsamı, tek bir ekibin yaptığı, tekrarlayan ve çıktısı kontrol edilebilen tek bir iştir. “Müşteri hizmetlerini yapay zekâyla iyileştirmek” bir kapsam değildir. “Gelen destek e-postalarını beş kategoriye ayırmak” bir kapsamdır.

İyi bir pilot işi şu özellikleri taşır:

Sık yapılıyor. Örneğin günde onlarca kez. Az tekrarlanan işte ölçüm yapacak örnek birikmez.
Çıktısı kontrol edilebilir. Doğru ya da yanlış olduğunu bir çalışan birkaç saniyede söyleyebilir.
Hatası telafi edilebilir. Yanlış bir sınıflandırma düzeltilir; yanlış bir ödeme geri alınması zor bir adımdır. Pilot ikinci türden işle başlamaz.
Sahibi var. İşi bugün yapan ve sonucu değerlendirecek bir kişi belli.

Hangi işin yapay zekâ ajanına, hangisinin klasik otomasyona uygun olduğunu tartmak için çok ajanlı mı, tek ajan mı, klasik otomasyon mu yazımızdaki karar tablosu işe yarar. Pilot çoğu zaman en sade seçenekle kurulur.

2. Başarı ölçütü: “işe yarıyor” ne demek?

Başarı ölçütü, pilot başlamadan sayıyla yazılır. Ölçüt sonradan belirlenirse, sonuç ne çıkarsa çıksın ona uyacak bir yorum bulunur.

Üç tür ölçüt birlikte düşünülmelidir:

Kalite. Çıktıların ne kadarı düzeltme gerektirmeden kabul edildi? Sınıflandırma ne kadar isabetli?
Zaman. İşin bir örneği eskiden ne kadar sürüyordu, şimdi ne kadar sürüyor? Kontrol süresi de hesaba katılır.
Kullanım. Ekip aracı gerçekten kullanıyor mu, yoksa eski yönteme mi dönüyor?

Ölçütün yanına bir de eşik yazılır: hangi değerin altında pilot başarısız sayılacak? Kalite ölçümünün nasıl kurulacağını, test setinin nasıl hazırlanacağını yapay zekâ sistemi nasıl değerlendirilir yazımızda ayrıntılı ele alıyoruz.

3. Veri: elinizde ne var?

Pilotun verisi, işin geçmişinden alınmış gerçek örneklerdir. Geçmiş e-postalar, doldurulmuş formlar, verilmiş cevaplar, işlenmiş belgeler. Uydurulmuş örneklerle yapılan pilot, gerçek işteki dağınıklığı göstermez.

Başlamadan önce şu üç sorunun cevaplanmasını öneririz:

Örnek var mı? Ölçüm yapmaya yetecek kadar geçmiş kayıt erişilebilir mi?
Doğru cevap belli mi? Her örnek için “doğrusu buydu” diyebilecek bir kayıt ya da kişi var mı? Yoksa ilk iş, küçük bir örnek kümesini ekibin kendisinin etiketlemesidir.
Kişisel veri içeriyor mu? İçeriyorsa hangisinin modele gerçekten gerektiği, hangisinin maskelenebileceği baştan belirlenir. Bunun KVKK tarafını şirket içi yapay zekâ asistanında kişisel veri yazımızda resmî kaynaklarıyla anlattık.

Cevap şirket dokümanlarından gelecekse, verinin hazırlığı ayrı bir iştir: hangi belgenin geçerli olduğu, kimin neyi görebileceği. Bu hazırlığı RAG yazımızda adım adım anlattık.

4. İnsan onayı: hangi adım kimde?

Pilotta yapay zekânın ürettiği her çıktı, sonuç doğurmadan önce bir insanın önünden geçer. Bu hem riski küçük tutar hem de ölçümün kendisini sağlar: insanın kabul ettiği, düzelttiği ve reddettiği her çıktı bir veri noktasıdır.

Pilot kartında her adım için tek satır yazılır:

Adım	Yapay zekâ ne yapar?	İnsan ne yapar?
Talebi okumak	Özetler, kategori önerir	Kategoriyi onaylar ya da değiştirir
Cevap hazırlamak	Taslak yazar	Düzeltir ve gönderir
Kayda geçirmek	Alanları doldurur	Kaydetmeden önce kontrol eder
Geri alınamaz adım	Hiçbir şey	Kendisi yapar

Pilot başarılı olursa bazı satırlar sonradan gevşetilebilir. Örneğin kategori önerisinin isabeti yeterince yüksekse, düşük riskli kategoriler onaysız işlenebilir. Bu kararı ölçüm verir. Adımları risk düzeyine göre sınıflandırmanın bir yolunu halüsinasyon, veri gizliliği ve insan onayı yazımızda anlattık.

5. Durdurma kararı: ne zaman bırakılır?

Durdurma kararı, pilot başlamadan yazılan ve hangi koşulda pilotun sona ereceğini söyleyen kuraldır. Yapay zekâ projelerinde en sık görülen kayıp, işe yaramayan bir denemenin “biraz daha iyileştirelim” diyerek aylarca sürmesidir.

Durdurma kararı üç şey içerir:

Süre. Pilot kaç hafta sürecek? Süre dolduğunda karar verilir, uzatma ayrı bir karardır.
Eşik. Başarı ölçütünün hangi değerinin altında durulacak.
Kırmızı çizgi. Tek bir olayın bile pilotu durduracağı durumlar: kişisel verinin yanlış kişiye gösterilmesi, müşteriye onaysız bir metin gitmesi gibi.

Pilot sonunda üç karardan biri verilir:

Sonuç	Karar	Sonraki adım
Eşik aşıldı, ekip kullanıyor	Genişlet	Aynı işi ikinci ekibe ya da ikinci belge grubuna aç
Eşiğe yakın, nedeni belli	Bir tur daha	Tek bir değişiklik yap, aynı ölçütle yeniden ölç
Eşiğin altında ya da kullanılmıyor	Durdur	Öğrenileni yaz, başka bir işi değerlendir

Durdurmak bir başarısızlık sayılmamalı. Hangi işin bu yöntemle yapılamadığını birkaç haftada öğrenmek, bunu bir yıl sonra öğrenmekten çok daha ucuzdur.

Pilotun maliyetini ne belirler?

Pilotun maliyetini işin kendisi belirler: verinin ne kadar hazır olduğu, kaç sisteme bağlanılacağı ve ölçümün ne kadar emek istediği. Model kullanım ücreti pilot ölçeğinde genellikle küçük bir kalemdir; asıl emek veri hazırlığında ve ölçümde harcanır. Kalemleri tek tek yapay zekâ projesinin maliyetini belirleyen faktörler yazımızda ele aldık.

Tek sayfalık pilot kartı

Aşağıdaki kartı pilottan önce ilgili ekiple birlikte doldurmanızı öneririz. Bizim bakışımızla bir satır boş kalıyorsa, pilot o satır dolana kadar başlamamalı.

İş: Hangi ekip, hangi işi, ne sıklıkta yapıyor?
Bugünkü durum: Bir örnek bugün ne kadar sürüyor, ne sıklıkta hata yapılıyor?
Başarı ölçütü: Kalite, zaman ve kullanım için birer sayı.
Eşik: Hangi değerin altında pilot başarısız sayılır?
Veri: Hangi geçmiş kayıtlar kullanılacak, doğru cevabı kim belirleyecek?
Kişisel veri: Modele hangi kişisel veri gidecek, hangisi maskelenecek?
İnsan onayı tablosu: Her adımda yapay zekâ ne yapar, insan ne yapar?
Kırmızı çizgiler: Hangi tek olay pilotu durdurur?
Süre ve karar tarihi: Pilot ne zaman biter, karar toplantısı ne zaman?
Sahip: Pilotun sonucundan kim sorumlu?

Bu kart bir sayfayı geçmez. Geçiyorsa kapsam büyük demektir.

Sık yapılan hatalar

Önce aracı seçmek. “Bir yapay zekâ aracı aldık, nerede kullanalım?” sorusu, işi araca uydurmaya iter. Önce iş seçilir.
Demoyla karar vermek. Seçilmiş beş örnekte parlayan sistem, gerçek işin dağınık yüz örneğinde farklı davranabilir.
Ölçütü sonradan koymak. Sonuç görüldükten sonra yazılan ölçüt, karar vermeye yaramaz.
Herkese birden açmak. Pilot tek ekiple yürür. Geniş bir kullanıcı kitlesinde hatanın kaynağını bulmak zorlaşır.
Ekibi dışarıda bırakmak. İşi bugün yapan kişiler pilotun tasarımında yoksa, ölçüt de gerçek işi ölçmez.

Sık sorulan sorular

Yapay zekâ pilotu ne kadar sürmeli?

Pilotun süresi, ölçüm için yeterli örneğin birikmesine bağlıdır. Günde onlarca kez yapılan bir işte birkaç hafta çoğu zaman yeterlidir. Süre pilot başlamadan yazılır; uzatma kararı ayrı bir karar olarak verilir.

Pilot için ne kadar veri gerekir?

Ölçümün güvenilir olmasına yetecek kadar gerçek örnek gerekir. Her örnek için doğru cevabın da bilinmesi gerekir. Doğru cevap kayıtlı değilse, ilk iş ekibin küçük bir örnek kümesini kendisinin işaretlemesidir.

Pilot başarısız olursa yatırım boşa mı gider?

Hayır. İyi kurulmuş bir pilot, başarısız olsa bile neyin neden çalışmadığını gösterir: veri mi yetersizdi, iş mi uygun değildi, yoksa ekip aracı mı benimsemedi? Bu bilgi bir sonraki işi seçerken doğrudan kullanılır.

Pilotu kendi ekibimizle mi, dışarıdan biriyle mi yapmalıyız?

İşin sahibi ve değerlendirmesi her durumda şirketin içinde kalmalıdır. Teknik kurulum, ölçüm düzeni ve mimari için dışarıdan destek alınabilir. Dışarıdan biriyle çalışılacaksa görüşmede sorulacak soruları yapay zekâ ajanı geliştiren firma nasıl seçilir yazımızda topladık.

Pilot başarılı olunca ne olur?

Aynı iş ikinci bir ekibe ya da ikinci bir veri grubuna açılır ve ölçüm sürer. İnsan onayı tablosundaki bazı satırlar, ölçüm izin verdiği ölçüde gevşetilir. Bu aşamada bakım, izleme ve maliyet sınırları da kalıcı hâle getirilir.

Kendi işinizde ilk pilotun hangisi olabileceğini birlikte düşünmek isterseniz yapay zekâ sistem mimarisi sayfamıza bakabilir ya da bize yazabilirsiniz.