Yapay zekâ ajanı geliştiren firma nasıl seçilir? 10 soru

Yapay zekâ ajanı geliştirecek bir ekibi seçmenin en güvenilir yolu, görüşmede demoya değil yönteme dair sorular sormaktır. Başarının nasıl ölçüleceği, verinin nereye gittiği, model yanıldığında ne olacağı, hangi adımın insan onayı istediği, maliyetin nasıl sınırlanacağı ve model değişirse ne yapılacağı. Bu sorulara somut ve yazılı cevap veren ekip, işin riskini anlıyor demektir.

Bu yazı bir ölçüt listesidir. Hangi ekibin size uygun olduğuna cevapları dinleyerek siz karar verirsiniz. Genel yazılım projeleri için geçerli soruları (kaynak kodun sahipliği, gizlilik sözleşmesi, kapsam değişikliği) yazılım firması nasıl seçilir yazımızda topladık. Burada yalnız yapay zekâ ajanı projelerine özgü sorular var.

Yapay zekâ projesinde neden ayrı sorular gerekir?

Klasik bir yazılım aynı girdiye her seferinde aynı çıktıyı verir. Bir yapay zekâ ajanı ise olasılıkla çalışır: aynı soruya küçük farklarla cevap verebilir, bazen kendinden emin biçimde yanılabilir ve kendisine verilen araçları beklenmedik bir sırayla kullanabilir.

Bu fark, seçim ölçütlerini de değiştirir. “Yapabilir misiniz?” sorusunun cevabı neredeyse her zaman evettir. Asıl soru, ekibin ajanın ne kadar iyi çalıştığını nasıl ölçtüğü ve yanıldığında ne olacağını nasıl tasarladığıdır. Ajanın ne olduğunu ve sınırlarını yapay zekâ ajanı nedir yazımızda anlattık.

Görüşmede sorulacak 10 soru

1. “Bu iş için yapay zekâ gerçekten gerekli mi?”

İyi bir ekip, işin bir kısmının kurallı bir otomasyonla daha ucuz ve güvenilir yapılabileceğini söylemekten çekinmez. Her talebe “evet, ajanla yaparız” diyen bir cevap, işin incelenmediğini gösterebilir. Bu ayrımı çok ajanlı mı, tek ajan mı, klasik otomasyon mu yazımızdaki tabloyla kendiniz de yapabilirsiniz.

2. “Başarıyı nasıl ölçeceğiz? Test setini kim hazırlıyor?”

Cevapta somut bir yöntem duymalısınız: gerçek örneklerden oluşan bir test seti, her örnek için beklenen sonuç, bir puanlama biçimi ve her değişiklikten sonra testlerin yeniden çalıştırılması. “Kullandıkça göreceğiz” bir ölçüm yöntemi değildir. Ölçüm düzeninin nasıl kurulduğunu yapay zekâ sistemi nasıl değerlendirilir yazımızda anlatıyoruz.

3. “Pilotla mı başlıyorsunuz? Pilot ne zaman durdurulur?”

Dar kapsamlı bir pilot, belli bir süre ve önceden yazılmış bir durdurma eşiği öneren ekip, belirsizliği yönetmeyi biliyor demektir. Pilotun parçalarını şirkette yapay zekâ projesine nasıl başlanır yazımızda topladık.

4. “Verimiz hangi modele, hangi ülkedeki sunucuya gidiyor?”

Cevap net olmalı: hangi sağlayıcı, hangi bölge, verinin orada ne kadar kaldığı ve sağlayıcının veriyi model eğitiminde kullanıp kullanmadığı. Kişisel veri yurt dışına çıkıyorsa bunun KVKK’daki karşılığı da konuşulmalı. Bu konuyu Kurum’un rehberlerine dayanarak şirket içi yapay zekâ asistanında kişisel veri yazımızda ele aldık.

5. “Model yanlış cevap verdiğinde ne oluyor?”

Halüsinasyonun sıfırlanamayacağını kabul eden, ama onu küçültmek için somut yöntemler sayan bir cevap arayın: cevabı kaynağa bağlamak, kaynağı göstermek, bilmediğinde “bilmiyorum” demesini test etmek, çıktıyı kodla doğrulamak. “Bizim sistemimiz yanılmaz” cevabı bir dikkat işaretidir. Yöntemleri halüsinasyon, veri gizliliği ve insan onayı yazımızda anlattık.

6. “Hangi adımlar insan onayına bağlı olacak?”

Ekip, ajanın adımlarını sınıflandıran bir tablo önermeli: hangi adım onaysız yapılır, hangisi taslak olarak hazırlanıp insana sunulur, hangisi her zaman onay ister. Ödeme, silme ve dışarıya gönderim gibi geri alınması zor adımlar için cevap açık olmalı.

7. “Ajanın yetkileri nasıl sınırlanıyor? Her adım kaydediliyor mu?”

Ajanın kullanabileceği araçların tek tek listelenmesi, varsayılanın “hayır” olması ve her adımın gerekçesiyle kaydedilmesi beklenir. Ajanın okuduğu e-posta ya da web sayfasındaki gizli talimatlara karşı nasıl bir sınır kurulduğunu da sorun. Bu risk, ajanın dış içerik okuduğu her projede gündeme gelir.

8. “Model maliyetini nasıl sınırlıyorsunuz?”

Model kullanımı her ay ödenen bir kalemdir ve ajan sistemlerinde adım sayısıyla büyür. İyi bir cevap; adım ve harcama sınırını, işe göre model seçimini ve kullanımın nasıl izleneceğini içerir. Maliyet kalemlerini yapay zekâ projesinin maliyetini belirleyen faktörler yazımızda açtık.

9. “Model sağlayıcısı değişirse ya da model kaldırılırsa ne olur?”

Sağlayıcılar modellerini günceller, eski sürümleri kaldırır, fiyatlarını ve koşullarını değiştirir. Sistemin tek bir sağlayıcıya ne kadar bağlı olduğu, başka bir modele geçişin ne gerektirdiği ve geçişte testlerin yeniden çalıştırılıp çalıştırılmayacağı sorulmalı. Araçları MCP gibi standart bir protokolle tanımlamak bu bağımlılığı azaltan yollardan biridir.

10. “Canlıya aldıktan sonra kim, neyi izliyor?”

Yayından sonra doğruluk, maliyet ve kullanım izlenmelidir. Kimin izleyeceği, hangi durumda uyarı üretileceği ve sistemin tek bir noktadan nasıl durdurulacağı cevapta yer almalı. Bakımın kapsamı ve süresi de bu sorunun parçasıdır.

Cevapları nasıl değerlendirmeli?

Aşağıdaki tablo, görüşme notlarınızı yan yana koymak için hazırlandı. Sol sütundaki cevaplar yöntemin varlığına, sağ sütundakiler eksikliğine işaret eder.

Konu	Güven veren cevap	Dikkat işareti
Gereklilik	“Bu kısım kurallı otomasyonla yapılır”	Her işe ajan önermek
Ölçüm	Test seti, puanlama, eşik	“Kullandıkça görürüz”
Başlangıç	Süreli pilot, durdurma eşiği	Doğrudan tam sistem
Veri	Sağlayıcı, bölge, saklama süresi yazılı	“Veri güvende” demekle yetinmek
Hata	Kaynağa bağlama, “bilmiyorum” testi	“Sistemimiz yanılmaz”
Onay	Adım adım onay tablosu	Onay konusunu sonraya bırakmak
Yetki	Araç listesi, kayıt, dış içerik sınırı	Geniş yetkiyle başlamak
Maliyet	Adım ve harcama sınırı, izleme	Belirsiz “kullanıma göre”
Bağımlılık	Model geçişi planı	Tek modele kilitli mimari
İşletim	İzleme, uyarı, durdurma noktası	Teslimle biten ilişki

Hiçbir ekip her satırda kusursuz olmak zorunda değil. Ama bir cevabın yazılı olarak verilip verilmeyeceğini sormak, sözlü bir güvenceyi somut bir taahhüde çevirir.

Yapay zekâ projesinde teslimata ne yazılmalı?

Klasik yazılımda teslimat çoğunlukla kaynak kod ve belgelerdir. Bir yapay zekâ ajanında bunlara ek olarak birkaç parça daha vardır ve teklifte ya da sözleşmede adıyla yazılmaları gerekir:

1. Test seti. Ölçümde kullanılan örnekler, beklenen sonuçlar ve puanlama yöntemi. Sistemi ileride başka bir ekip devralırsa, aynı ölçütle karşılaştırma yapabilmesi bu sete bağlıdır.
2. İstemler ve yapılandırma. Modele verilen talimatlar, araç tanımları ve ayarlar. Ajanın davranışının büyük kısmı bu metinlerde tanımlıdır.
3. Model sağlayıcı hesabı. Kullanım ücretinin ödendiği hesap ve erişim anahtarları şirketin kendi adına açılmalıdır. Hesap geliştiricinin üzerindeyse fatura, kayıtlar ve erişim de onda kalır.
4. Kayıtlar. Ajanın adım kayıtlarının nerede tutulduğu, ne kadar saklandığı ve şirkete nasıl aktarılacağı.
5. İşletim notu. Sistemin nasıl durdurulacağı, harcama sınırlarının nerede ayarlandığı ve model sürümü değiştiğinde neyin yeniden test edileceği.

Görüşmeye nasıl hazırlanmalı?

Soruların işe yaraması için sizin tarafınızda da birkaç şeyin hazır olması gerekir:

1. İşin tek paragraflık tarifi. Hangi ekip, hangi işi, ne sıklıkta yapıyor?
2. Gerçek örnekler. İşin geçmişinden birkaç örnek ve her biri için doğru sonuç. Kişisel veri varsa maskelenmiş hâliyle.
3. Bağlanılacak sistemler. Her biri için okuma mı, yazma mı gerekiyor?
4. Kırmızı çizgiler. Hangi verinin şirket dışına çıkmaması, hangi adımın asla otomatik yapılmaması gerektiği.
5. Karar verici. Projenin sonucundan şirket içinde kim sorumlu?

Bu hazırlık, farklı ekiplerden gelen cevapları aynı ölçüyle karşılaştırmayı sağlar. Gelen teklifleri nasıl okuyacağınızı yazılım teklifi nasıl okunur yazımızda anlattık.

Sık sorulan sorular

Yapay zekâ ajanı geliştiren ekibi seçerken en önemli ölçüt nedir?

Ölçüm yöntemi. Ajanın ne kadar doğru çalıştığını gerçek örneklerle nasıl ölçeceğini somut olarak anlatabilen bir ekip, diğer soruların çoğuna da sağlam cevap verir. Ölçüm yoksa iyileştirme de karar da yoktur.

Etkileyici bir demo yeterli bir kanıt mı?

Hayır. Demo seçilmiş örneklerle hazırlanır. Kendi işinizden birkaç gerçek örneği görüşmeye getirip sistemin bunlarla nasıl çalışacağının tartışılmasını isteyin. Asıl kanıt, sizin verinizle yapılan ölçümdür.

Büyük bir ajans mı, küçük bir ekip mi?

Ekibin büyüklüğünden çok, projede kiminle çalışacağınız ve o kişilerin bu on soruya verdiği cevaplar önemlidir. Görüşmede konuştuğunuz kişinin projeyi yürütecek kişi olup olmadığını sorun.

Ekibin yapay zekâ deneyimini nasıl anlarım?

Daha önce canlıya alınmış bir yapay zekâ sistemini nasıl ölçtüklerini, hangi hatalarla karşılaştıklarını ve neyi değiştirdiklerini sorun. Somut bir hata hikâyesi anlatabilen ekip, sistemi gerçek kullanımda görmüş demektir.

Bu sorular üzerine konuşmak isterseniz yapay zekâ sistem mimarisi sayfamıza bakabilir ya da bize yazabilirsiniz.