Yapay zekâ projesinin maliyetini ne belirler? 6 etken

Bir yapay zekâ projesinin maliyetini altı etken belirler: işin kapsamı, model kullanımı, veri hazırlığı, mevcut sistemlerle entegrasyon, değerlendirme düzeni ve yayından sonraki bakım. Bunların bir kısmı bir kez ödenir, bir kısmı her ay sürer. Model ücreti çoğu zaman en görünür kalemdir; ama emeğin büyük bölümü veriye, entegrasyona ve ölçüme gider.

Bu yazıda her etkeni ayrı ayrı açıyoruz. Rakam vermiyoruz; çünkü aynı başlıklı iki proje, bu altı etkene verilen cevaplara göre birbirinden çok farklı yerlere düşer. Yazının sonunda, teklif istemeden önce hazırlayabileceğiniz bir liste var.

Neden “yapay zekâ projesi ne kadar tutar?” sorusunun tek cevabı yok?

Çünkü “yapay zekâ projesi” tek bir iş tanımı değildir. Gelen e-postaları sınıflandıran bir akış ile şirket dokümanlarına dayanan, yetki kontrollü bir asistan aynı başlığın altına girer. Birincisi tek bir model çağrısı ve küçük bir entegrasyondur. İkincisi belge hazırlığı, yetki modeli, arama katmanı ve sürekli ölçüm ister.

Maliyeti anlamanın yolu, işi bu altı etkene ayırmaktır. Her etkenin “az” ve “çok” ucunu bilen biri, teklifler arasındaki farkı da okuyabilir.

1. Kapsam: hangi iş, kaç adım?

Kapsam, sistemin kaç farklı iş yapacağı ve her işin kaç adımdan oluştuğudur. Maliyeti en çok belirleyen etken budur.

Kapsamı büyüten sorular:

Sistem yalnızca metin mi üretecek, yoksa bir şey de yapacak mı? Kayıt açmak, e-posta göndermek, bir sistemi güncellemek iş yapan bir yapay zekâ ajanı gerektirir. Her araç ayrı tasarım, yetki ve test ister.
Kaç kullanıcı rolü var? Herkesin her şeyi gördüğü bir sistem ile rol bazlı yetkisi olan bir sistem farklı işlerdir.
Kaç dil ve kaç kanal? Yalnız iç ekip mi, müşteri de mi kullanacak?

Kapsamı daraltmanın en etkili yolu, işe tek bir işle başlayan bir pilottur. Bunu şirkette yapay zekâ projesine nasıl başlanır yazımızda anlattık.

2. Model kullanımı: kaç çağrı, ne uzunlukta?

Model kullanımı, sistemin çalıştığı her ay ödenen değişken kalemdir. Dil modelleri genellikle işlenen metin miktarına, yani token sayısına göre ücretlendirilir. Faturayı dört şey belirler:

Çağrı sayısı. Günde kaç talep, kaç soru, kaç belge işlenecek?
Bağlam uzunluğu. Her çağrıda modele ne kadar metin gönderiliyor? Bir soruya cevap için uzun bir belgenin tamamını göndermek ile yalnızca ilgili üç paragrafı göndermek arasında büyük fark vardır.
Model seçimi. Her iş en güçlü modeli gerektirmez. Basit bir sınıflandırma için küçük ve hızlı bir model çoğu zaman yeterlidir.
Adım sayısı. Ajan sistemlerinde bir talep tek çağrıyla bitmez; ajan düşünür, araç çağırır, sonucu okur, yeniden düşünür. Her döngü yeni bir çağrıdır.

Son madde, en sık gözden kaçan çarpandır. Sınırsız bırakılan bir ajan, aynı işi beklenenden çok daha fazla adımla yapabilir. Bu yüzden adım ve harcama sınırının tasarımın başında yazılmasını öneririz.

Model seçimi, bütün işe tek model yerine işe göre model kullanmak, kullanım maliyetini en çok etkileyen tasarım kararıdır.

3. Veri hazırlığı: elinizdeki veri ne durumda?

Veri hazırlığı, modelin çalışacağı bilgiyi kullanılabilir hâle getirme işidir ve çoğu projede emeğin en büyük kalemidir.

Hazırlığı büyüten durumlar:

Dağınık kaynaklar. Aynı bilgi üç klasörde, iki sistemde ve birkaç kişinin e-postasında.
Çelişen sürümler. Aynı politikanın birden fazla sürümü var ve hangisinin geçerli olduğu belli değil.
Taranmış belgeler ve tablolar. Metne çevrilmesi, tabloların düzgün okunması ek iş ister.
Etiketsiz örnekler. Ölçüm için “doğru cevabın” belli olduğu örnekler yoksa, önce bunlar hazırlanır.
Kişisel veri. Hangi alanın maskeleneceği, hangisinin modele gideceği ve verinin nerede işleneceği ayrıca tasarlanır. KVKK tarafını şirket içi yapay zekâ asistanında kişisel veri yazımızda ele aldık.

Şirket dokümanlarıyla çalışan bir asistanda bu hazırlığın nasıl yapıldığını RAG yazımızda anlattık.

4. Entegrasyon: kaç sisteme bağlanacak?

Entegrasyon, yapay zekânın şirketin mevcut sistemlerine bağlanmasıdır: CRM, talep takip sistemi, ERP, doküman deposu, e-posta. Her bağlantı ayrı bir iştir.

Bir entegrasyonun emeğini şunlar belirler:

Sistemin belgelenmiş bir API’si var mı?
Yapay zekâ yalnızca okuyacak mı, yoksa yazacak da mı? Yazma yetkisi, onay ve kayıt düzeni ister.
Kimlik doğrulama nasıl? Asistan, kullanıcının kendi yetkisiyle mi çalışacak?

Birden fazla yapay zekâ uygulaması aynı sistemlere bağlanacaksa, bağlantıyı standartlaştıran MCP gibi bir protokol uzun vadede bakım yükünü azaltabilir.

5. Değerlendirme: doğru çalıştığını nasıl bileceğiz?

Değerlendirme, sistemin doğru çalıştığını ölçen düzendir: test seti, ölçütler, insan değerlendirmesi ve canlıda izleme. Bütçede en sık atlanan kalemdir, ama atlandığında diğer bütün kalemler boşa gidebilir.

Değerlendirmenin emeği şunlara bağlıdır:

Test seti için kaç gerçek örnek hazırlanacak?
Doğruluğu kim, nasıl puanlayacak?
Her değişiklikten sonra testler yeniden çalıştırılacak mı?
Canlı kullanımda hangi göstergeler izlenecek?

Bu düzenin nasıl kurulduğunu yapay zekâ sistemi nasıl değerlendirilir yazımızda anlatıyoruz.

6. Bakım ve işletim: yayından sonra ne olur?

Bakım, sistemin yayından sonra da doğru çalışmaya devam etmesi için gereken sürekli iştir. Yapay zekâ sistemlerinde bakım, klasik yazılımdan biraz daha fazladır.

Nedenleri:

Model sürümleri değişir. Sağlayıcılar modelleri günceller, eski sürümleri kaldırır. Her geçişte testlerin yeniden çalıştırılması gerekir.
Veri eskir. Dokümanlar güncellenir, ürünler değişir. Kaynakların güncel tutulması bir sahip ister.
Kullanım değişir. Kullanıcılar ilk günlerde sorulmayan sorular sormaya başlar.
Maliyet izlenir. Kullanım arttıkça model faturası da büyür. Harcama sınırları ve uyarılar düzenli gözden geçirilir.

Güvenlik tarafındaki sürekli işleri halüsinasyon, veri gizliliği ve insan onayı yazımızda ele aldık.

Tek seferlik ve sürekli kalemler

Kalem	Tek seferlik mi, sürekli mi?	Neye bağlı?
Kapsam ve mimari çalışması	Tek seferlik	İş sayısı, rol sayısı
Veri hazırlığı	Çoğu tek seferlik, güncelleme sürekli	Verinin dağınıklığı
Entegrasyon	Tek seferlik, bakım sürekli	Sistem sayısı, okuma mı yazma mı
Test seti ve ölçüm düzeni	Kurulum tek seferlik, çalıştırma sürekli	Örnek sayısı, puanlama yöntemi
Model kullanımı	Sürekli	Çağrı sayısı, bağlam uzunluğu, model seçimi
Barındırma ve kayıt	Sürekli	Veri hacmi, saklama süresi
Bakım ve model geçişleri	Sürekli	Sağlayıcı değişiklikleri, kullanım artışı

Maliyeti artıranlar ve azaltanlar

Artıranlar	Azaltanlar
Geniş, çok işli bir ilk sürüm	Tek işle başlayan bir pilot
Her işte en güçlü model	İşe göre model seçimi
Uzun belgelerin tamamını göndermek	Yalnız ilgili parçayı göndermek
Sınırsız ajan döngüsü	Adım ve harcama sınırı
Dağınık, çelişen kaynaklar	Sahibi belli, güncel kaynaklar
Yazma yetkili çok sayıda entegrasyon	Okuma yetkisiyle başlamak
Ölçümsüz yayın	Baştan kurulmuş test seti

Teklif istemeden önce hazırlayabilecekleriniz

Sistemin yapacağı işin tek paragraflık tarifi.
Bu işin bugün ne sıklıkta yapıldığı: günde, haftada kaç kez?
İşin geçmişinden on ila yirmi gerçek örnek ve her biri için doğru sonuç.
Bağlanılacak sistemlerin listesi ve her biri için “okuma mı, yazma mı?” notu.
Sistemi kimlerin kullanacağı ve kimin neyi görebileceği.
Kişisel veri içerip içermediği.
Başarıyı hangi sayıyla ölçeceğiniz.

Bu liste hazırsa, gelen teklifleri aynı ölçüyle karşılaştırabilirsiniz. Teklif metnini nasıl okuyacağınızı yazılım teklifi nasıl okunur yazımızda anlattık.

Sık sorulan sorular

Neden fiyat listesi yayınlamıyorsunuz?

Çünkü aynı başlık altındaki iki iş, bu yazıdaki altı etkene verilen cevaplara göre çok farklı emek ister. Liste fiyatı ya birini fazla ödemeye ya da diğerini eksik kapsamla başlamaya iter. Kapsamı ilk görüşmede birlikte netleştirir, yazılı bir teklif hazırlarız.

Model ücretini önceden tahmin etmek mümkün mü?

Pilot sırasında gerçek kullanım ölçüldüğünde makul bir tahmin yapılabilir. Talep başına ortalama çağrı sayısı ve bağlam uzunluğu bilindiğinde, aylık kullanım sağlayıcının yayımladığı fiyatlarla hesaplanır. Harcama sınırları tahminin aşılmasını önler.

Kendi sunucumuzda çalışan bir model daha mı ucuz olur?

Duruma bağlıdır. Kendi altyapınızda çalışan bir model, kullanım başına ücreti ortadan kaldırır ama donanım, kurulum ve bakım yükü getirir. Kullanım hacmi, veri gizliliği gereksinimi ve modelin yeterliliği birlikte tartılarak karar verilir.

Maliyeti düşürmenin en etkili yolu nedir?

Kapsamı daraltmak ve ölçmek. Tek bir işle başlayan, başarı ölçütü baştan yazılmış bir pilot, gereksiz işi en erken aşamada eler. İkinci etkili yol, her iş için yeterli olan en küçük modeli seçmektir.

Bakım gerçekten gerekli mi?

Yapay zekâ sistemlerinde evet. Model sürümleri değişir, kaynaklar eskir ve kullanım biçimi zamanla farklılaşır. Bakım yapılmayan bir sistem, yayın günündeki doğruluğunu korumaz.

Kendi projenizin kapsamını ve maliyet kalemlerini birlikte çıkarmak isterseniz yapay zekâ sistem mimarisi sayfamıza bakabilir ya da bize yazabilirsiniz.