Kurumsal AI İş Yükleri İçin Karar Matrisi: Hangi Mimari, Hangi Koşulda?

Kurumlarda yapay zekâ projeleri çoğu zaman “hangi modeli kullanalım?” sorusuyla başlıyor. Oysa model, karar zincirinin yalnızca bir halkasıdır. Aynı model; herkese açık ürün kataloğunu özetlerken düşük riskli, kredi kararı önerirken yüksek etkili olabilir. Başarılı mimari, en güçlü modeli seçmekten önce iş sonucunu, verinin sınırlarını, yanlış çıktının etkisini ve sistemi kimlerin işleteceğini netleştirir.

Bu nedenle yapay zekâ iş yükünü yalnızca bir yazılım bileşeni değil; uygulama, model, veri, güvenlik kontrolleri ve operasyon süreçlerinin birlikte ürettiği bir hizmet olarak ele alın. Aşağıdaki yaklaşım, kullanım senaryosunu savunulabilir mimari kararlarına dönüştürür.

İş Yükünü Önce Problem Olarak Tanımlayın

İlk adım, “AI kullanalım” hedefini ölçülebilir bir problem cümlesine çevirmektir. Kullanıcı kimdir, hangi kararı veya işi destekleyecektir, kabul edilebilir yanıt süresi nedir ve başarısızlığın sonucu ne olur? Örneğin çağrı merkezi notlarını özetlemek ile bir üretim hattını otomatik durdurmak aynı doğruluk ve insan denetimi düzeyini gerektirmez.

Başarı ölçütünü kullanıma bağlayın: arama yardımcısında kaynak gösterme oranı, sınıflandırmada kesinlik ve geri çağırma, belge işlemede alan doğruluğu izlenebilir. Aynı girdiye aynı sonuç zorunluysa kural tabanlı otomasyon veya klasik arama daha doğru olabilir.

Karar Matrisinin Yedi Ekseni

Tek bir puan yerine, birbirini dengeleyen yedi eksen kullanın. Her ekseni düşük, orta veya yüksek olarak işaretlemek; varsayımları görünür kılar ve mimari tartışmayı ürün adlarından çıkarır.

İş etkisi

· Sorulacak temel soru: Yanlış çıktı kimi, ne kadar etkiler?

· Mimariye etkisi: İnsan onayı, test ve geri dönüş mekanizması

Veri hassasiyeti

· Sorulacak temel soru: Girdi ve bağlam hangi verileri içerir?

· Mimariye etkisi: Yerleşim, şifreleme, erişim ve kayıt politikası

Doğruluk ihtiyacı

· Sorulacak temel soru: Kaynağa dayalı yanıt şart mı?

· Mimariye etkisi: RAG, doğrulama ve kaynak gösterme

Gecikme ve hacim

· Sorulacak temel soru: Gerçek zamanlı mı, toplu mu; trafik değişken mi?

· Mimariye etkisi: Model boyutu, önbellek, ölçekleme ve kapasite

Özelleştirme

· Sorulacak temel soru: Genel model yeterli mi?

· Mimariye etkisi: İstem tasarımı, RAG, ince ayar veya özel model

Entegrasyon ve yetki

· Sorulacak temel soru: Sistem yalnızca öneriyor mu, işlem de yapıyor mu?

· Mimariye etkisi: Araç izinleri, onay kapıları ve denetim izi

Operasyon olgunluğu

· Sorulacak temel soru: Kim izleyecek, değerlendirecek ve güncelleyecek?

· Mimariye etkisi: Yönetilen hizmet ya da kurum içi işletim tercihi

Model ve Platform Seçeneklerini Doğru Sırada Daraltın

Düşük riskli, değişken talebe sahip ve hızlı doğrulama bekleyen senaryolarda yönetilen bir model API’si başlangıç süresini kısaltabilir. Kurum bilgisinden yanıt üretilecekse, RAG (retrieval-augmented generation / dış kaynaktan bilgi getirerek üretim) yaklaşımı modelin istek anında yetkili kaynaklardan bağlam almasını sağlar. Bu yöntem, güncel kurumsal bilgiyi modelin ağırlıklarına gömmek yerine ayrı bir bilgi katmanında yönetir.

Fine-tuning (ince ayar), hazır modeli kuruma özgü örneklerle belirli davranışa uyarlamaktır. İstem ve RAG tabanı ölçülmeden bu aşamaya geçmek veri ve sürüm yükünü büyütür. Çok hassas veri veya öngörülebilir yüksek kullanımda özel uç nokta ya da kurumun işlettiği model değerlendirilebilir; ancak yama, kapasite ve izleme sorumluluğu da kuruma geçer.

Veriyi Mimarinin Merkezine Koyun

Modelden önce veri akışını çizin: veri nereden geliyor, hangi amaçla kullanılıyor, ne kadar süre saklanıyor ve kim erişebiliyor? Eğitim verisi, RAG belgeleri, kullanıcı istemleri ve çıktı kayıtları farklı sınıflandırmalara sahip olabilir. Hassas veriyi gereksiz yere isteme eklememek; maskeleme, en az ayrıcalık ve yaşam döngüsü politikalarını veri türüne göre uygulamak gerekir.

RAG kullanılan yapılarda belge sahipliği, güncellik, erişim mirası, parça boyutu ve kaynak gösterme birlikte test edilmelidir. AWS Generative AI Lens, veri kalitesi, güvenlik, sürümleme ve veri soyunu temel kararlar arasında sayar. Veri soyu, bilginin kaynaktan çıktıya izlediği yoldur.

Risk, Güvenlik ve İnsan Denetimini Tasarıma Ekleyin

NIST AI Risk Management Framework, yapay zekâ risklerini Govern, Map, Measure, Manage; yani yönetişim, bağlamı haritalama, ölçme ve yönetme işlevleriyle ele alır. Bu yaklaşımda güvenilirlik yalnızca doğruluk değildir. Geçerlilik ve güvenilirlik; güvenlik ve dayanıklılık; hesap verebilirlik ve şeffaflık; açıklanabilirlik ve yorumlanabilirlik; mahremiyet ve zararlı önyargının yönetimi birlikte değerlendirilir.

Üretken yapay zekâda gerçeğe aykırı fakat ikna edici içerik üretme riski NIST tarafından konfabulasyon (confabulation) olarak tanımlanır. Yüksek etkili akışlarda kaynak doğrulama, politika kontrolü ve insan onayı tasarımın parçası olmalıdır. Dış girdileri istem enjeksiyonuna karşı filtreleyin, araçları en az yetkiyle sınırlandırın ve kritik işlemleri geri alınabilir tasarlayın. Testleri model veya veri değiştikçe tekrarlayın.

İşletim Modelini Baştan Kurun

Üretime çıkan sistem için MLOps, makine öğrenmesi modellerinin veri, test, sürümleme, dağıtım ve izleme yaşam döngüsünü standartlaştırır; üretken AI söz konusu olduğunda aynı disiplin sıklıkla GenAIOps olarak genişletilir. Gecikme, hata oranı ve token maliyetinin yanında yanıt kalitesi, kaynağa bağlılık, güvenlik ihlalleri ve kullanıcı geri bildirimi izlenmelidir.

Model veya sağlayıcı değişimini kolaylaştırmak için istemleri, değerlendirme veri setini ve uygulama orkestrasyonunu tek ürüne sıkıca bağlamayın. Sürüm kaydı, onaylı model kataloğu, harcama limitleri ve gerektiğinde AI özelliğini devre dışı bırakacak güvenli bir geri dönüş yolu oluşturun.

Sık Yapılan Hatalar

En yaygın hata, kullanım senaryosunu kanıtlamadan en büyük modeli seçmektir. İkinci hata, bir pilotun başarılı demosunu üretim kanıtı saymaktır; gerçek kullanıcı trafiği, hatalı girdiler ve entegrasyon yetkileri risk profilini değiştirir. Üçüncü hata, yalnızca altyapı maliyetini ölçmektir. Veri hazırlama, değerlendirme, güvenlik incelemesi ve insan kontrolü toplam sahip olma maliyetine dahildir. Son olarak, “insan döngüde” ifadesi rol, süre ve yetki tanımlanmadan gerçek bir kontrol oluşturmaz.

Sektörel Kullanım Senaryoları

Üretimde bakım dokümanlarından teknisyene kaynaklı yanıt veren bir yardımcı için RAG, yetki mirası ve çevrimdışı çalışma önemli olabilir; ekipman komutu ise ayrı onay ister. Finansta kullanıcı iletişimi özetlenebilir, ancak kredi veya uyum kararında açıklanabilir ölçütler ve uzman incelemesi gerekir. Sağlıkta idari belge sınıflandırma ile klinik öneri aynı risk sınıfında değildir. Perakendede ürün açıklaması üretimi düşük etkiliyken, kişiselleştirilmiş fiyat veya kampanya kararı daha sıkı veri ve adalet kontrolleri gerektirir.

Aşamalı Geçiş Yol Haritası

Birinci aşamada kullanım senaryolarını iş değeri ve etkiye göre sıralayın; veri sahiplerini ve yasaklı kullanımları belirleyin. İkinci aşamada düşük riskli bir senaryo için mevcut süreç ölçümünü, değerlendirme veri setini ve kabul eşiklerini hazırlayın. Üçüncü aşamada sınırlı kullanıcı grubuyla pilot çalıştırın; kalite, gecikme, maliyet ve güvenlik sonuçlarını birlikte ölçün. Dördüncü aşamada kimlik, kayıt, izleme, olay yönetimi ve değişiklik onaylarını üretim standardına taşıyın. Son aşamada aynı matrisi düzenli olarak yeniden uygulayın; veri, model ve iş bağlamı değiştikçe eski karar geçerliliğini yitirebilir.