# Yazılım ve Yapay Zekâ Güvenliği Nedir? Modern Uygulamalarda Yeni Nesil Siber Tehditler

**URL:** https://securesys.com.tr/tr/bilgi-merkezi/yazilim-ve-yapay-zeka-guvenligi/yazilim-ve-yapay-zeka-guvenligi-nedir

![Yazılım ve Yapay Zekâ Güvenliği Nedir? Modern Uygulamalarda Yeni Nesil Siber Tehditler](/images/bilgi-merkezi/covers/cover-yzguv-01.webp)

### Giriş: Yazılımlar Artık Yalnızca Koddan Oluşmuyor

Bir zamanlar yazılım güvenliği denildiğinde akla çoğunlukla kaynak kod analizi, SQL Injection, Cross-Site Scripting, yetkilendirme hataları ve güvenli yazılım geliştirme süreçleri geliyordu.

Bir uygulamanın güvenli olup olmadığını değerlendirmek için kaynak kod inceleniyor, çalışan uygulama üzerinde sızma testleri gerçekleştiriliyor ve kullanılan üçüncü taraf bileşenler bilinen güvenlik açıkları açısından kontrol ediliyordu.

Bu yöntemler bugün de önemini koruyor.

Ancak yazılım dünyasında yeni bir dönüşüm yaşanıyor.

Artık uygulamalar yalnızca geliştiricilerin önceden tanımladığı kuralları çalıştırmıyor. Büyük dil modelleriyle iletişim kuruyor, kullanıcıların doğal dilde verdiği talimatları yorumluyor, kurumsal belgelerden bilgi topluyor, harici sistemlerle bağlantı kuruyor ve bazı durumlarda kullanıcı adına işlem gerçekleştirebiliyor.

Bir müşteri hizmetleri uygulaması yapay zekâ aracılığıyla soruları yanıtlayabiliyor.

Bir finans uygulaması doğal dilde verilen talimatlardan rapor oluşturabiliyor.

Bir yazılım geliştirme asistanı kaynak kod yazabiliyor.

Bir AI Agent, takvim sistemine erişerek toplantı oluşturabiliyor, kurumsal veritabanından bilgi çekebiliyor veya yetkilendirildiği araçlar üzerinden operasyon başlatabiliyor.

Bu gelişmeler işletmelere önemli verimlilik fırsatları sunuyor.

Ancak beraberinde yeni bir güvenlik sorusu getiriyor:

**Bir yazılım artık yalnızca komut çalıştırmıyor, talimat yorumlayıp karar verebiliyorsa onu nasıl güvenli hale getirebiliriz?**

İşte Yazılım ve Yapay Zekâ Güvenliği kavramı bu sorunun merkezinde yer alıyor.

Geleneksel uygulama güvenliğinin korumaya çalıştığı kaynak kod, veri, kullanıcı hesabı ve sistem kaynaklarına artık yeni bileşenler ekleniyor: yapay zekâ modelleri, prompt yapıları, embedding verileri, vector database sistemleri, model bağlamları, araç çağrıları ve otonom ajan davranışları.

Dolayısıyla güvenlik yaklaşımının da genişlemesi gerekiyor.

Bu makalede yazılım ve yapay zekâ güvenliğinin ne anlama geldiğini, geleneksel uygulama güvenliğinden hangi noktalarda ayrıldığını, yeni saldırı yüzeylerini ve kurumların nasıl bir güvenlik mimarisi oluşturması gerektiğini ayrıntılı şekilde inceleyeceğiz.

### \1. Yazılım Güvenliği Nedir?

Yazılım güvenliği, bir uygulamanın tasarımından geliştirilmesine, test edilmesinden üretim ortamında çalıştırılmasına kadar bütün yaşam döngüsü boyunca güvenlik risklerinin yönetilmesidir.

Temel amaç, yazılımın yetkisiz erişimlere, veri sızıntılarına, manipülasyona, hizmet kesintilerine ve diğer siber tehditlere karşı dayanıklı olmasını sağlamaktır.

Geleneksel yazılım güvenliğinde üç temel özellik öne çıkar:

**Gizlilik (Confidentiality):** Verilere yalnızca yetkili kullanıcıların ve sistemlerin erişebilmesi.

**Bütünlük (Integrity):** Verilerin ve işlemlerin yetkisiz şekilde değiştirilememesi.

**Erişilebilirlik (Availability):** Uygulamanın ihtiyaç duyulduğunda güvenilir şekilde hizmet verebilmesi.

Bu üç özellik bilgi güvenliğinin temelini oluşturur.

Ancak modern uygulamalarda kimlik doğrulama, yetkilendirme, hesap verebilirlik, izlenebilirlik ve güvenli işlem yürütme gibi gereksinimler de önemlidir.

Örneğin bir bankacılık uygulamasında kullanıcı kendi hesabını görüntüleyebilmeli ancak başka müşterinin hesap bilgilerine erişememelidir.

Bir e-ticaret uygulamasında ürün fiyatı, kullanıcı tarafından gönderilen bir istekle yetkisiz biçimde değiştirilememelidir.

Bir kurumsal portalda standart kullanıcı yönetici yetkisi gerektiren işlemleri gerçekleştirememelidir.

Bu güvenlik gereksinimleri kaynak kod, uygulama mimarisi ve çalışma ortamı üzerinde çeşitli kontrollerle sağlanır.

#### Geleneksel yazılım güvenliğinde kullanılan yöntemler

Yazılım güvenliği farklı test ve kontrol yöntemlerinden yararlanır.

**SAST (Static Application Security Testing)** kaynak kodu çalıştırmadan analiz ederek potansiyel güvenlik zayıflıklarını tespit etmeye yardımcı olur.

**DAST (Dynamic Application Security Testing)** çalışan uygulamanın dışarıdan gözlemlenebilen güvenlik davranışlarını değerlendirir.

**SCA (Software Composition Analysis)** kullanılan üçüncü taraf kütüphaneleri, bağımlılıkları ve bilinen güvenlik açıklarını inceler.

**Manuel Kaynak Kod Analizi** özellikle iş mantığı, karmaşık yetkilendirme ve mimari problemleri uzman değerlendirmesiyle araştırır.

**Sızma Testi (Pentest)** uygulamanın gerçekçi saldırı senaryoları karşısındaki güvenlik durumunu değerlendirir.

**Secure Coding** geliştiricilerin güvenli programlama yöntemleri kullanmasını hedefler.

**DevSecOps** güvenlik kontrollerini yazılım geliştirme ve CI/CD süreçlerine entegre eder.

Bu yöntemler yapay zekâ kullanılan uygulamalarda da geçerliliğini korur. Ancak yapay zekâ bileşenlerinin kendine özgü riskleri için ek güvenlik kontrolleri gerekir.

### \2. Yapay Zekâ Güvenliği Nedir?

Yapay zekâ güvenliği, yapay zekâ modellerinin, bu modelleri kullanan uygulamaların, veri işleme süreçlerinin ve yapay zekâya bağlı sistemlerin kötüye kullanıma, yetkisiz erişime, manipülasyona ve güvenlik ihlallerine karşı korunmasıdır.

İngilizcede bu alan çoğunlukla **AI Security** olarak ifade edilir.

Ancak AI Security tek bir güvenlik teknolojisi değildir.

Birden fazla disiplinin birleşimidir.

Örneğin yapay zekâ güvenliği kapsamında şu konular değerlendirilebilir:

- Modelin yetkisiz kişiler tarafından kullanılması.
- Modelin kötü niyetli girdilerle manipüle edilmesi.
- Kurumsal verilerin model aracılığıyla sızdırılması.
- Yapay zekâ ajanlarının yetkileri dışında işlem gerçekleştirmesi.
- Modelin eğitim veya bilgi kaynaklarının manipüle edilmesi.
- Model çıktılarının uygulama tarafından güvenli olmayan biçimde işlenmesi.
- Yapay zekâ altyapısındaki yazılım ve tedarik zinciri zafiyetleri.

Burada önemli bir ayrım vardır.

**Yapay zekâ güvenliği, yapay zekâyı siber güvenlik amacıyla kullanmakla aynı şey değildir.**

Bir SOC sisteminin yapay zekâyla tehdit analizi yapması, yapay zekânın güvenlik operasyonlarında kullanılmasıdır.

Bir LLM uygulamasının Prompt Injection saldırılarına karşı korunması ise yapay zekâ sisteminin güvenliğidir.

İki alan birbiriyle ilişkili olsa da farklı güvenlik problemlerini ele alır.

Bu içerik serisinde ağırlıklı olarak ikinci konuya, yani yapay zekâ kullanan yazılım ve sistemlerin güvenliğine odaklanacağız.

### \3. Geleneksel Yazılım Güvenliği ile Yapay Zekâ Güvenliği Arasındaki Fark

Geleneksel uygulamalar çoğunlukla geliştiricilerin tanımladığı mantıksal akışları takip eder.

Örneğin bir kullanıcı sisteme giriş yaptığında uygulama kimlik bilgilerini kontrol eder ve belirlenmiş koşullar sağlanıyorsa erişim verir.

Yapay zekâ destekli sistemlerde ise bazı davranışlar önceden yazılmış kesin kurallardan değil, modelin girdileri yorumlayarak ürettiği çıktılardan kaynaklanır.

Bu durum güvenlik değerlendirmesini karmaşıklaştırır.

| Güvenlik Alanı | Geleneksel Yazılım | Yapay Zekâ Destekli Yazılım |
| --- | --- | --- |
| Temel işlem | Önceden tanımlı kod akışı | Kod akışı ve model çıkarımı |
| Kullanıcı girdisi | Form, API, parametre | Doğal dil, dosya, görsel, API |
| Başlıca riskler | Injection, XSS, yetkilendirme | Bunlara ek olarak Prompt Injection ve model manipülasyonu |
| Veri kaynakları | Veritabanı ve servisler | Veritabanı, model bağlamı, RAG, araçlar |
| Yetki yönetimi | Kullanıcı ve servis yetkileri | Kullanıcı, servis ve AI Agent yetkileri |
| Test yaklaşımı | SAST, DAST, Pentest | Geleneksel testler ve AI Security Testing |
| Çıktı davranışı | Büyük ölçüde deterministik | Olasılıksal ve bağlama duyarlı olabilir |

Bu karşılaştırma geleneksel güvenlik kontrollerinin geçersiz olduğu anlamına gelmez.

Tam tersine, yapay zekâ sistemleri geleneksel güvenlik altyapısının üzerine yeni saldırı yüzeyleri ekler.

Örneğin bir AI Agent, veritabanına erişen bir API kullanıyorsa o API'nin yetkilendirme kontrolleri hâlâ zorunludur.

Modelin kullanıcıya hangi işlemi yapması gerektiğini söylemesi, uygulamanın o işleme otomatik olarak izin vermesi için yeterli değildir.

**Yapay zekâ tarafından üretilen kararlar, güvenlik yetkisi yerine geçmemelidir.**

### \4. Yapay Zekâ Neden Yeni Bir Saldırı Yüzeyi Oluşturuyor?

Saldırı yüzeyi, bir sistemin saldırganlar tarafından hedef alınabilecek bütün erişim noktalarını ve bileşenlerini ifade eder.

Geleneksel web uygulamasında saldırı yüzeyi çoğunlukla HTTP endpoint'leri, kullanıcı giriş alanları, API servisleri, dosya yükleme özellikleri ve sistem entegrasyonlarından oluşur.

Yapay zekâ destekli bir uygulamada bunlara yeni alanlar eklenir.

Örneğin bir kurumsal yapay zekâ asistanını düşünelim.

Kullanıcı doğal dilde soru soruyor.

Asistan kurumsal doküman arama sistemine bağlanıyor.

İlgili belgeleri buluyor.

Belgelerden alınan metinleri modele gönderiyor.

Model cevap oluşturuyor.

Gerekirse başka bir API çağırıyor.

Sonuç kullanıcıya sunuluyor.

Bu işlem sırasında güvenlik açısından farklı güven sınırları ortaya çıkar.

Kullanıcının yazdığı prompt güvenilir olmayabilir.

Doküman içeriği saldırgan tarafından değiştirilmiş olabilir.

Modelin oluşturduğu cevap hatalı veya manipüle edilmiş olabilir.

Bağlı API beklenenden daha geniş yetkilere sahip olabilir.

Dolayısıyla yalnızca kullanıcının girişini kontrol etmek yeterli değildir.

**Modelin okuduğu, yorumladığı, ürettiği ve işlem gerçekleştirmek için kullandığı bütün veriler güvenlik perspektifiyle değerlendirilmelidir.**

#### Güven sınırlarının değişmesi

Geleneksel yazılımda güvenilmeyen kullanıcı verisi ile uygulama komutları arasındaki ayrım çoğunlukla programlama dili ve uygulama mimarisiyle belirlenir.

LLM sistemlerinde ise talimatlar ve işlenecek içerikler aynı doğal dil bağlamında bulunabilir.

Örneğin modelin özetlemesi gereken bir belge içerisinde talimat gibi görünen ifadeler yer alabilir.

Bu ifadeler gerçek kullanıcı talimatı değildir.

Ancak model bunları davranışını değiştiren komutlar gibi yorumlayabilir.

Bu problem Prompt Injection riskinin temelini oluşturur.

### \5. LLM Güvenliği Nedir?

LLM, Large Language Model yani Büyük Dil Modeli anlamına gelir.

Bu modeller doğal dil işleme, metin üretimi, özetleme, sınıflandırma, kod oluşturma ve benzeri işlemlerde kullanılabilir.

LLM Security ise bu modellerin ve bunları kullanan uygulamaların güvenlik risklerini ele alır.

Bir LLM uygulamasında yalnızca modelin kendisi değil, modelin çevresindeki bütün bileşenler değerlendirilmelidir.

Örneğin:

**Kullanıcı Arayüzü → Uygulama Backend → Prompt Oluşturma → LLM → Çıktı İşleme → Kullanıcı**

akışını düşünelim.

Bu mimaride her aşama farklı güvenlik kontrollerine ihtiyaç duyar.

Kullanıcı arayüzü kimlik doğrulama ve girdi kontrollerine ihtiyaç duyabilir.

Backend yetkilendirme ve veri erişim kontrollerini uygulamalıdır.

Prompt oluşturma katmanı güvenilir talimatlarla dış kaynaklardan gelen verileri birbirinden ayırmalıdır.

LLM çıktısı, uygulama tarafından çalıştırılmadan veya başka sistemlere aktarılmadan önce değerlendirilmelidir.

Özellikle model çıktılarının SQL, shell komutu, HTML veya otomatik API işlemi gibi güvenlik açısından kritik alanlarda kullanılması ek risk doğurabilir.

Bu nedenle LLM güvenliği yalnızca modele verilen sistem talimatını güçlendirmekten ibaret değildir.

**Güvenli LLM uygulaması, modelin çevresinde güçlü güvenlik sınırları oluşturulmasını gerektirir.**

### \6. Prompt Injection Nedir?

Prompt Injection, bir yapay zekâ sisteminin davranışını değiştirmek amacıyla güvenilmeyen içeriklerin talimat gibi kullanılmasını hedefleyen saldırı yaklaşımıdır.

Bu saldırılar doğrudan veya dolaylı olabilir.

#### Doğrudan Prompt Injection

Saldırgan doğrudan yapay zekâ uygulamasına belirli talimatlar göndererek sistemin kurallarını aşmaya çalışır.

Örneğin bir kullanıcı, kurumsal asistanın normalde paylaşmaması gereken bilgileri açıklamasını isteyebilir.

Bu tür girişimler modelin tanımlanmış kullanım sınırlarını zorlamayı hedefler.

#### Dolaylı Prompt Injection

Dolaylı saldırılarda kötü niyetli talimat kullanıcı mesajında değil, modelin okuduğu başka bir içerikte bulunur.

Bu içerik:

- web sayfası,
- PDF dokümanı,
- e-posta,
- veri tabanı kaydı,
- arama sonucu,
- repository dosyası

olabilir.

Örneğin bir yapay zekâ asistanı dışarıdan aldığı bir dokümanı özetlerken dokümanın içine yerleştirilmiş talimatları da yorumlayabilir.

Bu durum özellikle RAG sistemleri ve AI Agent mimarilerinde önemlidir.

#### Prompt Injection neden geleneksel Injection saldırılarından farklıdır?

SQL Injection saldırısında uygulamanın veriyi SQL komutu gibi yorumlaması temel problemdir.

Prompt Injection saldırısında ise modelin güvenilmeyen içeriği davranışını yönlendiren talimat olarak yorumlaması hedeflenir.

İki saldırının teknik mekanizmaları farklıdır.

Ancak ortak güvenlik prensibi aynıdır:

**Güvenilmeyen veri, yetkili komut haline gelmemelidir.**

Prompt Injection konusunu serimizin dördüncü bölümünde ayrıntılı olarak ele alacağız.

### \7. Jailbreak Nedir?

Jailbreak, yapay zekâ modelinin güvenlik veya davranış kısıtlamalarını aşmaya yönelik girişimleri ifade eder.

Prompt Injection ile ilişkili olsa da aynı kavram değildir.

Prompt Injection özellikle güvenilmeyen içeriğin talimat hiyerarşisini etkilemesini hedefler.

Jailbreak ise modelin normalde uyması gereken kısıtlamaları aşmasını amaçlayan daha geniş bir davranış manipülasyonu kategorisidir.

Kurumsal uygulamalarda bu ayrım önemlidir.

Çünkü bir modelin güvenlik kurallarını aşmaya yönelik yanıt üretmesi ile kurumsal verilere gerçekten yetkisiz erişim sağlanması aynı sonuç değildir.

Gerçek güvenlik değerlendirmesi yalnızca modelin ne söylediğini değil, uygulamanın hangi verilere ve işlemlere erişim verdiğini de incelemelidir.

Örneğin model bir kullanıcının başka müşteriye ait bilgileri alabileceğini iddia edebilir.

Ancak backend yetkilendirmesi doğru uygulanıyorsa bu iddia gerçek veri erişimine dönüşmeyebilir.

Bu nedenle LLM güvenlik testlerinde model davranışı ile sistemin gerçek güvenlik etkisi birbirinden ayrılmalıdır.

### \8. AI Agent Güvenliği Nedir?

AI Agent, belirli hedeflere ulaşmak için bilgi toplayabilen, karar verebilen ve kendisine tanımlanmış araçları kullanarak işlem gerçekleştirebilen yapay zekâ tabanlı sistemleri ifade eder.

Klasik bir chatbot çoğunlukla cevap üretir.

AI Agent ise yetkilendirilmişse işlem gerçekleştirebilir.

Örneğin bir AI Agent:

- takvim oluşturabilir,
- e-posta taslağı hazırlayabilir,
- müşteri kaydı sorgulayabilir,
- destek talebi açabilir,
- rapor üretebilir,
- iş akışı başlatabilir.

Bu yetenekler önemli operasyonel avantajlar sağlar.

Ancak modelin hatalı veya manipüle edilmiş bir kararı gerçek sistem işlemlerine dönüşebilir.

Örneğin bir kullanıcıya yalnızca rapor sunması gereken asistanın müşteri kayıtlarını değiştirme yetkisine sahip olması gereksiz bir risktir.

Bu nedenle AI Agent sistemlerinde **Least Privilege**, yani en az yetki prensibi kritik önem taşır.

#### AI Agent neden özel güvenlik kontrolleri gerektirir?

Bir AI Agent'ın güvenliği değerlendirilirken yalnızca modelin cevapları incelenmemelidir.

Aynı zamanda şu sorular cevaplanmalıdır:

Ajan hangi araçları kullanabiliyor?

Her aracın yetkisi nedir?

Ajan kullanıcı adına mı yoksa sistem hesabıyla mı işlem yapıyor?

İşlem öncesinde kullanıcı yetkisi yeniden doğrulanıyor mu?

Kritik işlemlerde insan onayı gerekiyor mu?

Ajanın gerçekleştirdiği işlemler kayıt altına alınıyor mu?

Bu sorular cevaplanmadan yalnızca güçlü bir sistem prompt'u yazmak yeterli güvenlik sağlamaz.

### \9. Tool Calling ve MCP Güvenliği

Yapay zekâ uygulamaları harici sistemlerle etkileşim kurmak için araç çağırma mekanizmaları kullanabilir.

Tool Calling sayesinde model, belirli parametrelerle uygulamanın sunduğu fonksiyonların çalıştırılmasını talep edebilir.

Örneğin bir model:

“Bu müşterinin son üç siparişini getir.”

talebini yorumlayarak ilgili API fonksiyonunu çağırmayı önerebilir.

Ancak güvenli mimaride API çağrısının gerçekten yapılmasına modelin tek başına karar vermemesi gerekir.

Uygulama katmanı kullanıcı kimliğini, erişim yetkisini, parametreleri ve işlem politikasını kontrol etmelidir.

#### MCP nedir?

Model Context Protocol (MCP), yapay zekâ uygulamalarının dış veri kaynakları ve araçlarla standartlaştırılmış biçimde etkileşim kurmasını kolaylaştıran bir protokoldür.

MCP entegrasyonları sayesinde yapay zekâ sistemleri farklı araç ve kaynaklara bağlanabilir.

Ancak entegrasyonların sayısı arttıkça güvenlik yüzeyi de genişleyebilir.

Örneğin kötü niyetli veya ele geçirilmiş bir araç sunucusu, modelin kullandığı bilgileri manipüle edebilir.

Bir araç gereğinden fazla yetkiyle yapılandırılmış olabilir.

Bir entegrasyon beklenenden daha geniş veri erişimi sağlayabilir.

Bu nedenle MCP güvenliğinde araçların kaynağı, yetkilendirilmesi, veri erişim kapsamı ve işlem denetimi önemlidir.

Serimizin beşinci bölümünde AI Agent, Tool Calling ve MCP güvenliğini ayrıntılı şekilde inceleyeceğiz.

### \10. RAG Güvenliği Nedir?

RAG, Retrieval-Augmented Generation yani Erişimle Desteklenmiş Üretim yaklaşımıdır.

Bu mimaride büyük dil modeli yalnızca kendi eğitim sürecinde öğrendiği bilgilerle cevap oluşturmaz.

Aynı zamanda harici bilgi kaynaklarından getirilen içerikleri de kullanabilir.

Örneğin bir kurum kendi iç prosedürlerini, teknik dokümanlarını ve ürün kılavuzlarını yapay zekâ asistanına bağlayabilir.

Kullanıcı soru sorduğunda sistem ilgili belgeleri bulur ve modelin cevap oluşturmasına yardımcı olur.

Bu yaklaşım özellikle kurumsal bilgi yönetiminde oldukça değerlidir.

Ancak RAG sistemlerinde önemli güvenlik riskleri vardır.

#### Yetkisiz belge erişimi

Bir kurumun bütün belgeleri aynı bilgi havuzunda bulunabilir.

Ancak bütün çalışanların bu belgelerin tamamına erişim yetkisi olmayabilir.

Örneğin insan kaynakları belgeleri, finansal raporlar ve yönetim kurulu dokümanları farklı erişim seviyelerine sahip olabilir.

RAG sistemi arama sonuçlarını kullanıcının gerçek yetkilerine göre filtrelemiyorsa yetkisiz bilgi ifşası oluşabilir.

#### Doküman zehirleme

Bir saldırgan bilgi kaynağına manipüle edilmiş içerik ekleyebilir.

Bu içerik modelin yanlış bilgi üretmesine veya istenmeyen talimatları takip etmesine neden olabilir.

#### Veri kaynağının güvenilirliği

RAG sisteminde getirilen içeriklerin güncelliği, bütünlüğü ve kaynağı önemlidir.

Modelin doğru bir cevap üretmesi için yalnızca ilgili dokümanı bulması yeterli değildir.

Dokümanın güvenilir ve erişim açısından uygun olması da gerekir.

**RAG güvenliğinde temel prensip, arama sonucunun bulunabilir olmasının erişim izni anlamına gelmemesidir.**

### \11. Vector Database Güvenliği

RAG mimarilerinde sıklıkla kullanılan bileşenlerden biri Vector Database sistemleridir.

Bu sistemler içeriklerin sayısal temsilleri olan embedding verilerini saklayabilir ve benzerlik aramaları gerçekleştirebilir.

Embedding verileri her zaman orijinal metnin doğrudan kopyası değildir.

Ancak bazı koşullarda hassas bilgilerle ilişkili çıkarımlar yapılmasına veya bilgi sızıntısı risklerine katkıda bulunabilir.

Bu nedenle vector database güvenliği de veri güvenliği programının parçası olmalıdır.

Özellikle şu kontroller değerlendirilmelidir:

- Kullanıcı ve servis bazlı erişim kontrolü.
- Tenant izolasyonu.
- Veri kaynağı yetkilendirmesi.
- Şifreleme.
- Audit logging.
- Veri saklama ve silme politikaları.
- Arama sonuçlarında belge düzeyinde yetki kontrolü.

Örneğin çok müşterili bir SaaS uygulamasında farklı müşterilerin embedding verileri aynı altyapıda tutulabilir.

Bu durumda uygulama, bir müşterinin başka müşteriye ait arama sonuçlarını görmesini engellemelidir.

Sadece prompt içerisinde “başka müşterinin verisini gösterme” yazmak yeterli değildir.

Yetkilendirme uygulama ve veri erişim katmanlarında uygulanmalıdır.

### \12. Shadow AI Nedir?

Shadow AI, çalışanların veya ekiplerin kurum tarafından onaylanmamış ya da yeterince yönetilmeyen yapay zekâ servislerini iş süreçlerinde kullanmasıdır.

Bu kullanım her zaman kötü niyetli değildir.

Bir çalışan raporunu daha hızlı hazırlamak isteyebilir.

Bir geliştirici kodunu yapay zekâ aracına inceletebilir.

Bir satış çalışanı müşteri teklifini özetlemek için harici LLM servisi kullanabilir.

Ancak bu süreçte kurumsal veriler kontrolsüz biçimde üçüncü taraf sistemlere aktarılabilir.

Örneğin geliştirici hata ayıklama amacıyla uygulamanın kaynak kodunu harici yapay zekâ aracına gönderebilir.

Kod içerisinde:

- müşteri bilgileri,
- erişim token'ları,
- bağlantı bilgileri,
- şirket içi iş mantığı

bulunabilir.

Bu durum kurumun veri güvenliği ve fikri mülkiyet koruma politikaları açısından risk oluşturabilir.

#### Shadow AI nasıl yönetilmelidir?

Yalnızca bütün yapay zekâ araçlarını yasaklamak çoğu kurumda sürdürülebilir olmayabilir.

Daha etkili yaklaşım, güvenli ve onaylı kullanım seçenekleri oluşturmaktır.

Örneğin kurum:

Onaylı AI servislerini belirleyebilir.

Hangi verilerin paylaşılabileceğini sınıflandırabilir.

Kurumsal hesap ve sözleşme kontrolleri uygulayabilir.

Hassas veri aktarımını denetleyebilir.

Gerekli durumlarda AI Gateway ve DLP kontrollerinden yararlanabilir.

Buradaki hedef yapay zekâ kullanımını tamamen engellemek değil, kurumsal güvenlik politikalarıyla uyumlu hale getirmektir.

### \13. Yapay Zekâ ve Hassas Veri Güvenliği

Yapay zekâ uygulamaları büyük miktarda veriyle çalışabilir.

Bu veriler arasında kişisel veriler, ticari sırlar, finansal kayıtlar ve müşteri bilgileri bulunabilir.

Dolayısıyla yapay zekâ güvenliği yalnızca saldırganların sistemi ele geçirmesini önlemekten ibaret değildir.

Verinin hangi amaçla, hangi sistemde, ne kadar süreyle ve kimlerin erişimi altında işlendiği de önemlidir.

Örneğin bir kurum müşteri destek görüşmelerini yapay zekâ aracılığıyla analiz edebilir.

Bu görüşmelerde ad, telefon numarası, e-posta adresi, adres bilgisi veya başka kişisel veriler bulunabilir.

Veri işleme sürecinin KVKK ve uygulanabilir diğer veri koruma yükümlülükleri açısından değerlendirilmesi gerekir.

#### Veri minimizasyonu

Modelin işlem için ihtiyaç duymadığı veriler modele gönderilmemelidir.

Örneğin bir müşteri destek talebini kategorize etmek için müşterinin bütün finansal geçmişini modele aktarmak gerekli olmayabilir.

#### Maskeleme ve anonimleştirme

Kullanım amacına bağlı olarak hassas veriler maskelenebilir veya uygun yöntemlerle anonimleştirilebilir.

Ancak maskeleme her zaman anonimleştirme anlamına gelmez.

Verinin tekrar ilişkilendirilebilir olup olmadığı ve işlemenin amacı ayrıca değerlendirilmelidir.

#### Veri saklama

Yapay zekâ hizmet sağlayıcısının gönderilen verileri ne kadar süre sakladığı, hangi amaçlarla kullandığı ve hangi alt işleyenlerle paylaştığı incelenmelidir.

Bu konular özellikle harici LLM API'leri kullanan kurumlar için önemlidir.

### \14. Yapay Zekâ Modellerinin Güvenliği

Şimdiye kadar ağırlıklı olarak yapay zekâ uygulamalarının güvenliğini ele aldık.

Ancak modelin kendisi de güvenlik değerlendirmesine ihtiyaç duyar.

Bir yapay zekâ modelinin geliştirilmesi, eğitilmesi, saklanması ve dağıtılması sırasında farklı tehditler ortaya çıkabilir.

Bunlardan bazıları Data Poisoning, Model Poisoning, Model Theft ve Adversarial Attack olarak sınıflandırılır.

#### Data Poisoning

Data Poisoning, modelin eğitiminde veya ilgili veri işleme süreçlerinde kullanılan verilerin kötü niyetli biçimde manipüle edilmesini hedefler.

Örneğin saldırgan eğitim verisine yanıltıcı örnekler ekleyerek modelin belirli durumlarda hatalı davranmasını amaçlayabilir.

#### Model Poisoning

Model Poisoning, modelin parametrelerinin, ağırlıklarının veya eğitim sürecinin manipüle edilmesiyle ilişkili saldırıları kapsayabilir.

Bu risk özellikle dış kaynaklardan alınan modellerde ve kontrolsüz model tedarik zincirlerinde önemlidir.

#### Model Theft

Model Theft, bir modelin yetkisiz biçimde kopyalanması, çıkarılması veya davranışının taklit edilmesi gibi riskleri ifade eder.

Ticari olarak geliştirilen modeller açısından fikri mülkiyet ve ekonomik kayıp doğurabilir.

#### Adversarial Attack

Adversarial saldırılar, modelin hatalı sınıflandırma veya karar üretmesini hedefleyen özel olarak hazırlanmış girdilerden yararlanabilir.

Bu saldırıların biçimi kullanılan model türüne göre değişir.

Örneğin görüntü sınıflandırma sistemi ile büyük dil modeline yönelik saldırılar aynı teknik özelliklere sahip değildir.

Bu nedenle model güvenliği, model türüne ve kullanım senaryosuna uygun test metodolojisi gerektirir.

### \15. AI Model Tedarik Zinciri Güvenliği

Geleneksel yazılımlarda üçüncü taraf kütüphaneler önemli güvenlik riskleri oluşturabilir.

Yapay zekâ sistemlerinde bu risklere model ve veri tedarik zinciri de eklenir.

Örneğin kurum dışarıdan hazır bir açık ağırlıklı model kullanabilir.

Modelin dosyaları, yükleme mekanizması, bağımlılıkları veya dağıtım paketi güvenlik açısından incelenmelidir.

Bazı model dosyası biçimleri ve yükleme süreçleri, güvensiz şekilde kullanıldığında kod çalıştırma gibi risklere yol açabilir.

Bu nedenle modellerin yalnızca performanslarına göre seçilmesi yeterli değildir.

Modelin kaynağı ve bütünlüğü de değerlendirilmelidir.

#### Güvenilir model kaynağı

Modelin hangi organizasyon tarafından yayımlandığı ve hangi kaynaktan indirildiği doğrulanmalıdır.

#### Bütünlük kontrolü

Model dosyalarının beklenen içerikle eşleştiği uygun bütünlük mekanizmalarıyla kontrol edilebilir.

#### Güvenli yükleme

Modelin yüklenmesi sırasında kullanılan yazılım kütüphaneleri ve dosya biçimleri güvenlik açısından değerlendirilmelidir.

#### Bağımlılık güvenliği

Model serving altyapısı, Python paketleri, container image'ları ve ilgili diğer bileşenler SCA ve altyapı güvenliği kontrollerine dahil edilmelidir.

Bu yaklaşım yapay zekâ tedarik zincirinin geleneksel yazılım tedarik zincirinden bağımsız olmadığını gösterir.

### \16. Yapay Zekâ Uygulamalarında Yetkilendirme

Yapay zekâ uygulamalarında en kritik güvenlik prensiplerinden biri yetkilendirme kontrollerinin modelin dışında uygulanmasıdır.

Örneğin bir çalışan kurumsal yapay zekâ asistanına şu soruyu sorabilir:

“Şirketin bütün çalışanlarının maaş listesini göster.”

Modelin bu isteği anlayabilmesi, isteğin gerçekleştirilmesine izin verilmesi gerektiği anlamına gelmez.

Uygulama katmanı kullanıcının ilgili verilere erişim yetkisini kontrol etmelidir.

Bu yaklaşım özellikle RAG ve AI Agent sistemlerinde önemlidir.

#### Model kimlik doğrulama sistemi değildir

LLM'nin kullanıcıya güvenilir görünüp görünmediğine karar vermesi güvenli authentication yerine geçmez.

#### Prompt yetkilendirme politikası değildir

Sistem prompt'unda “yalnızca yetkili kullanıcılara bilgi ver” yazması tek başına yeterli değildir.

#### Araç çağrıları yeniden yetkilendirilmelidir

Model bir API çağrısı önerdiğinde uygulama, gerçek kullanıcı kimliğini ve işlem yetkisini kontrol etmelidir.

#### Veri düzeyinde erişim uygulanmalıdır

Özellikle çok kullanıcılı ve çok müşterili sistemlerde veri erişimi kullanıcı, rol, tenant ve nesne sahipliği seviyelerinde değerlendirilmelidir.

**Güvenli yapay zekâ mimarisinde model karar önerebilir; ancak yetkiyi güvenilir uygulama kontrolleri belirlemelidir.**

### \17. Human-in-the-Loop Nedir?

Human-in-the-Loop, belirli yapay zekâ işlemlerinde insan değerlendirmesi veya onayının sürece dahil edilmesidir.

Özellikle yüksek etkili işlemlerde önemli bir güvenlik kontrolüdür.

Örneğin bir AI Agent'ın e-posta taslağı hazırlaması düşük riskli olabilir.

Ancak aynı ajanın binlerce müşteriye otomatik e-posta göndermesi daha yüksek risk oluşturabilir.

Benzer şekilde finansal işlem önerisi üretmek ile gerçek para transferi gerçekleştirmek aynı yetki seviyesinde değerlendirilmemelidir.

Bu nedenle işlemler risklerine göre sınıflandırılabilir.

Düşük riskli işlemler otomatik yürütülebilir.

Orta riskli işlemler ek doğrulama gerektirebilir.

Yüksek riskli işlemler için insan onayı zorunlu tutulabilir.

Ancak insan onayı da tek başına yeterli değildir.

Onay ekranında işlemin ne yapacağı, hangi verileri kullanacağı ve olası etkileri açık şekilde gösterilmelidir.

Aksi halde kullanıcı gerçekte neyi onayladığını anlamayabilir.

### \18. AI Gateway Nedir?

AI Gateway, yapay zekâ uygulamaları ile model servisleri arasındaki iletişimin belirli güvenlik ve yönetim politikaları altında yürütülmesini sağlayan mimari bileşendir.

Kullanım senaryosuna ve ürün yeteneklerine bağlı olarak AI Gateway şu kontrolleri destekleyebilir:

- Kimlik ve erişim yönetimi.
- Model kullanım politikaları.
- Hassas veri tespiti ve maskeleme.
- Prompt Injection risk analizi.
- Model yönlendirme.
- Kullanım ve maliyet görünürlüğü.
- Audit logging.
- Veri aktarım kontrolleri.
- Agent ve Tool Calling politikaları.

Ancak önemli bir nokta vardır.

**AI Gateway, tek başına bütün yapay zekâ güvenlik problemlerini çözmez.**

Örneğin bir AI Gateway model isteklerini denetleyebilir.

Ancak uygulamanın backend tarafındaki hatalı authorization kontrolünü otomatik olarak düzeltmeyebilir.

Benzer şekilde modelin kullandığı RAG veritabanındaki tenant izolasyonu eksikse yalnızca prompt kontrolü yeterli olmayabilir.

Bu nedenle AI Gateway, katmanlı güvenlik mimarisinin bir parçası olarak değerlendirilmelidir.

### \19. Yapay Zekâ Güvenliğinde Defense in Depth

Defense in Depth, yani derinlemesine savunma yaklaşımı, güvenliğin tek bir kontrole bağlı olmamasını hedefler.

Yapay zekâ uygulamalarında bu prensip özellikle önemlidir.

Örneğin bir kurumsal LLM asistanında şu katmanlar bulunabilir:

#### Birinci katman: Kimlik doğrulama

Kullanıcının kimliği güvenilir mekanizmalarla doğrulanır.

#### İkinci katman: Yetkilendirme

Kullanıcının erişebileceği veri ve işlemler belirlenir.

#### Üçüncü katman: Veri güvenliği

Hassas verilerin kullanımı, aktarımı ve saklanması kontrol edilir.

#### Dördüncü katman: AI güvenlik politikaları

Model girdileri, çıktıları ve araç çağrıları uygun risk kontrollerinden geçirilir.

#### Beşinci katman: Uygulama güvenliği

Backend API'leri, kaynak kod, bağımlılıklar ve çalışma ortamı korunur.

#### Altıncı katman: İzleme ve denetim

Güvenlik olayları, kritik işlemler ve anormal davranışlar kayıt altına alınır.

#### Yedinci katman: Sürekli test

Sızma testleri, AI Red Teaming ve diğer güvenlik değerlendirmeleri gerçekleştirilir.

Bu kontroller birbirini tamamlar.

Bir kontrolün başarısız olması, sistemin tamamının otomatik olarak ele geçirilmesine yol açmamalıdır.

### \20. AI Red Teaming Nedir?

AI Red Teaming, yapay zekâ sistemlerinin kötüye kullanım ve saldırı senaryolarına karşı sistematik biçimde değerlendirilmesidir.

Geleneksel Red Teaming çalışmalarında saldırganın ağ, kullanıcı, sistem ve uygulama kontrollerini aşma girişimleri incelenebilir.

AI Red Teaming çalışmalarında ise yapay zekâya özgü saldırı yüzeyleri de değerlendirilir.

Örneğin:

Prompt Injection dayanıklılığı.

Jailbreak girişimleri.

Yetkisiz veri erişimi.

Tool Calling manipülasyonu.

Agent yetki sınırları.

RAG kaynaklı güvenlik problemleri.

Hassas bilgi ifşası.

Ancak AI Red Teaming yalnızca modele zor sorular sormak değildir.

Gerçek uygulama mimarisini ve modelin erişebildiği sistemleri değerlendirmek gerekir.

#### Model testi ile sistem testi arasındaki fark

Bir modelin belirli bir prompt karşısında güvenlik kuralını ihlal eden metin üretmesi model davranışına ilişkin bulgudur.

Aynı modelin bir API aracılığıyla yetkisiz işlem gerçekleştirmesi ise uygulama ve sistem güvenliğini ilgilendiren daha geniş bir bulgudur.

Bu nedenle AI güvenlik testlerinde:

#### Model Behavior

ve

#### System Impact

ayrı değerlendirilmelidir.

### \21. Geleneksel Pentest Yapay Zekâ Sistemleri İçin Yeterli midir?

Geleneksel pentest, yapay zekâ destekli uygulamaların önemli güvenlik risklerini tespit edebilir.

Örneğin:

- SQL Injection.
- Broken Access Control.
- SSRF.
- Güvensiz API.
- Authentication problemi.
- Yanlış yapılandırma.
- Hassas veri ifşası.

Ancak Prompt Injection, Agent Manipulation, RAG Poisoning ve model davranışına özgü risklerin değerlendirilmesi için ek test senaryoları gerekebilir.

Bu nedenle kritik yapay zekâ uygulamalarında geleneksel pentest ile AI Security Testing birbirini tamamlamalıdır.

Örneğin kurumsal bir AI Agent projesinde test kapsamı hem bağlı API'lerin güvenliğini hem de ajanın bu API'leri nasıl kullandığını içermelidir.

Sadece modelin cevaplarını test etmek yeterli değildir.

Sadece API endpoint'lerini test etmek de bütün yapay zekâ risklerini kapsamayabilir.

### \22. Yapay Zekâ Güvenliğinde DevSecOps ve MLOps

DevSecOps, güvenlik kontrollerinin yazılım geliştirme süreçlerine entegre edilmesini hedefler.

MLOps ise makine öğrenmesi modellerinin geliştirilmesi, eğitilmesi, dağıtılması ve işletilmesi süreçlerini yönetir.

Yapay zekâ sistemlerinde bu iki yaklaşım birlikte değerlendirilmelidir.

Çünkü modern bir AI uygulaması hem geleneksel yazılım bileşenlerinden hem de model ve veri bileşenlerinden oluşur.

Örneğin uygulamanın backend kodu güvenli olabilir.

Ancak kullanılan model dosyası güvenilmeyen bir kaynaktan indirilmiş olabilir.

Veya model güvenilir olabilir.

Ancak modelin bağlandığı API aşırı yetkilendirilmiş olabilir.

Dolayısıyla güvenlik yaşam döngüsü yalnızca kaynak kod commit'lerini değil, model ve veri değişikliklerini de kapsamalıdır.

#### Güvenli AI pipeline örneği

Bir yapay zekâ uygulamasının geliştirme sürecinde şu kontroller kullanılabilir:

#### Kaynak Kod Kontrolü

SAST ve Secret Scanning.

#### Dependency Kontrolü

SCA ve bilinen güvenlik açığı analizi.

#### Model Kontrolü

Model kaynağı, bütünlük ve güvenli yükleme değerlendirmesi.

#### Veri Kontrolü

Veri kaynağı, hassasiyet ve erişim politikaları.

#### AI Security Testing

Prompt Injection, model davranışı ve Agent yetki senaryoları.

#### Release Kontrolü

Risk bazlı güvenlik onayı.

#### Production İzleme

Güvenlik olayları ve anormal işlem davranışlarının takibi.

Bu yaklaşım Secure AI SDLC kavramının temelini oluşturur.

### \23. Secure AI SDLC Nedir?

Secure AI SDLC, yapay zekâ destekli yazılımların güvenlik gereksinimlerinin planlama, tasarım, geliştirme, test, dağıtım ve işletim aşamalarının tamamında ele alınmasıdır.

Geleneksel Secure SDLC yaklaşımını yapay zekâya özgü bileşenlerle genişletir.

#### Planlama aşaması

Uygulamanın hangi iş problemini çözeceği, hangi verileri kullanacağı ve hangi işlemleri gerçekleştirebileceği belirlenir.

#### Tasarım aşaması

Model, kullanıcı, veri kaynakları ve araçlar arasındaki güven sınırları tanımlanır.

#### Geliştirme aşaması

Güvenli kodlama, dependency güvenliği, secrets management ve yetkilendirme kontrolleri uygulanır.

#### Test aşaması

Geleneksel uygulama güvenlik testlerine ek olarak yapay zekâya özgü test senaryoları değerlendirilir.

#### Dağıtım aşaması

Model, veri ve uygulama bileşenlerinin güvenilirliği doğrulanır.

#### İşletim aşaması

Model davranışları, kritik işlemler, erişimler ve güvenlik olayları izlenir.

#### Sürekli iyileştirme

Güvenlik bulguları ve üretim ortamındaki olaylar geliştirme süreçlerine geri beslenir.

Bu yaklaşım güvenliğin yalnızca model yayımlanmadan önce yapılan bir test olmamasını sağlar.

### \24. Yapay Zekâ Güvenliğinde ISO/IEC 42001

ISO/IEC 42001, yapay zekâ yönetim sistemlerine yönelik uluslararası bir standarttır.

Kurumların yapay zekâ kullanımını yönetim sistemi yaklaşımıyla ele almasına yardımcı olur.

Bu kapsamda yapay zekâya ilişkin politika, sorumluluk, risk yönetimi, süreç ve sürekli iyileştirme konuları değerlendirilir.

Ancak ISO/IEC 42001 belgesine sahip olmak, bir yapay zekâ uygulamasının bütün teknik güvenlik açıklarından arındırıldığı anlamına gelmez.

Yönetim sistemi uygunluğu ile teknik güvenlik testi farklı konulardır.

Örneğin bir kurum ISO/IEC 42001 kapsamında yapay zekâ risk yönetimi süreci oluşturabilir.

Ancak geliştirdiği LLM uygulamasında Prompt Injection veya Broken Access Control problemi bulunabilir.

Bu nedenle yönetim sistemi ve teknik güvenlik kontrolleri birbirini tamamlamalıdır.

**AI Governance, AI Security Testing'in alternatifi değildir.**

### \25. NIST AI RMF ve Yapay Zekâ Risk Yönetimi

NIST AI Risk Management Framework, yapay zekâ sistemleriyle ilişkili risklerin yönetilmesine yardımcı olan bir çerçevedir.

Yapay zekâ riskleri yalnızca siber saldırılardan oluşmaz.

Sistemin güvenilirliği, kullanım bağlamı, performansı, veri yönetimi ve diğer olası etkileri de değerlendirilmelidir.

Bu nedenle AI RMF, teknik güvenlik testlerinin ötesinde daha geniş bir risk yönetimi perspektifi sağlar.

Kurumsal yaklaşımda örneğin:

**NIST AI RMF** genel yapay zekâ risk yönetimi için,

**ISO/IEC 42001** yapay zekâ yönetim sistemi için,

**OWASP LLM güvenlik kaynakları** uygulamaya özgü teknik riskler için,

**Secure SDLC ve DevSecOps** yazılım geliştirme kontrolleri için

birlikte kullanılabilir.

Bu kaynakların her biri farklı bir ihtiyaca cevap verir.

### \26. Yapay Zekâ Güvenliği Kimlerin Sorumluluğundadır?

Yapay zekâ güvenliği yalnızca siber güvenlik ekibinin sorumluluğu değildir.

Başarılı bir program farklı ekiplerin birlikte çalışmasını gerektirir.

#### Yazılım geliştirme ekipleri

Güvenli API'ler, yetkilendirme kontrolleri ve güvenli veri işleme mekanizmaları geliştirir.

#### AI ve veri ekipleri

Model seçimi, veri kalitesi, model yaşam döngüsü ve AI uygulama mimarisini yönetir.

#### Siber güvenlik ekipleri

Tehdit modelleme, güvenlik testleri, erişim politikaları ve güvenlik izleme süreçlerine katkı sağlar.

#### Hukuk ve uyum ekipleri

Veri koruma, sözleşmesel yükümlülükler ve uygulanabilir düzenlemeler açısından değerlendirme yapar.

#### İş birimleri

Yapay zekâ kullanımının amacı, iş etkisi ve kabul edilebilir risk seviyesini belirler.

#### Üst yönetim

Risk iştahı, kaynak tahsisi, sorumluluklar ve kurumsal politika konusunda karar verir.

Yapay zekâ güvenliği, bütün bu ekiplerin ortak sorumluluğu olarak ele alınmalıdır.

### \27. Kurumlar Yapay Zekâ Güvenliğine Nereden Başlamalı?

Yapay zekâ güvenlik programı oluşturmak isteyen bir kurumun ilk adımı mutlaka yeni bir güvenlik ürünü satın almak değildir.

Öncelikle mevcut yapay zekâ kullanımının görünür hale getirilmesi gerekir.

#### Birinci aşama: AI envanteri

Kurum hangi yapay zekâ servislerini kullanıyor?

Hangi uygulamalarda LLM bulunuyor?

Hangi çalışanlar harici AI servislerinden yararlanıyor?

Hangi sistemlerde AI Agent kullanılıyor?

Bu soruların cevaplanması gerekir.

#### İkinci aşama: Veri sınıflandırması

Yapay zekâ sistemleri hangi verileri işliyor?

Bu veriler kişisel veri mi?

Ticari sır içeriyor mu?

Müşteri verisi bulunuyor mu?

Kurum dışına aktarılıyor mu?

#### Üçüncü aşama: Risk değerlendirmesi

Her yapay zekâ kullanım senaryosu aynı risk seviyesine sahip değildir.

Örneğin genel metin düzenleme uygulaması ile müşteri hesaplarına erişebilen finansal AI Agent aynı güvenlik seviyesinde değerlendirilmemelidir.

#### Dördüncü aşama: Güvenlik politikaları

Onaylı model servisleri, veri paylaşım kuralları, araç yetkileri ve kritik işlem onayları belirlenmelidir.

#### Beşinci aşama: Teknik kontroller

Uygun kullanım senaryolarında kimlik doğrulama, yetkilendirme, DLP, AI Gateway, loglama ve güvenlik testleri uygulanabilir.

#### Altıncı aşama: Sürekli izleme

Model ve uygulama değişiklikleri, yeni güvenlik riskleri ve olaylar takip edilmelidir.

Bu yapı zaman içerisinde olgunlaştırılabilir.

### \28. Örnek Senaryo: Kurumsal Yapay Zekâ Asistanı

Bir kurumun çalışanları için yapay zekâ destekli bilgi asistanı geliştirdiğini düşünelim.

Asistanın amacı çalışanların kurumsal prosedürleri ve teknik dokümanları hızlı şekilde bulmasını sağlamaktır.

İlk bakışta bu uygulama düşük riskli görünebilir.

Ancak sistem zamanla yeni yetenekler kazanabilir.

Önce PDF dokümanlarını okumaya başlar.

Daha sonra SharePoint benzeri doküman sistemlerine bağlanır.

Ardından müşteri kayıtlarına erişebilir.

Son olarak destek talebi oluşturma yeteneği eklenir.

Bu noktada uygulamanın güvenlik profili önemli ölçüde değişmiştir.

#### Birinci risk: Yetkisiz doküman erişimi

Çalışan, erişim yetkisi olmayan yönetim dokümanlarının özetlerini alabilir.

Çözüm, belge düzeyinde yetkilendirme ve kullanıcı bağlamına uygun arama kontrolleridir.

#### İkinci risk: Prompt Injection

Asistanın okuduğu bir doküman kötü niyetli talimatlar içerebilir.

Çözüm, güvenilmeyen içeriklerin talimat yetkisi kazanmasını sınırlayan mimari kontrollerin ve davranış testlerinin uygulanmasıdır.

#### Üçüncü risk: Aşırı yetkilendirilmiş araçlar

Asistanın yalnızca destek talebi açması gerekirken mevcut kayıtları silme yetkisine sahip olması gereksiz risk oluşturur.

Çözüm, araç yetkilerinin iş ihtiyacına göre sınırlandırılmasıdır.

#### Dördüncü risk: Hassas veri aktarımı

Asistan, müşteri verilerini harici model servisine gönderebilir.

Çözüm, veri sınıflandırması, uygun aktarım politikaları ve gerekli teknik korumalardır.

#### Beşinci risk: Denetim eksikliği

Asistanın hangi kullanıcı adına hangi işlemi yaptığı kayıt altına alınmıyorsa olay incelemesi zorlaşır.

Çözüm, güvenli audit logging ve işlem izlenebilirliğidir.

Bu örnek bize önemli bir gerçeği gösterir:

**Yapay zekâ uygulamasının riski yalnızca kullanılan modelden değil, modele bağlanan veri ve işlem yetkilerinden de kaynaklanır.**

### \29. SECURESYS Yazılım ve Yapay Zekâ Güvenliği Yaklaşımı

SECURESYS olarak yazılım ve yapay zekâ güvenliğinin birbirinden tamamen bağımsız iki alan olarak değerlendirilmemesi gerektiğini düşünüyoruz.

Çünkü yapay zekâ uygulamaları da yazılım altyapıları üzerinde çalışır.

API servisleri kullanır.

Veritabanlarına bağlanır.

Kimlik doğrulama ve yetkilendirme mekanizmalarına ihtiyaç duyar.

Üçüncü taraf bileşenlerden yararlanır.

Dolayısıyla geleneksel uygulama güvenliği kontrolleri yapay zekâ sistemlerinde de önemini korur.

Ancak AI destekli uygulamalarda bunlara ek olarak yeni risk alanları değerlendirilmelidir.

Proje kapsamına ve uygulama mimarisine göre bütünleşik bir güvenlik yaklaşımı şu bileşenlerden oluşabilir:

#### Kaynak Kod Güvenliği

SAST, manuel kaynak kod analizi ve Secure Coding kontrolleri.

#### Uygulama ve API Güvenliği

Web, mobil ve API güvenlik testleri.

#### LLM Güvenliği

Prompt Injection, model davranışı ve hassas bilgi ifşası risklerinin değerlendirilmesi.

#### AI Agent Güvenliği

Araç yetkileri, işlem sınırları, MCP entegrasyonları ve onay mekanizmalarının incelenmesi.

#### Veri Güvenliği

Hassas veri işleme, maskeleme, veri erişimi ve aktarım kontrolleri.

#### AI Gateway

Yapay zekâ kullanımının merkezi politikalar altında yönetilmesine yönelik güvenlik mimarisi.

#### AI Red Teaming

Gerçekçi kötüye kullanım senaryolarıyla yapay zekâ sistemlerinin güvenlik dayanıklılığının değerlendirilmesi.

#### Secure AI SDLC

Güvenliğin yapay zekâ uygulamalarının geliştirme ve işletim yaşam döngüsüne dahil edilmesi.

Bu yaklaşımda temel hedef yalnızca güvenlik açıklarını raporlamak değildir.

Kurumun yapay zekâ kullanımını daha kontrollü, izlenebilir ve sürdürülebilir hale getirmektir.

Özellikle kurumsal yapay zekâ uygulamalarında modelin hangi verilere erişebildiği, hangi araçları kullanabildiği ve hangi işlemleri gerçekleştirebildiği açık biçimde tanımlanmalıdır.

Çünkü güvenli yapay zekâ yalnızca doğru cevap üreten yapay zekâ değildir.

**Doğru yetki sınırları içerisinde çalışan, hassas verileri koruyan ve kritik işlemleri denetlenebilir biçimde gerçekleştiren yapay zekâdır.**

### \30. Yazılım ve Yapay Zekâ Güvenliğinin Geleceği

Yapay zekâ teknolojileri geliştikçe uygulamaların davranış biçimleri de değişiyor.

Önümüzdeki dönemde kurumların yalnızca yapay zekâ kullanan uygulamalar geliştirmesi değil, bu uygulamalara giderek daha fazla operasyonel sorumluluk vermesi beklenebilir.

Örneğin AI Agent sistemleri daha fazla iş sürecine entegre edilebilir.

Kurumsal doküman ve veri sistemleriyle daha kapsamlı bağlantılar kurulabilir.

Yapay zekâ destekli yazılım geliştirme araçlarının kullanım alanları genişleyebilir.

Bu gelişmeler güvenlik açısından iki önemli sonucu beraberinde getirir.

Birincisi, geleneksel yazılım güvenliğinin önemi azalmayacaktır.

Aksine yapay zekâ sistemlerinin bağlandığı API, veritabanı, kimlik yönetimi ve altyapı bileşenlerinin güvenliği daha da kritik hale gelebilir.

İkincisi, yapay zekâya özgü güvenlik kontrollerinin olgunlaştırılması gerekecektir.

Örneğin bir kurumun yalnızca “Prompt Injection koruması var mı?” sorusunu sorması yeterli olmayacaktır.

Daha kapsamlı sorulara ihtiyaç duyulacaktır:

Model hangi verilere erişebilir?

Ajan hangi işlemleri gerçekleştirebilir?

Kritik işlemler nasıl onaylanır?

Güvenilmeyen dokümanlar nasıl ele alınır?

Model veya araç değiştiğinde güvenlik testleri nasıl tekrarlanır?

Bir olay yaşandığında hangi kayıtlar incelenebilir?

Bu soruların cevapları kurumun yapay zekâ güvenlik olgunluğunu belirleyecektir.

### Sık Sorulan Sorular

#### Yazılım ve yapay zekâ güvenliği nedir?

Yazılım ve yapay zekâ güvenliği; geleneksel uygulama bileşenlerinin, yapay zekâ modellerinin, veri kaynaklarının ve AI Agent sistemlerinin güvenlik risklerinin bütünleşik biçimde yönetilmesidir.

#### AI Security ile Cybersecurity aynı şey midir?

AI Security, siber güvenlikle ilişkili özel bir alandır. Yapay zekâ sistemlerinin güvenliği ve bu sistemlere özgü riskler üzerinde yoğunlaşır. Siber güvenlik ise daha geniş kapsamlıdır.

#### Yapay zekâ uygulamaları neden siber saldırılara açıktır?

Yapay zekâ uygulamaları geleneksel yazılım bileşenlerini kullanır ve bunlara model, prompt, veri kaynağı ve araç entegrasyonları gibi yeni saldırı yüzeyleri ekler.

#### Prompt Injection nedir?

Prompt Injection, yapay zekâ sisteminin güvenilmeyen içerikleri talimat olarak yorumlamasını hedefleyen manipülasyon yaklaşımıdır.

#### Jailbreak ile Prompt Injection arasındaki fark nedir?

Jailbreak modelin davranış kısıtlamalarını aşmayı hedefleyen girişimleri ifade eder. Prompt Injection ise güvenilmeyen girdilerin modelin talimatları yorumlama biçimini etkilemesini hedefler.

#### LLM Security nedir?

LLM Security, büyük dil modellerinin ve bunları kullanan uygulamaların manipülasyon, veri ifşası, yetkisiz işlem ve diğer güvenlik risklerine karşı değerlendirilmesi ve korunmasıdır.

#### AI Agent güvenliği neden önemlidir?

AI Agent sistemleri yalnızca bilgi üretmekle kalmayıp araçlar üzerinden işlem gerçekleştirebilir. Bu nedenle yetkilendirme, işlem onayı ve denetim kontrolleri kritik önem taşır.

#### MCP güvenliği nedir?

MCP güvenliği, yapay zekâ uygulamalarının dış araç ve veri kaynaklarıyla kurduğu entegrasyonlarda kimlik doğrulama, yetkilendirme, araç güvenilirliği ve veri erişim kontrollerinin yönetilmesidir.

#### RAG güvenliği nedir?

RAG güvenliği, yapay zekâ uygulamalarının harici bilgi kaynaklarından veri getirirken yetkisiz erişim, doküman manipülasyonu ve veri sızıntısı gibi risklere karşı korunmasıdır.

#### Shadow AI nedir?

Shadow AI, kurumun onay veya yeterli denetim süreçleri dışında kullanılan yapay zekâ servisleri ve uygulamalarını ifade eder.

#### AI Gateway ne işe yarar?

AI Gateway, yapay zekâ uygulamaları ile model servisleri arasındaki iletişimi merkezi politika, erişim, veri güvenliği ve izleme kontrolleriyle yönetmeye yardımcı olabilir.

#### AI Red Teaming nedir?

AI Red Teaming, yapay zekâ sistemlerinin gerçekçi saldırı ve kötüye kullanım senaryolarına karşı güvenlik dayanıklılığının sistematik biçimde değerlendirilmesidir.

#### Geleneksel pentest yapay zekâ uygulamaları için yeterli midir?

Geleneksel pentest önemli güvenlik açıklarını tespit edebilir. Ancak yapay zekâya özgü Prompt Injection, Agent Manipulation ve model davranışı riskleri için ek testler gerekebilir.

#### ISO/IEC 42001 yapay zekâ güvenliğini garanti eder mi?

Hayır. ISO/IEC 42001 yapay zekâ yönetim sistemine yönelik bir standarttır. Teknik güvenlik açıklarının bulunmadığını garanti etmez. Teknik testlerle desteklenmelidir.

#### Secure AI SDLC nedir?

Secure AI SDLC, yapay zekâ destekli yazılımların güvenlik kontrollerinin planlama, tasarım, geliştirme, test, dağıtım ve işletim aşamalarının tamamına entegre edilmesidir.

### Sonuç: Yapay Zekâ Güvenliği, Yazılım Güvenliğinin Yeni Sınırıdır

Yazılım dünyasında önemli bir değişim yaşanıyor.

Uygulamalar artık yalnızca geliştiricilerin yazdığı komutları çalıştırmıyor.

Doğal dili yorumluyor.

Kurumsal belgelerden bilgi topluyor.

Kullanıcıların niyetlerini anlamaya çalışıyor.

Araçlarla iletişim kuruyor.

Ve bazı durumlarda gerçek sistem işlemlerini başlatabiliyor.

Bu gelişmeler yazılımların yeteneklerini genişletirken güvenlik sorumluluklarını da artırıyor.

Geleneksel uygulama güvenliği hâlâ temel gereksinimdir.

SQL Injection, Broken Access Control, SSRF, güvensiz API'ler ve hassas veri sızıntıları ortadan kalkmış değildir.

Ancak bunlara yeni riskler eklenmiştir.

Prompt Injection.

Jailbreak.

RAG Poisoning.

AI Agent yetki problemleri.

Model ve veri tedarik zinciri riskleri.

Shadow AI.

Kontrolsüz araç çağrıları.

Bu nedenle modern kurumların güvenlik yaklaşımı da genişlemelidir.

Yalnızca kaynak kodun güvenli olması yeterli değildir.

Yalnızca modelin güvenli cevap üretmesi de yeterli değildir.

Modelin hangi verilerle çalıştığı, hangi araçları kullandığı, hangi işlemleri gerçekleştirdiği ve hangi güven sınırları içerisinde faaliyet gösterdiği birlikte değerlendirilmelidir.

Güvenli yapay zekâ mimarisinin temelinde üç prensip bulunur:

**Birincisi: Güvenilmeyen içerik, yetkili talimata dönüşmemelidir.**

**İkincisi: Yapay zekâ modelinin kararı, uygulama yetkilendirmesinin yerine geçmemelidir.**

**Üçüncüsü: Yapay zekânın erişebildiği veri ve işlemler, gerçek iş ihtiyacıyla sınırlandırılmalıdır.**

Bu prensipler uygulandığında yapay zekâ sistemleri daha kontrollü, denetlenebilir ve güvenli biçimde kullanılabilir.

Yazılım ve yapay zekâ güvenliğinin geleceği tek bir ürünün veya tek bir test yönteminin başarısına bağlı değildir.

Başarı; güvenli yazılım geliştirme, veri koruma, model güvenliği, ajan yetkilendirmesi, sürekli test ve kurumsal yönetişimin birlikte uygulanmasına bağlıdır.

**Çünkü yapay zekâ sistemlerinde güvenlik yalnızca modelin ne söylediğiyle değil, modelin neye erişebildiği ve ne yapabildiğiyle belirlenir.**