# AI Model Güvenliği Nedir? Data Poisoning, Model Theft ve Adversarial Saldırılara Karşı Korunma **URL:** https://securesys.com.tr/tr/bilgi-merkezi/yazilim-ve-yapay-zeka-guvenligi/ai-model-guvenligi-data-poisoning-model-theft-adversarial ![AI Model Güvenliği Nedir? Data Poisoning, Model Theft ve Adversarial Saldırılara Karşı Korunma](/images/bilgi-merkezi/covers/cover-yzguv-08.webp) ### Giriş: Yapay Zekâ Modeli de Korunması Gereken Bir Bilgi Varlığıdır Yapay zekâ güvenliği denildiğinde çoğu zaman kullanıcıların modele gönderdiği mesajlar, Prompt Injection saldırıları veya hassas veri sızıntıları akla gelir. Ancak yapay zekâ sistemlerinin güvenliği yalnızca kullanıcı ile model arasındaki etkileşimden ibaret değildir. Yapay zekâ modellerinin kendisi de güvenlik tehditlerine maruz kalabilir. Bir saldırgan modelin eğitim verilerini değiştirmeye çalışabilir. Modelin belirli durumlarda yanlış karar vermesini hedefleyebilir. Modelin davranışını taklit eden başka bir model geliştirebilir. Modelin eğitim verileri hakkında bilgi çıkarmaya çalışabilir. Veya belirli girdiler karşısında modelin beklenmeyen davranışlar göstermesini sağlayacak manipülasyonlar gerçekleştirebilir. Bu saldırılar geleneksel uygulama güvenliğinden farklı özellikler taşır. Örneğin bir web uygulamasında yetkilendirme hatası, kullanıcının erişmemesi gereken bir kayda ulaşmasına neden olabilir. Bir makine öğrenmesi sisteminde ise saldırganın eğitim verilerini manipüle etmesi, modelin gelecekteki kararlarını etkileyebilir. Benzer şekilde bir saldırgan, doğrudan model dosyalarını ele geçirmeden de API üzerinden yaptığı sorgularla model davranışını taklit etmeye çalışabilir. Bu nedenle yapay zekâ modelleri yalnızca yazılım bileşeni olarak değil, aynı zamanda korunması gereken bilgi varlıkları olarak değerlendirilmelidir. Özellikle finans, sağlık, üretim, savunma, enerji ve siber güvenlik gibi alanlarda kullanılan yapay zekâ sistemlerinde modelin güvenilirliği kritik önem taşıyabilir. Yanlış sınıflandırma yapan bir güvenlik modeli gerçek saldırıları gözden kaçırabilir. Manipüle edilmiş bir dolandırıcılık tespit sistemi belirli işlemleri yanlış değerlendirebilir. Güvenilirliği bozulmuş bir kalite kontrol modeli hatalı ürünleri kabul edebilir. Bu makalede AI Model Security kavramını, model seviyesindeki saldırı türlerini, olası etkileri ve kurumsal savunma yöntemlerini inceleyeceğiz. **Yapay zekâ güvenliğinde yalnızca modele gönderilen veriyi değil, modelin nasıl oluşturulduğunu, nasıl korunduğunu ve nasıl karar verdiğini de değerlendirmek gerekir.** ### \1. AI Model Güvenliği Nedir? AI Model Security, yapay zekâ modellerinin gizlilik, bütünlük, erişilebilirlik ve güvenilirlik açısından korunmasını hedefleyen güvenlik disiplinidir. Bu kapsamda modelin eğitim süreci, kullanılan veri setleri, model parametreleri, çıkarım servisleri ve dağıtım ortamı değerlendirilir. Model güvenliği farklı yapay zekâ türlerinde önemlidir. Örneğin: - Büyük dil modelleri. - Görüntü sınıflandırma modelleri. - Dolandırıcılık tespit sistemleri. - Anomali tespit modelleri. - Ses tanıma sistemleri. - Öneri sistemleri. - Endüstriyel tahmin modelleri. Bu sistemlerin her biri farklı saldırı yüzeylerine sahip olabilir. Bir görüntü sınıflandırma modeline yönelik adversarial saldırı ile bir büyük dil modeline yönelik model extraction saldırısı aynı teknik özellikleri taşımayabilir. Bu nedenle AI Model Security değerlendirmesi model türüne, kullanım amacına ve tehdit modeline göre yapılmalıdır. ### \2. AI Model Güvenliği Neden Önemlidir? Kurumsal yapay zekâ modelleri farklı değerler taşır. #### Ticari değer Bir kurum uzun süreli Ar-Ge çalışmaları sonucunda özel bir model geliştirmiş olabilir. Bu modelin parametreleri, mimarisi ve davranışları ticari değer taşıyabilir. #### Operasyonel değer Model, kritik iş süreçlerinde karar destek sistemi olarak kullanılabilir. Model güvenilirliğinin bozulması operasyonları etkileyebilir. #### Veri güvenliği Model eğitiminde kişisel veriler veya hassas kurumsal bilgiler kullanılmış olabilir. Bazı saldırı yöntemleri modelin bu veriler hakkında bilgi açıklamasını hedefleyebilir. #### Rekabet avantajı Özel eğitim verileri ve model optimizasyonları kuruma rekabet avantajı sağlayabilir. #### Düzenleyici yükümlülükler Kullanım alanına göre veri koruma, sektör düzenlemeleri ve yapay zekâ yönetişim gereksinimleri uygulanabilir. Bu nedenle model güvenliği hem teknik hem de kurumsal risk yönetimi konusudur. ### \3. Yapay Zekâ Modelinin Yaşam Döngüsü Model güvenliğini değerlendirmek için öncelikle modelin yaşam döngüsünü anlamak gerekir. Tipik bir makine öğrenmesi süreci şu aşamalardan oluşabilir: - Veri toplama. - Veri hazırlama. - Eğitim. - Değerlendirme. - Model paketleme. - Dağıtım. - Çıkarım. - İzleme. - Güncelleme veya yeniden eğitim. Her aşama farklı güvenlik riskleri oluşturur. Örneğin veri toplama aşamasında Data Poisoning riski ortaya çıkabilir. Eğitim aşamasında altyapı veya kod bütünlüğü problemi yaşanabilir. Dağıtım aşamasında model dosyaları değiştirilebilir. Çıkarım aşamasında Model Extraction veya adversarial saldırılar gerçekleştirilebilir. İzleme aşamasında ise model davranışındaki anormallikler fark edilmeyebilir. #### Güvenli yaşam döngüsü Veri Kaynakları | v Veri Güvenliği ve Doğrulama | v Eğitim Veri Seti | v Model Eğitimi | v Güvenlik ve Performans Testleri | v Model Artifact Doğrulama | v Güvenli Model Registry | v Çıkarım Servisi | v Erişim Kontrolü ve İzleme | v Model Güncelleme / Yeniden Eğitim Bu akış boyunca güvenlik kontrollerinin uygulanması gerekir. ### \4. Data Poisoning Nedir? Data Poisoning, modelin eğitim veya öğrenme sürecinde kullandığı verilerin manipüle edilerek model davranışının etkilenmesini hedefleyen saldırı yaklaşımıdır. Makine öğrenmesi modelleri veriler üzerinden örüntüler öğrenir. Eğitim verileri yanlış veya manipüle edilmişse modelin öğrendiği ilişkiler de etkilenebilir. #### Örnek senaryo Bir kurum spam e-posta tespit modeli geliştirmektedir. Model, geçmiş e-postalar üzerinden eğitilmektedir. Saldırgan eğitim verilerine belirli zararlı e-postaları güvenli olarak etiketlenmiş şekilde dahil etmeyi başarırsa modelin gelecekteki sınıflandırma davranışını etkilemeye çalışabilir. Ancak saldırının başarılı olması veri setinin yapısına, saldırganın kontrol ettiği örneklerin oranına, eğitim yöntemine ve savunma kontrollerine bağlıdır. #### Data Poisoning saldırılarının hedefleri Model doğruluğunu düşürmek. Belirli örneklerin yanlış sınıflandırılmasını sağlamak. Modelin karar sınırlarını etkilemek. Belirli tetikleyicilere karşı istenmeyen davranış oluşturmak. Bu saldırılar model bütünlüğüne yönelik tehditlerdir. ### \5. Data Poisoning Saldırı Türleri Data Poisoning farklı biçimlerde gerçekleştirilebilir. #### Label Flipping Label Flipping, eğitim örneklerinin etiketlerinin manipüle edilmesidir. Örneğin zararlı bir dosyanın güvenli olarak etiketlenmesi hedeflenebilir. Bu yöntem denetimli öğrenme sistemlerinde önemlidir. #### Clean-Label Poisoning Clean-Label Poisoning saldırılarında örneklerin görünen etiketleri doğru kalabilir. Ancak örnekler modelin öğrenme davranışını etkilemek amacıyla özel biçimde hazırlanmış olabilir. Bu tür saldırıların tespiti bazı koşullarda daha zor olabilir. #### Availability Poisoning Amaç modelin genel performansını düşürmektir. Modelin çok sayıda durumda yanlış karar vermesi hedeflenebilir. #### Targeted Poisoning Amaç belirli girdilerin veya belirli bir sınıfın yanlış değerlendirilmesini sağlamaktır. #### Backdoor Poisoning Eğitim verilerine belirli bir tetikleyici ile ilişkili davranış kazandırılmaya çalışılır. Bu saldırı türünü ilerleyen bölümlerde ayrıca inceleyeceğiz. ### \6. Data Poisoning Nasıl Gerçekleşebilir? Data Poisoning saldırısının gerçekleşebilmesi için saldırganın modelin kullandığı verilere veya öğrenme sürecine belirli düzeyde etki edebilmesi gerekir. Bu etki farklı kaynaklardan gelebilir. Örneğin: Herkese açık veri setleri. Kullanıcı tarafından oluşturulan içerikler. Üçüncü taraf veri sağlayıcıları. Yanlış etiketlenmiş örnekler. Güvensiz veri toplama süreçleri. Kontrolsüz geri bildirim mekanizmaları. #### Örnek Bir ürün öneri sistemi kullanıcı değerlendirmelerinden öğreniyor olabilir. Saldırgan çok sayıda manipülatif değerlendirme oluşturarak sistemin öğrenme verilerini etkilemeye çalışabilir. Bu durumun etkisi kullanılan öğrenme yöntemine ve veri doğrulama mekanizmalarına bağlıdır. #### Güvenlik yaklaşımı Veri kaynağı güvenilirliği değerlendirilmelidir. Veri değişiklikleri izlenmelidir. Etiketleme süreçleri kontrol edilmelidir. Anormal veri dağılımları analiz edilmelidir. Eğitim verileri sürümlenmelidir. Kritik modeller bağımsız test veri setleriyle değerlendirilmelidir. ### \7. Backdoor Attack Nedir? Backdoor Attack, modelin belirli bir tetikleyiciyle karşılaştığında saldırganın hedeflediği davranışı göstermesini amaçlayan saldırı türüdür. Normal koşullarda model beklenen şekilde çalışabilir. Ancak belirli bir özellik veya örüntü bulunduğunda farklı sonuç üretebilir. #### Örnek senaryo Bir görüntü sınıflandırma modeli belirli nesneleri tanımak için eğitilmiştir. Saldırgan, eğitim sürecini manipüle ederek belirli görsel işaretin bulunduğu örneklerin farklı sınıflandırılmasını hedefleyebilir. Model normal testlerde başarılı görünebilir. Ancak tetikleyici içeren girdilerde farklı davranabilir. #### Güvenlik açısından önemi Backdoor saldırıları modelin genel performansını belirgin biçimde düşürmeden hedefli davranış değişiklikleri oluşturmayı amaçlayabilir. Bu nedenle yalnızca genel doğruluk oranına bakmak yeterli değildir. Hedefli güvenlik testleri de gerçekleştirilmelidir. ### \8. Model Backdoor ile Yazılım Backdoor Arasındaki Fark Geleneksel yazılım backdoor'ları, yazılım içerisinde gizli erişim veya işlem mekanizmaları oluşturulmasıyla ilişkilidir. Model backdoor saldırıları ise öğrenilmiş model davranışını hedefler. Örneğin geleneksel bir backdoor, belirli bir erişim yolunu açabilir. Model backdoor ise belirli girdilerin yanlış sınıflandırılmasına neden olabilir. Bu ayrım önemlidir. Çünkü model backdoor'larının tespiti yalnızca kaynak kod incelemesiyle mümkün olmayabilir. Model davranışının ve eğitim sürecinin de değerlendirilmesi gerekir. ### \9. Adversarial Attack Nedir? Adversarial Attack, yapay zekâ modelinin girdilerine yönelik manipülasyonlarla modelin beklenmeyen veya hatalı sonuç üretmesini hedefleyen saldırı yaklaşımıdır. Bu saldırılar özellikle görüntü işleme ve sınıflandırma sistemlerinde araştırılmıştır. Ancak farklı makine öğrenmesi uygulamalarında da görülebilir. #### Örnek Bir görüntü sınıflandırma modeli belirli bir nesneyi doğru tanıyor olabilir. Saldırgan görüntü üzerinde modelin kararını etkileyecek değişiklikler oluşturabilir. Bu değişiklikler bazı durumlarda insan gözüyle zor fark edilebilir. Ancak modelin sınıflandırma sonucunu etkileyebilir. #### Önemli ayrım Her adversarial örnek gerçek dünyada başarılı olacak anlamına gelmez. Saldırının etkisi model mimarisine, girdinin işlenmesine, saldırganın bilgi düzeyine ve fiziksel koşullara bağlıdır. Bu nedenle laboratuvar sonuçları ile üretim ortamı riskleri ayrı değerlendirilmelidir. ### \10. White-Box ve Black-Box Adversarial Saldırılar Adversarial saldırılar saldırganın model hakkında sahip olduğu bilgiye göre sınıflandırılabilir. #### White-Box Attack Saldırgan model mimarisi, parametreleri veya gradyanları gibi iç bilgilere erişebiliyor olabilir. Bu durumda daha ayrıntılı saldırı optimizasyonları mümkün olabilir. #### Black-Box Attack Saldırgan modelin iç yapısını bilmeden giriş ve çıkış davranışlarını gözlemleyebilir. Örneğin API üzerinden sorgular göndererek modelin cevaplarını inceleyebilir. #### Gray-Box Attack Saldırgan model hakkında sınırlı bilgiye sahiptir. Örneğin model ailesini veya kullanılan bazı ön işleme yöntemlerini biliyor olabilir. Bu sınıflandırma güvenlik testlerinde saldırgan yeteneklerinin açıkça tanımlanmasını sağlar. ### \11. Adversarial Örnekler Neden Tehlikelidir? Adversarial örnekler, modelin güvenilirliğini etkileyebilir. Örneğin: Görüntü sınıflandırma sistemleri yanlış karar verebilir. Anomali tespit modelleri belirli davranışları gözden kaçırabilir. Dolandırıcılık tespit sistemleri manipülatif girdilerden etkilenebilir. İçerik sınıflandırma sistemleri hatalı değerlendirme yapabilir. Ancak gerçek risk, modelin hangi iş sürecinde kullanıldığına bağlıdır. Örneğin yalnızca öneri sunan bir model ile otomatik karar uygulayan modelin güvenlik etkisi farklıdır. Bu nedenle adversarial risk değerlendirmesi kullanım senaryosu temelinde yapılmalıdır. ### \12. Evasion Attack Nedir? Evasion Attack, saldırganın modelin çıkarım aşamasında yanlış karar vermesini sağlamak amacıyla girdileri manipüle etmesidir. Bu saldırı eğitim verilerini değiştirmeyi gerektirmez. Model mevcut haliyle çalışmaya devam eder. Ancak saldırgan özel hazırlanmış girdilerle karar mekanizmasını etkilemeye çalışır. #### Örnek senaryo Bir zararlı yazılım tespit modeli dosya özelliklerini analiz etmektedir. Saldırgan, zararlı davranışı korurken modelin kullandığı bazı özellikleri değiştirmeye çalışabilir. Amaç modelin dosyayı güvenli olarak sınıflandırmasını sağlamaktır. Bu senaryoda saldırının başarısı modelin özelliklerine ve savunma mekanizmalarına bağlıdır. #### Korunma yaklaşımı Model farklı saldırı senaryolarıyla test edilmelidir. Tek bir güvenlik modeline bağımlı kalınmamalıdır. Davranışsal kontroller desteklenmelidir. Model performansı gerçek ortam verileriyle izlenmelidir. ### \13. Model Theft Nedir? Model Theft, yapay zekâ modelinin kendisinin veya değerli özelliklerinin yetkisiz biçimde elde edilmesini hedefleyen saldırı yaklaşımıdır. Model Theft farklı yöntemlerle gerçekleşebilir. Örneğin saldırgan doğrudan model dosyalarını ele geçirebilir. Model ağırlıklarını içeren depolama alanına yetkisiz erişebilir. Model registry sistemini hedefleyebilir. Veya model davranışını taklit eden başka bir sistem geliştirmeye çalışabilir. Bu nedenle Model Theft kavramı hem geleneksel veri hırsızlığı hem de model davranışının çıkarılmasıyla ilişkili olabilir. ### \14. Model Extraction Nedir? Model Extraction, bir modelin davranışını veya bazı özelliklerini sorgular ve gözlemler üzerinden çıkarmayı hedefleyen saldırı yaklaşımıdır. Örneğin bir kurum özel bir sınıflandırma modelini API üzerinden hizmete sunabilir. Saldırgan çok sayıda sorgu göndererek modelin giriş ve çıkış ilişkilerini öğrenmeye çalışabilir. Ardından bu davranışı taklit eden başka bir model geliştirebilir. #### Önemli ayrım Model Extraction her zaman orijinal modelin ağırlıklarının veya mimarisinin birebir ele geçirilmesi anlamına gelmez. Bazı saldırılarda amaç, benzer kararlar veren bir taklit model oluşturmaktır. Bu nedenle saldırının başarısı davranışsal benzerlik, sorgu maliyeti ve hedef modelin özellikleri üzerinden değerlendirilmelidir. ### \15. Model Extraction Saldırıları Neden Önemlidir? Özel modeller önemli yatırım gerektirebilir. Veri toplama. Model eğitimi. Hiperparametre optimizasyonu. Performans değerlendirmesi. Alan uzmanlığı. Bu çalışmaların sonucunda geliştirilen model kuruma ticari avantaj sağlayabilir. Model Extraction saldırıları bu avantajın bir bölümünü zayıflatmayı hedefleyebilir. Ayrıca çıkarılan taklit model, hedef sisteme yönelik başka saldırıların geliştirilmesinde kullanılabilir. Örneğin saldırgan, taklit model üzerinde adversarial örnekler deneyebilir. Ancak bu örneklerin hedef model üzerinde aynı başarıyı göstermesi garanti değildir. ### \16. Model Extraction Nasıl Önlenebilir? Model Extraction riskini tamamen ortadan kaldırmak her zaman mümkün değildir. Çünkü modelin hizmet verebilmesi için belirli çıktılar üretmesi gerekir. Ancak risk azaltılabilir. #### Rate Limiting Kullanıcı veya API anahtarı bazında sorgu sınırları uygulanabilir. #### Authentication Model servislerine erişim kimlik doğrulama ile korunabilir. #### Quota Management Kullanım miktarları sınırlandırılabilir. #### Anomaly Detection Olağan dışı sorgu davranışları izlenebilir. #### Output Minimization Uygulamanın ihtiyaç duymadığı ayrıntılı skor veya model bilgileri paylaşılmayabilir. #### API Security Model endpoint'leri geleneksel API güvenliği kontrolleriyle korunabilir. Bu kontrollerin hiçbiri tek başına bütün Model Extraction yöntemlerini engelleme garantisi sağlamaz. ### \17. Model Inversion Nedir? Model Inversion, model çıktıları veya model hakkında elde edilen bilgiler üzerinden eğitim verilerinin özelliklerini ya da belirli temsillerini çıkarmayı hedefleyen saldırı yaklaşımıdır. Bu saldırılar modelin gizlilik özellikleriyle ilişkilidir. Örneğin belirli koşullarda saldırgan, modelin öğrendiği özelliklerden hareketle eğitim verilerine ilişkin tahminlerde bulunmaya çalışabilir. #### Önemli nokta Model Inversion her zaman orijinal eğitim verisinin birebir geri elde edilmesi anlamına gelmez. Bazı saldırılar yaklaşık temsiller veya istatistiksel özellikler üretir. Riskin düzeyi model mimarisine, veri türüne, saldırganın erişimine ve kullanılan yönteme bağlıdır. ### \18. Membership Inference Attack Nedir? Membership Inference Attack, belirli bir veri örneğinin modelin eğitim veri setinde bulunup bulunmadığını tahmin etmeyi hedefleyen saldırı yaklaşımıdır. Bu saldırı özellikle gizlilik açısından önemlidir. Örneğin saldırgan belirli bir kaydın eğitim sürecinde kullanılıp kullanılmadığını öğrenmeye çalışabilir. Ancak başarılı çıkarım yapılabilmesi modelin özelliklerine ve saldırı koşullarına bağlıdır. #### Riskler Eğitim veri setinin üyeliğine ilişkin bilgi açıklanması. Belirli veri kümeleri hakkında gizlilik çıkarımları. Hassas veri işleme süreçlerine ilişkin dolaylı bilgi elde edilmesi. #### Korunma yaklaşımı Veri minimizasyonu uygulanmalıdır. Modelin aşırı öğrenme davranışı değerlendirilmelidir. Gizlilik odaklı eğitim yöntemleri incelenmelidir. Model çıktıları gereksiz bilgi açıklamayacak şekilde tasarlanmalıdır. Gizlilik testleri gerçekleştirilmelidir. ### \19. Model Memorization ve Veri Sızıntısı Bazı yapay zekâ modelleri eğitim verilerindeki belirli içerikleri ezberleyebilir. Bu durum özellikle hassas bilgilerin eğitim verilerine dahil edildiği senaryolarda önemlidir. Örneğin model, eğitim verisinde bulunan belirli metinleri uygun koşullarda yeniden üretebilir. Ancak her modelin bütün eğitim verilerini birebir sakladığı veya her sorguda açıklayabileceği düşünülmemelidir. Risk model mimarisi, eğitim yöntemi, veri tekrarı ve sorgu koşullarına bağlıdır. #### Güvenlik yaklaşımı Eğitim verileri sınıflandırılmalıdır. Gereksiz hassas bilgiler çıkarılmalıdır. Veri işleme amaçları belirlenmelidir. Model gizlilik testleri yapılmalıdır. Hassas çıktıların kontrolü değerlendirilmelidir. ### \20. Model Güvenliğinde Differential Privacy Differential Privacy, belirli gizlilik garantilerini matematiksel olarak tanımlamayı amaçlayan yaklaşımdır. Makine öğrenmesi sistemlerinde uygun yöntemlerle kullanıldığında bireysel eğitim örneklerinin model çıktıları üzerindeki etkisini sınırlandırmaya yardımcı olabilir. Ancak Differential Privacy uygulanması otomatik olarak bütün gizlilik risklerini ortadan kaldırmaz. Koruma düzeyi kullanılan yönteme, parametrelere ve uygulama biçimine bağlıdır. #### Değerlendirilmesi gereken konular Gizlilik bütçesi. Model performansına etkisi. Veri seti özellikleri. Eğitim maliyeti. Uygulama doğruluğu. Bu nedenle Differential Privacy kurumsal ihtiyaçlara göre değerlendirilmelidir. ### \21. Model Fine-Tuning Güvenliği Fine-Tuning, önceden eğitilmiş bir modelin belirli veri setleri veya görevler için ek eğitimden geçirilmesidir. Bu süreç kurumların kendi alanlarına uygun modeller geliştirmesine yardımcı olabilir. Ancak güvenlik açısından yeni riskler oluşturabilir. #### Olası riskler Manipüle edilmiş fine-tuning verileri. Hassas veri içeren eğitim örnekleri. Güvensiz model dosyaları. Yetkisiz eğitim ortamı erişimi. Model davranışının beklenmeyen şekilde değişmesi. #### Güvenli yaklaşım Fine-tuning verileri doğrulanmalıdır. Veri kaynakları kayıt altına alınmalıdır. Eğitim ortamı korunmalıdır. Model sürümleri yönetilmelidir. Eğitim sonrası güvenlik testleri yapılmalıdır. ### \22. Model Registry Güvenliği Model Registry, modellerin sürümlerinin, metadata bilgilerinin ve ilgili artifact'ların yönetildiği sistemdir. Kurumsal MLOps mimarilerinde önemli rol oynayabilir. Ancak model registry güvenliği yetersizse model bütünlüğü riske girebilir. Örneğin yetkisiz kullanıcı bir model sürümünü değiştirebilir. Yanlış model üretim ortamına alınabilir. Veya model dosyaları yetkisiz biçimde indirilebilir. #### Güvenlik kontrolleri Kimlik doğrulama. Rol tabanlı erişim kontrolü. Model sürüm yönetimi. Artifact bütünlük doğrulaması. Değişiklik kayıtları. Güvenli depolama. Onaylı dağıtım süreçleri. Bu kontroller model yaşam döngüsünün güvenilirliğini destekler. ### \23. Model Artifact Güvenliği Model artifact, eğitilmiş modelin dağıtımı veya yeniden kullanımı için saklanan dosyaları ve ilgili bileşenleri ifade eder. Örneğin model ağırlıkları, yapılandırma dosyaları veya serileştirilmiş nesneler artifact kapsamında olabilir. Bu dosyalar güvenlik açısından değerlendirilmelidir. #### Riskler Yetkisiz model dosyası değişikliği. Zararlı içerik barındıran model paketleri. Güvensiz serileştirme mekanizmaları. Bütünlük kontrolü eksikliği. Güvenilmeyen model kaynakları. Özellikle bazı serileştirme formatları, güvenilmeyen dosyalar yüklendiğinde kod çalıştırma riski oluşturabilir. Bu nedenle model dosyaları yalnızca veri olarak değerlendirilmemelidir. #### Korunma yaklaşımı Güvenilir kaynaklar kullanılmalıdır. Artifact bütünlüğü doğrulanmalıdır. Güvensiz yükleme mekanizmalarından kaçınılmalıdır. Model dosyaları uygun güvenlik taramalarından geçirilmelidir. Çalışma ortamı izole edilmelidir. ### \24. AI Model Güvenliği ve Supply Chain Yapay zekâ sistemleri birçok harici bileşene bağımlıdır. Örneğin: Açık kaynak modeller. Eğitim veri setleri. ML kütüphaneleri. Model hub platformları. Container image'ları. Eğitim framework'leri. Üçüncü taraf optimizasyon araçları. Bu bileşenlerin her biri tedarik zinciri riski oluşturabilir. Örneğin güvenilmeyen kaynaktan indirilen model dosyası zararlı içerik barındırabilir. Bir eğitim kütüphanesindeki güvenlik açığı altyapıyı etkileyebilir. Bir veri seti manipüle edilmiş olabilir. #### Güvenlik yaklaşımı Model ve veri kaynağı doğrulanmalıdır. Bağımlılıklar envantere alınmalıdır. Sürüm yönetimi uygulanmalıdır. Güvenlik açıkları takip edilmelidir. Artifact bütünlüğü kontrol edilmelidir. Bu konular serimizin MLOps ve yapay zekâ tedarik zinciri güvenliği bölümünde daha ayrıntılı incelenecektir. ### \25. Model API Güvenliği Bir yapay zekâ modeli API üzerinden sunulduğunda geleneksel API güvenliği kontrolleri önem kazanır. Örneğin: Authentication. Authorization. Rate limiting. Input validation. Logging. Network security. Resource management. Bu kontroller Model Extraction ve yetkisiz kullanım gibi risklerin azaltılmasına yardımcı olabilir. Ancak model API güvenliği yalnızca geleneksel API testlerinden oluşmaz. Model davranışına özgü tehditlerin de değerlendirilmesi gerekir. ### \26. Model Denial of Service ve Kaynak Tüketimi Yapay zekâ modelleri önemli hesaplama kaynakları kullanabilir. Özellikle büyük modellerin çıkarım işlemleri yüksek işlemci, GPU ve bellek tüketimi oluşturabilir. Bu nedenle saldırganlar kaynak tüketimini artırmaya yönelik davranışlar gerçekleştirmeye çalışabilir. #### Olası riskler Aşırı sorgu gönderimi. Uzun veya karmaşık girdiler. Kontrolsüz işlem döngüleri. Yüksek maliyetli çıkarım istekleri. Kaynak sınırlarının aşılması. #### Korunma yaklaşımı Kullanıcı bazlı kota uygulanmalıdır. İstek boyutları sınırlandırılmalıdır. Zaman aşımı politikaları oluşturulmalıdır. Kaynak tüketimi izlenmelidir. Maliyet limitleri belirlenmelidir. Bu kontroller model erişilebilirliğini ve operasyonel sürdürülebilirliği destekler. ### \27. Model Drift ve Güvenlik Model Drift, modelin performansının veya veri ilişkilerinin zaman içerisinde değişmesiyle ilişkili kavramdır. Bu durum her zaman siber saldırı anlamına gelmez. Örneğin kullanıcı davranışları değişebilir. Yeni veri türleri ortaya çıkabilir. İş süreçleri farklılaşabilir. Ancak model performansındaki beklenmeyen değişiklikler güvenlik açısından da değerlendirilmelidir. #### Örnek Bir dolandırıcılık tespit modeli belirli işlem örüntülerini öğrenmiştir. Zaman içerisinde yeni dolandırıcılık yöntemleri ortaya çıkabilir. Modelin tespit performansı düşebilir. Bu durum doğrudan Data Poisoning saldırısı olmayabilir. Ancak güvenlik etkisi oluşturabilir. #### Korunma yaklaşımı Model performansı izlenmelidir. Veri dağılımları takip edilmelidir. Anormal değişiklikler analiz edilmelidir. Yeniden eğitim süreçleri kontrollü yürütülmelidir. ### \28. AI Model Security Testing Nedir? AI Model Security Testing, yapay zekâ modellerinin güvenlik tehditlerine karşı dayanıklılığının değerlendirilmesidir. Bu testler modelin kullanım amacına göre farklılık gösterebilir. #### Test alanları Data Poisoning dayanıklılığı. Backdoor davranışları. Adversarial örnekler. Model Extraction riski. Model gizliliği. Membership Inference. Model Inversion. API güvenliği. Artifact bütünlüğü. #### Test yaklaşımı Öncelikle model türü ve kullanım amacı belirlenmelidir. Ardından saldırganın erişim düzeyi tanımlanmalıdır. Test veri setleri hazırlanmalıdır. Güvenlik senaryoları uygulanmalıdır. Model davranışı ölçülmelidir. Bulguların gerçek sistem etkisi değerlendirilmelidir. ### \29. AI Model Pentest ile Geleneksel Pentest Arasındaki Fark Geleneksel pentest ağ, sistem, web uygulaması ve API güvenliği gibi alanlara odaklanabilir. AI Model Pentest ise model davranışına ve öğrenme mekanizmalarına özgü riskleri de değerlendirir. Örneğin geleneksel pentest sırasında model API'sinde yetkilendirme açığı tespit edilebilir. AI Model Security Testing sırasında ise modelin belirli adversarial girdiler karşısında nasıl davrandığı incelenebilir. Benzer şekilde Model Extraction riskleri değerlendirilebilir. Bu nedenle AI Model Security Testing geleneksel pentestin yerine geçmez. Güvenlik değerlendirmesini model seviyesine genişletir. ### \30. Model Güvenliği İçin Katmanlı Savunma AI Model Security yaklaşımında tek bir kontrol yeterli değildir. #### Veri katmanı Eğitim verileri doğrulanmalıdır. Veri kaynakları izlenmelidir. Hassas bilgiler sınıflandırılmalıdır. #### Eğitim katmanı Eğitim ortamı korunmalıdır. Kod ve bağımlılıklar değerlendirilmelidir. Eğitim süreçleri kayıt altına alınmalıdır. #### Model katmanı Model bütünlüğü doğrulanmalıdır. Model sürümleri yönetilmelidir. Güvenlik testleri yapılmalıdır. #### API katmanı Authentication uygulanmalıdır. Rate limiting kullanılmalıdır. Yetkisiz erişim engellenmelidir. #### Operasyon katmanı Model davranışı izlenmelidir. Anormallikler değerlendirilmelidir. Olay müdahale süreçleri oluşturulmalıdır. Bu katmanlar birlikte kullanıldığında model güvenliği daha kapsamlı biçimde yönetilebilir. ### \31. Örnek Senaryo: Dolandırıcılık Tespit Modeli Bir finans kuruluşunun dolandırıcılık tespit modeli kullandığını düşünelim. Model geçmiş işlem verileri üzerinden eğitilmektedir. Yeni işlemler model tarafından değerlendirilir. Şüpheli işlemler ilgili kontrol süreçlerine aktarılır. #### Risk 1: Data Poisoning Manipüle edilmiş eğitim verileri modelin karar davranışını etkileyebilir. #### Risk 2: Evasion Attack Saldırgan belirli işlem özelliklerini değiştirerek modelin tespitinden kaçınmaya çalışabilir. #### Risk 3: Model Extraction Model API'sinin davranışı çok sayıda sorguyla taklit edilmeye çalışılabilir. #### Risk 4: Model Drift Yeni dolandırıcılık yöntemleri modelin performansını düşürebilir. #### Risk 5: Yetkisiz erişim Model servislerine veya eğitim verilerine yetkisiz erişim sağlanabilir. #### Güvenli yaklaşım Eğitim verileri doğrulanmalıdır. Model performansı izlenmelidir. Adversarial testler gerçekleştirilmelidir. API erişimleri sınırlandırılmalıdır. Model sürümleri kontrol edilmelidir. Kritik kararlar uygun bağımsız kontrollerle desteklenmelidir. ### \32. Örnek Senaryo: Siber Güvenlik Tespit Modeli Bir kurumun zararlı yazılım veya anomali tespitinde makine öğrenmesi kullandığını düşünelim. Model sistem davranışlarını analiz ederek şüpheli aktiviteleri sınıflandırmaktadır. Bu sistem önemli güvenlik avantajları sağlayabilir. Ancak modelin kendisi de saldırı hedefi olabilir. #### Olası tehditler Evasion Attack. Data Poisoning. Model Extraction. Yanlış pozitif ve yanlış negatif sonuçlar. Model Drift. #### Güvenlik yaklaşımı Model çıktıları tek başına kesin karar olarak değerlendirilmemelidir. Geleneksel güvenlik kontrolleriyle birlikte kullanılmalıdır. Model performansı düzenli ölçülmelidir. Saldırı senaryoları test edilmelidir. Kritik olaylar analist değerlendirmesine tabi tutulmalıdır. Özellikle SOC operasyonlarında model güvenliği, tespit kalitesinin sürdürülebilirliği açısından önemlidir. ### \33. Örnek Senaryo: Kurumsal LLM Fine-Tuning Bir kurum kendi dokümanlarıyla özel bir dil modelini fine-tuning sürecinden geçirmektedir. Eğitim verileri farklı departmanlardan toplanmaktadır. Bu süreçte bazı dokümanlar kişisel veri veya ticari sır içerebilir. #### Risk 1: Hassas veri kullanımı Gereksiz kişisel veriler eğitim sürecine dahil edilebilir. #### Risk 2: Veri zehirleme Manipüle edilmiş eğitim örnekleri model davranışını etkileyebilir. #### Risk 3: Model bütünlüğü Model dosyaları yetkisiz biçimde değiştirilebilir. #### Risk 4: Model gizliliği Belirli sorgularla eğitim verileri hakkında çıkarım yapılmaya çalışılabilir. #### Risk 5: Tedarik zinciri Kullanılan temel model veya eğitim bileşenleri güvenlik riski taşıyabilir. #### Güvenli yaklaşım Eğitim veri seti sınıflandırılmalıdır. Hassas bilgiler değerlendirilmelidir. Veri kaynakları doğrulanmalıdır. Model artifact'ları korunmalıdır. Gizlilik ve güvenlik testleri gerçekleştirilmelidir. Bu yaklaşım kurumsal LLM geliştirme süreçlerinde önemlidir. ### \34. SECURESYS AI Model Security Yaklaşımı SECURESYS olarak yapay zekâ model güvenliğinin yalnızca uygulama katmanında değerlendirilmemesi gerektiğini düşünüyoruz. Çünkü yapay zekâ modelleri eğitim verileri, model parametreleri, çıkarım servisleri ve dağıtım altyapılarıyla birlikte çalışır. Bu nedenle güvenlik değerlendirmesi model yaşam döngüsünün tamamını kapsamalıdır. Proje kapsamına göre aşağıdaki alanlar birlikte ele alınabilir: #### AI Model Security Assessment Model mimarisinin, erişimlerinin ve güvenlik kontrollerinin değerlendirilmesi. #### Data Poisoning Risk Assessment Eğitim veri kaynaklarının ve veri bütünlüğü kontrollerinin incelenmesi. #### Adversarial Testing Modelin manipülatif girdiler karşısındaki davranışının değerlendirilmesi. #### Model Extraction Assessment Model API'sinin davranışsal çıkarım risklerinin incelenmesi. #### Model Privacy Assessment Modelin eğitim verileri hakkında hassas bilgi açıklama risklerinin değerlendirilmesi. #### Model API Security Testing Kimlik doğrulama, yetkilendirme ve kaynak kullanım kontrollerinin incelenmesi. #### MLOps Security Assessment Model geliştirme, paketleme ve dağıtım süreçlerinin güvenlik açısından değerlendirilmesi. #### AI Red Teaming Gerçekçi saldırı senaryolarıyla model ve uygulama güvenliğinin test edilmesi. Bu yaklaşımın temel hedefi yalnızca güvenlik açıklarını belirlemek değildir. Kurumların yapay zekâ modellerini güvenilir, kontrollü ve sürdürülebilir biçimde kullanmalarına yardımcı olmaktır. ### \35. AI Model Güvenliği Kontrol Listesi #### Eğitim verisi güvenliği - Veri kaynakları doğrulandı mı? - Eğitim verileri sürümleniyor mu? - Veri bütünlüğü kontrol ediliyor mu? - Data Poisoning riskleri değerlendirildi mi? #### Model bütünlüğü - Model artifact'ları korunuyor mu? - Model sürümleri yönetiliyor mu? - Yetkisiz model değişiklikleri engelleniyor mu? - Güvenilmeyen model dosyaları kontrol ediliyor mu? #### Model gizliliği - Hassas eğitim verileri sınıflandırıldı mı? - Membership Inference riski değerlendirildi mi? - Model Inversion testleri gerekli mi? - Model çıktıları gereksiz bilgi açıklıyor mu? #### Model API güvenliği - Authentication uygulanıyor mu? - Rate limiting mevcut mu? - Kullanım kotaları tanımlandı mı? - Anormal sorgu davranışları izleniyor mu? #### Adversarial güvenlik - Adversarial testler yapıldı mı? - Evasion senaryoları değerlendirildi mi? - Backdoor riskleri incelendi mi? - Model performansı düzenli ölçülüyor mu? #### Operasyonel güvenlik - Model değişiklikleri kayıt altına alınıyor mu? - Model Drift izleniyor mu? - Güvenlik olay müdahale süreci var mı? - Model güncellemeleri güvenlik testlerinden geçiyor mu? Bu kontrol listesi modelin kullanım amacına ve risk seviyesine göre genişletilebilir. ### Sık Sorulan Sorular #### AI Model Security nedir? AI Model Security, yapay zekâ modellerinin gizlilik, bütünlük, erişilebilirlik ve güvenilirlik açısından korunmasını hedefleyen güvenlik disiplinidir. #### Data Poisoning nedir? Data Poisoning, modelin eğitim veya öğrenme verilerinin manipüle edilerek model davranışının etkilenmesini hedefleyen saldırı yaklaşımıdır. #### Backdoor Attack nedir? Backdoor Attack, modelin belirli tetikleyiciler karşısında saldırganın hedeflediği davranışı göstermesini amaçlayan saldırı türüdür. #### Adversarial Attack nedir? Adversarial Attack, model girdilerinin manipüle edilerek hatalı veya beklenmeyen sonuçlar üretilmesinin hedeflenmesidir. #### Evasion Attack nedir? Evasion Attack, modelin çıkarım aşamasında belirli girdilerle yanlış karar vermesini sağlamayı hedefleyen saldırı türüdür. #### Model Theft nedir? Model Theft, modelin kendisinin veya değerli özelliklerinin yetkisiz biçimde elde edilmesini hedefleyen saldırı yaklaşımıdır. #### Model Extraction nedir? Model Extraction, modelin davranışını veya bazı özelliklerini sorgular ve gözlemler üzerinden çıkarmayı hedefleyen saldırı yaklaşımıdır. #### Model Extraction ile Model Theft aynı şey midir? Tam olarak değildir. Model Extraction, Model Theft kapsamında değerlendirilebilen yöntemlerden biridir. Model Theft doğrudan model dosyalarının ele geçirilmesini de içerebilir. #### Model Inversion nedir? Model Inversion, model çıktıları veya model bilgileri üzerinden eğitim verilerinin özelliklerini çıkarmayı hedefleyen saldırı yaklaşımıdır. #### Membership Inference nedir? Belirli bir veri örneğinin modelin eğitim veri setinde bulunup bulunmadığını tahmin etmeyi hedefleyen saldırı yaklaşımıdır. #### Model Backdoor nasıl tespit edilir? Model davranış testleri, eğitim verisi değerlendirmesi ve hedefli güvenlik analizleri kullanılabilir. Ancak bütün backdoor türlerinin kesin biçimde tespit edilmesi garanti değildir. #### Model Extraction tamamen engellenebilir mi? Her durumda garanti edilemez. Authentication, rate limiting, kullanım kotaları ve anomali tespiti gibi kontroller riski azaltabilir. #### AI Model Pentest nedir? AI Model Pentest, modelin davranışının, erişimlerinin ve güvenlik kontrollerinin kontrollü saldırı senaryolarıyla değerlendirilmesidir. #### Model Drift siber saldırı mıdır? Her zaman değildir. Model Drift doğal veri değişimlerinden kaynaklanabilir. Ancak güvenlik açısından izlenmesi gereken performans değişiklikleri oluşturabilir. #### Differential Privacy bütün gizlilik risklerini ortadan kaldırır mı? Hayır. Koruma düzeyi kullanılan yönteme ve parametrelere bağlıdır. #### Açık kaynak yapay zekâ modelleri güvenli midir? Güvenlik modelin kaynağına, artifact bütünlüğüne, bağımlılıklarına, yapılandırmasına ve kullanım ortamına bağlıdır. Açık kaynak olması tek başına güvenlik garantisi sağlamaz. ### Sonuç: Yapay Zekâ Modelinin Güvenliği, Ürettiği Cevaptan Daha Geniş Bir Konudur Yapay zekâ modelleri kurumların iş süreçlerinde giderek daha önemli roller üstleniyor. Dolandırıcılık tespit ediyor. Görüntüleri sınıflandırıyor. Siber güvenlik olaylarını analiz ediyor. Dokümanları yorumluyor. Karar destek sistemlerine katkı sağlıyor. Ancak bu modellerin güvenilirliği yalnızca doğru cevap üretmelerine bağlı değildir. Eğitim verileri manipüle edilebilir. Model parametreleri yetkisiz biçimde değiştirilebilir. Belirli girdilerle model davranışı etkilenebilir. Modelin ticari değeri yetkisiz biçimde elde edilmeye çalışılabilir. Eğitim verilerinin gizliliğine ilişkin çıkarımlar yapılabilir. Bu nedenle AI Model Security, yapay zekâ sistemlerinin güvenli geliştirilmesi ve işletilmesi açısından temel bir gereksinimdir. Güvenli model yaşam döngüsünde: Veri kaynakları doğrulanmalıdır. Eğitim süreçleri korunmalıdır. Model artifact'ları güvenli yönetilmelidir. Çıkarım servisleri erişim kontrolüyle korunmalıdır. Adversarial testler yapılmalıdır. Model gizliliği değerlendirilmelidir. Model davranışı sürekli izlenmelidir. Ve güvenlik kontrolleri düzenli olarak güncellenmelidir. Yapay zekâ güvenliğinde temel prensip açıktır: **Modelin doğru karar vermesini beklemek yeterli değildir; modelin hangi koşullarda yanlış karar verebileceğini de test etmek gerekir.** Çünkü güvenilir yapay zekâ yalnızca yüksek doğruluk oranına sahip model değildir. Aynı zamanda manipülasyona karşı değerlendirilmiş, erişimleri korunmuş, veri kaynakları kontrol edilmiş ve yaşam döngüsü boyunca izlenen sistemdir. ### Bir Sonraki Bölüm #### Bölüm 9: MLOps ve Yapay Zekâ Tedarik Zinciri Güvenliği – Model, Veri Seti ve Pipeline Riskleri Bir sonraki makalede yapay zekâ modellerinin geliştirme ve dağıtım süreçlerini inceleyeceğiz. MLOps nedir? ML Pipeline güvenliği nasıl sağlanır? Model Registry neden korunmalıdır? Açık kaynak model ve veri setlerinin riskleri nelerdir? Model artifact güvenliği nasıl doğrulanır? ML-BOM ve AI-BOM neden önemlidir? Ve en önemlisi: **Kurumlar yapay zekâ modellerini geliştirme aşamasından üretim ortamına kadar nasıl güvenli biçimde yönetebilir?** \8. bölüm tamamlandı. Sonraki “devam” mesajında 9. bölüm: MLOps ve Yapay Zekâ Tedarik Zinciri Güvenliği – Model, Veri Seti ve Pipeline Riskleri ile ilerleyeceğiz.