Sonsuz Ark'ın Notu:
Aşağıda çevirisini yayınladığımız analiz, "Küresel toplum, insanları özerk bir şekilde hedef alan ve öldüren silahlar peşinde koşmayı kabul etmeyebilir veya askeri avantaj elde etmek için çaba sarf etmekteki acımasız mantığa boyun eğebilir ve böylece diğer -hukuk, sorumluluk, insan hakları ve haysiyet gibi- değerleri feda edebilir mi?" sorusunun cevabı aramaktadır.
Seçkin Deniz, 25.06.2018
Why the world needs to regulate autonomous weapons, and soon
Bazı gözlemciler, CCW tartışmalarının umutsuz ya da yararsız olabileceği ve onlardan hiçbir fikir birliğinin ortaya çıkmayacağı yönündeki endişelerini dile getirdiler. Bu endişeler, daha önce gerçekleşmiş olan şeyin önemini ve ileriye dönük fırsatları ıskalıyor.
Bazı gözlemciler için, bir AI (Yapay Zeka) silahlanma yarışı üzerindeki kaygılar otonom silahlarla ilgili endişeleri gölgede bıraktı.. Bazıları, “yapay zeka” nın kendisini yasaklamayı amaçlayan Katil Robotları Durdurma Kampanyasını bile yaptı. Bu görüşlere katılmıyorum ve B / T Bilgi Toplumu için Hukuk ve Politika Dergisi) için yazdığım bir makalede, çeşitli bilim adamlarının ve medyanın “AI silahlanma yarışı” terimini, ekonomik rekabet, otomatik siber savaştan AI'yı silahlara gömmeye kadar çok farklı ve hatta uyumsuz şeyler anlamına geldiğini tartışıyorum.
CCW'nin ölümcül otonom silahlara ilişkin tartışmalarındaki temel mesele, Uluslararası Kızılhaç Komitesinin saldırılarda hedeflemenin ve katılımın “kritik işlevleri” olarak adlandırdığı şeyin üzerinde insan denetiminin gerekliliğidir. AI, silah sistemleri de dahil olmak üzere, ordular tarafından ve hatta hedefleme ve katılımın kritik işlevlerinde bile çeşitli şekillerde kullanılabilir. Mesele, ne tür bir teknolojinin kullanıldığının ya da karmaşıklığının ne olduğu değil, hedefleme ve devreye alma yetkisinin otomatik süreçlere aktarılıp aktarılmaması ve bunun insan hakları ve insan onuru ve insani sorumluluk ve hesap verebilirlik açısından ne gibi etkileri olduğudur.
Silahların katılımında sorumluluk ve hesap verebilirliğin doğası aşınırsa ve insan kontrolünden uzaklaşılırsa, bir dizi başka kritik konu ortaya çıkar. İnsanları özerk bir şekilde hedef alan ve öldüren makineler bir ülke tarafından yönetilirse, bu hızlı bir şekilde diğer ülkeler tarafından takip edilebilir; bu da istikrarsızlaştırıcı ve maliyetli bölgesel ve küresel silahlanma yarışlarına neden olur.
Teknolojinin doğası gereği, bu sistemlerin ülkeler arasında hızla çoğaldığını ve devlet dışı aktörlere de yayıldığını görmeyi bekleyebiliriz. Otomatik silahların hacklenmesi ve aldatılması -silahların düşmanlar tarafından kaçırılması ve yeniden yönlendirilmesi gerçek bir olasılık bir olasılık haline getiriyor - başka endişeleri de beraberinde getiriyor. Ayıca kaynaklarının tesbit edilmesinin giderek zorlaştığı saldırıların yarattığı riskler vardır; bu, siber saldırılarda zaten görülen ve kinetik saldırılara dönüşebilecek bir olgudur.
Ek olarak, otomatik sistemler, insani politik veya askeri karar alma ya da otorite olmaksızın çatışmaları başlatabilir ya da arttırabilir; sürüler gibi otonom sistemler geniş çaplı konuşlandırmaları halinde, özellikle de diğer otonom sistemler ile meşgul olduklarında -Devletin sorumluluğu ve güvenliğini sağlamak için test rejimlerinin kısıtlı yeteneklerine güvenme konusunda sorular sorulmasına neden olacak şekilde- kendiliğinden öngörülemeyen şekillerde hareket edeceklerdir.
Savaş alanında karar alma sürecini hızlandırmaya ve insan hızından makine hızına geçişteki askeri ilgiyi zaten görüyoruz. Askeri taktiklerin insanın anlamlı bir şekilde çalışamayacağı hızlara ulaşması, insanların nihai olarak askeri strateji üzerinde kontrolü kaybetmiş olduğu anlamına mı geliyor? Küçük insan gruplarını -hatta bireyleri- muazzam yıkım ve ölümle sonuçlandıracak şekilde güçlendirmek-yetkilendirmek suretiyle otonom silahlar yeni bir kitle imha silahına dönüşebilir.
Bahsettiğim konuların her biri, dünya çapındaki çatışmaların sayısı ve yoğunluğu üzerinde güçlü bir olumsuz etkiye sahip olabilir. Birlikte ele alındığında, savaşı yeni, alışılmamış ve giderek daha önceden tahmin edilemez bir şeye dönüştüreceklerdir.. Siyaset ve diplomasi yetişebilecek midir? Otonom savaşla mücadelede bu olası değişiklikler insan sorumluluğuna ve devlet sorumluluğuna yönelik tehditler olduğundan, aynı zamanda hukukun üstünlüğünü zayıflatmakla tehdit ediyorlar.
Temel soru şudur: Küresel toplum, insanları özerk bir şekilde hedef alan ve öldüren silahlar peşinde koşmayı kabul etmeyebilir veya askeri avantaj elde etmek için çaba sarf etmekteki acımasız mantığa boyun eğebilir ve böylece diğer -hukuk, sorumluluk, insan hakları ve haysiyet gibi- değerleri feda edebilir mi?
Bireyler ve hükümetler, özerk silahların risklerini kabul ederken, bu riskleri hafifletmek için herhangi bir şey yapılması gerektiğine dair gerçek anlaşmazlıklar yaşıyorlar. Bir avuç devlet, yeni bir yasanın ya da düzenlemenin gerekmediğini ya da düzenlenmesi için çok erken olduğunu ve bu silahların nasıl kullanıldığını görmek için beklememiz gerektiğini savunuyor.
Bazıları, silah sistemleri üzerinde bir çeşit insan denetiminin ve kuvvet kullanımının önemini onaylayan bir "siyasi deklarasyon" gibi yumuşak hukuk önlemleri öneriyor. Birkaç devlet, "en iyi uygulamalar" ve bağımsız otonom silahların tasarımı, denenmesi ve kullanımı için daha fazla şeffaflık konusunda anlaşmayı önermiştir. Ancak, devletlerin çoğunluğu şimdi, yeni bir uluslararası anlaşmanın, yasaklama anlaşması isteyen 26 ülke de dahil olmak üzere, ölümcül özerk silah sistemleri üzerinde müzakere edilmesini önermektedir.
Katil Robotları Durdurma Kampanyası, başlangıçtan bu tür silahların üretimi ve kullanımıyla ilgili- devletlerin, silahların hedeflere yönlendirilmesi ve katılımının her zaman anlamlı bir insan kontrolü altında tutulmasını sağlamalarını gerektiren pozitif bir yükümlülük olarak görülebilen- kapsamlı bir yasağı destekledi.
Mevcut uluslararası insancıl hukukun, bu sistemlerin gelişimini yönlendirmek ve düzenlemek için yeterli olduğunu savunan devletler vardır. Varolan hukuk normlarının netliğine ve bunları yürürlüğe koyma mekanizmalarına güvenmektedirler. Örneğin, Ek Protokol'ün (1977) 36. maddesi uyarınca Cenevre Sözleşmelerine göre yapılan silah incelemeleri gibi.
Yine de, Belirli Konvansiyonel Silahlar toplantısındaki birçok müzakere ve tartışma bir şeyi açıklığa kavuşturmuştur: Bir hedefleme kararının tam olarak neyin oluşturulduğuna veya yasal bir yargıya veya etik bir yargıya ilişkin ve bu terimlerin herhangi birinin askeri bir operasyonu yürüten otomatik bir sisteme nasıl uygulanabileceği veya uygulanması gerektiği konusunda farklı görüşler vardır.
Aslında, hukuki normların ve insani hukukun yerleşik kavramlarının uygulanmasının, teknoloji ilerledikçe ve özerk teknolojiye olan güven arttıkça daha da kötü ya da zayıf olabileceğine dair ciddi riskler vardır. En azından, bu terimlerle ilgili ortak bir anlayışa ve savaş yasalarına göre yasal çıkarımlarına ihtiyaç vardır. Başka bir şey başarmazlarsa bile, CCW tartışmaları en azından bu önemli süreci başlatmış oldu.
Öldürücü özerk silahların savunucuları, hedeflemenin ve katılımın otomatikleştirilmesinin gerçek avantajlarının olabileceğini ve yasakların ya da yönetmeliklerin teknolojinin yararlı uygulamalarını önleyebileceğini savunuyor.
Amerika Birleşik Devletleri, bu tür silahların geliştirilmesi hakkında, 3000.09 nolu Savunma Bakanlığı Direktifi ile ilgili en açık ve kamusal politikaya sahiptir ve bu direktife benzer bir şeyin diğer ülkelerde en iyi uygulamalar için yol gösterici olabileceğini öne sürmüştür.
ABD de son toplantı için bir çalışma raporu sundu. Bu belge, ortaya çıkan teknolojinin ve özellikle de AI'nın silahlı çatışmalardaki sivil kayıpların çeşitli yollarla sınırlandırılmasına yardımcı olabilecek bir dizi argüman ve iddia sunmaktadır. Bunlar, gözetim verilerinin filtrelenmesi için patern tanıma sistemlerinden, patlama hasarı değerlendirmesi yazılımına, füzelerin yönlendirme sistemlerine, bir süre sonra kendini yok eden veya devre dışı bırakan mayınlara ve mühimmatlara kadar uzanıyor.
Ancak ABD belgesi, neredeyse tüm örneklerde otomasyon sistemleri sadece insan karar vericilere hedefe ulaşma riskleri hakkında daha iyi bir karar vermekte yardımcı olmak için ilgi çekici ve analiz edici nesneler sağladığını ortaya koymaktadır. Diğer örneklerde otomasyon, ancak bir karar vericinin bir hedef belirledikten ve bir saldırı başlatmasından sonra devreye girer. Bu durumlarda, Otomasyon sadece silahın istenen hedefe ulaşmasına yardımcı olur veya hedef bulunmazsa devre dışı bırakır. Bunlar otomasyonun makul kullanımlarıdır ve eğer uygun bir şekilde kullanılıyorsa, belirli saldırıların sivillere etkisini azaltma ve uluslararası insani hukuk kurallarına uyma potansiyeline sahiptirler.
Yeni nesil yüksek otomasyonlu sistemlerin sivil kayıpları azaltıp azaltmayacağı sorusu, sadece silah sistemlerinin teknik yeteneklerine (teorik veya doğrulanmış) değil, aynı zamanda bu sistemlerin uygulamada nasıl kullanıldığına da bağlı ampirik bir sorudur. Daha riskli sivil alanlarda daha fazla kullanımı teşvik etmeleri veya çatışmaları önlemek için daha düşük eşikleri teşvik etmeleri durumunda, özerk silah sistemlerinden kaynaklanan genel sivil etkiler daha büyük olabilir ve bu nedenle, daha yüksek doğruluk veya hassas hedefleme kabiliyetleri önerebileceği için sivillere yönelik azaltılmış risklerle ilişkili olmayabilir.
Uluslararası insancıl hukuk, savaş zamanında sivillere yönelik risklerin azaltılmasını teşvik ediyor - askeri güçler aslında sivilleri korumak için makul önlemleri alma görevini üstleniyor. Fakat insanlar için yazılmış olan savaş yasaları, otomatik bir sisteme nasıl uygulanır? Bir algoritmanın performansı bir orantı değerlendirmesi oluşturabilir mi? Bir makine için “makul” ne sayılır? Otomatik bir karar yasal bir karar olarak nitelendirilebilir mi? Sivillerle savaşçıları ayırmak gibi daha hesaplamalı olarak kabul edilebilir yasal gereklilikler için bile, hangi teknik standartların uygulanacağı ve nasıl test edilmesi gerektiği konusunda zor sorular vardır. Benzer şekilde, “hedef”, “nesnel” ve “saldırı” gibi terimlerin, otomatik programlara kolayca dönüştürülebilecek katı yasal tanımları yoktur. Bunlar, bir askeri operasyonun bağlamına ve doğasına bağlıdır.
Paylaşılan kavram ve terimlerin eksikliği, üzerinde çok az anlaştığımız Tallinn El Kitabında belirtildiği gibi uluslararası hukukta zaten kurulmuş olan normlar bile yetersizken tam olarak siber savaşta görmeye başladığımız düzensiz bir gelişme türüdür. Silah sistemlerinde otomasyonun insani potansiyeline gerçekten inanılıyorsa, bu tür teknolojilerin geliştirilmesine rehberlik etmesi için ortak normların ve standartların açıklığa kavuşturulması ve kodlanması desteklenmelidir.
Kendi yazılarım ve Katil Robotları Durdurma Kampanyası tarafından yayınlanan belgeler ve açıklamalar, insan komutanlarının ve askerlerinin durumsal farkındalık ve karar verme kapasitesini ve doğruluğunu daha da geliştirmek için ileri düzeyde bilgi işlem teknolojilerinin kullanımını sürekli olarak teşvik etti. Bizim endişemiz, bu komutanların ve askerlerin kritik kararlardaki yetkisinin tamamen ortadan kaldırılması olmuştur. Otomasyon daha sofistike ve güvenilir hale geldikçe, otomatikleştirilmiş sistemleri kullanan kişilerin sistemlerin otomatik değerlendirmeler yapmak için verileri ve algoritmaları nasıl kullandığını anlaması daha da önem kazanıyor.
Belçika hükümetinin Kasım ayındaki hükümet uzmanları çalışma belgesinde olduğu gibi bazı hükümetler bu soruları sormaya başlıyor. İnsan kontrolünün temel yönleri nelerdir? Otomatik bilgi işleme ne ölçüde insan kararını aşırı derecede belirleyebilir ve insan özerkliğini elegeçirebilir? Ve böyle bir yasal otoriteye sahip olmasa bile bir sistem, nasıl öldürme yetkisi ile “işlevsel olarak yetkilendirilmiş” olabilir?
Belirli Geleneksel Silahlar Konvansiyonu, Ağustos ayında yapılacak sonraki toplantı için bir yol sunuyor. Katılımcılar, açık normlar öne süren yasal olarak bağlayıcı bir aracın müzakeresini sürdürmeyi kabul edebilir. Ya da daha azını, bağlayıcılığı olmayan bir çıktıyı seçebilirler. CCW'deki otonom silahlar hakkında gayri resmi toplantılara başkanlık eden Fransa ve Almanya, ortak çalışma kağıtlarında, bağlayıcı olmayan bir siyasi çözüm şeklindeki bir anlaşmaya yönelik olumlu ve somut bir sonuç ve müspet bir adım arayan bir vizyon sunmuşlardır. Fakat bu vizyon, silahların insani kontrolü meselesinin özünü -sorunun nasıl çerçevelenmesi gerektiğini veya nasıl değerlendirileceğini veya uygulanacağını- açıklamıyor. Ve pratik bir mesele olarak, böyle bir kararın, özerk silahları gerçekten düzenleyen bağlayıcı bir enstrümana adım atmak yerine, bu CCW sürecinin nihai sonucu olabileceğine yönelik endişeler vardır.
Ancak uluslararası fikir birliği vardır. Hedefleme ve silahların katılımı üzerinde insan kontrolü ihtiyacı olduğuna dair geniş fikir birliği zaten var. Devletler, kontrolün doğasını açıklığa kavuşturmak, hangi kontrol biçimlerinin kabul edilebilir veya kabul edilemez olduğunu belirlemek ve bunları kodlamak için yasal dil ve çerçeve oluşturmak için çalışmalıdır. Diğer fikir birliğine dayalı forumların, siber savaş da dahil olmak üzere yeni ve gelişmekte olan teknolojileri içeren konularda sonuçlara ulaşamaması, bir Uyarı olarak görülmeli ve Belirli Konvansiyonel Silahlar Konvansiyonu'nda nelerin başarılabileceğine ilişkin bir ölçüt olmamalıdır.
Aynı şey, Siber savaşın düzenlenmesi konusunda ilerleme umudu varsa, ya da AI ve diğer ileri teknolojilerin risklerini yönetmek için uluslararası düzenlemeler üzerinde anlaşma yapılacaksa, CCW, uluslararası konsensüs inşası ve norm inovasyonu için bir model olabilir. Bir kavram olarak “anlamlı insan kontrolü”, AI etiği ve otonom araba tartışmalarında zaten kullanılmaktadır.
Sivil toplum grupları tarafından özerk silahlar için aranan düzenleme türü - katil robotlar konusuna eğer katılacaksanız- büyük ölçüde emsalsizdir. Belli bir etkinin ya da hareket tarzının bulunduğu belirli bir cephane ya da silah tipini belirtmek yerine, ihtiyaç duyulan şey, teknolojideki ilerlemelerin, uluslararası insancıl hukukun kendisini temelden baltalamamasını sağlamak için silahların kullanılmasında yöntemlerin düzenlenmesidir. Bu konuyla ilgili olumlu ve anlamlı bir eylem hala ulaşılabilecek bir durumdadır ve bu, otonom silahların oluşturduğu insanlık tehdidine yönelik kapsamlı tedbirleri ele almak için birlikte çalışabileceklerini kanıtlayacak olan Belirli Geleneksel Silahlar Konvansiyonunun ve hükümetlerin diplomatlarının çabalarına bağlıdır.
Peter Asaro, 27 Nisan 2018, The Bulletin-Bulletin of The Atomic Scientists
(Peter Asaro, New School- Yeni Okul'da medya çalışmaları için çalışan doçenttir. Yapay zeka ve robotiği, bir dijital medya biçimi ve teknolojinin yolları olarak inceliyor...)
Not: Çeviri programları kullanılarak İngilizce'den çevrilmiştir.
Sonsuz Ark'tan
- Sonsuz Ark'ta yayınlanan yazılardan yazarları sorumludur.
- Sonsuz Ark linki verilerek kısmen alıntı yapılabilir.
- Sonsuz Ark yayınları Sonsuz Ark Manifestosu'na aykırı yayın yapan sitelerde yayınlanamaz.