Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle

30 oktober 2015 - nr.97
Samenvatting

Samenvatting, conclusies en aanbevelingen
 

1   Samenvatting en conclusies

De definitiekwestie
Autonomie wordt al decennia toegepast in offensieve wapens (bijvoorbeeld in fire and forget wapens) en in defensieve wapens zoals Patriot grond-luchtdoelraketten. Er is nog geen internationaal overeengekomen definitie van een autonoom wapen. Een bruikbare definitie zal een duidelijk onderscheid moeten maken tussen de bestaande wapens met een zekere mate van autonomie en toekomstige autonome wapens.

In dit advies wordt met een autonoom wapen bedoeld:
Een wapen dat zonder menselijke tussenkomst een doel, dat voldoet aan voorgeprogrammeerde kenmerken, selecteert en aanvalt, nadat mensen hebben besloten het wapen in te zetten en waarbij een mens niet meer kan ingrijpen om de aanval te stoppen.

De bedienaar van het wapen weet niet welk individueel doel zal worden aangevallen, maar het soort doel is vooraf geprogrammeerd. Een wapen is alleen een autonoom wapen als de kritische functies voor het toepassen van (dodelijk) geweld, namelijk ‘selecteren van doelen’ en ‘aanvallen van doelen’ autonoom worden vervuld, zonder menselijke betrokkenheid (human out of the loop). Met de loop wordt het besluitvormingsproces bedoeld ten aanzien van de selectie en het aanvallen van doelen. Dit begrip kan betrekking hebben op uitsluitend de kritische processen (doelselectie en aanval op het doel) die het wapen autonoom uitvoert (de loop in enge zin), maar ook op het bredere targetingproces, de wider loop, waar de mens een beslissende rol vervult. Er bestaan nu slechts enkele wapensystemen waarbij de mens out of the loop is in de eerste betekenis, zoals de Israëlische Harpy, die vijandelijke radars kan aanvallen.

De AIV/CAVV is van mening dat de loop in brede zin, de wider loop, moet worden gehanteerd. Voorafgaand aan het proces dat het wapen uitvoert om een individueel doel te selecteren en aan te vallen, hebben immers mensen het besluit genomen het wapen in te zetten en is het wapen geprogrammeerd, waarbij ook beslissingen zijn genomen over de selectie van doelen. Deze besluiten maken deel uit van het targetingproces, waaronder ook elementen als het formuleren van doelstellingen, doelselectie, wapenselectie en uitvoeringsplanning vallen. De NAVO heeft daarvoor een vaste procedure en daarbij worden ook de mogelijke gevolgen voor de burgerbevolking meegewogen. Ook in de komende decennia zullen mensen de beslissing nemen een wapen al dan niet in te zetten.

(Toekomstige) inzet van autonome wapens
Inzet van autonome wapens kan belangrijke voordelen hebben. Computers kunnen sneller gegevens verzamelen en verwerken dan mensen, zodat bijvoorbeeld effectieve verdediging tegen inkomende raketten mogelijk is. Voorts kunnen autonome wapens mensen ten dele vervangen, zodat eigen militairen minder risico lopen. Ook kunnen autonome wapens opereren in omgevingen waar mensen niet kunnen overleven, bijvoorbeeld wegens de hoge druk, de temperatuur of het gebrek aan zuurstof. Autonome wapens kunnen het aantal slachtoffers onder eigen troepen en onder de burgerbevolking beperken. Deze wapens zullen de komende decennia waarschijnlijk worden ontwikkeld en ingezet om specifieke soorten doelen aan te vallen of voor defensieve taken.

Het is zeer onwaarschijnlijk dat autonome wapensystemen de rol van de mens op het slagveld volledig of substantieel zullen overnemen. Ze zullen naar verwachting naast militairen en bestaande wapensystemen en in samenhang met andere militaire en civiele technologie worden ingezet. De aard van moderne conflicten compliceert namelijk de inzet van deze wapensystemen. Ten eerste bevinden militaire doelen zich in moderne conflicten steeds vaker in gebieden met veel burgers. Partijen bij het conflict onderscheiden zich vaak opzettelijk niet duidelijk van hen die niet aan de strijd deelnemen. Inzet van autonome wapens is dan meestal problematisch. Ten tweede is het winnen van de hearts and minds van de bevolking in moderne conflicten vaak belangrijk. Ook om deze reden zullen autonome wapens naar verwachting een geringe rol spelen. In moderne conflicten zal de mens daarom een cruciale rol blijven spelen.

Ontwikkelingen met betrekking tot autonome wapens op langere termijn worden vooral bepaald door ontwikkelingen ten aanzien van kunstmatige intelligentie. Als een wapen zou beschikken over lerend vermogen, zelf gedragsregels zou kunnen formuleren en zich zelfstandig kan aanpassen aan veranderingen in zijn omgeving, dan zou men kunnen spreken van wapens waarbij de mens beyond the wider loop is, of volledig autonome wapensystemen. Een dergelijk systeem zou aan menselijke controle ontsnappen. Deze wapensystemen bestaan nog niet. De AIV/CAVV acht het onwaarschijnlijk dat de komende decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig geprogrammeerd zijn dat ze het gehele targetingproces zelfstandig uitvoeren, vanaf het formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en tijd van inzet. De AIV/CAVV ziet niet in waarom een staat – afgezien van de vraag of dit technisch mogelijk is – een dergelijk wapen zou willen (laten) ontwikkelen.

Onder meer vanwege de vrees die volledig autonome wapensystemen oproepen, heeft het concept van betekenisvolle menselijke controle de afgelopen jaren veel aandacht gekregen. De toenemende complexiteit van autonome systemen zou ertoe kunnen leiden dat menselijke controle ten dele of grotendeels verloren gaat. Omdat de mogelijkheid dat dit gebeurt niet kan worden uitgesloten moet deze mogelijkheid naar de mening van de AIV/CAVV serieus worden genomen. Daarom is het belangrijk dat ontwikkelingen op het gebied van kunstmatige intelligentie en robotica worden gevolgd.

Het juridische kader voor de toelaatbaarheid en inzet van autonome wapens
Het internationaal recht verbiedt het gebruik van interstatelijk geweld, behoudens bij de in het VN Handvest opgenomen uitzonderingen. Staten mogen geweld gebruiken om zichzelf te verdedigen, als er een mandaat is van de VN-Veiligheidsraad of met toestemming van de staat waar het geweld wordt toegepast. Of bij de toepassing van geweld al dan niet autonome wapens worden ingezet, maakt geen verschil.

Onder het humanitair oorlogsrecht zijn wapens verboden als bij de inzet ervan geen onderscheid kan worden gemaakt tussen militaire doelen enerzijds en burgers en burgerobjecten anderzijds, als ze onnodig leed en/of buitensporige verwondingen veroorzaken bij vijandelijke combattanten of als de effecten van inzet niet kunnen worden beheerst op een wijze die het humanitair oorlogsrecht voorschrijft en daarmee burgers en militairen zonder onderscheid raken. Er is geen reden aan te nemen dat autonome wapens per definitie tot één van deze categorieën behoren. Volgens artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen moeten staten nieuwe wapens toetsen op de verenigbaarheid met de eisen van het humanitair oorlogsrecht. Of een specifiek autonoom wapen behoort tot één van de categorieën verboden wapens moet dus van geval tot geval worden beoordeeld.

Er zijn (afgezien van specifieke wapenbeheersingsverdragen) twee rechtsregimes die het gebruik van geweld reguleren: het humanitair oorlogsrecht en de rechten van de mens. Bij gevechtshandelingen is het humanitair oorlogsrecht van toepassing. Het humanitair oorlogsrecht stelt eisen aan de inzet van wapens. Deze betreffen het onderscheidend vermogen (tussen militaire en andere doelen), proportionaliteit (afweging tussen militair voordeel en nevenschade) en voorzorg (om burgerdoelen zoveel mogelijk te vrijwaren van geweldstoepassing). In specifieke situaties zoals inzet van autonome wapens op volle zee, onder water, in het luchtruim en in nauwelijks bevolkte gebieden zal meestal kunnen worden voldaan aan de vereisten van het humanitair oorlogsrecht. In vele andere situaties kan, zeker in de komende tien jaar, inzet van autonome wapens problematisch zijn, omdat bij inzet niet bij voorbaat voldoende zekerheid bestaat dat aan de eisen van onderscheidend vermogen, proportionaliteit en voorzorg kan worden voldaan. De context bepaalt dus in sterke mate of autonome wapens kunnen worden ingezet zonder het humanitair oorlogsrecht te schenden. Militairen zullen tijdens het targetingproces in de wider loop moeten afwegen of inzet van autonome wapens in een specifieke context te rechtvaardigen is conform de eisen van het humanitair oorlogsrecht.

Genoemde twee rechtsregimes zijn van toepassing op alle vormen van geweldsgebruik en er is geen enkele reden om aan te nemen dat dit anders zou zijn voor (volledig) autonome wapens. Staten en personen hebben ook bij inzet van (volledig) autonome wapens de verplichting te verzekeren dat deze rechtsregels worden nageleefd. Discussie over de vraag of autonome wapens dit ooit zelfstandig kunnen is naar de mening van de AIV/CAVV speculatief. Vanuit de vereisten van het humanitair oorlogsrecht is er geen verschil of autonome wapens zelfstandig kunnen voldoen aan de vereisten van het humanitair oorlogsrecht of niet. Dezelfde juridische eisen zijn onverminderd van toepassing op de inzet van alle wapens.

Vragen van aansprakelijkheid
De AIV/CAVV is van mening dat het geldend rechtsregime zoals hierboven beschreven in formele zin afdoende is om overtreders aansprakelijk te stellen. In die zin is er dan ook geen sprake van een accountability gap bij de inzet van autonome wapens zolang de mens blijft beslissen over de inzet van wapens in het kader van het targetingproces. Er is in ieder geval de komende tien jaar geen reden om aan te nemen dat er een lacune in strafrechtelijke aansprakelijkheid van commandanten, ondergeschikten of politieke en civiele verantwoordelijken zal ontstaan. Zij moeten immers bij de besluitvorming de afweging maken of inzet en activering van autonome wapens in de gegeven context kan voldoen aan de eisen van het humanitair oorlogsrecht en ethisch te verantwoorden is. Ook is er geen lacune in staatsaansprakelijkheid bij de inzet van autonome wapens. Wel treedt een verschuiving van aansprakelijkheid op in vergelijking met de inzet van wapens die voortdurend door mensen worden bediend, zoals bij de geweerschutter of de gevechtspiloot tijdens een luchtgevecht. Immers, bij de inzet van een autonoom wapen wordt geen besluit genomen over een aanval op een individueel doel. Dat besluit is impliciet in besluiten over de inzet en het activeren van het autonome wapen. Daardoor komt de aansprakelijkheid primair te liggen bij de commandant die besluit tot inzet en de militair die het wapen activeert, in plaats van een militair die een individueel doel selecteert en aanvalt. Dat betekent dat commandanten en militairen die betrokken zijn bij de inzet, goed moeten zijn getraind, opgeleid en geïnformeerd over de te verwachten effecten van de inzet van het autonome wapen. Zij moeten verantwoorde beslissingen nemen over onderscheid, proportionaliteit en voorzorg, zonder te weten welke individuele doelen zullen worden aangevallen. Er moet sprake zijn van betekenisvolle menselijke controle.

De primaire normen van het humanitair oorlogsrecht reguleren de inzet van autonome wapens zeer stringent. Inzet waarbij deze normen niet in acht worden genomen is daarmee niet rechtmatig. Een commandant kan zo wel degelijk aansprakelijk worden gehouden voor risicovolle inzet van autonome wapensystemen met schendingen van humanitair oorlogsrecht als gevolg. Factoren zoals het tijdsverloop tussen het activeren van het wapen (het laatste moment waarop de afwegingen over onderscheid, proportionaliteit en voorzorg kunnen plaatsvinden) en de daadwerkelijke aanval op het doel, alsmede de complexiteit van het wapen, vragen om grotere terughoudendheid bij inzet van autonome wapens. Deze factoren kunnen dus niet zonder meer worden ingeroepen om onvoorzienbaarheid van de gevolgen te bepleiten en aansprakelijkheid te ontduiken.

Betekenisvolle menselijke controle
De AIV/CAVV prefereert het concept betekenisvolle menselijke controle boven de begrippen judgment en voorspelbaarheid. Internationaal lijkt ook consensus te ontstaan over de bruikbaarheid van het concept betekenisvolle menselijke controle. Ook al is er geen consensus over de invulling van het concept, wel wordt grotendeels erkend dat het kan dienen als onderscheidend criterium tussen aanvaardbare en onaanvaardbare (inzet van) autonome wapens.

Ondanks het ontbreken van een internationaal overeengekomen invulling van het concept betekenisvolle menselijke controle, speelt het concept al een belangrijke rol bij de maatschappelijke acceptatie van wapensystemen die zelf doelen selecteren en aanvallen. Het uitgangspunt van de AIV/CAVV is dat mensen moeten beslissen over de toepassing van dodelijk geweld. Betekenisvolle menselijke controle houdt in dat mensen geïnformeerde, bewuste keuzes maken over het gebruik van wapens, op basis van adequate informatie over het doel, over het wapen en over de context waarin de inzet van het wapen plaatsvindt. Bovendien moet het wapen zodanig zijn ontworpen en in een realistische operationele omgeving zijn getest en moeten mensen voldoende zijn getraind, om betekenisvolle controle over het wapen te kunnen hebben. Deze vereisten zijn overigens van toepassing op elk wapen.

De AIV/CAVV relateert betekenisvolle menselijke controle aan het gehele targetingproces, de wider loop, omdat op verschillende momenten in het proces beslissingen worden genomen ten aanzien van de selectie van en aanval op doelen, ook als daarbij een autonoom wapen wordt ingezet. Betekenisvolle menselijke controle moet een waarborg zijn voor verantwoorde ethische en juridische afwegingen in het besluitvormingsproces dat leidt tot toepassing van (dodelijk) geweld. Ook kan in beginsel verantwoordelijkheid en aansprakelijkheid aan individuen worden toegewezen als mensen controle hebben over autonome wapens. Betekenisvolle menselijke controle is dus een concept dat instrumenteel is voor het naleven van de eisen van het humanitair oorlogsrecht en ethische beginselen alsook het toewijzen van verantwoordelijkheid en aansprakelijkheid.

De AIV/CAVV is van mening dat het concept van betekenisvolle menselijke controle kan worden gezien als een standaard die afgeleid kan worden uit bestaande regelgeving en gebruiken (zoals het targetingproces) waardoor er geen noodzaak is voor extra of nieuwe regelgeving. Het concept hoeft geen nieuwe norm te worden in het internationaal recht. Het concept kan dienen als handvat voor analyse tijdens toetsing conform artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen. Het kan tevens behulpzaam zijn om de risico’s van schending van het humanitair oorlogsrecht bij inzet van het specifieke autonome wapen dat wordt getoetst, in kaart te brengen. In procedures voor toetsing van wapens conform artikel 36 zou onder meer moeten worden nagegaan of de mate waarin menselijke controle is ingebouwd in het ontwerp van het autonome wapen voldoende waarborgen biedt voor de naleving van het internationaal recht. Het is daarom van belang dat er internationale overeenstemming wordt bereikt over de precieze inhoud en betekenis van het concept van betekenisvolle menselijke controle.

Een interpretative guide zou een interpretatie van het bestaande recht bij inzet van autonome wapens kunnen geven. De totstandkoming van een dergelijk document zou wellicht ook de vorming van consensus over het concept betekenisvolle menselijke controle kunnen bevorderen. In dit document zouden – voor zover de classificatie van nationale systemen en procedures dit toelaat – bijvoorbeeld best practices kunnen worden opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36 procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en educatieve functie kunnen vervullen en zou wellicht in het kader van de CCW tot stand kunnen komen.

Ethiek en autonome wapens
Het (internationaal) recht is gebaseerd op ethische beginselen, maar ethische beginselen zijn breder dan het recht. Zolang betekenisvolle menselijke controle bestaat over de inzet van autonome wapens zijn ethische vraagstukken (zoals de menselijke waardigheid) naar het oordeel van de AIV/CAVV niet problematisch. Immers, binnen de wider loop neemt een mens een afgewogen besluit om een autonoom wapen in te zetten met als doel vijandelijke eenheden en objecten uit te schakelen. Het gebruik van (dodelijk) geweld is dan intentioneel, ook als een autonoom wapen doelen selecteert en aanvalt. Inzet van deze autonome wapens met betekenisvolle menselijke controle, kan op het gevechtsveld levens van militairen sparen en een bijdrage leveren aan het voorkomen of beperken van burgerslachtoffers. Dat neemt niet weg dat het aantal situaties waarin dergelijke wapens op verantwoorde wijze kunnen worden ingezet, naar verwachting beperkt is.

Op de lange termijn kunnen ontwikkelingen in kunstmatige intelligentie menselijke controle over autonome wapensystemen mogelijk ondermijnen, bijvoorbeeld als zelflerende systemen hun eigen gedragsregels zouden kunnen wijzigen. De AIV/CAVV verwacht dat dit de komende decennia niet zal plaatsvinden. Wanneer niet langer sprake zou zijn van betekenisvolle menselijke controle over het gebruik van autonome wapens, dan zou het gebruik van deze wapens naar de mening van de AIV/CAVV niet moeten plaatsvinden. De AIV/CAVV acht voortgaande discussies in CCW-verband over juridische, ethische, technische en beleidsmatige vragen met betrekking tot ontwikkelingen op het gebied van (volledig) autonome wapensystemen op langere termijn dan ook van groot belang. Ook binnen de NAVO wordt over dit onderwerp van gedachten gewisseld en is een actieve Nederlandse inbreng gewenst.

Een moratorium?
In april 2013 riep de VN-Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, Prof. Heyns op tot een moratorium op ‘at least the testing, production, assembly, transfer, acquisition, deployment and use of Lethal Autonomous Robots’ totdat een international raamwerk voor de toekomst van deze wapens is overeengekomen. Tijdens de CCW-bijeenkomst in april 2015 benadrukte hij het belang van betekenisvolle menselijke controle: ‘As long as they (autonomous weapon systems) are good tools, in the sense that humans exercise meaningful control over them, they can and should be used in an armed conflict situation’ en voorts: ‘If they are no longer tools in the hands of humans, they should not be used.

Zeker de komende tien jaar en naar redelijke verwachting ook de komende decennia zullen autonome wapensystemen niet tot één van de categorieën verboden wapens behoren en zal het gebruik kunnen (en moeten) voldoen aan het bestaande rechtskader en toepasselijke ethische grondslagen (zoals die bijvoorbeeld geformaliseerd zijn en erkend in humanitair oorlogsrecht en Rules Of Engagement). De technologie is dan ook niet onrechtmatig of onethisch. Het gebruik ervan kan dat wel zijn maar dat kan het geval zijn met ieder wapen. De AIV/CAVV verwacht dat autonome wapens zeker het komende decennium onder betekenisvolle menselijke controle zullen staan. Dat biedt voldoende mogelijkheden voor de naleving van het internationaal recht en respect voor de menselijke waardigheid. De AIV/CAVV acht het van belang om te blijven investeren in kennis op het gebied van autonome wapens. Om goed inzicht te verwerven in de ethische, juridische en technische aspecten van autonome wapensystemen is (wetenschappelijke) kennis (op het gebied van de ontwikkeling) van deze wapensystemen cruciaal.

Naar de mening van de AIV/CAVV roept een moratorium of verbod ook om verschillende praktische redenen bezwaren op. De benodigde kennis wordt grotendeels ontwikkeld in de civiele sector voor vreedzame doeleinden. Veel kennis is dual use en heeft zowel civiele als militaire toepassingen. Er zijn geen scherpe lijnen te trekken tussen technologie die wel is toegestaan en technologie die is verboden. Ook is er geen internationale consensus over definities. De vraag is dan: een moratorium waarop? Ook lijkt een nonproliferatie regime met betrekking tot deze ‘wapens’ zeer lastig te controleren aangezien het bezit ervan moeilijk valt vast te stellen – het betreft immers dual-use technologie en programmeertaal die eenvoudig verkrijgbaar is. Daarom kunnen landen er onvoldoende op vertrouwen dat andere landen zich aan de afspraken zullen houden. Tijdens de informele expertbijeenkomsten van de CCW in april 2015 bleek ook dat er geen draagvlak is voor een moratorium of een verbod onder staten. Slechts vijf landen (Cuba, Ecuador, Egypte, de Heilige Stoel en Pakistan) gaven aan een moratorium of een verbod te steunen. Zonder dat draagvlak is een verdrag over een verbod of moratorium onhaalbaar. Om genoemde redenen acht de AIV/CAVV een moratorium thans niet wenselijk en niet haalbaar. De AIV/CAVV sluit evenwel niet uit dat ontwikkelingen op het gebied van kunstmatige intelligentie en robotica in de toekomst kunnen vragen om herziening van dit standpunt.
 

2    Aanbevelingen

  1. In een blijvend technologisch hoogwaardige Nederlandse krijgsmacht is naar de mening van de AIV/CAVV ook een (toekomstige) rol weggelegd voor autonome wapensystemen. Bij inzet zal evenwel altijd sprake moeten zijn van betekenisvolle menselijke controle zoals beschreven in dit advies.
     
  2. De AIV/CAVV acht het noodzakelijk dat onderscheid wordt gemaakt tussen autonome wapens (waarbij de mens een cruciale rol speelt in de wider loop) en volledig autonome wapens (waarbij de mens beyond the wider loop is en er niet langer sprake is van menselijke controle).
     
  3. De AIV/CAVV is van mening dat Nederland een actieve rol moet blijven spelen bij discussies in CCW-verband over juridische, ethische en beleidsmatige vragen met betrekking tot ontwikkelingen op het gebied van autonome wapensystemen. De AIV/CAVV onderschrijft het belang van (maatschappelijke) discussie over nieuwe technologieën en adviseert de regering hierover nauw in contact te blijven met onder meer NGO’s en de wetenschappelijke wereld.
     
  4. De AIV/CAVV is van mening dat tijdens de komende CCW-bijeenkomsten zo snel als mogelijk overeenstemming moet worden bereikt over de definitie van een autonoom wapen en het concept van betekenisvolle menselijke controle. In NAVO-verband moet afstemming worden nagestreefd. De AIV/CAVV acht het van belang dat bij deze discussies de interpretatie van de (besluitvormings)loop betrekking heeft op het gehele targetingproces waarbij de mens een beslissende rol vervult en niet op de loop ‘in enge zin’ (de kritische processen – doelselectie en aanval op het doel – die het autonome wapen zelf uitvoert).
     
  5. De AIV/CAVV adviseert de regering om tijdens de komende CCW-bijeenkomsten te pleiten voor bredere nationale implementatie van artikel 36 procedures, voor meer transparantie over de uitkomsten van gevolgde toetsingsprocedures en voor meer internationale uitwisseling van informatie.
     
  6. De AIV/CAVV acht het noodzakelijk dat bij de (toekomstige) verwerving van autonome wapens de procedure met betrekking tot artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen, stringent wordt toegepast. De AIV/CAVV is van mening dat het concept van betekenisvolle menselijke controle hierbij als handvat moet dienen. De Adviescommissie Internationaal Recht en Conventioneel Wapengebruik dient naar de mening van de AIV/CAVV een sleutelrol te spelen bij de advisering over de verenigbaarheid van het betreffende autonome wapen met het geldende en in ontwikkeling zijnde internationale recht en in het bijzonder het humanitaire oorlogsrecht.
     
  7. De AIV/CAVV adviseert de regering om bij eventuele toekomstige aanschaf van autonome wapens toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.
     
  8. De AIV/CAVV beveelt de regering aan bij aanschaf van autonome wapens uitvoerige testen in een realistische omgeving te doen plaatsvinden.
     
  9. De AIV/CAVV adviseert de regering om bij de ethische vorming van militairen, in het bijzonder commandanten, ook aandacht te geven aan ethische vragen die aan de orde kunnen zijn bij inzet van autonome wapens.
     
  10. De AIV/CAVV adviseert de regering in internationaal (CCW) verband te streven naar de totstandkoming van een interpretative guide waarin een interpretatie van het bestaande recht bij de inzet van autonome wapens is opgenomen. In een dergelijk document zouden bijvoorbeeld ook best practices kunnen worden opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36 procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en educatieve functie kunnen vervullen.
     
  11. Gelet op de snelle ontwikkelingen op het gebied van robotica en kunstmatige intelligentie en de voortgaande internationale discussie (vooral in CCW-verband) over juridische, ethische en beleidsmatige vragen met betrekking tot autonome wapensystemen, adviseert de AIV/CAVV de regering over vijf jaar de bruikbaarheid van dit advies opnieuw tegen het licht te houden.
Adviesaanvraag
Adviesraad Internationale Vraagstukken
Bezuidenhoutseweg 67
Postbus 20061
2500 EB  Den Haag
Commissie van Advies inzake
Volkenrechtelijke Vraagstukken
Bezuidenhoutseweg 67
Postbus 20061
2500 EB  Den Haag

Datum   7 april 2015
Betreft    Adviesaanvraag over autonome wapensystemen


Geachte voorzitters,


Om huidige en toekomstige dreigingen het hoofd te kunnen bieden, moet de krijgsmacht zich voortdurend vernieuwen. Defensie maakt daarom gebruik van de modernste technologieën, ook op het gebied van robotica en informatietechnologie. Bij de ontwikkeling van deze technologieën loopt het civiele domein overigens veelal voorop.

Al langer maakt Defensie gebruik van systemen die in hoge mate automatisch kunnen werken, zoals de Goalkeeper aan boord van schepen en de Patriot grond-luchtdoelraketten. De mate waarin deze systemen door hun bedienaars op ‘automatisch’ worden gezet, is afhankelijk van de veiligheidsomgeving en het dreigingsbeeld. Hoe groter de dreiging en hoe sneller moet worden gereageerd, hoe automatischer deze systemen moeten werken om effectief te zijn. Deze systemen staan onder controle van hun bedienaars.

De snelle technologische ontwikkelingen versterken de trend van meer geautomatiseerde of – in bepaalde gevallen – autonome functies in producten van uiteenlopende aard, waaronder wapensystemen. Het is niet langer denkbeeldig dat op langere termijn volledig autonome wapensystemen met kunstmatige intelligentie worden ontwikkeld met functies zoals doelselectie en de toepassing van (dodelijk) geweld, zonder tussenkomst van menselijk handelen.

Dergelijke systemen bestaan nog niet. Niettemin is internationaal een debat ontstaan over de juridische, ethische en beleidsmatige vragen over volledig autonome wapensystemen. De Speciaal Rapporteur van de VN Mensenrechtenraad inzake buitengerechtelijke, standrechtelijke en willekeurige executies, Christof Heyns, heeft in 2013 een rapport uitgebracht over Lethal Autonomous Robotics dat op deze vragen ingaat. Ook enige NGO’s die zich hebben verenigd in de internationale campagne Stop Killer Robots, vragen aandacht voor de mogelijke gevolgen van de ontwikkeling van autonome wapensystemen.

Het standpunt van de regering over autonome wapensystemen is verwoord in de brief van 26 november 2013 (Kamerstuk 33 750 X, nr. 37). Daarin is gemeld dat Defensie niet aan dergelijke wapensystemen werkt en er ook geen plannen voor heeft. In de brief onderstreept de regering nog eens het leidende beginsel dat alle wapensystemen én de inzet in een gewapend conflict moeten voldoen aan alle eisen die het internationaal recht stelt. De regering heeft de plicht, vastgelegd in Artikel 36 van het eerste Aanvullende Protocol bij de Verdragen van Genève, om nieuwe wapens en nieuwe methoden van oorlogvoering te toetsen aan het internationaalrecht. In Nederland is hiervoor de Adviescommissie Internationaal Recht en Conventioneel Wapengebruik (AIRCW) opgericht.

Het is met andere woorden verboden autonome wapensystemen te verwerven of in te zetten als niet aan de eisen van het internationaal recht kan worden voldaan. De Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) schrijft in een eerder advies dat “de inzet van ieder wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde juridische kader […]” (advies nr. 23, p. 12, juli 2013).

De regering wil het debat over autonome wapensystemen bevorderen. Zo geeft Nederland financiële steun aan (wetenschappelijk) onderzoek naar de vragen die deze systemen oproepen. Verder neemt Nederland deze maand voor de tweede keer deel aan de bijeenkomst van deskundigen over Lethal Autonomous Weapon Systems (LAWS) van de Conventie voor bepaalde Conventionele Wapens (CCW) van de VN. In mei 2014 kwamen de deskundigen voor het eerst in CCW-kader bijeen. Toen leek consensus te ontstaan over de introductie van de notie “betekenisvolle menselijke interventie” om te bepalen of een autonoom wapensysteem al dan niet aan ethische normen voldoet. Voorts was de vraag aan de orde of een wapensysteem dat mogelijk niet aan ethische normen voldoet, daardoor evenmin voldoet aan de eisen van het internationaal recht.

De meningen over wat de notie “betekenisvolle menselijke interventie” precies inhoudt, lopen echter nog uiteen. De invulling hiervan vergt nader onderzoek. Tevens moet worden onderzocht of ook andere noties kunnen helpen bij de toetsing van autonome wapensystemen aan ethische normen.

In dit kader heeft de regering de volgende vragen aan de AIV en de CAVV:

  1. Welke rol ziet u nu en in de toekomst weggelegd voor autonome (functies van) wapensystemen in het militaire optreden?
     
  2. Voorziet u veranderingen bij het afleggen van verantwoording over het gebruik van (volledig) autonome wapensystemen in relatie tot daarmee samenhangende ethische vragen? Welke rol kan de notie van “betekenisvolle menselijke interventie” hierbij volgens u spelen en zijn er nog andere noties die hierbij behulpzaam kunnen zijn?
     
  3. In haar eerdere advies heeft de CAVV gesteld dat de inzet van ieder wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde juridische kader. Wat de CAVV betreft is er geen reden om aan te nemen dat het internationaalrechtelijke kader ontoereikend is om de inzet van bewapende drones te reguleren. Is er in het licht van de discussie over (volledig) autonome wapensystemen reden om dit advies aan te vullen of bij te stellen?
     
  4. Hoe beoordeelt u de oproep van de Speciaal Rapporteur van de VN om een moratorium op de ontwikkeling van volledig autonome wapensystemen?
     
  5. Hoe kan Nederland het beste bijdragen aan de internationale discussie hierover?

De regering ontvangt uw advies graag tijdig voor de begrotingsbehandeling dit najaar.

Wij zien uw advies met veel belangstelling tegemoet.

Bert Koenders
Minister van Buitenlandse Zaken
J.A. Hennis-Plasschaert
Minister van Defensie

  

Regeringsreacties

Adviesraad Internationale Vraagstukken
Bezuidenhoutseweg 67
Postbus 20061
2500 EB  Den Haag

Cc:
Commissie van Advies inzake Volkenrechtelijke Vraagstukken
Eerste Kamer
Tweede Kamer
 

Datum     4  maart 2016
Betreft      Kabinetsreactie op AIV/CAVV-advies Autonome wapensystemen: de
                 noodzaak van betekenisvolle menselijke controle
 

Geachte voorzitter,

Hierbij bieden wij u de kabinetsreactie aan op het advies ‘Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle’ van de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV).1

Zoals toegezegd aan de Tweede Kamer, bevat deze brief tevens een reactie op het rapport ‘Mind the Gap: The Lack of Accountability for Killer Robots’ van Human Rights Watch en International Human Rights Clinic.2

De Minister van Buitenlandse Zaken,
Bert Koenders
De Minister van Defensie,
J.A. Hennis-Plasschaert

___________________________________________________

Inleiding
Het kabinet dankt de gezamenlijke commissie van de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) (hierna: de adviescommissie) voor hun tijdige en gedegen advies over de juridische, ethische en beleidsmatige vragen die aan de orde zijn bij de toename van autonome functies in wapensystemen. Het kabinet beschouwt de conclusies en aanbevelingen als ondersteuning van, en aanvulling op het huidige beleid. De hoofdconclusie van het advies luidt dat betekenisvolle menselijke controle noodzakelijk is bij de inzet van autonome wapensystemen. Het kabinet onderschrijft deze zienswijze. Hieronder volgt een gedetailleerde toelichting op het advies.

Definitie: autonomie en betekenisvolle menselijke controle
Het uitgangspunt van het kabinet is dat alle wapensystemen, én de inzet daarvan in een situatie van gewapend conflict, moeten voldoen aan de eisen die het internationaal recht daaraan stelt. Zoals het kabinet in zijn brief van 26 november 2013 stelt, geldt dit uiteraard ook voor autonome wapensystemen.3 In het internationale debat bestaat nog geen algemeen aanvaarde definitie van een autonoom wapensysteem. De adviescommissie heeft de volgende werkdefinitie opgesteld:

Een wapen dat zelfstandig doelen, die voldoen aan voorgeprogrammeerde kernmerken, selecteert en aanvalt, nadat mensen hebben besloten het wapen in te zetten en waarbij een mens niet meer kan ingrijpen om de aanval te stoppen.4

Uit bovenstaande definitie blijkt dat, ofschoon mensen niet meer kunnen ingrijpen na inzet van het wapen, mensen wel een nadrukkelijke rol spelen bij het programmeren van de kenmerken van aan te vallen doelen en bij de beslissing over de inzet van het wapen. Mensen bevinden zich hiermee in de zogenoemde wider loop van de besluitvorming. Hiermee wordt bedoeld dat mensen een cruciale rol blijven vervullen in het bredere targeting proces. Een autonoom wapen, zoals hierboven gedefinieerd, wordt derhalve pas ingezet na menselijke afwegingen over aspecten als doelselectie, wapenselectie en uitvoeringsplanning inclusief een beoordeling van mogelijke nevenschade. Het autonome wapensysteem is bovendien geprogrammeerd om binnen vooraf bepaalde voorwaarden en kaders specifieke acties uit te voeren. Na inzet volgt wederom een menselijke beoordeling van de effecten hiervan. De beoordeling van mogelijke nevenschade (proportionaliteit) en verantwoording volgens de regels van het humanitair oorlogsrecht spelen hierbij een sleutelrol.

Betekenisvolle menselijke controle
De adviescommissie stelt dat als de inzet van een autonoom wapensysteem volgens het hiervoor beschreven proces verloopt, er sprake is van betekenisvolle menselijke controle. Mensen maken dan immers geïnformeerde, bewuste keuzes over het gebruik van wapens, op basis van adequate informatie over het doel, het wapen en de context waarin de inzet van het wapen plaatsvindt.

Tevens wijst zij erop dat dit concept internationaal steeds meer draagvlak krijgt als onderscheidend criterium tussen aanvaardbare en onaanvaardbare (inzet van) autonome wapensystemen.

De adviescommissie ziet op voorhand geen noodzaak om voor het concept van betekenisvolle menselijke controle aanvullende of nieuwe regelgeving op te stellen. Het concept kan worden gezien als een standaard die afleidbaar is uit bestaande regelgeving en gebruiken zoals het targeting proces.
Het kabinet ondersteunt de hierboven voorgestelde definitie van een autonoom wapensysteem met inbegrip van het concept van betekenisvolle menselijke controle en onderschrijft dat hiervoor geen nieuwe regelgeving nodig is.

Wel adviseert de adviescommissie om in multilateraal verband in te zetten op de ontwikkeling van een internationaal aanvaarde definitie (aanbeveling 4):

De AIV/CAVV is van mening dat tijdens de komende CCW-bijeenkomsten zo snel als mogelijk overeenstemming moet worden bereikt over de definitie van een autonoom wapen en het concept van betekenisvolle menselijke controle. In NAVO-verband moet afstemming worden nagestreefd. De AIV/CAVV acht het van belang dat bij deze discussies de interpretatie van de (besluitvormings)loop betrekking heeft op het gehele targeting proces waarbij de mens een beslissende rol vervult en niet op de loop ‘in enge zin’ (de kritische processen – doelselectie en aanval op het doel – die het autonome wapen zelf uitvoert).

Definitievorming (conform aanbeveling 4) acht ook het kabinet nodig. Hiertoe heeft Nederland tijdens de jaarlijkse bijeenkomst van de Convention on Certain Conventional Weapons (hierna: CCW) op 12 november jl. gepleit voor de instelling van een Governmental Group of Experts (GGE). De GGE zou onder meer het concept van betekenisvolle menselijke controle verder moeten onderzoeken. De instelling hiervan kon in november echter niet op voldoende steun rekenen, omdat een aantal landen het onderwerp hiervoor nog niet rijp genoeg acht Wel heeft de CCW besloten om in april 2016 voor het derde opeenvolgende jaar een Expert Meeting over autonome wapensystemen te houden. Nederland zal hier wederom aan deelnemen en zich actief inzetten voor verdere verduidelijking en consensusvorming omtrent de definitiekwestie en de invulling van het concept betekenisvolle menselijke controle. Met het oog op het belang dat het kabinet hecht aan het concept van betekenisvolle menselijke controle, financieren de ministeries van Buitenlandse Zaken en van Defensie een promotieonderzoek over dit onderwerp. Dit onderzoek is begin 2015 gestart en wordt begeleid door de Vrije Universiteit te Amsterdam.

Toekomstige inzet van autonome wapensystemen onder menselijke controle
Algemeen
De adviescommissie wijst erop dat autonome wapensystemen belangrijke militaire voordelen kunnen hebben, mits zij beschikken over betekenisvolle menselijke controle binnen de wider loop van besluitvorming. Zo reageren computers vaak sneller en preciezer dan mensen, waardoor risico’s voor eigen eenheden en de burgerbevolking kunnen afnemen. Ook kunnen dergelijke systemen opereren in een omgeving die voor mensen moeilijk bereikbaar en gevaarlijk zijn. Het is dan ook de verwachting dat dergelijke wapensystemen de komende decennia wereldwijd (verder) worden ontwikkeld en ingezet voor offensieve en defensieve taken.

Hierbij verwacht de adviescommissie overigens niet dat autonome wapensystemen de rol van de mens op het gevechtsterrein substantieel zullen overnemen. De aard van moderne conflicten, die zich vaak in gebieden met veel burgers afspelen, compliceert volgens haar de inzet van deze wapensystemen. Autonome wapensystemen zullen waarschijnlijk naast militairen en bestaande wapensystemen en andere militaire en civiele technologie voor specifieke taken worden ingezet (complementair). Aanbeveling 1 van het advies gaat hier op in:

In een blijvend technologisch hoogwaardige Nederlandse krijgsmacht is naar de mening van de AIV/CAVV ook een (toekomstige) rol weggelegd voor autonome wapensystemen. Bij inzet zal evenwel altijd sprake moeten zijn van betekenisvolle menselijke controle zoals beschreven in dit advies.

Het kabinet deelt deze zienswijze. Voorts moet de Nederlandse krijgsmacht er terdege rekening mee houden dat mogelijke (niet-statelijke) tegenstanders autonome wapensystemen tegen hen zal inzetten. De krijgsmacht zal zich daartegen adequaat moeten kunnen verweren. In algemene zin geldt dan ook dat de krijgsmacht een goed beeld moet hebben van wat er op het gebied van autonome wapensystemen wordt ontwikkeld en aangeboden. In de actualisering van de Strategische Kennis en Innovatieagenda (SKIA) van Defensie zal vanzelfsprekend aandacht worden besteed aan autonome systemen en de relatie mens-machine.

Ontwerpfase
De adviescommissie bepleit dat reeds in het ontwerp van een autonoom wapensysteem voldoende rekening wordt gehouden met het ‘samenspel’ tussen mens en machine (aanbeveling 7). Het ontwerp moet dus zo zijn uitgevoerd dat de relevante informatie, die de mens nodig heeft om betekenisvolle menselijke controle over de inzet van het wapensysteem uit te kunnen oefenen, tijdig en overzichtelijk wordt aangeboden.

De AIV/CAVV adviseert de regering om bij eventuele toekomstige aanschaf van autonome wapens toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.

Het kabinet beschouwt deze aanbeveling als bevestiging van staand beleid. In bovengenoemde actualisering van de SKIA wordt de relatie mens-machine als een van de speerpunten aangewezen. Samen met zijn kennispartners doet het kabinet hier onderzoek naar, onder andere door een eerder toegekende financiële bijdrage aan het onderzoeksprogramma van NWO over maatschappelijk verantwoord ondernemen (Responsible Innovation). Hieronder valt tevens het project Military Human Enhancement: Design for Responsibility and Combat Systems onder, dat door de Technische Universiteit Delft is uitgevoerd.5 Ook zij concluderen dat al bij het ontwerp van wapensystemen rekening moet worden gehouden met de toewijzing van verantwoordelijkheid en aansprakelijkheid.

Testfase
Daaraan gekoppeld wijst de adviescommissie ook op het belang van het uitgebreid testen van autonome wapensystemen in een realistische omgeving, om zeker te stellen dat het wapen te allen tijde onder betekenisvolle menselijke controle staat (aanbeveling 8).

De AIV/CAVV beveelt de regering aan bij aanschaf van autonome wapens uitvoerige testen in een realistische omgeving te doen plaatsvinden.

Dit is staand beleid. Bij de verwerving van wapensystemen wordt hier, mede gezien de toenemende complexiteit, reeds veel aandacht aan besteed, zowel door defensiepersoneel als de betrokken civiele partijen (bedrijven).

Internationaalrechtelijke aspecten
De adviescommissie concludeert dat er geen reden is om aan te nemen dat autonome wapensystemen onder betekenisvolle menselijke controle per definitie tot één van de categorieën wapens behoren die onder het humanitair oorlogsrecht verboden zijn. Zij wijst er terecht op dat ook die systemen onder menselijke controle staan waarmee de eindverantwoordelijkheid voor hun inzet bij de mens ligt.

Artikel 36
Bij de toetsing of autonome wapensystemen onder betekenisvolle menselijke controle staan, is volgens de adviescommissie een belangrijke rol weggelegd voor de zgn. artikel 36-procedure. Die procedure is gebaseerd op artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen, dat verdragspartijen verplicht bij de ontwikkeling en verwerving van nieuwe middelen en methoden van oorlogvoering te toetsen of die volgens het internationaal recht zijn toegestaan. Defensie heeft hiervoor de Adviescommissie Internationaal Recht en Conventioneel Wapengebruik (AIRCW) ingesteld die tot taak heeft de minister van Defensie hierover te adviseren. Aanbeveling 6 van het advies heeft hier betrekking op:

De AIV/CAVV acht het noodzakelijk dat bij de (toekomstige) verwerving van autonome wapens de procedure met betrekking tot artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen, stringent wordt toegepast. De AIV/CAVV is van mening dat het concept van betekenisvolle menselijke controle hierbij als handvat moet dienen. De Adviescommissie Internationaal Recht en Conventioneel Wapengebruik dient naar de mening van de AIV/CAVV een sleutelrol te spelen bij de advisering over de verenigbaarheid van het betreffende autonome wapen met het geldende en in ontwikkeling zijnde internationale recht en in het bijzonder het humanitaire oorlogsrecht.

Het kabinet onderschrijft het belang hiervan. Bij de verwerving van wapensystemen met autonome functies zal dan ook expliciet worden vermeld dat dit middel door de AIRCW is getoetst aan het internationaal recht.

De adviescommissie doet de volgende aanbevelingen betreffende artikel 36 (aanbeveling 5) en de toepassing van het bestaande recht bij inzet van autonome wapens (aanbeveling 10):

De AIV/CAVV adviseert de regering om tijdens de komende CCW-bijeenkomsten te pleiten voor bredere nationale implementatie van artikel 36 procedures, voor meer transparantie over de uitkomsten van gevolgde toetsingsprocedures en voor meer internationale uitwisseling van informatie.

De AIV/CAVV adviseert de regering in internationaal (CCW) verband te streven naar de totstandkoming van een interpretative guide waarin een interpretatie van het bestaande recht bij de inzet van autonome wapens is opgenomen. In een dergelijk document zouden bijvoorbeeld ook best practices kunnen worden opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36 procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en educatieve functie kunnen vervullen.

Zowel in 2014 als in 2015 heeft het kabinet in CCW-verband en daarbuiten ingezet op het belang van de toepassing van artikel 36. De inzet van Nederland heeft bijgedragen aan internationale informatie-uitwisseling van, en meer transparantie over, de toepassing van artikel 36. De Nederlandse inzet zal hier onverminderd op gericht blijven.

Bij de volgende CCW-Expert Meeting over autonome wapensystemen in april 2016 zal Nederland voorstellen om in CCW verband een interpretative guide op te stellen.

Juridische aansprakelijkheid
Wanneer mensen bij de inzet van autonome wapensystemen betekenisvolle controle uitoefenen in de wider loop van besluitvorming is er geen aansprakelijkheidsprobleem (accountability gap), zo stelt de adviescommissie. Het geldende rechtsregime is in dat geval voldoende om overtreders aansprakelijk te stellen. Er verandert in zo’n situatie immers niets in de aansprakelijkheid van commandanten, ondergeschikten of politieke en civiele verantwoordelijken die de besluiten nemen. Ook de staatsaansprakelijkheid blijft ongewijzigd bij de inzet van autonome wapensystemen onder menselijke controle, aldus de adviescommissie.

Het kabinet onderschrijft deze conclusie en benadrukt daarmee direct het belang van opleiding voor, en training van militairen die verantwoordelijk zijn voor de inzet van autonome wapensystemen. Defensie hanteert deze opleiding en training reeds als voorwaarde voor de operationele inzet van wapensystemen die in hoge mate automatisch kunnen werken, zoals de Goalkeeper aan boord van schepen en de Patriot grond-luchtraketten. Dit geldt evenzeer bij toekomstige wapensystemen.

Ethische beginselen
In de internationale discussie over autonome wapensystemen is de vraag aan de orde of de menselijke waardigheid niet wordt aangetast als mensen door volledig autonome machines worden gedood. Het advies stelt vast dat zolang autonome wapensystemen onder menselijke controle staan, ethische vraagstukken (zoals de menselijke waardigheid) over de inzet daarvan niet problematisch zijn. Zij verschillen daarin dan namelijk niet van andere wapensystemen. Voor de goede begripsvorming over de ethische aspecten van de invoering van meer autonomie acht de adviescommissie voortdurende maatschappelijke discussie hierover van groot belang (aanbeveling 9):

De AIV/CAVV adviseert de regering om bij de ethische vorming van militairen, in het bijzonder commandanten, ook aandacht te geven aan ethische vragen die aan de orde kunnen zijn bij inzet van autonome wapens.

Ook in de huidige praktijk worden militairen onderwezen over de ethische vragen die aan de orde zijn bij wapeninzet. Veel ethische vragen en humanitaire overwegingen zijn overigens al in recht gecodificeerd, zoals in belangrijke delen van het humanitair oorlogsrecht en verschillende mensenrechtenverdragen. Daarnaast bieden de specifieke geweldsinstructies of Rules of Engagement (RoE), die voor elke missie worden vastgesteld, houvast voor afwegingen over wapeninzet. RoE maken deel uit van de wider loop van het targeting proces (besluitvormingsproces). Als er buiten de RoE nog ethische vragen overblijven die onder de verantwoordelijkheid van individuele militairen vallen, worden die door Defensie opgenomen in de ethische curricula zoals die in de diverse opleidingen worden gehanteerd.

Autonome wapensystemen moeten onder menselijke controle blijven staan
Bij ontbreken van betekenisvolle menselijke controle in de wider loop van het targeting proces (besluitvormingsproces) wordt wel gesproken van ‘volledig autonome wapensystemen’. Dergelijke systemen bestaan nog niet. De adviescommissie acht het onwaarschijnlijk dat staten de komende decennia bewust volledig autonome wapensystemen (laten) ontwikkelen. Daarbij ziet de adviescommissie niet in waarom een staat die ambitie zou hebben, als dat al ooit technisch mogelijk wordt. Zij adviseert daarom om verschil te maken tussen autonome wapensystemen onder betekenisvolle menselijke controle en volledig autonome wapensystemen zonder betekenisvolle menselijke controle (aanbeveling 2):

De AIV/CAVV acht het noodzakelijk dat onderscheid wordt gemaakt tussen autonome wapens (waarbij de mens een cruciale rol speelt in de wider loop) en volledig autonome wapens (waarbij de mens beyond the wider loop is en er niet langer sprake is van menselijke controle).

Het kabinet onderstreept nadrukkelijk het belang van dit onderscheid. Het kabinet wijst de mogelijke ontwikkeling en inzet van volledig autonome wapens op voorhand af. Het is de verantwoordelijkheid van de staat om bij de inzet van alle soorten wapensystemen te voldoen aan het internationaal recht. Bij volledig autonome wapensystemen kan hieraan niet worden voldaan.

Moratorium
De Speciaal Rapporteur van de VN Mensenrechtenraad, Christof Heyns, concludeerde in zijn rapport over Lethal Autonomous Robotics (LARs) van 2013 dat deze robots veel vragen oproepen. Hij adviseerde de staten een internationaal raamwerk op te stellen en in de tussentijd een moratorium op LARs in te stellen.6 Tijdens de Expert Meeting over autonome wapensystemen van de CCW in april 2015 stelde hij zijn advies enigszins bij. Hij concludeerde dat consensus lijkt te ontstaan over het belang van betekenisvolle menselijke controle als onderscheidend criterium. Autonome wapensystemen die onder betekenisvolle menselijke controle staan zouden volgens de Special Rapporteur door staten ontwikkeld moeten kunnen worden.7 Dit geldt niet voor volledig autonome wapensystemen, daarvoor bepleit hij een verbod. De NGO’s die samenwerken in de internationale campagne Stop Killer Robots roepen op tot een moratorium op volledig autonome wapensystemen.8 In juli 2015 onderschreven meer dan duizend prominente wetenschappers en ondernemers een brief waarin wordt opgeroepen tot een verbod op autonome wapensystemen die niet onder betekenisvolle menselijke controle staan.9

Ook de adviescommissie concludeert dat autonome wapensystemen altijd onder betekenisvolle menselijke controle moeten staan. Maar zij acht een moratorium op de ontwikkeling en inzet van volledig autonome wapensystemen thans niet wenselijk en niet haalbaar en voert hiervoor onderstaande argumentatie aan.

Wenselijkheid
De adviescommissie verwacht dat autonome wapensystemen zeker de komende tien jaar onder betekenisvolle menselijke controle zullen staan. Volgens het advies biedt dat voldoende mogelijkheden voor de naleving van het internationaal recht en respect voor de menselijke waardigheid. De technologie van nu en de komende tien jaar is daarmee niet onrechtmatig of onethisch. De commissie wijst verder op de (technologische) mogelijkheden om de menselijke controle op toekomstige autonome wapensystemen te vergroten.

Haalbaarheid
Volgens de adviescommissie is een moratorium op de ontwikkeling en inzet van volledig autonome wapensystemen bovendien niet praktisch haalbaar. Veel kennis is dual use en heeft zowel civiele als militaire toepassingen. Hierdoor is op voorhand geen scherpe lijn te trekken tussen technologie die wel of niet is toegestaan. De vraagt rijst dan ook al snel, een moratorium waarop?

Verder wijst het advies er terecht op dat er mede vanwege al deze vragen binnen de CCW nu geen draagvlak voor een moratorium is. Tijdens de laatste bijeenkomst van de CCW bleken slechts vijf van de 121 leden hier voorstander van te zijn.

De adviescommissie sluit echter niet uit dat ontwikkelingen op het gebied van kunstmatige intelligentie en robotica in de toekomst kunnen vragen om herziening van haar visie. Aanbeveling 11 gaat hierover:

Gelet op de snelle ontwikkelingen op het gebied van robotica en kunstmatige intelligentie en de voortgaande internationale discussie (vooral in CCW-verband) over juridische, ethische en beleidsmatige vragen met betrekking tot autonome wapensystemen, adviseert de AIV/CAVV de regering over vijf jaar de bruikbaarheid van dit advies opnieuw tegen het licht te houden.

Zoals ook aangegeven in de reactie op de motie Grashoff10 tijdens de begrotingsbehandeling van Buitenlandse Zaken op 19 november jl. begrijpt het kabinet de grote zorgen die de samenleving heeft over de ontwikkelingen van robotica en kunstmatige intelligentie in relatie tot wapensystemen. Om die reden hecht het kabinet aan een zorgvuldige appreciatie van dit onderwerp en heeft het daartoe onder andere een adviesaanvraag ingediend bij het AIV en CAVV. Zoals eerder aangegeven, wijst het kabinet de mogelijke ontwikkeling en inzet van volledig autonome wapens op voorhand af, omdat deze niet over betekenisvolle menselijke controle beschikken. Echter, het kabinet deelt de mening van de adviescommissie over de huidige onhaalbaarheid van een moratorium op volledig autonome wapensystemen, een mening die overigens ook wordt gedeeld door het Internationaal Comité van het Rode Kruis.11 Het kabinet onderschrijft derhalve de argumenten die de adviescommissie hiervoor aanvoert. Niettemin blijft het van belang dit vraagstuk te blijven volgen en gezien de snelle technologische ontwikkelingen dit advies conform de aanbeveling over vijf jaar opnieuw tegen het licht houden.

Vervolgproces
Aanbeveling 3 van het advies gaat over de rol van Nederland in het maatschappelijke debat over autonome wapensystemen:

De AIV/CAVV is van mening dat Nederland een actieve rol moet blijven spelen bij discussies in CCW-verband over juridische, ethische en beleidsmatige vragen met betrekking tot ontwikkelingen op het gebied van autonome wapensystemen. De AIV/CAVV onderschrijft het belang van (maatschappelijke) discussie over nieuwe technologieën en adviseert de regering hierover nauw in contact te blijven met onder meer NGO’s en de wetenschappelijke wereld.

Het kabinet voert ook deze aanbeveling uit. Zo is het kabinet opdrachtgever of sponsor van diverse (wetenschappelijke) onderzoeken in het kader van autonome wapensystemen. Ook ondersteunt het kabinet het onderzoek naar autonome wapensystemen van het VN-onderzoeksinstituut, UN Institute for Disarmament Research (UNIDIR). UNIDIR heeft in dat kader de afgelopen periode, mede met Nederlandse financiële ondersteuning, al vier publicaties uitgebracht12. Verder zal Nederland zijn bijdrage aan het internationale debat hierover vanzelfsprekend voortzetten en zal daarbij handelen langs de lijnen zoals uiteengezet in deze kabinetsreactie.

Reactie op rapport ‘Mind the gap: The Lack of Accountability for Killer Robots’
Zoals de Tweede Kamer is toegezegd13, gaat deze kabinetsreactie tevens in op het rapport ‘Mind the Gap: The Lack of Accountability for Killer Robots’ van Human Rights Watch en International Human Rights Clinic uit april 2015. In dit rapport waarschuwen beide NGO’s voor een aansprakelijkheidsprobleem bij de inzet van volledig autonome wapenssystemen. Zij gebruiken daarbij de volgende definitie: the term “fully autonomous weapon” is used to refer to both “out-of-the-loop” weapons as well as weapons that allow a human on the loop, but with supervision that is so limited that the weapons are effectively “out of the loop.”14

Net als Human Rights Watch en International Human Rights Clinic vindt het kabinet dat autonome wapensystemen te allen tijde onder menselijke controle moeten staan. Het kabinet hanteert daarbij de door de adviescommissie gehanteerde definitie. Bij de inzet autonome wapens moet er dus sprake zijn van betekenisvolle menselijke controle binnen de wider loop van besluitvorming. In dergelijke gevallen ontstaat, zoals aangegeven in deze kabinetsreactie, geen aansprakelijkheidsprobleem. Voor de volledigheid wijst het kabinet er nogmaals op dat het de ontwikkeling van volledig autonome wapensystemen afwijst.

_____________________________________

 
1 Kamerstuk 34 300, nr. 21.
2 Kenmerk 2015Z07211/ 2015D15399, 23 april 2015.
3 Kamerbrief van 26 november 2013 (Kamerstuk 33 750 X, nr. 37).
4 Naar de mening van de AIV/CAVV weerspiegelt dit de definities die door verschillende internationale organisaties worden gebruikt, zie voetnoot 12 van het rapport.
5 http://www.nwo.nl/onderzoek-en-resultaten/onderzoeksprojecten/i/67/6467.html.
6 Lethal Autonomous Robotics http://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf.
7 http://www.ohchr.org/Documents/Issues/Executions/CCWApril2015.doc.
8 Campaign to Stop Killer Robots, zie http://www.stopkillerrobots.org.
9 http://futureoflife.org/open-letter-autonomous-weapons/.
10 motie-Grashoff over een moratorium voor de ontwikkeling van volledig autonome robotwapens (34300-V, nr. 34).
11 https://www.icrc.org/en/document/lethal-autonomous-weapons-systems-LAWS.
12 http://www.unidir.org/publications/emerging-security-threats.
13 Kenmerk (van de Tweede Kamer) 2015Z07211/ 2015D15399, 23 april 2015.
14 https://www.hrw.org/report/2015/04/09/mind-gap/lack-accountability-killer-robots (p. 6).
Persberichten

Adviesraad: inzet van autonome wapens moet altijd onder menselijke controle plaatsvinden
 

Den Haag, 30 oktober 2015


Bij de inzet van autonome wapens zal altijd sprake moeten zijn van ‘betekenisvolle menselijke controle’. Dat schrijven de Adviesraad voor Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) in het vandaag verschenen advies ‘Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle’. Autonome wapens zijn wapens die na activering vijandelijke doelen selecteren en aanvallen, zonder directe menselijke betrokkenheid. Het autonome wapen kiest alleen doelen die voldoen aan door de mens vooraf geprogrammeerde kenmerken. De mens bepaalt ook het gebied waar het wapen naar doelen zoekt en de tijdsduur van inzet. De mens speelt dus een cruciale rol tijdens de besluitvorming voordat het wapen wordt ingezet. Het internationale recht dat het gebruik van geweld reguleert, is ook van toepassing op autonome wapens. Militairen zullen moeten afwegen of inzet van autonome wapens in een specifieke context te rechtvaardigen is conform de eisen van het internationaal recht en ethische beginselen. Zolang de mens blijft beslissen over de inzet van autonome wapens kunnen mensen aansprakelijk worden gesteld als de regels van het recht worden geschonden.


Toekomstige inzet van autonome wapens
Autonomie wordt al decennia toegepast in offensieve wapens (bijvoorbeeld in fire and forget wapens) en in defensieve wapens zoals Patriot grond-luchtdoelraketten. Autonome wapens kunnen het aantal slachtoffers beperken, zowel onder eigen troepen als onder de burgerbevolking.

Het advies acht het onwaarschijnlijk dat autonome wapens de rol van de mens op het slagveld volledig of substantieel zullen overnemen. De aard van moderne conflicten compliceert namelijk de inzet van deze wapens. Ten eerste bevinden militaire doelen zich steeds vaker in gebieden met veel burgers. Ten tweede is het winnen van de hearts and minds van de bevolking vaak belangrijk. In dit soort conflicten zal de mens daarom een cruciale rol blijven spelen.

Het advies acht het onwaarschijnlijk dat de ontwikkeling van kunstmatige intelligentie er de komende decennia toe zal leiden dat autonome wapens aan menselijke controle kunnen ontsnappen. Het advies sluit echter niet uit dat als gevolg van de toenemende complexiteit van autonome wapens menselijke controle in de toekomst ten dele of grotendeels verloren kan gaan. Daarom is het belangrijk dat ontwikkelingen op het gebied van kunstmatige intelligentie en robotica nauwgezet worden gevolgd.

Het advies acht een moratorium op de ontwikkeling van autonome wapens op dit moment niet wenselijk en niet haalbaar. Kennis op het gebied van de ontwikkeling van deze wapens is cruciaal om goed inzicht te verwerven in de ethische, juridische en technische aspecten van autonome wapens. De technologie die nodig is om deze wapens te ontwikkelen kent ook civiele toepassingen. Het is daarom moeilijk onderscheid te maken tussen wat verboden zou zijn en wat niet. Verder zullen naar verwachting slechts een handvol staten een eventueel moratorium of verbod van autonome wapens steunen. Het advies sluit evenwel niet uit dat ontwikkelingen op het gebied van kunstmatige intelligentie en robotica in de toekomst kunnen vragen om herziening van dit standpunt.

Internationaal recht en aansprakelijkheid
Het humanitair oorlogsrecht stelt eisen aan de inzet van wapens. Wapens mogen alleen dan worden ingezet, wanneer er ten eerste onderscheid kan worden gemaakt tussen militaire doelen en burgers of burgerobjecten. Daarnaast moet er een afweging worden gemaakt tussen militair voordeel en nevenschade (proportionaliteit). Ten derde moeten burgers en burgerobjecten zoveel mogelijk gevrijwaard zijn van geweldstoepassing (voorzorg). De inzet van autonome wapens zal in specifieke situaties, zoals inzet op volle zee, onder water, in het luchtruim en in nauwelijks bevolkte gebieden, meestal aan deze eisen kunnen voldoen. Maar in veel andere situaties kan inzet van autonome wapens problematisch zijn, omdat niet bij voorbaat voldoende zekerheid bestaat dat aan deze drie eisen kan worden voldaan. Inzet waarbij deze eisen niet in acht worden genomen is daarmee onrechtmatig. Een commandant kan in dergelijke situaties aansprakelijk worden gehouden voor risicovolle inzet van autonome wapens die schendingen van humanitair oorlogsrecht tot gevolg hebben.