Let op: de website is verhuisd naar fritsvanderwaa.nl

 

Een fragment uit
Life 3.0
door Max Tegmark, vertaald door Wilma Paalman en Frits van der Waa

Wapens

Zo lang men zich kan heugen is de mensheid geteisterd door honger, ziekten en oorlog. We hebben het er al over gehad dat kunstmatige intelligentie (KI) een bijdrage kan leveren aan de bestrijding van honger en ziekten, dus hoe zit het met die oorlogen? Sommigen voeren aan dat kernwapens een dam opwerpen tegen een oorlog tussen de landen die ze bezitten, omdat het zulke gruwelijke wapens zijn; is het dan geen goed idee om alle landen nog gruwelijker, op KI gebaseerde wapens te laten maken, in de hoop voorgoed een eind te maken aan alle oorlogen? Als je dat argument niet overtuigend vindt en gelooft dat toekomstige oorlogen onvermijdelijk zijn, wat vind je er dan van KI in te zetten om deze oorlogen humaner te maken? Als oorlogen uitsluitend gevoerd worden door machines – vechtmachines – dan hoeven er geen menselijke soldaten of burgers gedood te worden. Bovendien kunnen toekomstige door KI bestuurde drones en andere autonome wapensystemen (AWS, door tegenstanders ook 'killer robots' genoemd) hopelijk zo worden gemaakt dat ze netter en rationeler te werk gaan dan menselijke soldaten: omdat ze uitgerust zouden zijn met bovenmenselijke sensoren en niet bang zouden zijn om gedood te worden, zouden ze zelfs in het heetst van de strijd rustig, weloverwogen en nuchter kunnen blijven, en minder kans lopen om per ongeluk burgers te doden.

De menselijke schakel

Maar als die automatische systemen nu eens softwarefouten bevatten, verwarrend zijn voor de gebruiker of niet doen wat er van ze verwacht wordt? Het Phalanx-systeem voor met Aegis uitgeruste kruisers van de Amerikaanse marine is in staat om automatisch de nadering van bijvoorbeeld een zeedoelraket of een vliegtuig te detecteren, de koers ervan te traceren en tot de aanval over te gaan. De USS Vincennes was een kruiser met geleide raketten, die vanwege zijn Aegis-systeem de bijnaam 'Robocruiser' droeg. Toen het schip op 3 juli 1988, tijdens de oorlog tussen Iran en Irak, in gevecht was met een aantal Iraanse kanonneerboten, waarschuwde het radarsysteem dat er een vliegtuig in aantocht was. Kapitein William Rodgers III maakte hieruit op er sprake was van een duikvluchtaanval door een Iraans F-14 gevechtsvliegtuig en gaf het Aegis-systeem toestemming om te vuren. Hij besefte op dat moment niet dat ze daarmee een Iraans passagiersvliegtuig, vlucht 655 van Iran Air, uit de lucht schoten, waarbij alle 230 inzittenden omkwamen, wat wereldwijd een golf van woede en ontzetting losmaakte. Uit later onderzoek bleek dat de vergissing mede was veroorzaakt door een verwarrend gebruikersinterface, dat niet automatisch aangaf welke stippen op het radarscherm burgervliegtuigen waren (vlucht 655 volgde zijn vaste dagelijkse vliegroute en had zijn burgerluchtvaarttransponder ingeschakeld) en of een stip daalde (zoals bij een aanval) of juist steeg (wat vlucht 655 deed na zijn vertrek uit Teheran). Erger nog, toen het automatisch systeem om informatie werd gevraagd over het mysterieuze vliegtuig, antwoordde het 'dalend' omdat dat de status was van een ander vliegtuig waaraan het verwarrend genoeg een getal had toegekend dat de marine gebruikte om vliegtuigen te volgen: dat dalende toestel was juist een Amerikaans vliegtuig dat ver daarvandaan een patrouillevlucht maakte boven de Golf van Oman.

In dit voorbeeld bevatte de keten een menselijke schakel die de definitieve beslissing nam, en die onder tijdsdruk te veel vertrouwde op de meldingen van het automatische systeem. Tot dusverre, zo beweren defensiefunctionarissen over de hele wereld, bevat bij alle nu gebruikte wapensystemen de keten ook een menselijke schakel, lowtech boobytraps zoals landmijnen uitgezonderd. Maar inmiddels zijn er ook volledig autonome wapens in ontwikkeling, die geheel zelfstandig een doelwit kiezen en aanvallen. Vanuit militair oogpunt is het verleidelijk om alle menselijke factoren uit te schakelen teneinde snelheid te winnen: als een volledig autonome drone die onmiddellijk kan reageren het moet opnemen tegen een drone die iets trager is omdat hij op afstand wordt bestuurd door iemand aan de andere kant van de wereld, welke van de twee denk je dat er dan zal winnen?

Er zijn echter kritieke situaties geweest waarbij we enorm geboft hebben dat er een menselijke schakel in de keten zat. Op 27 oktober 1962, tijdens de Cubaanse rakettencrisis, hadden elf Amerikaanse torpedobootjagers en het vliegdekschip USS Randolph de Russische onderzeeër B-59 in het nauw gedreven bij Cuba, in internationale wateren buiten het door de VS ingestelde 'quarantaine'-zone. De Amerikanen wisten echter niet dat de temperatuur aan boord van de onderzeeër tot boven de 45 graden Celsius was gestegen omdat de accu's bijna leeg waren en de airconditioning was afgeslagen. De bemanning was op het randje van een CO2-vergiftiging en verschillende opvarenden waren al bewusteloos. De mannen aan boord hadden al dagen geen contact meer gehad met Moskou en wisten niet of de Derde Wereldoorlog al was begonnen. Toen begonnen de Amerikanen kleine dieptebommen af te werpen; ze hadden, zonder dat de bemanning daarvan op de hoogte was, aan Moskou gemeld dat het alleen maar de bedoeling was de onderzeeër te dwingen boven water te komen en het gebied te verlaten. 'We dachten dat we er geweest waren', vertelde bemanningslid Vadim Orlov later. 'Het was net of we in een metalen vat zaten waar voortdurend iemand met een voorhamer op sloeg.' Wat de Amerikanen ook niet wisten was dat de B-59 een nucleaire torpedo aan boord had en dat de officieren gemachtigd waren om die af te vuren zonder autorisatie van Moskou. Kapitein Savitski besloot inderdaad deze nucleaire torpedo in te zetten, en riep: 'We zullen sterven, maar we brengen ze allemaal tot zinken – we zullen onze marine niet te schande maken!' Gelukkig moest het besluit om de torpedo af te vuren bekrachtigd worden door drie officieren aan boord, en een van hen, Vasili Archipov, zei 'nee'. Het geeft te denken dat er maar heel weinig mensen zijn die ooit hebben gehoord van Archipov, hoewel zijn beslissing wellicht een derde wereldoorlog heeft voorkomen en mogelijk de gewichtigste bijdrage aan de contemporaine geschiedenis van de mensheid is geweest. Je moet er liever ook niet aan denken wat er gebeurd had kunnen zijn als B-59 een autonome, door KI bestuurde onderzeeër was geweest zonder menselijke schakels in de keten.

Ruim twintig jaar later, op 9 september 1983, waren de spanningen tussen de supermachten opnieuw hoog opgelopen: de Sovjet-Unie was kort daarvoor door de Amerikaanse president Ronald Reagan bestempeld als een 'rijk van het kwaad' en juist een week eerder had de Russische luchtmacht een passagiersvliegtuig van Korean Air neergeschoten dat per ongeluk in het Russische luchtruim was beland, wat alle 269 inzittenden – onder wie een Amerikaans congreslid – het leven had gekost. En nu meldde een Russisch automatisch waarschuwingssysteem dat de Verenigde Staten vijf intercontinentale kernraketten hadden afgevuurd op de Sovjet-Unie, waardoor officier Stanislav Petrov nog maar een paar minuten de tijd had om te beslissen of het loos alarm was. Het bleek dat de satelliet naar behoren werkte, dus als hij zich aan het protocol had gehouden had hij moeten rapporteren dat er een nucleaire aanval was ingezet. In plaats daarvan ging hij op zijn gevoel af, redeneerde dat het niet erg waarschijnlijk was dat de VS met slechts vijf raketten zou aanvallen, en rapporteerde aan zijn superieuren dat het een loos alarm was zonder te weten of dat werkelijk het geval was. Later bleek dat een satelliet reflecties van het zonlicht op hoge bewolking had aangezien voor vlammen van raketmotoren. Ik vraag me af wat er gebeurd zou zijn als Petrov was vervangen door een KI-systeem dat zich keurig aan het boekje had gehouden.

© Frits van der Waa 2017