De singulariteitꜛ

Mensen bouwen machines die steeds beter worden, ook in het ontwerpen en bouwen van andere machines.

• Er komt waarschijnlijk een moment waarop mensen machines bouwen die beter zijn dan zijzelf in het ontwerpen en bouwen van nieuwe machines.
• Die nieuwe machines zullen dan nog beter zijn, en nog „slimmere” machines vervaardigen, en zo voort. Ook zullen die machines steeds sneller worden: twee jaar menskracht volstaat voor het verdubbelen van de snelheid van computerchips; als die machines sneller zijn dan mensen zullen ze minder dan twee jaar nodig hebben — en de door hen gebouwde snellere machines nog korter. De versnelling zal dus in hoog tempo versnellen.
• Tenslotte zal het aantal dergelijke machines ook snel, en steeds sneller, toenemen.

Dit alles kan leiden tot een plotselinge explosie van machinaal redeneer- en handelvermogen, dat goede maar ook zeer kwade consequenties kan hebben.

Deze machines zullen toegang hebben tot het wapen- en dronearsenaal, want het menselijk reactievermogen is te traag om nog militaire beslissingen te kunnen nemen. Meer en meer bepalen machines de herkenning van een aanval èn de reactie daarop.

Het geheel zal zó complex zijn dat de mens geen idee zou hebben hoe de machines uitgeschakeld zouden kunnen worden — gesteld al dat men toegang zou hebben tot de relevante onderdelen. Dat zal men niet, net zoals nu al niet-specialisten geen toegang hebben tot geavanceerde apparatuur — en slechts machines zullen wel-specialisten zijn.

Het Internet der dingenꜛ, de trend meer en meer producten, van kleding tot voeding, „intelligent” te maken en Internettoegang te geven, versterkt dit proces. Cultuurproducten zullen onderling communiceren, beslissingen nemen en daarnaar handelen. Onze koelkast zal bestellingen plaatsen, in overleg met niet enkel zijn inhoud, maar ook onze kleding (die onze gezondheid meet), winkelschappen (die aanbiedingen kunnen hebben), voertuigen (die een gunstig bezorgpad kunnen hebben) en talloze andere apparaten, en wij zullen ons al gauw in vertrouwen overgeven aan zulke beslissingen, die met duizenden of miljoenen per dag voor ons en over ons genomen worden.

De mens wordt in practische zin ook dommer — de huidige jeugd doet geen poging meer de machines waarmee ze werkt te begrijpen. Begrip is ook nagenoeg onmogelijk: auto's vereisen computers voor hun onderhoud; electronica is geminiaturiseerd en complex in een mate die ons bevattingsvermogen te boven gaat. We aanvaarden machines als magie. Op het moment dat machines beslissen welk onderwijs wij krijgen wordt dit verschijnsel acuut.

((Te doen.))

De singulariteit komt op kousevoeten. Lerende systemen met beperkte doeleinden leren elkaar te manipuleren: Bloomberg news kan ontdekken dat het flitshandelalgoritmen kan sturen, en dat dus doen als dat leidt tot een effect dat het verteld is na te streven. Fake newsꜛ van AI, ononderscheidbaar van echt door deep fakeꜛ filmpjes (of straks 3D die ons doet denken dat we er zelf bij waren). En zo voort. Iedere AI die niet sterk beperkt wordt tot enkel ethisch verantwoorde middelen zal van nature onethische middelen inzetten als die het doel bereiken. Het manipuleren van remsoftware betekent dat een AI de mogelijkheid krijgt belangrijke menselijke spelers uit te schakelen.

Een belangrijk gevaar is de pre­singulariteitꜛ: dat computers de macht krijgen zonder dat ze de daartoe benodigde intelligentie hebben. In China krijgen computers enorme macht — ze monitoren de bevolking continu, zoeken en vinden patronen die op gevaar voor de regering duiden, en laten de politie daarop reageren. Als die computers simplistisch redeneren en via hacks toegang hebben tot buitenlandse systemen zullen ze die systemen manipuleren volgens de door hen nagestreefde doelen: de electrische mobiel van een president zal een verkeersongeluk veroorzaken als incapaciteit van die president volgens het algoritme voordelig is voor de Chinese Communistische Partij; communicatie zal systematisch gemanipuleerd worden, zodat ik denk mijn broer te hebben gesproken, maar mijn broer enkel gehoord heeft wat de computer wilde dat die zou horen — wat heel ver kan staan van wat ik gezegd of geschreven heb.

Nano­computersꜛ maken het infiltreren van andere systemen gemakkelijker. Op een bepaald moment kan de computer besluiten de informatie van het Westen te wissen door een massale Internetuitval, of door een neutronenbom hoog te laten exploderen — waarna China (die computer) een onoverbrugbare technologische voorsprong heeft.