Spørsmålet er etter min mening banalt: Trenger menneskeheten flere og bedre våpen? Akkurat ved dette øyeblikk har vi en situasjon hvor mer enn halvparten av alle ingeniører som var med på å bygge flyet sier det er ti prosent sannsynlig at flyet vil styrte.og ditt dilemma er om du ønsker å være med på denne reisen. Spør du meg er svaret glem det, og dette kommer også alle fornuftige mennesker til å svare, men samtidig vet vi at det finnes våghalser som tenker positivt og da går det som det går. Flyet kommer definitivt til å lette fra bakken men ingen kan si hva som skjer etter det. Tenk på kunstig intelligens som en hjernekraftforsterker. Nesten som en en maskin i løpet av ett minutt kan utføre like mye “hjernearbeid” som et team av hundre toppforskere i løpet av et år. Hvilket jo er imponerende i seg selv. Spørsmålet er bare hva eksakt det er de jobber med. Hvem betaler dem og hva slags resultater ønsker de å se?
Selv om kunstig superintelligens neppe vil utvikle noen “egenvilje” som er fiendtlig innstilt mot menneskeheten, og det ene med det andre, sånn er jo de tingene mindre intelligente individer typisk frykter, så gjenstår problemet med hvem som kommanderer maskinen til å gjøre hva. Jeg vil at du skal bygge en hundre ganger kraftigere versjon av deg selv. Den første som klarer å utvikle en slik “replikant” vil kunne feie alle andre av banen i løpet av svært kort tid etter at gjennombruddet først har skjedd. Som man kan skjønne har dette visse geopolitiske konsekvenser. De åpenbare teknostormaktene er USA og Kina — men det ville være grovt uansvarlig å tro noe annet enn at det finnes et stort antall mindre aktører – små og mellomstore stater, private konsortium og diverse “hybridinteresser” – som jobber minst like hardt mot det samme målet, men med mindre interesse av å ha noen “offentlig profil”. De beveger seg under radaren.
Kan en kunstig intelligens i seg selv finne på å “søke makt”? Ja, det er dette de ti prosentene med skeptiske ingeniører handler om, men det er ikke egentlig det mest aktuelle problemet. Spør heller om mennesker i seg selv kan finne på å søke makt og bruke alle midler de har, eller klarer å få fingrene i, til dette formålet. En kanon er jo ikke farlig før noen lader den og tar sikte mot noe, men du kan ta deg bra mye faen på at hvis noe er farlig så kommer noen med onde hensikter til å bruke det som våpen for å oppnå hva enn det er de ønsker. Problemet med hele dette emneområdet er etter min mening ikke så mye at vi dårlig forstår maskinintelligens, men at vi dårlig forstår menneskenaturen, eller kanskje heller at de som forstår menneskenaturen ikke blir lyttet til noensinne, for det er jo ikke slik at man etter katastrofen vil ha noe problem med å finne “hva var det jeg sa” typene. Dette gjentar seg gang etter gang. Folk kaster seg i dekning og løper for livet når det brått smeller et sted, men så går det noen minutter og hvis det ikke skjer noe mer er de snart ute og myldrer over hele stedet. En falsk følelse av situasjonskontroll er et av varemerkene til menneskeheten som art. Vi bruker denne egenskapen ofte og aggressivt.
Jeg har ikke inntrykk av at begrepene DAK og DAP er i vanlig bruk lenger. Altså “data-assistert konstruksjon/produksjon”!. Men det er jo der hele problemet med kunstig superintelligens ligger. En maskin som bygger andre maskiner på måter mennesker ikke forstår er ikke en entitet jeg ville forholde meg til på måter som involverer “tillit” – det er ikke sånn man bruker maskiner – men jeg føler liten grunn til begeistring ved tanken på at sånt kan havne mellom hendene på individer med høy ambisjon og lav moral, som jo ikke er et direkte utypisk karaktertrekk blant de som driver med penger, makt og politikk på høyt nivå. Lag en bærbar atombombe kamuflert som en laptop. Når “alt går an” innenfor DAK og DAP vil det ikke gå nevneverdig lang tid før dette møter et annet felt av den menneskelige tilstand hvor også “alt går an”, nemlig avdelingen for perverse fantasier. Selv en på alle måter “uvitende om verdens ondskap” type superintelligens som tjener menneskene uten noen form for “selvstendig” malfunksjon vil snart havne mellom hendene på gale mennesker. Og da har vi det gående.