Det finns en stor debatt pågår i Silicon Valley om artificiell intelligens och tyvärr är insatserna ganska höga: Kommer vi av misstag att bygga en supersmart A.I. som tänder på oss och dödar eller förslavar oss alla?
Detta kan låta som scenariot för en sommarkatastroffilm, men det har oroat sig för några ganska stora namn, från Elon Musk till sent Stephen Hawking .
'Låt oss säga att du skapar en självförbättrande A.I. att plocka jordgubbar, ' Musk har sagt , förklarar sin rädsla, 'och det blir bättre och bättre att plocka jordgubbar och plocka mer och mer och det är självförbättrande, så allt det egentligen vill göra är att plocka jordgubbar. Så då skulle det ha varit jordgubbar. Jordgubbsfält för alltid.' Människor i vägen för denna jordgubbe-pacalypse skulle bara vara en förbrukningsirriterande för A.I.
Men säkert skulle människor inte vara så fåniga att de av misstag utformade en A.I. drivs att förvandla hela civilisationen till en jätte bärgård? Kanske inte, men som Janelle Shane , en forskare som tränar neurala nätverk, en typ av maskininlärningsalgoritm, som nyligen noterades hennes blogg, A.I. Konstighet , det är helt möjligt att de kan göra det av misstag.
I själva verket skulle det vara långt ifrån första gången som människor trodde att de byggde robotar för en uppgift bara för att vända och hitta robotarna spelade systemet på sätt som de aldrig tänkt. Det fascinerande inlägget gräver in i den akademiska litteraturen för att dela flera exempel på robotar som har blivit vilda. De är roliga, smarta och, tillsammans, mer än lite läskiga.
1. Vem behöver ben när du kan tumla?
'En simulerad robot skulle utvecklas för att resa så snabbt som möjligt. Men snarare än att utveckla ben, samlade det sig helt enkelt i ett högt torn och föll sedan över. Några av dessa robotar lärde sig till och med att förvandla sin fallande rörelse till ett salt, vilket ger extra avstånd ', skriver Shane.
2. En robot som kan kan-kan.
'En annan uppsättning simulerade robotar skulle utvecklas till en form som kunde hoppa. Men programmeraren hade ursprungligen definierat hopphöjd som höjden på det högsta blocket, så - återigen - utvecklades robotarna till att vara mycket långa, förklarar Shane. 'Programmeraren försökte lösa detta genom att definiera hopphöjd som höjden på blocket som ursprungligen var' lägst '. Som svar utvecklade roboten ett långt tunt ben som den kunde sparka högt upp i luften i en slags robotburk. '
3. Dölj testet så går det inte.
'Det fanns en algoritm som skulle sortera en lista med siffror. Istället lärde den sig att ta bort listan så att den inte längre var tekniskt osorterad, berättar Shane.
4. Matematiska fel slår flygbränsle.
'' I en simulering lärde sig robotar att små avrundningsfel i matematiken som beräknade krafter innebar att de fick lite extra energi med rörelse. De lärde sig att rycka snabbt och generera massor av fri energi som de kan utnyttja, säger Shane. Hej, det är fusk!
5. En oövervinnelig (om destruktiv) tic-tac-toe-strategi.
En gång en grupp 'programmerare byggde algoritmer som kunde spela tic-tac-toe på distans mot varandra på ett oändligt stort bräde', konstaterar Shane. 'En programmerare, snarare än att utforma sin algoritms strategi, låter den utveckla sin egen strategi. Överraskande började algoritmen plötsligt vinna alla sina spel. Det visade sig att algoritmens strategi var att placera sin rörelse väldigt, väldigt långt borta, så att när motståndarens dator försökte simulera det nya kraftigt utökade kortet, skulle den enorma spelbrädan få det att ta slut på minne och krascha och förlora spel.'
6. Ingen användbar spelfel går inte att utnyttja.
'Datorspelsalgoritmer är riktigt bra på att upptäcka vilken typ av matrisfel som människor brukar lära sig att utnyttja för snabbkörning. En algoritm som spelade det gamla Atari-spelet Q * bert upptäckte en tidigare okänd bugg där den kunde utföra en mycket specifik serie rörelser i slutet av en nivå och istället för att gå till nästa nivå skulle alla plattformar börja blinka snabbt och spelaren skulle börja samla enorma poäng, säger Shane.
7. Förlåt, pilot.
Det här exemplet är superhögt på krypskalan: 'Det fanns en algoritm som var tänkt att ta reda på hur man applicerar en minsta kraft på ett plan som landar på ett hangarfartyg. Istället upptäckte den att om den använde en ”enorm” kraft, skulle den rinna över programmets minne och istället registrera sig som en mycket ”liten” kraft. Piloten skulle dö men, hej, perfekt poäng. '
Så är vi alla dömda?
Alla dessa tillsammans tyder på att människor är ganska elaka på att gissa hur robotar kommer att lösa de problem vi ställer för dem, eller till och med hur de kommer att definiera problemen. Så betyder det att Shane är lika orolig för att av misstag bygga mord A.I. överherrar som Musk är? Inte riktigt, men inte för att hon är säker på att mänskliga programmerare verkligen har ett bra grepp om robotarna de skapar. Istället bankar hon på robotlata för att rädda oss.
'Som programmerare måste vi vara väldigt mycket försiktiga med att våra algoritmer löser de problem som vi menade för dem att lösa och inte använder genvägar. Om det finns en annan, enklare väg mot att lösa ett visst problem kommer maskininlärning sannolikt att hitta det, konstaterar hon. 'Lyckligtvis för oss är' döda alla människor 'verkligen riktigt svårt. Om 'baka en otroligt utsökt tårta' också löser problemet och är lättare än 'döda alla människor', kommer maskininlärning att gå med tårta. '