- HAIK - Hela AI-Köret
- Posts
- Förgiftade modeller 🤢
Hey there, hi there, ho there! Denna meny består av 993 ord och tar 7,5 minuter att tugga sig igenom.
Dagens takeaway: Säker AI delar världen. Öppen källkod kan sprida ut de risker som högkapabla AI-system skapar genom att fler förstår hur de funkar och var svagheterna finns. Eller så bjuder det in till fientlig exploatering av banbrytande teknik.
Imorgon lyfter jag mot San Francisco för att delta i Dreamforce, en jättekonferens om AI. En av huvudtalarna är Sam Altman, vd för OpenAI. Nu ska vi mysa med Johannas systerdotter. Bye!
/Dagens meny 🥘
Säkerhetspolitikens språk för Sovjet återuppstår 🩸
Förgiftade modeller 🤢
/Plusmeny 🍺
Politiker är inga AI-stjärnor ⭐️
/ Prat 🦜
Per Bolund är orolig…
/ Digestif 🥃
Snack bakom stängda dörrar 🤞
/ En ny doktrin för att undvika skador 🩸
Det pågår en debatt om hur man bäst skapar säker AI-användning. Grovt sett går skiljelinjen mellan de som förordar öppna och delade metoder för utveckling, så kallad open source, och de som vill begränsa spridningen.
Som jag skrev i våras pratade jag med en framgångsrik AI-forskare från det statliga forskningsinstitutet Rise som funderar på att sluta publicera saker öppet, med hänsyn till konsekvenserna om vissa stater eller andra illvilliga aktörer använder forskarens resultat, algoritmer och modeller.
Men vad betyder säkerhet, egentligen? Är det att så få som möjligt ska använda en viss teknik?
Vissa, som DeepMinds grundare Mustafa Suleyman, resonerar i sin nya bok om en “containment strategy”.
Det är precis så den amerikanska utrikespolitiska doktrinen gentemot Sovjetunionen beskrevs under årtionden, och därefter har denna begränsande hållning använts i kärnvapendiskussioner.
Eller betyder säker att tekniken inte ska göra någon skada?
Det är nobelt, men då måste vi tänka på att andra länder som inte är demokratiska utvecklar AI-förmågor för att tillfoga skada. Exempelvis skapar Kina enligt sin nationella AI-strategi alltid AI-teknik för dubbel användning, alltså civilt och militärt, samtidigt.
En rullande boll: Storbritanniens regering har precis satt ihop en task force för att hantera akuta AI-frågor. De har tidigare i veckan lagt fram sina fem ambitioner inför det första toppmötet om AI-säkerhet på global nivå. Man vill engagera så kallade “nyckelländer” i förarbetet och på plats i London i november. Räknas Sverige dit?
Var är AI-ministern? Jag har svårt att se den nuvarande digitaliseringsministern — som bland annat har myndighetsstyrning, landshövdingar, länsstyrelser, konsumentpolitik och kommunallagen på sitt bord — driva fram ett sådant toppmöte. Har man inte tid att testa en AI-tjänst på sex månader, hur ska man hinna med att bestämma hur säker AI-användning ser ut?
/ Fågel, bil eller stridsvagn? 🤢
Apropå säkerhet…
AI har länge använts inom försvars- och underrättelseverksamheter. Därför är det intressant att Totalförsvarets forskningsinstitut (FOI) nyligen publicerat en studie om fientlig maskininlärning.
Det kan med andra ord inte vara någon strategisk kunskap involverad. Men det ger en inblick i hur säkerhetsfolk tänker kring AI.
Enligt Björn Pelzer från FOI är Försvarsmakten “intresserade av att använda maskininlärningssystem, och vill därför kunna bedöma risken att motståndare utnyttjar sårbarheter i systemen för att vilseleda, extrahera information eller förvirra dem”.
Rent konkret: FOI har testat att förvirra, förgifta och baklängesköra modeller.
I det första fallet klarade AI-systemet inte av att ta beslut som det är byggt för.
I det andra fallet kunde träningsdatan i ett stort bildset manipuleras så att “stridsvagnar felaktigt klassificerades som bilar” enligt Pelzer. Men metoden funkar bara (vad vi vet utifrån civila AI-verktyg) om en motståndare förstår vilket maskininlärningssystem de ska ge sig på.
I det sista fallet gick det att få fram hemlig information genom att ge sig på språkmodellers minne av sannolikheter för olika språkliga samband. FOI fick ut var femte text av de 170 000 som modellen tränats på.
Är det viktigt? Självklart. Som SVT nyligen berättade har svenska forskare från bland annat Stockholms universitet tagit fram ett verktyg som sållar fram potentiella terrorister ur textdata. Men om det går att förgifta eller förvirra system blir verktygen slöa.
Djupdyk: En liknande studie om förgiftning av språkmodeller har släppts i USA, efter en workshop i juni om dubbel användning av AI. Samlingen anordnades av Google och universiteten i Stanford och Wisconsin-Madison.
Summa: De är oroliga, men har flera förslag på hur säker användning av generativ AI kan se ut.
/Plusmeny 🍺
#1 ⭐️
Magasinet Time har rankat världens 100 viktigaste namn inom AI. Högst upp är duon bakom Anthropic, vars uttalade mål är att erbjuda säkra verktyg och tjänster. Personligen gillar jag deras Claude-modeller väldigt mycket.
Noterbart är att det nästan bara är folk från eller i USA som är med på listan. En annan sak är att det bara finns fem politiker med. EU-kommissionären Margrethe Vestager är given, men nu ska hon försöka bli chef för Europeiska investeringsbanken. Så vem blir kvar?
Två stycken från amerikanska kongressen, Anna Eshoo och Ted Lieu, samt Taiwans AI-glada digitaliseringsminister Audrey Tang. För vad har Förenade Arabemiratens AI-minister att lära oss?
Listan är dock inte särskilt viktig, på ett sätt. Det här är personer som är bra på att synas mycket. De har väldigt bra kunskaper inom ämnet, men det finns fler som tar beslut om AI-tjänster som påverkar miljarder människors vardag.
/Prat 🦜
/Tänkvärdheter från någon jag har pratat med eller lyssnat på.
Jag träffade i torsdags Miljöpartiets språkrör Per Bolund för kaffe och bulle. Vi pratade klimatförändringar och AI. Han är orolig för utvecklingen.
Jag känner väldigt mycket likheter med klimathotet i AI-diskussioner.
Vi hann aldrig fram till att diskutera grön AI, men jag lovar att servera en brakmeny på temat under hösten.
/Läsbart 📚️
/Det här har jag tyckt om att dyka ner i på senaste och tror att du också kan göra det.
/En yta för fri reflektion om något av det jag har läst 🤓
#7. Insynslöst.
Chuck Schumer, demokrat och majoritetsledare i amerikanska senaten, har tagit en tätplats i USA vad gäller AI-hantering.
Han lanserade i april en ansats för framtida reglering av tekniken. Han bjöd i juni in till en bred parlamentarisk grej som kallas för SAFE Innovation Framework. Och under hösten ska AI Insight Forum hållas.
På ett event anordnat av IBM i augusti menade han att de vill samla “de bästa av de bästa” som ska “prata med varandra och svara på frågor” för att försöka “nå någon konsensus och lösningar”.
Men det kommer ske bakom stängda dörrar.
Man kan inte ha ett politiskt forum vars namn anspelar på insyn, och sen stänga dörren och erbjuda en uppläsning av slutsatserna från mötet.
Så här kan politiken inte jobba om det ska finnas förtroende för den lagstiftning som kommer ut på andra änden.
Så varför gör Chuck Schumer så här?
Kryddigt: Det är ganska många från Times 100-lista som ska vara med på det första mötet 13 september.