De öppna språkmodellernas dag 🇸🇪

Och: satana micket data, döda hemläxor, innovationskross.

Namaste! Denna meny består av 1055 ord och tar 4,5 minuter att tugga i sig.

Dagens takeaway: Skandinavien går sin egen väg och släpper högkapabla språkmodeller för fri användning. Det kommer stärka förtroendet för generativ AI på lång sikt. Hit måste politiken och civilsamhället pressa stängda modeller.

Vi laddar inför På Spåret, bullbak och 6-årskalas för Johannas kusin. Tjing!

/Dagens meny 🥘 

  • En milstolpe för de öppna modellernas förespråkare 🇸🇪 

/Plusmeny 🍺 

  • Satana micket data 🇫🇮

/ Prat 🦜 

  • Hemläxan är död 🪦 

/ Digestif 🥃 

  • George Stigler och “regulatory capture” inom AI-världen 🎣 

/ Blott Sverige svenska språkmodeller kan 🇸🇪 

En stor milstolpe. Så beskriver folk inifrån och utanför AI Sweden som jag pratat med veckans publicering av språkmodellen GPT-SW3. Det har de alldeles rätt i.

Nu kan alla som använder nordiska (nordgermanska, för att vara noggrann) språk – svenska, norska, danska, isländska och färöiska – utveckla egna tjänster utifrån en fritt tillgänglig och öppen teknik.

Den data man själv stoppar in flyger inte iväg till USA. Och det går, till skillnad från de amerikanska bolag som driver de mest populära tjänsterna i dag, att kolla vad för sorts data som använts.

Det stärker inte bara den tekniska utvecklingen av bättre modeller och tjänster, utan lika mycket den samhälleliga tilltron till tekniken.

Som Markus Lingman, årets AI-svensk 2020 och överläkare/strateg vid Region Halland, pekar på kan svensk vård nu testa språkmodeller i sin vardag för att “sammanställa journaltexter, information från röntgenbilder och labbresultat för att skapa en bild över en patients hälsosituation”.

Tar teamet på AI Sweden paus nu för att låta modellen ändra den nordiska världen (eller den nordgermanska språkvärlden)? Nja.

De har ju egentligen haft modellen mer eller mindre på plats i ett års tid. Så de har självklart börjat jobba med annat.

En sådan grej är TrustLLM, ett projekt som satte igång 1 november med drygt 70 miljoner kronor från EU:s forskningsprogram Horizon.

AI Sweden ska, ihop med Linköpings universitet och tio andra organisationer från Norge, Nederländerna, Tyskland, Island och Danmark, skapa en långt mycket större språkmodell än GPT-SW3.

Och det är inte nordgermanska språk utan germanska språk, däribland tyska och nederländska, som är fokus. Det är en tydlig nivåhöjning av europeisk språkmodellsforskning.

Kul: Ett av de 53 officiella germanska språken/dialekterna är krimgotiska, som dog ut på 1700-talet. Kan det gå att återskapa med TrustLLM? I så fall är ju den putslustige personen bakom kontot Muralgranskaren rökt.

Men: En av de involverade i TrustLLM, Fredrik Heintz från Linköpings universitet, säger att EU ska “leda genom innovation” och “inte bara genom reglering”. Det är bra.

Samtidigt säger hans kollega Marco Kuhlmann att denna öppna modell, som ska vara klart bortåt oktober 2026, ska bidra till att EU kan vara lika bra eller bättre än de stora internationella företag som bedriver språkmodells-business. I klartext: EU ska tävla med Amazon, Meta, OpenAI/Microsoft, Anthropic och några till om att göra bäst modeller. Det låter inte rimligt.

/Plusmeny 🍺 

#1 🇫🇮 

Visst, GPT-SW3 är en milstolpe. Men det finska bolaget Silo AI, som är partner till AI Sweden, har också jobbat hårt.

I måndags släpptes Poro, som betyder ren (alltså djuret) på finska. Den är snäppet mindre än den svenska modellen men är tränad på satana micket data.

GPT-SW3 tränades på 1,2 terabyte data. Det motsvarar 1,2 miljoner kopior av Fjodor Dostojevskijs roman Brott och Straff.

Poro har tillgång till EU:s språkprojekt HPLT, som har samlat in 7 000 terabyte data. En helli-vitti massa tegelstenar av ryska romantiker.

Den kan än så länge finska, engelska och olika programmeringsspråk. Men med tanke på att projektet har HPLT och Europas största superdator Lumi i ryggen lär det inte dröja länge förrän de når sitt mål: att bygga världens största öppna språkmodell.

Det feta: Silo AI jobbar med finska public service-bolaget Yle för att skapa teknik som reflekterar och representerar “vår lokala kultur” som Yle-chefen Merja Ylä-Anttila säger. Tänk om man äntligen kan förstå folk från Karesuvanto, Savolax och Kittilä på tv?! Hyvää työtä!

/Prat 🦜 

/Tänkvärdheter från någon jag har pratat med eller lyssnat på.

Ingen gör läxorna längre, nu när generativ AI löser allt. Så låter det bland de kids jag snackat med.

Nej, inte riktigt. Vissa gillar fortfarande läxor och uppgifter, precis som det alltid varit. Andra har blivit okej med att göra dem för att tjänster som ChatGPT finns. Och några tycker inte om läxor oavsett vad de har för förutsättningar eller hjälpmedel.

På Skolverket ansvarar Johan Falk för en grupp som arbetar med data och AI inom undervisning och utbildning. Han höll nyligen en presentation för OECD om myndighetens arbete med hur eleverna ska bedömas i dessa AI-tider.

Modellen med hemläxor ger han inte mycket för.

Man kan kalla den för död.

Johan Falk, Skolverket

/Läsbart 📚️ 

/Det här har jag tyckt om att dyka ner i på senaste och tror att du också kan göra det.

/En yta för fri reflektion om något av det jag har läst 🤓 

#2. George Stigler och regulatory capture.

Regulatorisk fångst låter inte så bra. Men det har varit ett centralt begrepp inom nationalekonomisk forskning sedan 1970-talet då ekonomen George Stigler gav sig på konsekvenserna av ekonomiska regleringar i USA.

Regulatory capture betyder att en organisation, oftast ett privat företag, tar marknadsandelar genom regleringar som ställer så höga krav att nya konkurrenter inte klarar av att ta sig in på marknaden. Enkelt sagt: Statens regler skapar monopol, duopol eller oligopol.

Andrew Ng är en tongivande person inom AI. Han skötte förut Google Brain och därefter Alibabas AI-grupp. Nu är Stanfordprofessorn orolig för att detta skapande av ett mono/duo/oligo-pol sker framför våra ögon.

Det här hänger ihop med AI Swedens släpp av GPT-SW3. Genom att utveckla modellen “ideellt”, alltså utan vinstmotiv, vill man demokratisera användningen och tillgången till språkmodeller. Och genom att släppa allt öppet, så kallad open source, kan folk bygga vidare på deras arbete.

Andrew Ng ser ett gäng stora techbolag som inte vill konkurrera med open source-initiativ, “så de skapar rädslan att AI leder till människans utrotning”.

Det är klassisk lobbyism, att be om eller uppmuntra till lagstiftning som skadar ens konkurrenter. Det har skett inom tobaksindustrin, telekomindustrin, fordonsindustrin, flygplansindustrin, järnvägarna och så vidare på typ alla områden med stor ekonomisk aktivitet.

Jag håller med Ng till ett hundra procent.

När OpenAI sitter i amerikanska kongressen och pekar ut statliga licenser som ett sätt att skapa säkra AI-modeller säger han i praktiken att bara några kan och ska få utveckla tekniken, och att staten ska välja vinnarna.

Att inte reglera tekniken är inte en framkomlig lösning, vare sig ekonomiskt eller politiskt. Men det handlar om vad man gör. Enligt Ng kommer innovationen “krossas” om de föreslagna regleringarna genomförs.

Att slå ett slag i luften med handlingslösa dokument eller initiativ är illa, men då gör man åtminstone ingen skada. Att stifta lagar och regler som pajar innovationen och konkurrensen, det orsakar tydlig ekonomisk skada för samhällen. Det är tyvärr dit vi är på väg.

Bra tryck i texten? Häng med på HAIK!