Svensk ledande språkmodell görs fritt tillgänglig – första stora språkmodellen för nordiska språk

GPT-SW3 kan användas för alla typer av tillämpningar som är möjliga att bygga med storskaliga språkmodeller, exempelvis lösningar för textanalys, klassificering, textgenerering, textbearbetning, innehållsmoderering och chattfunktioner.

Språkmodellen löser vissa av de hinder som både näringsliv och offentlig sektor brottats med kring storskaliga språkmodeller. Otydligheter kring träningsdata, oklara licensvillkor eller modeller som bara finns tillgängliga som molntjänster är några av de trösklar som finns för att idéerna ska kunna bli verklighet. 

Det finns ett stort behov av en modell tränad på svensk text, med tydliga licensvillkor, som går att finjustera för egna behov och som är möjlig att köra på egen hårdvara i tillämpningar som kräver det av exempelvis juridiska eller konkurrensmässiga skäl. Alla de här behoven möter GPT-SW3, och därmed öppnas dörren för en mängd nya tillämpningar i svenskt näringsliv och offentlig sektor.

– Vi märker att intresset för att använda stora språkmodeller i svenska organisationer är jättestort. Det finns många idéer om hur man vill använda tekniken, men allt har inte gått att realisera med de modeller som funnits tillgängliga. Med GPT-SW3 finns nu en ny resurs för svensk konkurrenskraft och välfärd, säger Magnus Sahlgren, Head of Research NLU på AI Sweden och den som lett arbetet med GPT-SW3.

De undersökningar som gjorts kring generativ AI pekar alla på stora produktivitetsökningar. I en rapport från 2019 beräknade DIGG, Myndigheten för digital förvaltning, värdet som AI kan bidra med i offentlig sektor till 140 miljarder kronor årligen. Det var innan generativ AI hade slagit igenom.

– Vi ser GPT-SW3 som en central pusselbit i att frigöra det enorma värde som kan skapas med hjälp av att använda AI. Det har redan kommit studier som visar hur GPT-modeller kan användas för att effektivisera eller öka kvaliteten inom flera arbetsuppgifter. Med en svenskutvecklad modell fokuserad på svenska språket ökar möjligheterna för inte minst offentlig sektor att ta del av de vinsterna, Martin Svensson, Managing Director på AI Sweden.

Många aktörer inom både privat och offentlig sektor arbetar redan idag med generativ AI, inklusive språkmodeller. I Region Halland har man utforskat språkmodeller för att sammanfatta journaltext, förutspå oönskade vårdhändelser, koda journaler, extrahera information ur fritext och skapa utskrivningsmeddelanden till patienter.

– AI Swedens språkmodell GPT-SW3 öppnar nya möjligheter och det finns ett stort värde i att ha full rådighet över modellen själva. Det är tydligt att språkmodeller kan stödja vården avsevärt. Vi ser nu fram emot att validera viktiga tillämpningar på det sätt som krävs i kliniska sammanhang, säger Markus Lingman, överläkare, professor, och strateg i sjukhusledningen för Hallands sjukhus.

Fakta: Det här är GPT-SW3

• Tillgång till modellen (från kl 07.00 torsdag 16 nov 2023): https://www.ai.se/en/project/gpt-sw3
• GPT-SW3 är en så kallad generativ, förtränad modell. På engelska heter detta generative pre-trained models, och därifrån kommer förkortningen GPT. 
• Genom att ha analyserat stora mängder text har språkmodellen hittat mönster i det svenska språket. De mönstren kan sedan användas för att komplettera text: När man skickar in en kortare eller längre text till en GPT-modell kommer den att komplettera texten på ett statistiskt rimligt sätt.
• GPT-SW3 är inte en färdig produkt eller tjänst. För att kunna använda GPT-SW3 måste utvecklare bygga en produkt eller tillämpning med hjälp av GPT-SW3.
• GPT-SW3 släpps i sex olika storlekar, från 126 miljoner parametrar upp till 40 miljarder. 
• I AI Swedens egna tester för språkmodellering presterar GPT-SW3 modellerna bättre på svenska än andra fritt tillgängliga modeller som testats. 
• Utvecklare kan hitta de olika varianterna av GPT-SW3 på HuggingFace, där även licensen och användarvillkoren finns.
• GPT-SW3 är ett resultat av ett samarbete mellan AI Sweden, WASP och RISE.