KB-Whisper mot Pianissimo: jag mätte fyra svenska talmodeller på 1804 dialektklipp

Den 24 september 2026 släppte Klang AI i Helsingborg Pianissimo, en öppen svensk talmodell under CC BY 4.0. Den ställdes direkt mot KB-Whisper från KBLab, Kungliga bibliotekets forskningslabb. Båda är finjusteringar på tiotusentals timmar svenskt tal, KB-Whisper från OpenAIs Whisper och Pianissimo från NVIDIAs Parakeet. Men ingen utomstående hade jämfört dem.

Så jag gjorde det. Fyra modeller, 1804 klipp, samma metod för alla. Den här artikeln är resultatet, och längst ner ligger rådatan så att du kan räkna om tabellen utan att lita på mig.

Varför mätningen behövdes

När Klang släppte Pianissimo publicerade de också en jämförelse mot KB-Whisper. Det är hederligt gjort, och deras tal visade sig hålla. Men två saker saknades.

Det första är kb-whisper-small. Den fanns inte med, och det är just den KB-modell en dikteringsapp helst kör, eftersom den är den enda som är liten nog att kännas snabb. Sæga körde den själv som förval fram till version 1.0.26. En jämförelse som utelämnar den svarar alltså inte på frågan de flesta användare har.

Det andra är att ingen utomstående hade kört siffrorna. En modelltillverkares egen tabell är inte fel för att den är deras, men den är okontrollerad tills någon annan kommer fram till samma sak.

Jag hade dessutom ett konkret skäl: jag skulle bestämma vilken modell som ska vara förvald för svenska i Sæga. Det beslutet får inte vila på en tabell någon annan skrivit, och inte heller på ett par meningar genom talsyntes.

Metoden

Mätningen körs på Klang Dialects, ett öppet riktmärke för svensk taligenkänning som Klang AI släppte tillsammans med modellen, under CC BY 4.0. Det är 1804 klipp, 5,1 timmar tal och 656 talare, medvetet spretigt i fråga om dialekt och talstil. Inget annat fritt tillgängligt svenskt material spänner lika brett.

Att använda deras riktmärke är ett medvetet val. Hade jag byggt ett eget hade jag också byggt in dess svagheter, och ingen hade kunnat kontrollera mig. Nu går det åt båda hållen: deras publicerade tal blir en kontroll på min uppsättning, och min uppsättning blir en kontroll på deras tal.

Normaliseringen är också deras, ordagrant ur modellkortet: gemener, skiljetecken utbytta mot blanksteg, kollapsade mellanrum, och ordfelsprocent räknad på korpusnivå i stället för som medelvärde per klipp. Samma metod för alla fyra modellerna, samma maskin, en M-serie-Mac.

Resultatet

Modell	Jag mätte	Klang publicerade	Klipp helt utan fel	Grova haverier
kb-whisper-large	2,52 %	2,30 %	83,9 %	8
kb-whisper-medium	3,81 %	3,58 %	77,5 %	13
Pianissimo	4,94 %	4,85 %	70,1 %	12
kb-whisper-small	5,72 %	opublicerad	70,1 %	20

Ordfelsprocent på korpusnivå, lägre är bättre. ”Grova haverier” = klipp där över hälften av orden blev fel.

Vad siffrorna faktiskt säger

kb-whisper-large är påtagligt bättre, inte marginellt. 83,9 procent av klippen blev helt rätt mot mediums 77,5, och klipp för klipp vinner den 255 mot 110. Den har dessutom färst antal grova haverier av alla fyra. Om det enda som betyder något är att texten blir rätt är det den här du ska köra.

kb-whisper-small är dominerad av både kb-medium och Pianissimo. Sämre kvalitet än medium, och sämre än Pianissimo på både kvalitet och hastighet. Det är det enda entydiga i hela mätningen, och det är ett problem för branschen snarare än för KBLab: small var ett rimligt val så länge alternativet var att vänta, och det är det inte längre.

Pianissimos övertag över small är litet. Båda får 70,1 procent av klippen helt rätt, och head-to-head vinner Pianissimo 319 klipp mot 289. Över hela materialet blir det 920 felaktiga ord mot smalls 1066, alltså 146 ords skillnad. Drygt hälften av den skillnaden, 82 ord, kommer från de 20 klipp där small havererar grovt, mot Pianissimos 12; resten ligger utspridd över vanliga klipp.

Mot kb-medium är Whisper fortfarande 1,1 procentenheter bättre. Pianissimo är inte den mest träffsäkra svenska modellen, och Klang påstår inte heller det. Den är den snabbaste, med god marginal.

Klang har själva ett diagram där Pianissimo ligger före kb-medium. Det bygger på ett snitt över lättare inspelningar, och där är de två modellerna jämna.

Vad mätningen faktiskt visar är två saker, och varför är inte en av dem. Alla fyra modellerna tappar på Klang Dialects, och Pianissimo tappar mer än KB-modellerna gör. Om det beror på att KB är robustare mot svårt tal, eller på att materialet råkar ligga närmare det KB tränats på, går inte att skilja på med de här talen.

En tidigare version av det här stycket skrev att dialektmaterialet helt enkelt är svårare, och att det därför kastar om ordningen. Klangs VD invände mot det, och hade rätt: materialet är annorlunda, och att kalla det svårare är en slutsats mätningen inte bär.

Hastighet, och varför den står för sig

Latens går inte att lägga i samma tabell utan att bli missvisande, av två skäl. Den beror på maskinen, och mina tal kommer från två olika körningar där kb-medium gav 680 millisekunder i den ena och 785 i den andra på exakt samma ljud. Det är kvoten mellan raderna som betyder något, inte talen i sig.

På 5,9 sekunder svenskt tal, varm motor, median av tre körningar på samma Mac:

• Pianissimo: 60 ms. Körs på Neural Engine i stället för på grafikkortet.
• kb-whisper-small: 270 ms, alltså drygt fyra gånger längre.
• kb-whisper-medium: 680 ms, ungefär elva gånger Pianissimo.
• kb-whisper-large: uppmätt till 1,8 gånger medium i en separat körning.

Vad jag gjorde med svaret

Sæga kör båda modellfamiljerna och låter användaren välja, men någon måste vara förvald. Jag valde kb-whisper-medium, alltså varken den snabbaste eller den mest träffsäkra.

Skälet att inte ta large är minne, inte kvalitet. Talmodellen ligger laddad så länge appen kör, och large betyder då ungefär 1,5 GB från inloggning till avstängning för ett menyradsverktyg som mest står stilla. En förvald modell måste vara trygg för den som aldrig öppnar en inställning. Large är ett klick bort och gratis.

Skälet att inte ta Pianissimo som förval är att ett fel är tyst medan en väntan är synlig. Räknat med talen ovan: skillnaden är 620 millisekunder på sex sekunders tal. Den växer långsammare än ljudet, eftersom Whispers kodare alltid arbetar mot ett fast trettiosekundersfönster hur kort inspelningen än är, så en dubbelt så lång diktering kostar inte dubbelt så lång väntan. Hundra vanliga dikteringar sparar därför i storleksordningen en till två minuter, med samma reservation som ovan: de absoluta talen skiljer mellan körningar. Samma hundra dikteringar om trettio ord kostar ungefär 34 extra felord, vilket är ungefär lika mycket tid att rätta. När aritmetiken är oavgjord avgör annat, och ett felstavat namn som följer med in i ett mejl kostar mer än en sekunds väntan.

Det är värt att säga rakt ut: den modell jag lyfte mest i den release det här gällde är den minst träffsäkra av tre, och den jag inte förvalde är den bästa. Ett riktmärke där författarens egna val råkar vinna varje kolumn är inget riktmärke.

Räkna om det själv

Hypoteserna från körningen ligger uppe, en JSONL-fil per modell, med klipp-id och den text modellen producerade:

• hyp-kb-whisper-large.jsonl
• hyp-kb-whisper-medium.jsonl
• hyp-pianissimo.jsonl
• hyp-kb-whisper-small.jsonl

Referenstranskripten och ljudet hämtar du från KlangAI/klang-dialects på Hugging Face. Jag återpublicerar varken deras ljud eller deras facit, bara mina egna modellutdata. Normalisera enligt modellkortet, räkna ordfelsprocent på korpusnivå, och du ska landa på tabellen ovan.

Tack

Till KBLab vid Kungliga biblioteket för KB-Whisper, och till Klang AI för Pianissimo och för att de släppte sitt riktmärke öppet i stället för att bara publicera resultatet. Den här artikeln hade inte gått att skriva annars.

Vill du välja modell i praktiken i stället för att läsa om siffrorna: så här väljer du talmodell i Sæga →