Dansk talmodell, uppmätt: Pianissimo på 930 FLEURS-klipp

Den 7 november 2026 körde jag den danska versionen av Pianissimo, en öppen talmodell från Klang AI i Helsingborg (CC BY 4.0), genom samma Core ML-väg som Sæga använder på en Mac. Frågan var enkel: är den tillräckligt bra för att levereras som danskt alternativ, och hur ställer den sig mot Parakeet Ultra, den flerspråkiga modellen som redan finns i appen?

Jag gjorde samma sak för svenska i september. Den artikeln har det längre resonemanget om metoden. Den här är kortare, eftersom metoden är densamma.

Metoden

Materialet är FLEURS, Googles öppna taldatamängd, danska (da_dk), testdelen: 930 klipp, 176 minuter upplästa meningar. FLEURS är CC BY 4.0. Klang publicerar ett tal för de 200 första klippen i den delen, så jag kunde kontrollera min uppställning mot deras.

Normaliseringen är Klangs, ur modellkortet: gemener, skiljetecken blir blanksteg, blanksteg dras ihop. Siffror lämnas som de är. Ordfelsprocenten räknas på korpusnivå (alla fel delat med alla ord i facit), inte som ett medelvärde per klipp. Facit är FLEURS egna normaliserade textfält; råtexten ger samma poäng efter normaliseringen.

Allt kördes genom Sægas egen Core ML-kod, på en MacBook med Apple Silicon, utan fras-boosting. Parakeet Ultra kördes med språket inställt på danska.

Resultatet

Modell	Första 200 klippen	Klang publicerat	Alla 930 klipp
Pianissimo danska, 8-bit	6,95 %	6,9 %	7,80 %
Pianissimo danska, fp16	7,04 %	ej publicerat	7,85 %
Parakeet Ultra (flerspråkig), språk danska	16,29 %	ej publicerat	16,3 %

Ordfelsprocent på korpusnivå, lägre är bättre. 8-bit är den version Sæga skulle leverera.

Vad siffrorna säger

Danska Pianissimo är ungefär dubbelt så träffsäker som Parakeet Ultra på danska. 7,8 % mot 16,3 %. Parakeet Ultra är en bra flerspråkig modell, men danska är inte vad den byggdes för, och skillnaden är den man kan vänta sig. Det är skälet till att Sæga inte levererar någon allmän reservmodell: ett språk listas när det finns en modell som är bra på det.

8-bit och fp16 är detsamma i praktiken. 0,05 procentenheter ifrån varandra över 930 klipp. Den mindre är det rimliga valet.

7,8 % betyder ungefär ett fel ord av tretton på upplästa, rena meningar. Det är bra, inte perfekt. Verkligt tal med bakgrundsljud, mummel eller folk som pratar i mun på varandra blir sämre. Det har jag inte mätt.

Hastighet

Varm, på en MacBook med Apple Silicon: ungefär 183 gånger realtid. De 176 minuterna ljud tog ungefär 58 sekunder. Att ladda modellen kall tog 7,4 sekunder. Modellen körs på Neural Engine. Siffrorna kommer från en Mac, så se dem som en storleksordning, inte ett löfte. Klang anger mycket högre tal för sin egen serverhårdvara; dem använder jag inte.

En lång fil

Jag lät också 23,7 minuter FLEURS-klipp, hopfogade till en fil, gå genom appens filtranskribering, som delar ljudet vid tysta stunder och transkriberar bit för bit. Resultat: 8,47 % ordfel och inget glapp över 10 sekunder, så ingenting tappades tyst.

Detaljer som blev rätt, och fel

I 20 syntetiska danska meningar (gjorda med en syntetröst, så de är rena) kontrollerade jag det en läsare märker. Rätt: procent (5 %), kronor (249 kr), decimaler (3,2 millioner), datum (14. december), klockslag (17:45) och bokstäverna æ, ø och å. Fel: e-postadresser, telefonnummer och domännamn. Dikterar du sådant, kontrollera det.

Namn

I Sæga kan du lägga till egna ord i en ordlista, vilket knuffar modellen mot dem. På 50 klipp med namn, med en lista namn att boosta (alpha 1,0), blev enskilda namn rätt 52,1 % av gångerna mot 28,7 % utan. På 100 klipp utan namn steg felprocenten med 0,09 procentenheter. Det är ett litet test, en körning och en inställning, så läs det som en riktning.

Vad jag inte har testat

• Dansk tv och radio. DR har inte mätts. FLEURS är uppläst tal, så siffrorna säger lite om snabbt, överlappande eller bullrigt tal.
• Danska användare. Det finns inga danska mänskliga testare än.
• Dialekter, barn, stark brytning, och andra Macar än den jag använde.
• Möten på danska med två eller fler talare.

Räkna om det själv

Hypoteserna från körningen är publicerade, en JSONL-fil per modell med klipp-id och texten modellen gav, tillsammans med facit från FLEURS (transcription är det normaliserade fältet jag poängsatte mot):

• hyp-8bit.jsonl (Pianissimo danska, 8-bit)
• hyp-fp16.jsonl (Pianissimo danska, fp16)
• hyp-ultra.jsonl (Parakeet Ultra, språk danska)
• refs.jsonl (facit och klipplängder)

Normalisera som ovan och räkna ordfel på korpusnivå, så ska du landa på tabellen. Ljudet finns i FLEURS själv: google/fleurs, danska, testdelen, klippen numrerade i filordning.

Tack

Till Klang AI för Pianissimo och för att de publicerat modellen och metoden öppet (CC BY 4.0), och till Google för FLEURS (CC BY 4.0, Conneau m.fl.). Taldata och facittexter tillhör dem; jag publicerar bara det facit som behövs för att räkna om poängen och min egen modellutdata.