Whisper-Transkription lokal, in deinem Browser

Das Modell: Whisper, base oder small

Whisper ist ein Spracherkennungsmodell, das OpenAI 2022 mit Code und Gewichten unter der MIT-Lizenz veröffentlicht hat. Es hört den Ton in Abschnitten von 30 Sekunden und schreibt die Wörter auf, mit einer Zeit für jedes Segment. Diese Website bietet zwei Größen davon an:

• Das kleinere Modell (Standard) ist Whisper base im 5-Bit-Quantisierungsformat von whisper.cpp (q5_1). Es ist der leichtere Download.
• Das größere Modell ist Whisper small im 8-Bit-Format (q8_0): ein größerer Download, der mehr Arbeitsspeicher braucht.

Quantisierung rundet die Gewichte des Modells auf weniger Bits, das macht die Dateien kleiner. Wie die beiden Größen auf dieser Engine abschneiden, Sprache für Sprache, veröffentlichen wir noch nicht: Wir messen, bevor wir beschreiben. Das Sprachmenü führt die Sprachen auf, die sich bei Whisper einstellen lassen; bei der automatischen Erkennung wählt die Engine die Sprache im ersten Fenster, in dem gesprochen wird, und behält sie für den Rest der Datei.

Die Engine: whisper.cpp als WebAssembly

Das Modell läuft in whisper.cpp, einer Open-Source-Fassung von Whisper in C/C++, die wir mit einer kleinen eigenen Schnittstelle als WebAssembly kompilieren (ein Programmformat, das jeder aktuelle Browser ausführen kann). Es gibt drei Versionen, und die Seite probiert sie in dieser Reihenfolge:

• WebGPU, wenn dein Browser einen Grafikadapter mit den Funktionen bietet, die die Engine braucht. Auf einer echten Grafikkarte haben wir diese Version noch nicht gemessen, deshalb behaupten wir dazu nichts.
• WebAssembly auf mehreren Threads, einer pro logischem Kern, den dein Browser meldet. Threads brauchen einen ursprungsübergreifend isolierten Tab, und den liefern die Header der Website.
• WebAssembly auf einem Thread, wenn keine Threads verfügbar sind oder dein Browser nur einen logischen Kern meldet. Das Ergebnis ist von derselben Art.

Startet eine Version nicht, oder scheitert die WebGPU-Version mitten in der Arbeit, startet die Seite die Engine mit der nächsten Version neu und macht weiter. Die Zeile über dem Transkript nennt die Version, die gearbeitet hat.

Was die Seite herunterlädt, und wann

Beim Öffnen lädt nur die Seite mit ihren eigenen Dateien. Engine, Medienleser, ein Modell und die Sprachaktivitätserkennung kommen von dieser Website, wenn du deine erste Datei hinzufügst. Nur eine Version der Engine bleibt: Die WebGPU-Version tritt an die Stelle einer CPU-Version, wenn sie mit einem GPU-Gerät startet. Größen in MB, wobei 1 MB 1.000.000 Bytes sind:

Die Modelle kommen in Teilen von höchstens 20 MiB (ein MiB sind 1.048.576 Bytes, 20 MiB also etwa 21 MB), weil der Hoster keine Einzeldatei über 25 MiB ausliefert. Bevor die Engine einen Teil nutzt, vergleicht dein Browser ihn mit seinem SHA-256-Fingerabdruck, sodass ein beschädigter Download abgelehnt wird, statt ein falsches Transkript zu liefern. Die geprüften Teile bleiben im Cache Storage deines Browsers, wenn er Platz dafür hat, und deine nächste Datei und dein nächster Besuch sparen sich den Download.

Warum deine Aufnahme nie hochgeladen wird

Jeder Schritt läuft in deinem Tab, die Website hat keinen Endpunkt, der eine Datei annehmen könnte, und die Seite darf sich nur mit dieser Website verbinden. Die Prüfung, dass deine Aufnahme nicht hochgeladen wird, steht auf der Seite Datenschutz und Sicherheit, mit den Schritten, um die Anfragen selbst zu beobachten.

Wie eine lange Datei gelesen und transkribiert wird

Eine einstündige Aufnahme ergibt dekodiert als Mono mit 16 kHz etwa 115 MB Ton (3.600 Sekunden x 16.000 Samples x 2 Bytes, oder das Doppelte als 32-Bit-Zahlen, mit denen die Engine rechnet). Deshalb dekodiert die Seite die Datei, wo sie sich in Stücken lesen lässt, nicht auf einmal. Ein zweiter Worker öffnet die Datei mit Mediabunny und liest ihre Tonspur je 30 Sekunden auf einmal: Mediabunny dekodiert komprimierten Ton mit dem Decoder deines Browsers und unkomprimierten Ton, etwa in einer WAV-Datei, selbst. Das nächste Stück reicht der Worker erst weiter, wenn die Engine dafür bereit ist.

Die Stücke werden zu Fenstern von etwa drei Minuten zusammengesetzt. Jedes Fenster endet in der Mitte der leisesten halben Sekunde in den 15 Sekunden vor der Drei-Minuten-Marke, um den Schnitt in eine Pause statt mitten in ein Wort zu legen, und die Fenster folgen ohne Lücke und ohne Überlappung aufeinander. Eine kleine Sprachaktivitätserkennung markiert die Abschnitte mit Sprache in jedem Fenster, so überspringt das Modell die Stille, statt Wörter hineinzuschreiben. Jedes Fenster wird mit den letzten Wörtern davor, höchstens 200 Zeichen, als Prompt transkribiert; das soll dem Modell den Satz geben, den der Schnitt vielleicht geteilt hat. Seine Zeiten werden wieder auf die Uhr der Datei gesetzt.

Sobald ein Fenster fertig ist, erscheinen seine Absätze auf der Seite: Du kannst lesen und suchen, während der Rest läuft. Lässt sich die Datei nicht in Stücken lesen, weil Mediabunny ihren Container nicht öffnet oder dein Browser keinen Decoder hat, der ihren Ton in Stücken liest, dekodiert die Seite stattdessen die ganze Datei auf einmal mit dem Decoder deines Browsers, ohne Mediabunny, und lehnt dann Dateien über 500 MB oder über 1 Stunde ab.

Wie Absätze und Zeitstempel entstehen

Whisper liefert Textsegmente mit Start- und Endzeit und eine Zeit für jedes Wort. Die Seite fügt sie zu Absätzen zusammen: Ein neuer beginnt an einer Pause von 2 Sekunden oder mehr, gemessen an den Zeiten der Wörter davor und danach, und ein Absatz, der länger als etwa 600 Zeichen wird, endet am nächsten Satzende. Es gibt keine Sprecherkennzeichnung, ein Absatzwechsel steht also für eine Pause oder einen langen Redeabschnitt, nie für eine andere Stimme.

Der Zeitstempel eines Absatzes ist die Startzeit seines ersten Worts, geschrieben als [hh:mm:ss] und auf die Sekunde abgerundet. Er ist ungefähr: gut, um eine Stelle in der Aufnahme zu finden, nicht für Untertitel. Text kopieren und TXT herunterladen schreiben dieselben Absätze, getrennt durch eine Leerzeile und mit den Zeitstempeln, wenn sie eingeblendet sind.

Warum die Dauer schwankt

Dein Gerät erledigt die Arbeit, mit der Version, die die Seite starten konnte, also braucht dieselbe Datei auf einem neuen Laptop anders lang als auf einem alten, und Modell und Länge der Aufnahme spielen mit. Deshalb verspricht die Seite kein Tempo. Sobald die Engine den ersten Fortschritt meldet, misst die Seite, wie viele Sekunden Arbeit jede Sekunde Ton auf deinem Gerät kostet, glättet das über die Fenster, damit ein langsamer Moment es nicht verzerrt, und zeigt die Restzeit.

Was dein Gerät braucht

• Einen aktuellen Browser mit WebAssembly. Chrome, Edge, Firefox und Safari haben es; unser automatischer Test läuft in Chromium.
• Freien Arbeitsspeicher: Die Engine hält das Modell im Speicher, solange sie läuft, und das größere Modell braucht mehr. Eine Zahl nennen wir erst, wenn wir sie gemessen haben.
• Eine Verbindung bei jedem Besuch: Die Seite braucht sie zum Öffnen, und deine erste Datei lädt außerdem Engine und Modell. Einen Offline-Modus gibt es nicht. Hat dein Browser Platz, behält er das Modell, sodass spätere Dateien und Besuche diesen Download überspringen.

Die Open-Source-Komponenten der Engine, die Modelle und der Medienleser stehen mit ihren Lizenzen auf der Seite Open-Source-Nachweise.

Quellen

• OpenAI, Whisper-Repository: Der Code des Modells, seine MIT-Lizenz und die Tabelle der Größen (base und small).
• Radford u. a., Robust Speech Recognition via Large-Scale Weak Supervision (2022): Der Artikel, der Whisper vorstellt.
• whisper.cpp: Die C/C++-Fassung von Whisper, die die Engine als WebAssembly kompiliert (Version 1.9.4; die Mehr-Thread-Version der Engine fügt eine Zeile hinzu, die auf der Seite Open-Source-Nachweise steht), und ihre quantisierten Modelldateien.
• Silero VAD: Die Sprachaktivitätserkennung, die die Abschnitte mit Sprache findet.
• Mediabunny: Die Medienbibliothek, die deine Datei stückweise liest, wo sie es kann, und dabei komprimierten Ton mit dem Decoder des Browsers und unkomprimierten Ton selbst dekodiert.
• MDN, AudioDecoder (WebCodecs): Der Decoder des Browsers selbst, der den komprimierten Ton in Samples umwandelt.
• MDN, CacheStorage: Wo die geprüften Teile des Modells zwischen Besuchen bleiben.
• web.dev, Making your website cross-origin isolated using COOP and COEP: Warum die Website diese Header sendet: WebAssembly-Threads brauchen SharedArrayBuffer.
• Cloudflare Workers, Limits: Die Grenze von 25 MiB pro statischer Datei, der Grund, warum die Modelle in Teilen kommen.