Wenn Sie Diktiersoftware verglichen haben, haben Sie wahrscheinlich eine Handvoll Prozentzahlen gesammelt – 99 %, 97 %, 95 % – und festgestellt, dass sie Ihnen bei der Entscheidung nicht helfen. Das liegt nicht daran, dass die Zahlen unehrlich sind. Es liegt daran, dass eine einzelne Genauigkeitszahl eine andere Frage beantwortet als die, die Sie stellen.

Sie möchten wissen: Wie gut wird das mich verstehen, an meinem Schreibtisch, mit meinem Mikrofon? Eine veröffentlichte Genauigkeitszahl beantwortet: Wie gut hat diese Engine eine bestimmte Sammlung von Aufnahmen transkribiert, die keiner von uns beiden gehört hat? Diese beiden Fragen können sehr unterschiedliche Antworten haben.

Diese Seite erklärt, wie die Messung funktioniert, damit Sie die Zahl jedes Anbieters – einschließlich jeder, die Sie über uns sehen – lesen und wissen können, was sie wert ist.

Die Wortfehlerrate in einfacher Sprache

Die Genauigkeit der Spracherkennung wird normalerweise als Wortfehlerrate angegeben, meist mit WER abgekürzt. Das ist der Anteil der Wörter, die falsch herauskamen. Niedriger ist besser, und „95 % genau“ ist nur eine andere Schreibweise für „5 % WER“.

Was als falsch zählt, ist genauer festgelegt, als die meisten Menschen erwarten. Es gibt drei Arten von Fehlern, und sie werden zusammengezählt:

  • Ersetzungen – ein Wort kam als ein anderes Wort heraus. Sie sagten „ihre“, es tippte „irre“.
  • Auslassungen – ein Wort, das Sie gesagt haben, fehlt im Transkript.
  • Einfügungen – ein Wort erscheint, das Sie nie gesagt haben. Hintergrundsprache und Atemgeräusche verursachen das.

Zählen Sie die drei zusammen und teilen Sie durch die Anzahl der Wörter, die Sie tatsächlich gesprochen haben. Angenommen, Sie diktieren einen Absatz mit 100 Wörtern, und das Transkript hat vier falsche Wörter, ein fehlendes Wort und ein zusätzliches Wort: Das sind sechs Fehler bei 100 Wörtern, eine WER von 6 %, oder „94 % genau“.

Eine Folge davon lohnt sich zu kennen, weil sie viel verwirrendes Marketing erklärt: Die WER kann über 100 % liegen. Wenn die Software mehr Wörter einfügt, als Sie gesprochen haben – was in einem lauten Raum vorkommt –, kann die Fehlerzahl größer sein als die Wortzahl. Eine Zahl, die nicht über 100 hinausgehen kann, ist keine Wortfehlerrate.

Warum dieselbe Software bei zwei Personen unterschiedliche Ergebnisse liefert

Die Engine ist nur einer der Faktoren, die Ihre Genauigkeit bestimmen, und oft nicht der wichtigste. Der Rest ist Ihre eigene Situation:

  • Ihr Mikrofon, und wo es sitzt. Das ist meist der mit Abstand größte Faktor, und der am günstigsten zu behebende. Ein Headset-Mikrofon wenige Zentimeter von Ihrem Mund entfernt hört etwas ganz anderes als ein Laptop-Mikrofon am anderen Ende des Schreibtischs.
  • Der Raum. Ein Fernseher im Hintergrund, ein Ventilator, ein offenes Fenster, ein hallender Raum mit harten Oberflächen. All das erreicht die Erkennung zusammen mit Ihrer Stimme.
  • Was Sie diktieren. Alltägliche Prosa ist der einfache Fall. Namen, medizinische oder juristische Fachbegriffe, Teilenummern, Adressen und Abkürzungen sind viel schwerer, weil die Software zwischen ähnlich klingenden Wörtern wählen muss.
  • Wie Sie sprechen. Akzent, Tempo, Lautstärke, ob Sie Sätze aneinanderreihen, ob Sie am Satzende leiser werden. Nichts davon ist ein Makel – es ist einfach Variation, die die Engine entweder verarbeitet oder nicht.
  • Welches Modell Sie ausführen. Die meiste Software, die auf dem Gerät läuft, bringt mehrere Modelle unterschiedlicher Größe mit. Ein kleines Modell, das auf einem älteren Laptop bequem läuft, macht in der Regel mehr Fehler als ein großes Modell auf einem schnellen Gerät.

Zwei Personen mit identischer Software und identischen Einstellungen können allein aus diesen Gründen mehrere Prozentpunkte auseinanderliegen. Das ist die Lücke, die keine veröffentlichte Zahl für Sie schließen kann.

Was eine Benchmark-Zahl tatsächlich misst

Veröffentlichte Wortfehlerraten stammen aus standardisierten Forschungsdatensätzen – festen Sammlungen von Aufnahmen mit verifizierten Transkripten, sodass verschiedene Systeme am selben Material gemessen werden können. Das ist für die Menschen, die die Software bauen, wirklich nützlich: So lässt sich feststellen, ob das Modell dieses Monats besser ist als das des Vormonats.

Als Einkaufshilfe ist das aus drei Gründen deutlich weniger nützlich:

  • Die Aufnahmen sind nicht Sie. Benchmark-Audio hat seine eigenen Akzente, seine eigenen Mikrofone und sein eigenes Themengebiet, nichts davon ist Ihres.
  • Verschiedene Anbieter berichten von verschiedenen Tests. Zwei Zahlen, gemessen an zwei verschiedenen Datensätzen, sind nicht vergleichbar, selbst wenn beide ehrlich angegeben sind. Vorgelesene Hörbuch-Sprache und spontane Unterhaltung ergeben bei derselben Engine sehr unterschiedliche Werte.
  • Die Bedingungen werden oft weggelassen. Eine Zahl, die ohne Angabe des Datensatzes, des Mikrofons und des Sprechstils genannt wird, ist keine überprüfbare Behauptung.

Wenn Sie eine Zahl sehen, ist die nützliche Frage nicht „Ist sie hoch?“, sondern „Gemessen woran?“. Wenn das nicht angegeben ist, ist die Zahl Dekoration.

Zwei unterschiedliche Design-Philosophien

Es gibt einen echten technischen Unterschied zwischen dem älteren und dem neueren Ansatz zur Erkennung, und es lohnt sich, ihn zu verstehen, weil er verändert, was „Genauigkeit“ bei einem bestimmten Produkt überhaupt bedeutet.

Trainierte Profile. Der traditionelle Desktop-Ansatz baut ein Profil Ihrer individuellen Stimme und Ihres Vokabulars auf. Sie investieren zu Beginn Zeit, und Sie können es weiter trainieren – Ihre eigene Terminologie hinzufügen, die Namen Ihrer Kolleginnen und Kollegen, die Begriffe Ihres Berufs. Dragon ist das bekannteste so gebaute Produkt, und Nuances eigene Unterlagen behaupten bis zu 99 % Erkennungsgenauigkeit. Der Nachteil ist die Einrichtungszeit und die Tatsache, dass Sie das Profil selbst pflegen müssen.

Allgemeine Modelle. Der neuere Ansatz trainiert ein großes Modell einmalig auf einer sehr breiten Palette von Sprache und liefert dasselbe Modell an alle aus. OpenAIs Whisper-Modelle sind das bekannteste offene Beispiel; das ursprüngliche Whisper-Paper beschreibt ein Training auf rund 680.000 Stunden Audio. Es gibt keinen Einrichtungsschritt – Sie installieren es und fangen an zu sprechen –, und ebenso gibt es keine Möglichkeit, ihm Ihre Stimme beizubringen. Was Sie am ersten Tag bekommen, ist im Wesentlichen das, was Sie später auch bekommen, abgesehen von dem, was die Software zusätzlich um das Modell herum baut, etwa eine persönliche Wortliste.

Keiner der beiden Ansätze ist einfach besser. Wenn Sie den ganzen Tag Fachvokabular diktieren, ist die Möglichkeit, die Software zu trainieren, echtes Geld wert. Wenn Sie etwas installieren und noch heute Nachmittag nutzen möchten, ist eine Einrichtungssitzung ein Kostenpunkt ohne Gegenwert. Was auf Sie zutrifft, kann Ihnen keine Prozentzahl sagen.

Testen Sie es in zehn Minuten an Ihrer eigenen Stimme

Das ist der einzige Test, der Ihre Frage beantwortet, und er lässt sich leicht mit jedem Diktier-Tool durchführen, das eine Testversion bietet – einschließlich der kostenlosen, die bereits auf Ihrem Computer sind.

  • Schreiben Sie zuerst einen kurzen Text – 150 bis 200 Wörter. Nutzen Sie Ihren eigenen Text, keinen Beispielabsatz: Ihren E-Mail-Stil, Ihr Thema, die Namen, die Sie tatsächlich tippen.
  • Lesen Sie ihn laut in die Software so, wie Sie normalerweise sprechen, dort sitzend, wo Sie normalerweise sitzen.
  • Vergleichen Sie beide nebeneinander und zählen Sie die Ersetzungen, Auslassungen und Einfügungen. Teilen Sie durch Ihre Wortzahl.
  • Wiederholen Sie es einmal mit einem Headset-Mikrofon falls Sie den ersten Durchlauf mit einem eingebauten Mikrofon gemacht haben. Diese eine Änderung ist oft mehr wert als ein Produktwechsel.
  • Machen Sie dann einen realistischen Durchlauf. Diktieren Sie etwas Unvorbereitetes – eine echte E-Mail –, denn von einer Vorlage abzulesen ist leichter, als aus dem Kopf zu sprechen, und die zweite Zahl ist die, mit der Sie leben werden.

Lassen Sie denselben Text durch zwei oder drei Tools laufen, und Sie haben etwas, das Ihnen kein Testbericht geben kann: einen Vergleich an Ihrer Stimme, Ihrem Mikrofon und Ihrem Raum. Wenn ein Tool nicht vor dem Kauf ausprobiert werden kann, ist auch das etwas, das Sie abwägen sollten.

Das Ergebnis lesen

Ein paar Prozentpunkte WER zählen weniger als die Frage, wo die Fehler auftreten. Software, die gelegentlich ein kurzes Wort verpasst, aber jeden Namen richtig erkennt, ist angenehmer zu nutzen als Software mit einem besseren Wert, die die Namen Ihrer Kolleginnen und Kollegen verstümmelt. Ein falsches Wort zu korrigieren kostet einen Moment; es zu bemerken kostet Aufmerksamkeit.

Beurteilen Sie also das Transkript, nicht die Zahl. Lesen Sie, was herausgekommen ist, fragen Sie sich, wie viel Nacharbeit es braucht, und fragen Sie sich, ob das weniger Arbeit ist, als es getippt zu haben. Das ist die ganze Frage.

Wo CaringDictate steht

Wir veröffentlichen keine Genauigkeits-Prozentzahl. Wir könnten eine erstellen – das kann jeder –, aber sie würde an Aufnahmen gemessen, die nicht Ihre Stimme sind, und sie als Vorhersage Ihrer Erfahrung darzustellen, wäre irreführend.

CaringDictate verwendet offene Spracherkennungsmodelle, die auf Ihrem eigenen Computer laufen, und bringt mehrere Modellgrößen mit, damit es zu dem Gerät passt, das Sie haben. Es gibt eine kostenlose siebentägige Testversion, die genau deshalb existiert, damit diese Frage durch Ihre eigene Stimme geklärt wird und nicht durch unser Marketing. Wenn die kostenlose, bereits in Windows integrierte Spracheingabe beim obigen Test für Sie gut genug abschneidet, ist das ein gutes Ergebnis – nutzen Sie sie und sparen Sie sich das Geld.

Wie es von hier aus weitergeht

Das Glossar zur Spracheingabe erklärt den Rest des Vokabulars, dem Sie beim Vergleichen begegnen werden. Der Dragon-Vergleich behandelt die Unterschiede auf Produktebene, und der Datenschutz-Leitfaden behandelt, wohin Ihr Audio bei lokalen Tools im Vergleich zu Cloud-Tools geht.