Jeśli porównuje się oprogramowanie do dyktowania, można było już zebrać kilka procentowych wskaźników — 99%, 97%, 95% — i przekonać się, że nie pomagają one w wyborze. Nie dlatego, że liczby są nieuczciwe, lecz dlatego, że pojedynczy wskaźnik dokładności odpowiada na inne pytanie niż to, które faktycznie zadajesz.

Chcesz wiedzieć: jak dobrze to zrozumie mnie, przy moim biurku, z moim mikrofonem? Opublikowana liczba dokładności odpowiada na pytanie: jak dobrze ten silnik transkrybował jeden konkretny zestaw nagrań, którego żadne z nas nie słyszało? Te dwa pytania mogą mieć bardzo różne odpowiedzi.

Ta strona wyjaśnia, jak działa ten pomiar, dzięki czemu można odczytać liczbę podaną przez dowolnego dostawcę — także tę, którą zobaczysz o nas — i wiedzieć, ile jest warta.

Wskaźnik błędów słów w prostych słowach

Dokładność rozpoznawania mowy zwykle podaje się jako wskaźnik błędów słów, zwykle zapisywany jako WER. To odsetek słów, które okazały się błędne. Im niżej, tym lepiej, a „95% dokładności” to po prostu inny sposób zapisania „5% WER”.

To, co liczy się jako błąd, jest bardziej precyzyjnie określone, niż większość osób się spodziewa. Istnieją trzy rodzaje błędów, które sumuje się razem:

  • Podstawienia — słowo zostało zamienione na inne. Powiedziano „their”, a zapisano „there”.
  • Usunięcia — słowo, które zostało powiedziane, nie pojawia się w transkrypcji.
  • Wstawienia — pojawia się słowo, które nigdy nie zostało powiedziane. Powodują je rozmowy w tle i odgłosy oddechu.

Zsumuj te trzy wartości i podziel przez liczbę słów, które faktycznie zostały wypowiedziane. Załóżmy, że dyktowany jest akapit ze 100 słów, a w transkrypcji są cztery błędne słowa, jedno brakujące i jedno dodatkowe: to sześć błędów na 100 słów, czyli WER na poziomie 6%, albo „94% dokładności”.

Warto znać jedną konsekwencję, ponieważ wyjaśnia ona wiele mylącego marketingu: WER może przekroczyć 100%. Jeśli oprogramowanie wstawi więcej słów, niż zostało wypowiedzianych — co zdarza się w głośnym pomieszczeniu — liczba błędów może być większa niż liczba słów. Liczba, która nie może przekroczyć 100, nie jest wskaźnikiem błędów słów.

Dlaczego to samo oprogramowanie daje dwóm osobom różne wyniki

Silnik to tylko jeden z czynników decydujących o dokładności, i często nie ten najważniejszy. Reszta zależy od Twojej sytuacji:

  • Twój mikrofon i to, gdzie się znajduje. Zwykle jest to pojedynczy największy czynnik, a zarazem najtańszy do poprawienia. Mikrofon w zestawie słuchawkowym, kilka centymetrów od ust, słyszy coś zupełnie innego niż mikrofon laptopa po drugiej stronie biurka.
  • Pomieszczenie. Telewizor w tle, wentylator, otwarte okno, pomieszczenie z twardymi powierzchniami dającymi echo. Wszystko to trafia do rozpoznawacza razem z Twoim głosem.
  • To, co dyktujesz. Codzienny tekst to prosty przypadek. Znacznie trudniejsze są nazwiska, terminologia medyczna lub prawnicza, numery części, adresy i skróty, ponieważ oprogramowanie wybiera między słowami, które brzmią podobnie.
  • Sposób, w jaki mówisz. Akcent, tempo, głośność, to, czy zdania się ze sobą zlewają, czy głos cichnie pod koniec wypowiedzi. Nic z tego nie jest wadą — to po prostu odmienność, z którą silnik sobie radzi albo nie.
  • Z którego modelu korzystasz. Większość oprogramowania działającego lokalnie oferuje kilka modeli w różnych rozmiarach. Mały model, który bez problemu działa na starszym laptopie, zwykle popełnia więcej błędów niż duży model na szybkiej maszynie.

Dwie osoby korzystające z identycznego oprogramowania i identycznych ustawień mogą uzyskać wyniki różniące się o kilka punktów procentowych już tylko z tych powodów. To luka, której żadna opublikowana liczba nie wypełni.

Co tak naprawdę mierzy liczba z testu porównawczego

Publikowane wskaźniki błędów słów pochodzą ze standardowych zbiorów badawczych — stałych kolekcji nagrań ze zweryfikowanymi transkrypcjami, dzięki czemu różne systemy można oceniać na tym samym materiale. To naprawdę przydatne dla osób tworzących oprogramowanie: dzięki temu można sprawdzić, czy tegomiesięczny model jest lepszy od zeszłomiesięcznego.

Jako przewodnik zakupowy jest znacznie mniej przydatne, z trzech powodów:

  • Nagrania to nie Ty. Nagrania testowe mają własne akcenty, własne mikrofony i własną tematykę — żadne z nich nie są Twoje.
  • Różni dostawcy podają wyniki różnych testów. Dwie liczby zmierzone na dwóch różnych zbiorach danych nie są porównywalne, nawet jeśli obie zostały podane uczciwie. Czytany na głos audiobook i spontaniczna rozmowa dają w tym samym silniku bardzo różne wyniki.
  • Warunki pomiaru są często pomijane. Liczba podana bez informacji o zbiorze danych, mikrofonie i stylu mówienia to twierdzenie, którego nie da się zweryfikować.

Kiedy widzisz jakąś liczbę, przydatnym pytaniem nie jest „czy jest wysoka?”, lecz „na czym była mierzona?”. Jeśli nie jest to podane, liczba jest tylko ozdobą.

Dwie różne filozofie projektowania

Między starszym a nowszym podejściem do rozpoznawania mowy istnieje realna różnica techniczna, którą warto zrozumieć, ponieważ zmienia ona to, co w ogóle oznacza „dokładność” dla danego produktu.

Wytrenowane profile. Tradycyjne podejście desktopowe buduje profil indywidualnego głosu i słownictwa. Trzeba na początku poświęcić trochę czasu, a potem można wciąż go uczyć — dodawać własną terminologię, nazwiska współpracowników, słowa używane w danym zawodzie. Dragon to najbardziej znany produkt zbudowany w ten sposób, a własne materiały Nuance twierdzą, że dokładność rozpoznawania sięga nawet 99%. Ceną jest czas potrzebny na konfigurację oraz to, że profil trzeba samodzielnie utrzymywać.

Modele ogólne. Nowsze podejście polega na jednorazowym wytrenowaniu jednego dużego modelu na bardzo szerokim zakresie mowy i dostarczeniu tego samego modelu wszystkim. Modele Whisper od OpenAI to najbardziej znany otwarty przykład; oryginalna publikacja o Whisper opisuje trenowanie na około 680 000 godzin nagrań audio. Nie ma etapu rejestracji głosu — instalujesz program i zaczynasz mówić — i tak samo nie ma sposobu, żeby nauczyć go Twojego głosu. To, co dostajesz pierwszego dnia, jest w dużej mierze tym, co dostajesz później, poza tym, co oprogramowanie dodaje wokół samego modelu, na przykład osobistą listę słów.

Żadne z tych podejść nie jest po prostu lepsze. Jeśli cały dzień dyktujesz specjalistyczne słownictwo, możliwość trenowania oprogramowania jest warta realnych pieniędzy. Jeśli chcesz zainstalować coś i zacząć używać jeszcze dziś po południu, sesja rejestracji głosu to koszt bez żadnej korzyści. To, który z tych opisów pasuje do Ciebie, nie jest czymś, co może powiedzieć jakiś procent.

Przetestuj to na własnym głosie w dziesięć minut

To jedyny test, który odpowiada na Twoje pytanie, i łatwo go przeprowadzić na dowolnym narzędziu do dyktowania z wersją próbną — także na darmowych, które już masz na komputerze.

  • Najpierw zapisz krótki fragment tekstu — od 150 do 200 słów. Użyj własnego tekstu, a nie przykładowego akapitu: swojego stylu maili, swojej tematyki, nazwisk, które naprawdę wpisujesz.
  • Przeczytaj go na głos do programu tak, jak normalnie mówisz, siedząc tam, gdzie zwykle siedzisz.
  • Porównaj oba teksty obok siebie i policz podstawienia, usunięcia i wstawienia. Podziel przez liczbę słów.
  • Powtórz to raz z mikrofonem zestawu słuchawkowego jeśli za pierwszym razem użyto wbudowanego. Ta jedna zmiana jest często warta więcej niż zmiana produktu.
  • Potem zrób realistyczny test. Podyktuj coś bez scenariusza — prawdziwego maila — bo mówienie z kartki jest łatwiejsze niż mówienie z głowy, a to drugi wynik jest tym, z którym przyjdzie Ci żyć na co dzień.

Przepuść ten sam fragment przez dwa lub trzy narzędzia, a otrzymasz coś, czego nie da Ci żadna recenzja: porównanie na Twoim głosie, Twoim mikrofonie i w Twoim pomieszczeniu. Jeśli narzędzia nie da się wypróbować przed zapłatą, to również warto wziąć pod uwagę.

Odczytywanie wyniku

Kilka punktów procentowych WER ma mniejsze znaczenie niż to, gdzie pojawiają się błędy. Oprogramowanie, które od czasu do czasu gubi krótkie słowo, ale zawsze poprawnie zapisuje nazwiska, jest przyjemniejsze w użyciu niż oprogramowanie z lepszym wynikiem, które przekręca nazwiska współpracowników. Poprawienie błędnego słowa zajmuje chwilę; zauważenie go kosztuje uwagę.

Oceniaj więc transkrypcję, nie liczbę. Przeczytaj to, co powstało, zastanów się, ile potrzeba poprawek, i zapytaj, czy to mniej pracy, niż byłoby ręczne pisanie. O to właśnie chodzi.

Gdzie plasuje się CaringDictate

Nie publikujemy procentowej wartości dokładności. Moglibyśmy to zrobić — każdy może — ale byłaby ona zmierzona na nagraniach, które nie są Twoim głosem, a przedstawianie jej jako przewidywania Twoich wyników byłoby wprowadzające w błąd.

CaringDictate korzysta z otwartych modeli rozpoznawania mowy działających na Twoim własnym komputerze i oferuje kilka rozmiarów modeli, aby dopasować się do posiadanej maszyny. Jest darmowy siedmiodniowy okres próbny, który istnieje właśnie po to, żeby tę kwestię rozstrzygnął Twój własny głos, a nie nasz marketing. Jeśli darmowe pisanie głosowe wbudowane w Windows wypada wystarczająco dobrze w powyższym teście, to dobry wynik — korzystaj z niego i zatrzymaj swoje pieniądze.

Gdzie iść dalej

Pole słowniczek pisania głosowego wyjaśnia resztę słownictwa, które napotkasz podczas zakupów. Porównanie z Dragon omawia różnice na poziomie produktu, a przewodnik po prywatności pokazuje, dokąd trafia dźwięk w narzędziach lokalnych i chmurowych.