Cosa significa davvero l'accuratezza della dettatura

Se ha confrontato diversi software di dettatura, avrà probabilmente raccolto una manciata di percentuali — 99%, 97%, 95% — e scoperto che non l'aiutano a scegliere. Non è perché i numeri siano disonesti. È perché una singola cifra di accuratezza risponde a una domanda diversa da quella che si sta ponendo.

Lei vuole sapere: quanto bene questo mi capirà, alla mia scrivania, con il mio microfono? Una cifra di accuratezza pubblicata risponde a: quanto bene questo motore ha trascritto un particolare insieme di registrazioni che nessuno dei due ha ascoltato? Queste due domande possono avere risposte molto diverse.

Questa pagina spiega come funziona la misurazione, così può leggere il numero di qualsiasi fornitore — compreso qualsiasi numero veda su di noi — e sapere quanto valga.

Il tasso di errore delle parole, spiegato in modo semplice

L'accuratezza del riconoscimento vocale viene normalmente riportata come tasso di errore delle parole, di solito scritto WER. È la quota di parole risultate sbagliate. Più basso è meglio, e "accurato al 95%" è solo un altro modo di scrivere "WER del 5%".

Ciò che conta come errore è più specifico di quanto la maggior parte delle persone si aspetti. Ci sono tre tipi di errore, e vengono sommati insieme:

• Sostituzioni — una parola è uscita come una parola diversa. Ha detto "their", ha digitato "there".
• Omissioni — una parola detta manca dalla trascrizione.
• Inserimenti — compare una parola mai detta. A causarli sono il parlato di sottofondo e i rumori del respiro.

Sommi i tre tipi e divida per il numero di parole effettivamente pronunciate. Supponiamo che detti un paragrafo di 100 parole e la trascrizione presenti quattro parole sbagliate, una parola mancante e una parola in più: sono sei errori su 100 parole, un WER del 6%, ovvero "accurato al 94%".

Vale la pena conoscere una conseguenza, perché spiega molto marketing confuso: il WER può superare il 100%. Se il software inserisce più parole di quante ne abbia pronunciate — cosa che accade in una stanza rumorosa — il conteggio degli errori può essere maggiore del conteggio delle parole. Una cifra che non può superare 100 non è un tasso di errore delle parole.

Perché lo stesso software dà risultati diversi a due persone

Il motore è solo uno degli elementi che determinano la sua accuratezza, e spesso non è il più importante. Il resto è la sua situazione:

• Il suo microfono, e dove si trova. Di solito è il singolo fattore più importante, ed è il più economico da correggere. Un microfono da cuffia a pochi centimetri dalla bocca sente qualcosa di piuttosto diverso da un microfono di un portatile dall'altra parte della scrivania.
• La stanza. Una televisione di sottofondo, un ventilatore, una finestra aperta, una stanza con superfici dure che producono eco. Tutto questo raggiunge il sistema di riconoscimento insieme alla sua voce.
• Cosa sta dettando. La prosa quotidiana è il caso facile. Nomi, terminologia medica o legale, codici articolo, indirizzi e acronimi sono molto più difficili, perché il software deve scegliere tra parole che suonano simili.
• Come parla. Accento, ritmo, volume, se collega le frasi tra loro, se la voce si affievolisce a fine frase. Nulla di tutto ciò è un difetto — è semplicemente una variazione che il motore gestisce oppure no.
• Quale modello utilizza. La maggior parte dei software sul dispositivo include diversi modelli di dimensioni differenti. Un modello piccolo, che gira comodamente su un portatile datato, farà generalmente più errori di uno grande su un computer veloce.

Due persone che usano lo stesso software, con le stesse impostazioni, possono ottenere risultati distanti diversi punti percentuali solo per questi fattori. È il divario che nessuna cifra pubblicata può colmare al posto suo.

Cosa misura davvero un numero di benchmark

I tassi di errore delle parole pubblicati provengono da set di dati standard di ricerca — raccolte fisse di registrazioni con trascrizioni verificate, così che sistemi diversi possano essere valutati sullo stesso materiale. È davvero utile per chi costruisce il software: è così che si capisce se il modello di questo mese è migliore di quello del mese scorso.

È molto meno utile come guida all'acquisto, per tre motivi:

• Le registrazioni non sono lei. L'audio dei benchmark ha i propri accenti, i propri microfoni e i propri argomenti, nessuno dei quali è il suo.
• Fornitori diversi riportano test diversi. Due cifre misurate su due set di dati diversi non sono confrontabili, anche quando entrambe sono riportate onestamente. Il parlato letto ad alta voce di un audiolibro e una conversazione spontanea producono punteggi molto diversi dallo stesso motore.
• Le condizioni vengono spesso omesse. Un numero citato senza il set di dati, il microfono e lo stile di eloquio non è un'affermazione che può verificare.

Quando vede una cifra, la domanda utile non è "è alta?" ma "misurata su cosa?" Se questo non viene specificato, la cifra è solo decorazione.

Due filosofie di progettazione diverse

C'è una vera differenza tecnica tra gli approcci più datati e quelli più recenti al riconoscimento, e vale la pena capirla perché cambia persino cosa significhi "accuratezza" per un dato prodotto.

Profili addestrati. L'approccio desktop tradizionale costruisce un profilo della sua voce e del suo vocabolario individuali. Dedica del tempo all'inizio, e può continuare a istruirlo — aggiungendo la propria terminologia, i nomi dei colleghi, le parole usate nella sua professione. Dragon è il prodotto più conosciuto costruito in questo modo, e i materiali della stessa Nuance dichiarano fino al 99% di accuratezza di riconoscimento. Il compromesso è il tempo di configurazione, e il fatto che il profilo sia suo da mantenere.

Modelli generici. L'approccio più recente addestra un unico grande modello su una gamma molto ampia di parlato, una sola volta, e distribuisce lo stesso modello a tutti. I modelli Whisper di OpenAI sono l'esempio aperto più conosciuto; l'articolo originale su Whisper descrive un addestramento su circa 680.000 ore di audio. Non c'è nessuna fase di registrazione — lo installa e inizia a parlare — e allo stesso modo non c'è modo di insegnargli la sua voce. Ciò che ottiene il primo giorno è grosso modo ciò che otterrà in seguito, a parte quello che il software aggiunge attorno al modello, come un elenco personale di parole.

Nessuno dei due approcci è semplicemente migliore. Se detta vocabolario specialistico tutto il giorno, poter addestrare il software vale denaro vero. Se vuole installare qualcosa e usarlo questo pomeriggio, una sessione di registrazione è un costo senza alcun vantaggio. Quale dei due la descriva non è qualcosa che una percentuale può dirle.

Lo provi sulla propria voce in dieci minuti

Questo è l'unico benchmark che risponde alla sua domanda, ed è facile da eseguire su qualsiasi strumento di dettatura con una prova — compresi quelli gratuiti già sul suo computer.

• Scriva prima un breve passaggio — da 150 a 200 parole. Usi la propria scrittura, non un paragrafo di esempio: il proprio stile nelle e-mail, i propri argomenti, i nomi che digita davvero.
• Lo legga ad alta voce nel software nel modo in cui parlerebbe normalmente, seduto dove si siede di solito.
• Confronti i due testi fianco a fianco e conti le sostituzioni, le omissioni e gli inserimenti. Divida per il numero di parole.
• Lo ripeta con un microfono da cuffia se ha fatto il primo tentativo con uno integrato. Questo singolo cambiamento spesso vale più del cambiare prodotto.
• Poi faccia una prova realistica. Detti qualcosa di non scritto — una e-mail vera — perché parlare leggendo da una pagina è più facile che parlare a braccio, e il secondo numero è quello con cui dovrà convivere.

Provi lo stesso passaggio con due o tre strumenti e avrà qualcosa che nessuna recensione può darle: un confronto sulla propria voce, sul proprio microfono e sulla propria stanza. Se uno strumento non può essere provato prima di pagare, vale la pena considerarlo anche questo.

Interpretare il risultato

Pochi punti percentuali di WER contano meno di dove cadono gli errori. Un software che occasionalmente si perde una parola breve ma azzecca ogni nome è più piacevole da usare di un software con un punteggio migliore che storpia i nomi dei suoi colleghi. Correggere una parola sbagliata costa un momento; accorgersene costa attenzione.

Quindi giudichi la trascrizione, non il numero. Legga ciò che ne è uscito, si chieda quanto lavoro di sistemazione richieda, e si chieda se sia comunque meno lavoro di quanto sarebbe stato digitarlo. È tutta la domanda.

Dove si colloca CaringDictate

Non pubblichiamo una percentuale di accuratezza. Potremmo produrne una — chiunque può farlo — ma sarebbe misurata su registrazioni che non sono la sua voce, e presentarla come una previsione della sua esperienza sarebbe fuorviante.

CaringDictate utilizza modelli di riconoscimento vocale aperti che girano sul suo computer, e include diverse dimensioni di modello così da adattarsi al computer che possiede. È prevista una prova gratuita di sette giorni, che esiste proprio perché questa domanda venga risolta dalla sua voce e non dal nostro marketing. Se la digitazione vocale gratuita già integrata in Windows ottiene un punteggio sufficientemente buono per lei quando esegue il test sopra descritto, è un buon risultato — la usi e tenga i suoi soldi.

Dove andare da qui

La glossario della digitazione vocale spiega il resto del vocabolario che incontrerà durante la ricerca. Il confronto con Dragon copre le differenze a livello di prodotto, e la guida alla privacy spiega dove finisce il suo audio negli strumenti locali rispetto a quelli basati sul cloud.