Se você tem comparado softwares de ditado por voz, provavelmente já reuniu um punhado de porcentagens — 99%, 97%, 95% — e percebeu que elas não ajudam na escolha. Isso não é porque os números sejam desonestos. É porque um único número de precisão responde a uma pergunta diferente da que você está fazendo.

Você quer saber: quão bem isso vai me entender, na minha mesa, com o meu microfone? Um número de precisão publicado responde: quão bem esse mecanismo transcreveu um determinado conjunto de gravações que nenhum de nós ouviu? Essas duas perguntas podem ter respostas bem diferentes.

Esta página explica como a medição funciona, para que você consiga ler o número de qualquer fornecedor — inclusive qualquer um que veja sobre nós — e saber o que ele realmente vale.

Taxa de erro de palavras, em termos simples

A precisão do reconhecimento de fala normalmente é divulgada como taxa de erro de palavras, geralmente escrita como WER (word error rate). É a proporção de palavras que saíram erradas. Quanto menor, melhor, e "95% de precisão" é apenas outra forma de escrever "5% de WER".

O que conta como errado é mais específico do que a maioria das pessoas espera. Existem três tipos de erro, e eles são somados:

  • Substituições — uma palavra saiu como outra palavra diferente. Você disse "their", o programa digitou "there".
  • Omissões — uma palavra que você disse está faltando na transcrição.
  • Inserções — aparece uma palavra que você nunca disse. Fala de fundo e ruídos de respiração costumam causar isso.

Some os três tipos e divida pelo número de palavras que você realmente falou. Digamos que você dite um parágrafo de 100 palavras e a transcrição tenha quatro palavras erradas, uma palavra faltando e uma palavra extra: são seis erros em 100 palavras, um WER de 6%, ou "94% de precisão".

Vale a pena conhecer uma consequência disso, porque ela explica boa parte do marketing confuso: O WER pode ultrapassar 100%. Se o software inserir mais palavras do que você falou — o que acontece em um ambiente barulhento —, a contagem de erros pode ser maior do que a contagem de palavras. Um número que não pode passar de 100 não é uma taxa de erro de palavras.

Por que o mesmo software dá resultados diferentes para duas pessoas

O mecanismo é apenas um dos fatores que decidem a sua precisão, e muitas vezes não é o mais importante. O resto é a sua situação:

  • O seu microfone, e onde ele está posicionado. Costuma ser o maior fator isolado, e o mais barato de corrigir. Um microfone de fone de ouvido a poucos centímetros da boca capta algo bem diferente de um microfone de notebook do outro lado da mesa.
  • O ambiente. Uma televisão ligada ao fundo, um ventilador, uma janela aberta, um ambiente com superfícies duras e eco. Tudo isso chega ao reconhecedor junto com a sua voz.
  • O que você está ditando. O texto do dia a dia é o caso mais fácil. Nomes, terminologia médica ou jurídica, números de peças, endereços e siglas são muito mais difíceis, porque o software precisa escolher entre palavras que soam parecidas.
  • Como você fala. Sotaque, ritmo, volume, se você junta as frases, se a voz vai enfraquecendo no final. Nada disso é uma falha — é simplesmente uma variação que o mecanismo consegue ou não lidar.
  • Qual modelo você está usando. A maioria dos softwares locais vem com vários modelos de tamanhos diferentes. Um modelo pequeno, que roda tranquilamente em um notebook mais antigo, geralmente comete mais erros do que um modelo grande em uma máquina rápida.

Duas pessoas usando o mesmo software, com as mesmas configurações, podem ficar vários pontos percentuais distantes uma da outra só por causa disso. Essa é a diferença que nenhum número publicado consegue preencher por você.

O que um número de benchmark realmente mede

As taxas de erro de palavras publicadas vêm de conjuntos de dados de pesquisa padronizados — coleções fixas de gravações com transcrições verificadas, para que sistemas diferentes possam ser avaliados sobre o mesmo material. Isso é genuinamente útil para quem constrói o software: é como se descobre se o modelo deste mês é melhor do que o do mês passado.

É muito menos útil como guia de compra, por três motivos:

  • As gravações não são você. O áudio do benchmark tem seus próprios sotaques, seus próprios microfones e seus próprios temas, nenhum dos quais é seu.
  • Fornecedores diferentes relatam testes diferentes. Dois números medidos em dois conjuntos de dados diferentes não são comparáveis, mesmo quando ambos são divulgados com honestidade. Uma leitura em voz alta no estilo audiolivro e uma conversa espontânea produzem pontuações bem diferentes no mesmo mecanismo.
  • As condições costumam ficar de fora. Um número divulgado sem o conjunto de dados, o microfone e o estilo de fala não é uma afirmação que dá para verificar.

Quando você vir um número, a pergunta útil não é "é alto?", e sim "medido em quê?" Se isso não estiver especificado, o número é só decoração.

Duas filosofias de design diferentes

Existe uma diferença técnica real entre as abordagens mais antigas e mais novas de reconhecimento, e vale a pena entendê-la, porque ela muda o próprio significado de "precisão" para um determinado produto.

Perfis treinados. A abordagem tradicional de desktop constrói um perfil da sua voz e do seu vocabulário individual. Você investe tempo no início, e pode continuar ensinando o sistema — acrescentando a sua própria terminologia, os nomes dos seus colegas, as palavras usadas na sua profissão. O Dragon é o produto mais conhecido construído dessa forma, e os próprios materiais da Nuance afirmam até 99% de precisão de reconhecimento. O outro lado da moeda é o tempo de configuração, e o fato de que o perfil é seu para manter.

Modelos gerais. A abordagem mais nova treina um único modelo grande com uma variedade muito ampla de fala, uma única vez, e distribui o mesmo modelo para todo mundo. Os modelos Whisper da OpenAI são o exemplo aberto mais conhecido; o artigo original do Whisper descreve o treinamento com cerca de 680.000 horas de áudio. Não há etapa de cadastro — você instala e começa a falar — e, do mesmo modo, não há como ensiná-lo a sua voz. O que você tem no primeiro dia é, de forma geral, o que você vai ter depois, além do que o software acrescentar em torno do modelo, como uma lista de palavras pessoal.

Nenhuma das duas abordagens é simplesmente melhor. Se você dita vocabulário especializado o dia todo, poder treinar o software vale dinheiro de verdade. Se você quer instalar algo e usar ainda hoje à tarde, uma sessão de cadastro é um custo sem nenhuma vantagem. Qual das duas descreve o seu caso não é algo que uma porcentagem consiga dizer.

Teste na sua própria voz em dez minutos

Esse é o único benchmark que responde à sua pergunta, e é fácil de executar em qualquer ferramenta de ditado que ofereça um teste — inclusive as gratuitas que já estão no seu computador.

  • Primeiro, escreva uma passagem curta — de 150 a 200 palavras. Use a sua própria escrita, não um parágrafo de exemplo: o seu estilo de e-mail, os seus assuntos, os nomes que você realmente digita.
  • Leia em voz alta para o software do jeito que você normalmente falaria, sentado onde você normalmente se senta.
  • Compare os dois lado a lado e conte as substituições, omissões e inserções. Divida pelo número de palavras.
  • Repita uma vez com um microfone de fone de ouvido se você fez a primeira tentativa com um microfone embutido. Essa única mudança costuma valer mais do que trocar de produto.
  • Depois, faça um teste realista. Dite algo sem roteiro — um e-mail de verdade — porque falar a partir de uma página é mais fácil do que falar direto da cabeça, e o segundo número é o que você vai ter que conviver.

Passe a mesma passagem por duas ou três ferramentas, e você vai ter algo que nenhuma resenha pode te dar: uma comparação com a sua voz, o seu microfone e o seu ambiente. Se uma ferramenta não pode ser testada antes de você pagar, isso também vale a pena levar em conta.

Interpretando o resultado

Alguns pontos percentuais de WER importam menos do que onde os erros acontecem. Um software que ocasionalmente perde uma palavra curta, mas acerta todos os nomes, é mais agradável de usar do que um software com pontuação melhor que estraga os nomes dos seus colegas. Corrigir uma palavra errada custa um instante; perceber o erro custa atenção.

Então julgue a transcrição, não o número. Leia o que saiu, avalie quanto de ajuste ela precisa, e pergunte se isso é menos trabalho do que teria sido digitar. É essa a questão inteira.

Onde o CaringDictate se encaixa

Não publicamos uma porcentagem de precisão. Poderíamos criar uma — qualquer um pode — mas ela seria medida em gravações que não são a sua voz, e apresentá-la como uma previsão da sua experiência seria enganoso.

O CaringDictate usa modelos abertos de reconhecimento de fala que rodam no seu próprio computador, e vem com vários tamanhos de modelo para se adequar à máquina que você tem. Há um teste gratuito de sete dias, que existe justamente para essa questão ser resolvida pela sua própria voz, e não pelo nosso marketing. Se a digitação por voz gratuita já integrada ao Windows tiver um desempenho bom o suficiente para você ao rodar o teste acima, esse é um ótimo resultado — use-a e economize o seu dinheiro.

Para onde ir a partir daqui

A caixa glossário de digitação por voz explica o restante do vocabulário que você vai encontrar durante a pesquisa. O comparativo com o Dragon aborda as diferenças em nível de produto, e o guia de privacidade aborda para onde vai o seu áudio em ferramentas locais versus ferramentas na nuvem.