ディクテーションソフトを比較してきた方なら、おそらく 99%、97%、95% といったいくつかのパーセンテージを目にして、それが選ぶ際の役に立たないと感じたのではないでしょうか。これは数字が不誠実だからではありません。一つの精度の数字が答えているのは、あなたが実際に知りたい問いとは別の問いだからです。
あなたが知りたいのは、次のことです。 自分のデスクで、自分のマイクを使って、これはどれだけ自分の言葉を理解してくれるのか? 公表されている精度の数字が答えているのは、次のことです。 このエンジンは、あなたも私たちも聞いたことのない特定の録音セットを、どれだけうまく書き起こせたのか? この2つの問いには、まったく異なる答えが出ることがあります。
このページでは、その測定の仕組みを説明します。私たちについての数字も含め、どのベンダーの数字を見ても、その価値を判断できるようになります。
単語誤り率(WER)をわかりやすく説明します
音声認識の精度は通常、次の指標で報告されます。 単語誤り率、通常 WER と表記されます。これは、間違って書き起こされた単語の割合です。数値は低いほど良く、「95%の精度」は「WER 5%」の別の表現に過ぎません。
何を「間違い」とみなすかは、多くの方が思うより具体的に定義されています。誤りには3種類あり、それらを合計します。
- 置換 — ある単語が別の単語として書き起こされること。「their」と言ったのに「there」と入力される、といった場合です。
- 脱落 — 話した単語が書き起こしに含まれていないこと。
- 挿入 — 話していない単語が出現すること。背景の話し声や呼吸音などが原因で起こります。
この3種類を合計し、実際に話した単語数で割ります。たとえば、100語の段落を話して、書き起こしに4語の誤り、1語の脱落、1語の挿入があった場合、100語中6個の誤りとなり、WER は6%、つまり「94%の精度」ということになります。
ここから生じる、知っておく価値のある帰結があります。紛らわしいマーケティング表現の多くが、これで説明できるからです。 WER は100%を超えることがあるという点です。ソフトウェアが実際に話した単語数より多くの単語を挿入した場合(騒がしい部屋では起こり得ます)、誤りの数が単語数を上回ることがあります。100を超えられない数字は、単語誤り率ではありません。
同じソフトウェアでも人によって結果が異なる理由
エンジンは、精度を決める要素の一つにすぎず、多くの場合、最も重要な要素でもありません。残りはあなた自身の状況によって決まります。
- マイクと、その配置 これは通常、最も大きな要因であり、同時に最も安く改善できる部分でもあります。口から数センチのところにあるヘッドセットマイクと、デスクの向こうにあるノートパソコンのマイクとでは、聞こえてくる内容がまったく異なります。
- 部屋の環境 背景のテレビの音、扇風機、開いた窓、反響のある硬い壁の部屋。これらすべてが、あなたの声と一緒に認識エンジンに届きます。
- 何をディクテーションしているか 日常的な文章は比較的簡単です。人名、医学・法律用語、部品番号、住所、略語などは、ソフトウェアが似た音の単語の中から選ばなければならないため、はるかに難しくなります。
- 話し方 アクセント、話す速さ、音量、文をつなげて話すかどうか、語尾が小さくなるかどうか。これらはどれも欠点ではなく、エンジンがうまく扱えるかどうかという、単なる個人差です。
- どのモデルを使用しているか オンデバイスで動作するソフトウェアの多くは、サイズの異なる複数のモデルを用意しています。古いノートパソコンでも快適に動作する小さなモデルは、一般的に、高速なマシンで動く大きなモデルよりも誤りが多くなります。
まったく同じソフトウェアを、まったく同じ設定で使っていても、これらの要因だけで数ポイントの差が生まれることがあります。これは、公表されている数字では埋められないギャップです。
ベンチマークの数字が実際に測定しているもの
公表されている単語誤り率は、標準的な研究用データセット、つまり検証済みの書き起こしが付いた固定の録音集から算出されています。これは、異なるシステムを同じ素材で採点できるようにするためのものです。ソフトウェアを開発する人々にとっては本当に有用です。今月のモデルが先月のモデルより優れているかどうかを判断できるからです。
しかし、購入の判断材料としては、3つの理由からあまり役に立ちません。
- 録音はあなたのものではない ベンチマークの音声には、独自のアクセント、独自のマイク、独自の話題があり、いずれもあなたのものではありません。
- ベンダーごとに異なるテストを報告している 2つの異なるデータセットで測定された数字は、どちらも正直に報告されたものであっても、単純に比較できません。朗読されたオーディオブックの音声と、その場で交わされる会話とでは、同じエンジンでもまったく異なるスコアになります。
- 条件が省略されていることが多い データセット、マイク、話し方の条件が示されていない数字は、検証しようのない主張です。
数字を見かけたときに役立つ問いは、「その数字は高いか?」ではなく、「何を対象に測定されたのか?」です。それが明記されていなければ、その数字はただの飾りにすぎません。
2つの異なる設計思想
従来のアプローチと新しいアプローチの間には、認識技術として実際の違いがあります。この違いを理解しておく価値があります。それによって、ある製品にとって「精度」が何を意味するのかが変わってくるからです。
学習型プロファイル 従来型のデスクトップアプローチでは、あなた個人の声と語彙のプロファイルを構築します。最初にある程度の時間を費やしますが、その後も、独自の専門用語や同僚の名前、業務で使う言葉などを教え続けることができます。この方式で作られた製品としては Dragon が最もよく知られており、Nuance 自身の資料では最大99%の認識精度をうたっています。その代わり、セットアップに時間がかかり、プロファイルは自分で維持していく必要があります。
汎用モデル 新しいアプローチでは、非常に幅広い音声データを使って一つの大きなモデルを一度だけ学習させ、そのモデルを全員に同じ形で提供します。OpenAI の Whisper モデルはその代表的なオープンな例で、Whisper の元論文には約68万時間の音声で学習を行ったと記載されています。登録の手順はなく、インストールしてすぐに話し始められますが、同様に、あなたの声に合わせて学習させる方法もありません。個人用の単語リストなど、ソフトウェアがモデルの周りに追加する機能を除けば、最初の日に得られるものは、その後もおおむね変わりません。
どちらの方式が単純に優れているというわけではありません。一日中、専門的な語彙をディクテーションするのであれば、ソフトウェアを学習させられることには十分な価値があります。今日の午後にでもインストールしてすぐ使いたいのであれば、登録セッションはメリットのないコストになります。あなたがどちらに当てはまるかは、パーセンテージが教えてくれるものではありません。
10分で自分の声を使ってテストする
これこそが、あなたの疑問に答えてくれる唯一のベンチマークです。トライアルが用意されているディクテーションツールであれば、すでにお使いのパソコンに入っている無料の機能も含めて、簡単に試すことができます。
- まず短い文章を書き出す — 150〜200語程度。見本の文章ではなく、ご自身の文章を使ってください。普段のメールの文体、話題、実際に入力する名前などです。
- それをソフトウェアに向かって声に出して読む 普段話すのと同じように、普段座っている場所で。
- 2つを並べて比較する 置換、脱落、挿入の数を数え、単語数で割ります。
- もう一度、ヘッドセットマイクで試す 1回目を内蔵マイクで行った場合は、これを試してください。この一つの変更だけで、製品を乗り換えるより効果が大きいことがよくあります。
- そして、実際の場面に近いテストを行う。 台本のないもの、たとえば実際のメールをディクテーションしてみてください。書かれた文章を読み上げるほうが、頭の中の考えを話すよりも簡単なので、こちらの2回目の数字のほうが、実際に使っていく上での目安になります。
同じ文章を2つか3つのツールで試せば、どんなレビューも与えてくれないもの、つまりあなたの声、マイク、部屋での比較結果が得られます。購入前に試せないツールがあれば、それも判断材料として考慮する価値があります。
結果の読み方
WER の数ポイントの差よりも、誤りがどこに現れるかのほうが重要です。たまに短い単語を取りこぼしても人名はすべて正しく認識するソフトウェアのほうが、スコアは良くても同僚の名前を間違え続けるソフトウェアより、使っていて快適です。間違った単語の修正には一瞬で済みますが、それに気づくには注意力が必要です。
ですから、数字ではなく書き起こしそのものを見て判断してください。出てきた結果を読み、どれだけ手直しが必要かを確認し、それがタイピングするより手間が少ないかどうかを考える。それがすべてです。
CaringDictate の立ち位置
私たちは精度のパーセンテージを公表していません。作ろうと思えば誰でも作れますが、それはあなたの声ではない録音をもとに測定されたものであり、それをあなたの体験の予測として提示することは誤解を招くと考えています。
CaringDictate は、お使いのコンピューター上で動作するオープンな音声認識モデルを使用しており、お手持ちのマシンに合わせられるよう複数のモデルサイズを用意しています。無料の7日間トライアルがあるのは、まさにこの疑問を私たちのマーケティングではなく、あなた自身の声で確かめていただくためです。上記のテストを行ってみて、Windows に標準搭載されている無料の音声入力機能で十分な結果が得られるなら、それは良い結果です。そのまま使って、お金は使わずに済ませてください。
ここからどこへ進むか
その 音声入力用語集 は、比較検討の際に出会うその他の用語を説明しています。 Dragon との比較 では製品レベルの違いを取り上げており、 プライバシーガイド では、ローカル型ツールとクラウド型ツールで音声データがどこに送られるかを取り上げています。