अगर आप डिक्टेशन सॉफ़्टवेयर की तुलना करते रहे हैं, तो आपने शायद कुछ प्रतिशत आँकड़े जमा किए होंगे — 99%, 97%, 95% — और पाया होगा कि ये चुनने में मदद नहीं करते। ऐसा इसलिए नहीं है कि आँकड़े बेईमान हैं। बल्कि इसलिए कि एक अकेला सटीकता का आँकड़ा उस सवाल से अलग सवाल का जवाब देता है जो आप पूछ रहे हैं।
आप जानना चाहते हैं: यह मेरी डेस्क पर, मेरे माइक्रोफ़ोन के साथ, मुझे कितनी अच्छी तरह समझेगा? प्रकाशित सटीकता का आँकड़ा इसका जवाब देता है: इस इंजन ने रिकॉर्डिंग के एक खास सेट को कितनी अच्छी तरह ट्रांसक्राइब किया, जिसे न आपने सुना है न हमने? इन दोनों सवालों के जवाब बहुत अलग हो सकते हैं।
यह पेज बताता है कि यह मापन कैसे काम करता है, ताकि आप किसी भी विक्रेता के आँकड़े को — जिसमें हमारे बारे में देखा गया कोई भी आँकड़ा शामिल है — पढ़ सकें और जान सकें कि इसकी क्या कीमत है।
वर्ड एरर रेट, सीधी-सादी भाषा में
स्पीच रिकग्निशन की सटीकता आमतौर पर इस रूप में बताई जाती है वर्ड एरर रेट, जिसे आमतौर पर WER लिखा जाता है। यह उन शब्दों का हिस्सा है जो ग़लत निकले। जितना कम हो उतना बेहतर, और “95% सटीक” बस “5% WER” लिखने का एक और तरीका है।
क्या ग़लत माना जाता है, यह ज़्यादातर लोगों की उम्मीद से ज़्यादा खास होता है। तीन तरह की ग़लतियाँ होती हैं, और इन्हें जोड़ा जाता है:
- प्रतिस्थापन — एक शब्द किसी दूसरे शब्द के रूप में निकला। आपने “their” बोला, यह “there” टाइप हुआ।
- विलोपन — आपका बोला हुआ कोई शब्द ट्रांसक्रिप्ट में नहीं है।
- जोड़े गए शब्द — ऐसा कोई शब्द आ जाता है जो आपने कभी बोला ही नहीं। इसकी वजह पृष्ठभूमि की आवाज़ और साँस का शोर होता है।
इन तीनों को जोड़ें और उन शब्दों की संख्या से भाग दें जो आपने असल में बोले थे। मान लें कि आप 100 शब्दों का एक पैराग्राफ़ बोलकर लिखते हैं और ट्रांसक्रिप्ट में चार ग़लत शब्द, एक छूटा हुआ शब्द और एक अतिरिक्त शब्द है: यह 100 शब्दों में छह ग़लतियाँ हैं, यानी 6% का WER, या “94% सटीक”।
एक नतीजा जानने लायक है, क्योंकि यह भ्रमित करने वाली बहुत सी मार्केटिंग को समझाता है: WER 100% से ज़्यादा हो सकता है। अगर सॉफ़्टवेयर आपके बोले हुए शब्दों से ज़्यादा शब्द जोड़ देता है — जो किसी शोर भरे कमरे में होता है — तो ग़लतियों की गिनती शब्दों की गिनती से ज़्यादा हो सकती है। जो आँकड़ा 100 से ऊपर नहीं जा सकता, वह वर्ड एरर रेट नहीं है।
एक जैसा सॉफ़्टवेयर दो लोगों को अलग-अलग नतीजे क्यों देता है
इंजन सिर्फ़ उन चीज़ों में से एक है जो आपकी सटीकता तय करती हैं, और अक्सर सबसे ज़रूरी भी नहीं। बाकी सब आपकी स्थिति पर निर्भर है:
- आपका माइक्रोफ़ोन, और वह कहाँ रखा है। यह आमतौर पर सबसे बड़ा अकेला कारक है, और इसे ठीक करना सबसे सस्ता भी है। मुँह से कुछ सेंटीमीटर दूर लगा हेडसेट माइक्रोफ़ोन डेस्क के उस पार वाले लैपटॉप माइक्रोफ़ोन से बिल्कुल अलग चीज़ सुनता है।
- कमरा। पृष्ठभूमि में टीवी, पंखा, खुली खिड़की, गूँज वाला सख़्त सतह का कमरा। यह सब आपकी आवाज़ के साथ रिकग्नाइज़र तक पहुँचता है।
- आप क्या बोलकर लिख रहे हैं। रोज़मर्रा का गद्य आसान मामला है। नाम, मेडिकल या कानूनी शब्दावली, पार्ट नंबर, पते और संक्षिप्त नाम कहीं ज़्यादा कठिन होते हैं, क्योंकि सॉफ़्टवेयर एक जैसी आवाज़ वाले शब्दों में से चुनाव कर रहा होता है।
- आप कैसे बोलते हैं। लहज़ा, रफ़्तार, आवाज़ की तीव्रता, आप वाक्यों को एक साथ जोड़कर बोलते हैं या नहीं, बोलते-बोलते आवाज़ धीमी हो जाती है या नहीं। इनमें से कुछ भी कोई कमी नहीं है — यह बस उतार-चढ़ाव है जिसे इंजन या तो संभालता है या नहीं।
- आप कौन सा मॉडल चलाते हैं। ज़्यादातर ऑन-डिवाइस सॉफ़्टवेयर अलग-अलग आकार के कई मॉडल के साथ आता है। पुराने लैपटॉप पर आराम से चलने वाला छोटा मॉडल आमतौर पर तेज़ मशीन पर चलने वाले बड़े मॉडल से ज़्यादा ग़लतियाँ करेगा।
एक जैसा सॉफ़्टवेयर, एक जैसी सेटिंग्स के साथ चलाने वाले दो लोग, इन्हीं वजहों से कई प्रतिशत अंकों के फ़र्क पर पहुँच सकते हैं। यही वह फ़ासला है जिसे कोई भी प्रकाशित आँकड़ा आपके लिए नहीं पाट सकता।
बेंचमार्क आँकड़ा असल में क्या मापता है
प्रकाशित वर्ड एरर रेट मानक शोध डेटासेट से आते हैं — सत्यापित ट्रांसक्रिप्ट वाली रिकॉर्डिंग के तय संग्रह, ताकि अलग-अलग सिस्टम को एक जैसी सामग्री पर परखा जा सके। यह सॉफ़्टवेयर बनाने वालों के लिए वाकई उपयोगी है: इसी से पता चलता है कि इस महीने का मॉडल पिछले महीने से बेहतर है या नहीं।
खरीदारी की गाइड के तौर पर यह कहीं कम उपयोगी है, तीन वजहों से:
- रिकॉर्डिंग आप नहीं हैं। बेंचमार्क ऑडियो के अपने लहज़े, अपने माइक्रोफ़ोन और अपना विषय होता है, जिनमें से कोई भी आपका नहीं होता।
- अलग-अलग विक्रेता अलग-अलग टेस्ट बताते हैं। दो अलग-अलग डेटासेट पर मापे गए दो आँकड़ों की तुलना नहीं की जा सकती, भले ही दोनों को ईमानदारी से बताया गया हो। ज़ोर से पढ़ी गई ऑडियोबुक की स्पीच और स्वाभाविक बातचीत, एक ही इंजन से बहुत अलग स्कोर देते हैं।
- शर्तें अक्सर बताई नहीं जातीं। डेटासेट, माइक्रोफ़ोन और बोलने के तरीके के बिना बताया गया कोई आँकड़ा ऐसा दावा नहीं है जिसे आप जाँच सकें।
जब आपको कोई आँकड़ा दिखे, तो काम का सवाल यह नहीं है कि “क्या यह ज़्यादा है?” बल्कि यह है कि “यह किस पर मापा गया?” अगर यह नहीं बताया गया, तो वह आँकड़ा बस सजावट है।
दो अलग-अलग डिज़ाइन दर्शन
पहचान के पुराने और नए तरीकों के बीच एक असली तकनीकी फ़र्क है, और इसे समझना ज़रूरी है क्योंकि यह बदल देता है कि किसी खास प्रोडक्ट के लिए “सटीकता” का मतलब क्या भी है।
प्रशिक्षित प्रोफ़ाइल। पारंपरिक डेस्कटॉप तरीका आपकी अपनी आवाज़ और शब्दावली की एक प्रोफ़ाइल बनाता है। आप शुरुआत में समय देते हैं, और इसे सिखाते रहते हैं — अपनी शब्दावली, सहकर्मियों के नाम, अपने पेशे के इस्तेमाल किए जाने वाले शब्द जोड़ते हुए। Dragon इस तरह बना सबसे जाना-पहचाना प्रोडक्ट है, और Nuance की अपनी सामग्री 99% तक रिकग्निशन सटीकता का दावा करती है। इसके बदले में सेटअप का समय लगता है, और यह तथ्य कि प्रोफ़ाइल को बनाए रखना आपकी ज़िम्मेदारी है।
सामान्य मॉडल। नया तरीका एक बड़े मॉडल को स्पीच की बहुत व्यापक रेंज पर, एक बार, प्रशिक्षित करता है, और वही मॉडल सभी को भेजता है। OpenAI के Whisper मॉडल सबसे जाना-पहचाना खुला उदाहरण हैं; मूल Whisper पेपर लगभग 680,000 घंटे के ऑडियो पर प्रशिक्षण का वर्णन करता है। इसमें कोई नामांकन चरण नहीं है — आप इसे इंस्टॉल करते हैं और बोलना शुरू कर देते हैं — और साथ ही इसे अपनी आवाज़ सिखाने का भी कोई तरीका नहीं है। पहले दिन जो मिलता है वह लगभग वही है जो बाद में मिलता है, सिवाय उसके जो सॉफ़्टवेयर मॉडल के आस-पास जोड़ता है, जैसे एक निजी शब्द-सूची।
कोई भी तरीका बस “बेहतर” नहीं है। अगर आप दिनभर विशेषज्ञ शब्दावली बोलते हैं, तो सॉफ़्टवेयर को प्रशिक्षित कर पाना असली पैसे के बराबर है। अगर आप कुछ इंस्टॉल करके आज दोपहर ही इस्तेमाल करना चाहते हैं, तो नामांकन सत्र बिना किसी फ़ायदे की एक लागत है। आप किसमें आते हैं, यह कोई प्रतिशत आपको नहीं बता सकता।
इसे अपनी आवाज़ पर दस मिनट में परखें
यही एकमात्र बेंचमार्क है जो आपके सवाल का जवाब देता है, और इसे ट्रायल वाले किसी भी डिक्टेशन टूल पर चलाना आसान है — आपके कंप्यूटर पर पहले से मौजूद मुफ़्त टूल भी शामिल हैं।
- पहले एक छोटा-सा हिस्सा लिखें — 150 से 200 शब्द। किसी सैंपल पैराग्राफ़ की बजाय अपना खुद का लेखन इस्तेमाल करें: आपकी ईमेल शैली, आपका विषय, वे नाम जो आप असल में टाइप करते हैं।
- इसे सॉफ़्टवेयर में ज़ोर से पढ़ें जैसे आप आमतौर पर बोलते हैं, वहीं बैठकर जहाँ आप आमतौर पर बैठते हैं।
- दोनों को साथ-साथ रखकर तुलना करें और प्रतिस्थापन, विलोपन और जोड़े गए शब्दों को गिनें। अपने कुल शब्दों की संख्या से भाग दें।
- इसे एक बार हेडसेट माइक्रोफ़ोन के साथ दोहराएँ अगर आपने पहली बार बिल्ट-इन माइक्रोफ़ोन पर किया था। यह एक बदलाव अक्सर प्रोडक्ट बदलने से भी ज़्यादा मायने रखता है।
- फिर एक असली-जैसी कोशिश करें। कुछ बिना लिखा हुआ बोलकर लिखें — एक असली ईमेल — क्योंकि पन्ने से बोलना अपने दिमाग़ से बोलने की तुलना में आसान है, और दूसरा आँकड़ा ही वह है जिसके साथ आपको जीना है।
एक ही हिस्से को दो या तीन टूल पर आज़माएँ और आपके पास वह चीज़ होगी जो कोई भी रिव्यू आपको नहीं दे सकता: आपकी आवाज़, आपके माइक्रोफ़ोन और आपके कमरे पर तुलना। अगर किसी टूल को भुगतान करने से पहले आज़माया नहीं जा सकता, तो यह भी तौलने लायक बात है।
नतीजे को पढ़ना
WER के कुछ प्रतिशत अंकों से ज़्यादा यह मायने रखता है कि ग़लतियाँ कहाँ होती हैं। ऐसा सॉफ़्टवेयर जो कभी-कभार कोई छोटा शब्द छोड़ देता है लेकिन हर नाम सही लिखता है, ऐसे बेहतर स्कोर वाले सॉफ़्टवेयर से इस्तेमाल करने में ज़्यादा सुखद है जो आपके सहकर्मियों के नाम बिगाड़ देता है। किसी ग़लत शब्द को ठीक करने में एक पल लगता है; उसे नोटिस करने में ध्यान लगता है।
इसलिए आँकड़े को नहीं, ट्रांसक्रिप्ट को परखें। जो लिखा गया है उसे पढ़ें, पूछें कि इसे कितना ठीक-ठाक करना पड़ेगा, और पूछें कि क्या यह उतना ही टाइप करने से कम मेहनत का है। बस यही पूरा सवाल है।
CaringDictate कहाँ खड़ा है
हम कोई सटीकता प्रतिशत प्रकाशित नहीं करते। हम एक बना सकते थे — कोई भी बना सकता है — लेकिन यह ऐसी रिकॉर्डिंग पर मापा जाता जो आपकी आवाज़ नहीं है, और इसे आपके अनुभव की भविष्यवाणी की तरह पेश करना भ्रामक होगा।
CaringDictate ऐसे खुले स्पीच-रिकग्निशन मॉडल इस्तेमाल करता है जो आपके अपने कंप्यूटर पर चलते हैं, और यह कई मॉडल आकारों के साथ आता है ताकि यह आपकी मशीन के अनुकूल हो सके। सात दिन का मुफ़्त ट्रायल है, जो ठीक इसीलिए है ताकि यह सवाल हमारी मार्केटिंग से नहीं बल्कि आपकी अपनी आवाज़ से तय हो। अगर Windows में पहले से मौजूद मुफ़्त वॉइस टाइपिंग ऊपर दिया गया टेस्ट चलाने पर आपके लिए काफ़ी अच्छा स्कोर करती है, तो यह एक अच्छा नतीजा है — इसका इस्तेमाल करें और अपने पैसे बचाएँ।
यहाँ से आगे कहाँ जाएँ
आपके फ़ीड के सबसे ऊपर वाला वॉइस टाइपिंग शब्दावली खरीदारी के दौरान आपके सामने आने वाली बाकी शब्दावली को समझाती है। यह Dragon तुलना प्रोडक्ट-स्तर के अंतर को कवर करती है, और यह गोपनीयता मार्गदर्शिका बताती है कि लोकल बनाम क्लाउड टूल में आपका ऑडियो कहाँ जाता है।