Dikte yazılımlarını karşılaştırıyorsanız, muhtemelen bir avuç yüzde toplamışsınızdır — %99, %97, %95 — ve bunların seçim yapmanıza yardımcı olmadığını fark etmişsinizdir. Bunun sebebi rakamların dürüst olmaması değildir. Sebep, tek bir doğruluk rakamının sizin sorduğunuzdan farklı bir soruyu yanıtlamasıdır.

Sizin bilmek istediğiniz şey şudur: bu, kendi masamda, kendi mikrofonumla beni ne kadar iyi anlayacak? Yayımlanan bir doğruluk rakamının yanıtladığı soru ise şudur: bu motor, hiçbirimizin duymadığı belirli bir kayıt kümesini ne kadar iyi yazıya döktü? Bu iki sorunun cevapları oldukça farklı olabilir.

Bu sayfa, ölçümün nasıl çalıştığını açıklar; böylece hakkımızda gördüğünüz rakamlar dahil, herhangi bir satıcının rakamını okuyup neye değdiğini anlayabilirsiniz.

Sade dille sözcük hata oranı

Konuşma tanıma doğruluğu genellikle şu şekilde raporlanır: sözcük hata oranı, genellikle WER olarak yazılır. Bu, yanlış çıkan sözcüklerin oranıdır. Düşük olması daha iyidir ve "%95 doğru" ifadesi, "%5 WER" yazmanın başka bir yoludur.

Neyin yanlış sayıldığı, çoğu kişinin beklediğinden daha belirgindir. Üç tür hata vardır ve bunlar toplanır:

  • Değiştirmeler — bir sözcük başka bir sözcükle karıştırılıp yazılır. Siz "their" dediniz, yazılım "there" yazdı.
  • Silmeler — söylediğiniz bir sözcük metinde eksik kalır.
  • Eklemeler — hiç söylemediğiniz bir sözcük belirir. Arka plandaki konuşmalar ve nefes sesleri bunlara yol açar.

Üçünü toplayın ve gerçekte söylediğiniz sözcük sayısına bölün. Diyelim ki 100 sözcüklük bir paragraf dikte ettiniz ve metinde dört yanlış sözcük, bir eksik sözcük ve bir fazladan sözcük var: bu, 100 sözcükte altı hata, yani %6 WER ya da "%94 doğruluk" demektir.

Bilinmeye değer bir sonuç var, çünkü kafa karıştırıcı pazarlamaların çoğunu açıklıyor: WER, %100'ü aşabilir. Yazılım söylediğinizden daha fazla sözcük eklerse — gürültülü bir odada bu olabilir — hata sayısı sözcük sayısından fazla olabilir. 100'ün üzerine çıkamayan bir rakam, sözcük hata oranı değildir.

Aynı yazılım neden iki kişiye farklı sonuçlar veriyor

Motor, doğruluğunuzu belirleyen etkenlerden yalnızca biridir ve çoğu zaman en önemlisi de değildir. Gerisi sizin durumunuzla ilgilidir:

  • Mikrofonunuz ve onun nerede durduğu. Bu genellikle tek başına en büyük etkendir ve düzeltmesi en ucuz olanıdır. Ağzınızdan birkaç santimetre uzaktaki bir kulaklık mikrofonu, masanın diğer ucundaki bir dizüstü bilgisayar mikrofonundan oldukça farklı bir şey duyar.
  • Oda. Arka planda bir televizyon, bir vantilatör, açık bir pencere, yankı yapan sert yüzeyli bir oda. Bunların hepsi, sesinizle birlikte tanıma sistemine ulaşır.
  • Ne dikte ettiğiniz. Günlük konuşma dili kolay durumdur. İsimler, tıbbi veya hukuki terminoloji, parça numaraları, adresler ve kısaltmalar çok daha zordur; çünkü yazılım birbirine benzer sesler çıkaran sözcükler arasında seçim yapmaktadır.
  • Nasıl konuştuğunuz. Aksan, konuşma hızı, ses tonu, cümleleri birbirine bağlayıp bağlamadığınız, sesinizin sonlara doğru kısılıp kısılmadığı. Bunların hiçbiri bir kusur değildir — bunlar sadece motorun ya idare edebildiği ya da edemediği çeşitliliklerdir.
  • Hangi modeli çalıştırdığınız. Cihaz üzerinde çalışan yazılımların çoğu, farklı boyutlarda birkaç model ile birlikte gelir. Eski bir dizüstü bilgisayarda rahatça çalışan küçük bir model, hızlı bir makinedeki büyük bir modele göre genellikle daha fazla hata yapar.

Aynı yazılımı, aynı ayarlarla çalıştıran iki kişi bile, yalnızca bunlar yüzünden birkaç puan farkla sonuçlanabilir. Yayımlanan hiçbir rakam, bu farkı sizin için kapatamaz.

Bir kıyaslama rakamının gerçekte ölçtüğü şey

Yayımlanan sözcük hata oranları, standart araştırma veri kümelerinden gelir — doğrulanmış metinlere sahip, sabit kayıt koleksiyonları; böylece farklı sistemler aynı materyale göre puanlanabilir. Bu, yazılımı geliştiren kişiler için gerçekten yararlıdır: bu ayki modelin geçen aykinden daha iyi olup olmadığını böyle anlarsınız.

Bir alışveriş rehberi olarak ise çok daha az yararlıdır, üç sebeple:

  • Kayıtlar siz değilsiniz. Kıyaslama seslerinin kendi aksanları, kendi mikrofonları ve kendi konuları vardır; bunların hiçbiri size ait değildir.
  • Farklı satıcılar farklı testleri raporlar. İki farklı veri kümesinde ölçülen iki rakam, ikisi de dürüstçe raporlanmış olsa bile karşılaştırılabilir değildir. Sesli kitap gibi okunarak yapılan konuşma ile doğal bir sohbet, aynı motordan çok farklı skorlar üretir.
  • Koşullar genellikle belirtilmez. Veri kümesi, mikrofon ve konuşma tarzı belirtilmeden verilen bir rakam, kontrol edebileceğiniz bir iddia değildir.

Bir rakam gördüğünüzde sorulması gereken faydalı soru "yüksek mi?" değil, "neye göre ölçüldü?"dür. Bu belirtilmemişse, rakam yalnızca süstür.

İki farklı tasarım felsefesi

Tanımaya yönelik eski ve yeni yaklaşımlar arasında gerçek bir teknik fark vardır ve bunu anlamaya değer, çünkü bu fark belirli bir ürün için "doğruluğun" ne anlama geldiğini bile değiştirir.

Eğitilmiş profiller. Geleneksel masaüstü yaklaşımı, sizin kendi sesinize ve sözcük dağarcığınıza özgü bir profil oluşturur. Başta zaman ayırırsınız ve ona öğretmeye devam edebilirsiniz — kendi terminolojinizi, meslektaşlarınızın isimlerini, mesleğinizin kullandığı sözcükleri ekleyerek. Dragon, bu şekilde kurulmuş en bilinen üründür ve Nuance'ın kendi materyalleri %99'a varan tanıma doğruluğu iddia eder. Bunun karşılığı, kurulum süresi ve profili sürdürmenin size ait olmasıdır.

Genel modeller. Daha yeni yaklaşım, tek bir büyük modeli çok geniş bir konuşma yelpazesi üzerinde bir kez eğitir ve aynı modeli herkese gönderir. OpenAI'nin Whisper modelleri en bilinen açık örnektir; orijinal Whisper makalesi yaklaşık 680.000 saatlik ses üzerinde eğitim yapıldığını anlatır. Bir kayıt aşaması yoktur — kurar ve konuşmaya başlarsınız — ancak aynı şekilde ona sesinizi öğretmenin de bir yolu yoktur. İlk gün elde ettiğiniz şey, yazılımın modelin etrafına eklediği kişisel bir sözcük listesi gibi unsurlar dışında, sonrasında elde ettiğinizle büyük ölçüde aynıdır.

Bu yaklaşımlardan hiçbiri sadece daha iyi değildir. Gün boyunca uzmanlık gerektiren bir sözcük dağarcığı dikte ediyorsanız, yazılımı eğitebilmek gerçek anlamda para eder. Bir şeyi kurup bu öğleden sonra kullanmak istiyorsanız, bir kayıt oturumu faydasız bir maliyettir. Hangisinin size uyduğunu bir yüzde size söyleyemez.

Kendi sesinizle on dakikada test edin

Sorunuzu yanıtlayan tek kıyaslama budur ve denemesi olan herhangi bir dikte aracında kolayca yapılabilir — bilgisayarınızda zaten bulunan ücretsiz araçlar dahil.

  • Önce kısa bir metin yazın — 150 ila 200 sözcük. Örnek bir paragraf değil, kendi yazınızı kullanın: e-posta üslubunuz, konularınız, gerçekten yazdığınız isimler.
  • Onu sesli olarak yazılıma okuyun normalde konuştuğunuz şekilde, normalde oturduğunuz yerde oturarak.
  • İkisini yan yana karşılaştırın ve değiştirmeleri, silmeleri ve eklemeleri sayın. Sözcük sayınıza bölün.
  • Bir kez de kulaklık mikrofonuyla tekrarlayın ilk denemeyi yerleşik bir mikrofonla yaptıysanız. Bu tek değişiklik, çoğu zaman ürün değiştirmekten daha değerlidir.
  • Ardından gerçekçi bir deneme yapın. Önceden yazılmamış bir şeyi dikte edin — gerçek bir e-posta — çünkü bir sayfadan konuşmak, kafanızdan konuşmaktan daha kolaydır ve birlikte yaşayacağınız rakam ikinci rakamdır.

Aynı metni iki veya üç araçtan geçirin ve hiçbir incelemenin size veremeyeceği bir şeye sahip olursunuz: kendi sesinize, mikrofonunuza ve odanıza göre bir karşılaştırma. Bir araç ödemeden önce denenemiyorsa, bu da tartılmaya değer bir husustur.

Sonucu yorumlamak

Birkaç puanlık WER farkı, hataların nerede ortaya çıktığından daha az önemlidir. Ara sıra kısa bir sözcüğü kaçıran ama her ismi doğru yazan bir yazılım, daha iyi bir skora sahip olup meslektaşlarınızın isimlerini bozan bir yazılımdan kullanımı daha keyifli olur. Yanlış bir sözcüğü düzeltmek bir an alır; fark etmek ise dikkat gerektirir.

O yüzden rakamı değil, çıkan metni değerlendirin. Ortaya çıkanı okuyun, ne kadar düzeltme gerektirdiğini sorun ve bunun yazmaktan daha az iş olup olmadığını sorun. Bütün soru budur.

CaringDictate'in konumu

Bir doğruluk yüzdesi yayımlamıyoruz. Bir tane üretebilirdik — herkes üretebilir — ama bu, sizin sesiniz olmayan kayıtlar üzerinden ölçülür ve bunu deneyiminizin bir tahmini gibi sunmak yanıltıcı olurdu.

CaringDictate, kendi bilgisayarınızda çalışan açık konuşma tanıma modelleri kullanır ve sahip olduğunuz makineye uyması için birkaç farklı model boyutuyla birlikte gelir. Ücretsiz yedi günlük bir deneme vardır ve bu, tam da bu sorunun bizim pazarlamamız yerine kendi sesinizle çözülmesi için var. Yukarıdaki testi yaptığınızda Windows'a zaten yerleşik ücretsiz sesle yazma yeterince iyi sonuç veriyorsa, bu iyi bir sonuçtur — onu kullanın ve paranızı saklayın.

Buradan nereye gidilir

Akışınızın üst kısmındaki sesle yazma sözlüğü alışveriş yaparken karşılaşacağınız diğer terimleri açıklar. Dragon karşılaştırması ürün düzeyindeki farkları ele alır ve gizlilik rehberimizi yerel ile bulut tabanlı araçlarda sesinizin nereye gittiğini ele alır.