Whisper हैलुसिनेशन को समझना: ट्रांसक्रिप्शन सटीकता में सुधार के लिए एक गाइड

Whisper, OpenAI का ऑटोमैटिक स्पीच रिकग्निशन (ASR) मॉडल, हाल ही में काफी चर्चा में रहा है। हाल ही में, एक यूज़र ने अपना एक अनुभव साझा किया जो इस तकनीक से जुड़ी एक महत्वपूर्ण समस्या को उजागर करता है। उन्हें ऐसा फ़ीडबैक मिला जिससे संकेत मिलता था कि उन्होंने कहा था, "Thanks for watching," जबकि वास्तव में उन्होंने ऐसा कभी नहीं कहा था। यह विसंगति Whisper हैलुसिनेशन का परिणाम है, जहाँ मॉडल ऑडियो रिकॉर्डिंग में शांत पलों के दौरान टेक्स्ट जनरेट कर देता है।

Whisper हैलुसिनेशन क्या हैं?

Whisper हैलुसिनेशन तब होते हैं जब मॉडल खामोशी को उन वाक्यांशों से भर देता है जो उसने अपने ट्रेनिंग डेटा से सीखे हैं। इस मामले में, यूज़र अपनी प्रतिक्रिया समाप्त करने से पहले लगभग चार सेकंड के लिए रुका था। हालाँकि, Whisper ने उस खामोशी को टेक्स्ट जनरेट करने के अवसर के रूप में लिया, जिसके परिणामस्वरूप गलत फ़ीडबैक मिला।

2,000 वॉयस क्लिप्स के एक विश्लेषण में, यह पाया गया कि 9.2% में हैलुसिनेटेड टेक्स्ट मौजूद था। इसका मतलब है कि लगभग ग्यारह में से एक क्लिप में ऐसे वाक्यांश थे जो वास्तव में बोले ही नहीं गए थे। यह समस्या विशेष रूप से उन क्लिप्स में अधिक स्पष्ट है जिनमें तीन सेकंड से अधिक की अंतिम खामोशी थी, जहाँ हैलुसिनेशन की दर बढ़कर 23% हो गई।

ये हैलुसिनेशन क्यों होते हैं?

इसका अंतर्निहित तंत्र इस बात से जुड़ा है कि Whisper का डिकोडर कैसे काम करता है। इसे वेब ऑडियो डेटा की एक विशाल मात्रा पर प्रशिक्षित किया गया था, जहाँ वीडियो आउट्रो जैसे शांत पलों के दौरान "Thanks for watching" जैसे वाक्यांश सामान्य होते हैं। जब मॉडल को खामोशी का सामना करना पड़ता है, तो वह डिफ़ॉल्ट रूप से इन परिचित वाक्यांशों को जनरेट करने लगता है, जिससे अशुद्धियाँ होती हैं।

यह मॉडल 30-सेकंड की विंडो पर काम करता है, जिसका अर्थ है कि यह ऑडियो में पैटर्न खोजता है। जब इसे लगातार खामोशी मिलती है, तो यह ऐसा टेक्स्ट बना सकता है जो संदर्भ के अनुकूल लगता हो, भले ही वह सटीक न हो। अधिकांश समय, यह कुछ भी नहीं या एक no-speech टोकन देता है, लेकिन कभी-कभी यह आत्मविश्वास से ऐसा वाक्यांश जनरेट कर देता है जो सुनने में उचित लगता है।

बिल्ट-इन थ्रेशोल्ड की सीमाएँ

कोई यह सोच सकता है कि no_speech_threshold पैरामीटर खामोशी का पता लगाने और हैलुसिनेशन को रोकने में मदद कर सकता है। हालाँकि, यह हमेशा प्रभावी नहीं होता है। मॉडल तब भी टेक्स्ट जनरेट कर सकता है जब वह खामोशी को लेकर आश्वस्त न हो। वास्तव में, विश्लेषण से पता चला कि उच्च no-speech संभावना के बावजूद कई हैलुसिनेशन हुए।

इस समस्या को कैसे ठीक करें

हैलुसिनेशन की समस्या से निपटने के लिए, कुछ समायोजन किए जा सकते हैं। मुख्य बात यह है कि मॉडल को खामोशी भेजना पूरी तरह से बंद कर दिया जाए। Silero VAD (Voice Activity Detection) नामक एक बिल्ट-इन फ़िल्टर डिकोडिंग से पहले नॉन-स्पीच हिस्सों को हटाने में मदद कर सकता है। यहाँ एक सरल कॉन्फ़िगरेशन दिया गया है जिसका उपयोग किया जा सकता है:

from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")

def transcribe_answer(path: str) -> str:
    segments, _ = model.transcribe(
        path,
        vad_filter=True,
        vad_parameters=dict(min_silence_duration_ms=500),
        condition_on_previous_text=False,
    )
    kept = []
    for seg in segments:
        if seg.no_speech_prob > 0.5:
            continue  # Skip confident ghosts
        kept.append(seg.text.strip())
    return " ".join(kept)

यह कॉन्फ़िगरेशन वास्तविक स्पीच को कैप्चर करते हुए हैलुसिनेशन की संख्या को काफी हद तक कम कर सकता है।

निष्कर्ष

सटीक ट्रांसक्रिप्शन पर निर्भर रहने वाले यूज़र्स के लिए Whisper की हैलुसिनेशन की समस्या एक उल्लेखनीय चुनौती है। यह समझकर कि ये हैलुसिनेशन कैसे होते हैं और इन्हें कम करने की रणनीतियों को लागू करके, हम ऑटोमैटिक स्पीच रिकग्निशन सिस्टम की विश्वसनीयता में सुधार कर सकते हैं।

लाभ

• हैलुसिनेशन को कम करके ट्रांसक्रिप्शन में बेहतर सटीकता।
• स्पीच रिकग्निशन पर निर्भर ऐप्लिकेशन्स में बेहतर यूज़र अनुभव।
• ASR मॉडल्स की सीमाओं की बेहतर समझ।

कमियाँ

• समाधान लागू करने के लिए तकनीकी ज्ञान की आवश्यकता होती है।
• बहुत शांत ऑडियो में अभी भी कुछ सीमाओं का सामना करना पड़ सकता है।
• यदि सावधानीपूर्वक कॉन्फ़िगर नहीं किया गया, तो समायोजन के कारण कुछ वास्तविक स्पीच छूट सकती है।

सावधानी

यह लेख शैक्षिक उद्देश्यों के लिए है। व्यावहारिक उपयोग के लिए कोड उदाहरणों में किसी भी प्लेसहोल्डर मान को वास्तविक डेटा से बदला जाना चाहिए। पाठकों को उन पर भरोसा करने से पहले मूल स्रोत से दावों की पुष्टि कर लेनी चाहिए।

अक्सर पूछे जाने वाले प्रश्न

• Whisper हैलुसिनेशन क्या हैं? — ये वे मामले हैं जहाँ Whisper मॉडल ऑडियो रिकॉर्डिंग में शांत पलों के दौरान टेक्स्ट जनरेट करता है।
• ये हैलुसिनेशन कितनी बार होते हैं? — हाल ही के एक विश्लेषण में, 9.2% ऑडियो क्लिप्स में हैलुसिनेटेड टेक्स्ट देखा गया।
• इन हैलुसिनेशन का क्या कारण है? — ये इसलिए होते हैं क्योंकि मॉडल खामोशी को उन सामान्य वाक्यांशों से भर देता है जो उसने ट्रेनिंग के दौरान सीखे थे।
• क्या हैलुसिनेशन की समस्या को ठीक किया जा सकता है? — हाँ, प्रोसेसिंग से पहले खामोशी को हटाने के लिए Voice Activity Detection फ़िल्टर का उपयोग करके।
• no_speech_threshold क्या है? — यह खामोशी का पता लगाने के उद्देश्य से बनाया गया एक पैरामीटर है, लेकिन यह हैलुसिनेशन को प्रभावी ढंग से रोकने में सक्षम नहीं हो सकता है।
• मैं ट्रांसक्रिप्शन सटीकता में सुधार कैसे कर सकता हूँ? — फ़िल्टर लागू करने और मॉडल कॉन्फ़िगरेशन को समायोजित करने से त्रुटियों को कम करने में मदद मिल सकती है।

टैग्स

#ai #machinelearning #whisper #speechrecognition #hallucinations #transcription #technology #OpenAI #ASR #VAD