Whisper மாயத்தோற்றங்களைப் புரிந்துகொள்ளுதல்: டிரான்ஸ்கிரிப்ஷன் துல்லியத்தை மேம்படுத்துவதற்கான ஒரு வழிகாட்டி

OpenAI-ன் தானியங்கி பேச்சு அறிதல் (ASR) மாடலான Whisper, சமீபகாலமாக பெரும் வரவேற்பைப் பெற்று வருகிறது. சமீபத்தில், ஒரு பயனர் இந்தத் தொழில்நுட்பத்தில் உள்ள ஒரு குறிப்பிடத்தக்க சிக்கலை வெளிப்படுத்தும் அனுபவத்தைப் பகிர்ந்துகொண்டார். அவர்கள் உண்மையில் சொல்லவே இல்லாத "Thanks for watching," என்ற வாசகத்தைக் கூறியதாகக் காட்டும் பின்னூட்டத்தைப் பெற்றனர். இந்த முரண்பாடானது Whisper மாயத்தோற்றங்கள் என்று அழைக்கப்படுவதன் விளைவாகும்; இதில் ஆடியோ பதிவுகளில் உள்ள அமைதியான தருணங்களின் போது மாடல் உரையை உருவாக்குகிறது.

Whisper மாயத்தோற்றங்கள் என்றால் என்ன?

மாடல் தனது பயிற்சித் தரவிலிருந்து கற்றுக்கொண்ட சொற்றொடர்களைக் கொண்டு அமைதியை நிரப்பும்போது Whisper மாயத்தோற்றங்கள் ஏற்படுகின்றன. இந்த நிகழ்வில், பயனர் தனது பதிலை நிறுத்துவதற்கு முன் சுமார் நான்கு வினாடிகள் இடைநிறுத்தம் செய்தார். இருப்பினும், Whisper அந்த அமைதியை உரையை உருவாக்குவதற்கான ஒரு வாய்ப்பாக எடுத்துக்கொண்டது, இதன் விளைவாகத் துல்லியமற்ற பின்னூட்டம் கிடைத்தது.

2,000 குரல் பதிவுகளை ஆய்வு செய்ததில், 9.2% பதிவுகளில் மாயத்தோற்ற உரை இருப்பது கண்டறியப்பட்டது. இதன் பொருள் என்னவென்றால், கிட்டத்தட்ட பதினோரு கிளிப்களில் ஒன்றில் உண்மையில் பேசப்படாத சொற்றொடர்கள் இருந்தன. மூன்று வினாடிகளுக்கு மேல் முடிவு அமைதி உள்ள கிளிப்களில் இந்தச் சிக்கல் குறிப்பாக அதிகமாகக் காணப்பட்டது; அங்கு மாயத்தோற்ற விகிதம் 23% ஆக உயர்ந்தது.

இந்த மாயத்தோற்றங்கள் ஏன் ஏற்படுகின்றன?

இதன் பின்னணியில் உள்ள செயல்முறை Whisper-ன் டீகோடர் எவ்வாறு செயல்படுகிறது என்பதோடு தொடர்புடையது. இது இணையத்தின் பெருமளவிலான ஆடியோ தரவுகளில் பயிற்றுவிக்கப்பட்டது; அங்கு வீடியோவின் முடிவுப் பகுதிகள் போன்ற அமைதியான தருணங்களில் "Thanks for watching" போன்ற சொற்றொடர்கள் பொதுவாகக் காணப்படுகின்றன. மாடல் அமைதியை எதிர்கொள்ளும்போது, அது இயல்பாகவே இந்த நன்கு பரிச்சயமான சொற்றொடர்களை உருவாக்குகிறது, இது துல்லியமின்மைக்கு வழிவகுக்கிறது.

இந்த மாடல் 30 வினாடி சாளரங்களில் செயல்படுகிறது, அதாவது இது ஆடியோவில் உள்ள வடிவங்களைத் தேடுகிறது. தொடர்ச்சியான அமைதியைக் காணும்போது, அது சூழலுக்குப் பொருந்தக்கூடிய உரையை உருவாக்கக்கூடும், அது துல்லியமாக இல்லாவிட்டாலும் கூட. பெரும்பாலான நேரங்களில், இது எதையும் வெளியிடுவதில்லை அல்லது no-speech டோக்கனை வெளியிடுகிறது, ஆனால் சில சமயங்களில் நம்பத்தகுந்ததாகத் தோன்றும் ஒரு சொற்றொடரை நம்பிக்கையுடன் உருவாக்குகிறது.

உள்ளமைக்கப்பட்ட வரம்புகளின் (Built-in Thresholds) குறைபாடுகள்

ஒருவர் நினைக்கலாம், இந்த no_speech_threshold அளவுரு அமைதியைக் கண்டறிவதற்கும் மாயத்தோற்றங்களைத் தடுப்பதற்கும் உதவக்கூடும் என்று. இருப்பினும், இது எப்போதும் பலனளிப்பதில்லை. அமைதியைப் பற்றி மாடல் உறுதியாக இல்லாதபோதும் கூட அதனால் உரையை உருவாக்க முடியும். உண்மையில், அதிக no-speech நிகழ்தகவு இருந்தபோதிலும் பல மாயத்தோற்றங்கள் நிகழ்ந்ததாக அந்தப் பகுப்பாய்வு காட்டியது.

இந்தச் சிக்கலை எவ்வாறு சரிசெய்வது

மாயத்தோற்றப் பிரச்சனையைச் சமாளிக்க, சில மாற்றங்களைச் செய்யலாம். முக்கிய தீர்வு என்னவென்றால், மாடலுக்கு அமைதியை அனுப்புவதை முற்றிலும் நிறுத்துவதே ஆகும். Silero VAD (Voice Activity Detection) எனப்படும் உள்ளமைக்கப்பட்ட வடிகட்டி, டீகோடிங் செய்வதற்கு முன் பேச்சு இல்லாத பகுதிகளை நீக்க உதவும். இதோ பயன்படுத்தக்கூடிய ஒரு எளிய உள்ளமைவு:

from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")

def transcribe_answer(path: str) -> str:
    segments, _ = model.transcribe(
        path,
        vad_filter=True,
        vad_parameters=dict(min_silence_duration_ms=500),
        condition_on_previous_text=False,
    )
    kept = []
    for seg in segments:
        if seg.no_speech_prob > 0.5:
            continue  # Skip confident ghosts
        kept.append(seg.text.strip())
    return " ".join(kept)

இந்த உள்ளமைவு உண்மையான பேச்சைத் துல்லியமாகப் படம்பிடிக்கும் அதே வேளையில், மாயத்தோற்றங்களின் எண்ணிக்கையைக் கணிசமாகக் குறைக்கும்.

முடிவுரை

துல்லியமான டிரான்ஸ்கிரிப்ஷன்களை நம்பியிருக்கும் பயனர்களுக்கு Whisper-ன் மாயத்தோற்றச் சிக்கல் ஒரு குறிப்பிடத்தக்க சவாலாகும். இந்த மாயத்தோற்றங்கள் எவ்வாறு ஏற்படுகின்றன என்பதைப் புரிந்துகொண்டு, அவற்றைத் தணிப்பதற்கான உத்திகளைச் செயல்படுத்துவதன் மூலம், தானியங்கி பேச்சு அறிதல் அமைப்புகளின் நம்பகத்தன்மையை நாம் மேம்படுத்த முடியும்.

நன்மைகள்

• மாயத்தோற்றங்களைக் குறைப்பதன் மூலம் டிரான்ஸ்கிரிப்ஷன்களில் மேம்பட்ட துல்லியம்.
• பேச்சு அறிதலை நம்பியிருக்கும் பயன்பாடுகளில் மேம்பட்ட பயனர் அனுபவம்.
• ASR மாடல்களின் வரம்புகளைப் பற்றிய சிறந்த புரிதல்.

குறைபாடுகள்

• சரிசெய்தல்களைச் செயல்படுத்த தொழில்நுட்ப அறிவு தேவைப்படுகிறது.
• மிகவும் அமைதியான ஆடியோவில் இன்னும் சில வரம்புகளை எதிர்கொள்ளக்கூடும்.
• கவனமாக உள்ளமைக்கப்படாவிட்டால், இந்த மாற்றங்கள் சில உண்மையான பேச்சுகளை இழக்க வழிவகுக்கும்.

எச்சரிக்கை

இந்தக் கட்டுரை கல்வி நோக்கங்களுக்காக மட்டுமே வழங்கப்பட்டுள்ளது. குறியீட்டு எடுத்துக்காட்டுகளில் உள்ள பிளேஸ்ஹோல்டர் மதிப்புகள் நடைமுறை பயன்பாட்டிற்கு உண்மையான தரவுகளுடன் மாற்றப்பட வேண்டும். வாசகர்கள் இவற்றை நம்புவதற்கு முன் மூல ஆதாரத்துடன் தகவல்களைச் சரிபார்க்க வேண்டும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

• Whisper மாயத்தோற்றங்கள் என்றால் என்ன? — ஆடியோ பதிவுகளில் உள்ள அமைதியான தருணங்களின் போது Whisper மாடல் உரையை உருவாக்கும் நிகழ்வுகளே இவை.
• இந்த மாயத்தோற்றங்கள் எவ்வளவு அடிக்கடி நிகழ்கின்றன? — சமீபத்திய பகுப்பாய்வில், 9.2% ஆடியோ கிளிப்புகள் மாயத்தோற்ற உரையை வெளிப்படுத்தின.
• இந்த மாயத்தோற்றங்களுக்கு என்ன காரணம்? — பயிற்சியின் போது மாடல் கற்றுக்கொண்ட பொதுவான சொற்றொடர்களைக் கொண்டு அமைதியை நிரப்புவதால் இவை ஏற்படுகின்றன.
• மாயத்தோற்றச் சிக்கலைச் சரிசெய்ய முடியுமா? — ஆம், செயலாக்கத்திற்கு முன் அமைதியை நீக்க Voice Activity Detection வடிகட்டியைப் பயன்படுத்துவதன் மூலம் சரிசெய்யலாம்.
• no_speech_threshold என்றால் என்ன? — இது அமைதியைக் கண்டறிவதற்காக உருவாக்கப்பட்ட ஒரு அளவுரு ஆகும், ஆனால் இது மாயத்தோற்றங்களை திறம்படத் தடுக்காமல் போகலாம்.
• டிரான்ஸ்கிரிப்ஷன் துல்லியத்தை நான் எவ்வாறு மேம்படுத்துவது? — வடிகட்டிகளைச் செயல்படுத்துவதும் மாடல் உள்ளமைவுகளை மாற்றி அமைப்பதும் பிழைகளைக் குறைக்க உதவும்.

குறிச்சொற்கள்

#ai #machinelearning #whisper #speechrecognition #hallucinations #transcription #technology #OpenAI #ASR #VAD