Whisper Hallucinations ବୁଝିବା: ଟ୍ରାନ୍ସକ୍ରିପସନ୍ ସଠିକତା ବୃଦ୍ଧି କରିବା ପାଇଁ ଏକ ମାର୍ଗଦର୍ଶିକା

OpenAI ର automatic speech recognition (ASR) ମଡେଲ Whisper, ନିକଟରେ ବେଶ ଚର୍ଚ୍ଚାରେ ରହିଛି। ସମ୍ପ୍ରତି, ଜଣେ ଉପଭୋକ୍ତା ଏକ ଅନୁଭୂତି ସେୟାର କରିଛନ୍ତି ଯାହା ଏହି ପ୍ରଯୁକ୍ତିବିଦ୍ୟାର ଏକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ସମସ୍ୟାକୁ ସାମ୍ନାକୁ ଆଣୁଛି। ସେମାନେ ଏପରି ମତାମତ ପାଇଥିଲେ ଯେଉଁଥିରେ ସେମାନେ "Thanks for watching" କହିଥିବା ଦର୍ଶାଯାଇଥିଲା, ଯାହା ସେମାନେ ପ୍ରକୃତରେ କେବେ କହି ନ ଥିଲେ। ଏହି ବିଭ୍ରାଟ Whisper hallucinations ଭାବରେ ଜଣାଶୁଣା ସମସ୍ୟାର ଏକ ଫଳାଫଳ, ଯେଉଁଠାରେ ଅଡିଓ ରେକର୍ଡିଂର ନୀରବ ମୁହୂର୍ତ୍ତଗୁଡ଼ିକରେ ମଡେଲଟି ଟେକ୍ସଟ୍ ପ୍ରସ୍ତୁତ କରିଥାଏ।

Whisper Hallucinations କ'ଣ?

Whisper hallucinations ସେତେବେଳେ ଘଟିଥାଏ ଯେତେବେଳେ ମଡେଲଟି ତା'ର ଟ୍ରେନିଂ ଡାଟାରୁ ଶିଖିଥିବା ବାକ୍ୟାଂଶଗୁଡ଼ିକ ଦ୍ୱାରା ନୀରବତାକୁ ପୂରଣ କରିଦିଏ। ଏହି କ୍ଷେତ୍ରରେ, ଉପଭୋକ୍ତା ନିଜର ପ୍ରତିକ୍ରିୟା ବନ୍ଦ କରିବା ପୂର୍ବରୁ ପ୍ରାୟ ଚାରି ସେକେଣ୍ଡ ପାଇଁ ଅଟକି ଯାଇଥିଲେ। ତଥାପି Whisper ସେହି ନୀରବତାକୁ ଟେକ୍ସଟ୍ ପ୍ରସ୍ତୁତ କରିବାର ଏକ ସୁଯୋଗ ଭାବରେ ବ୍ୟାଖ୍ୟା କରିଥିଲା, ଯାହା ଫଳରେ ଭୁଲ୍ ମତାମତ ମିଳିଥିଲା।

୨,୦୦୦ ଭଏସ୍ କ୍ଲିପ୍‌ର ଏକ ବିଶ୍ଳେଷଣରେ ଦେଖିବାକୁ ମିଳିଥିଲା ଯେ ୯.୨% ରେ hallucinated ଟେକ୍ସଟ୍ ରହିଥିଲା। ଏହାର ଅର୍ଥ ହେଉଛି ପ୍ରାୟ ପ୍ରତି ଏଗାରଟି କ୍ଲିପ୍‌ରୁ ଗୋଟିଏରେ ଏପରି ବାକ୍ୟାଂଶ ଥିଲା ଯାହା ପ୍ରକୃତରେ କୁହାଯାଇ ନ ଥିଲା। ତିନି ସେକେଣ୍ଡରୁ ଅଧିକ trailing silence ଥିବା କ୍ଲିପ୍‌ଗୁଡ଼ିକରେ ଏହି ସମସ୍ୟା ବିଶେଷ ଭାବରେ ଦେଖାଯାଇଥିଲା, ଯେଉଁଠାରେ hallucination ହାର ୨୩% କୁ ବୃଦ୍ଧି ପାଇଥିଲା।

ଏହି Hallucinations କାହିଁକି ଘଟେ?

ଏହାର ଅନ୍ତର୍ନିହିତ ପ୍ରଣାଳୀ Whisper ର decoder କିପରି କାର୍ଯ୍ୟ କରେ ତାହା ସହିତ ଜଡ଼ିତ। ଏହାକୁ ବିପୁଳ ପରିମାଣର ୱେବ୍ ଅଡିଓ ଡାଟା ଉପରେ ଟ୍ରେନ୍ କରାଯାଇଥିଲା, ଯେଉଁଠାରେ ଭିଡିଓ outro ଭଳି ଶାନ୍ତ ମୁହୂର୍ତ୍ତଗୁଡ଼ିକରେ "Thanks for watching" ଭଳି ବାକ୍ୟାଂଶ ସାଧାରଣ ଅଟେ। ଯେତେବେଳେ ମଡେଲଟି ନୀରବତାର ସମ୍ମୁଖୀନ ହୁଏ, ଏହା ଡିଫଲ୍ଟ ଭାବରେ ଏହି ପରିଚିତ ବାକ୍ୟାଂଶଗୁଡ଼ିକୁ ପ୍ରସ୍ତୁତ କରିବା ଆରମ୍ଭ କରେ, ଯାହା ଭୁଲ୍ ସୃଷ୍ଟି କରେ।

ମଡେଲଟି ୩୦-ସେକେଣ୍ଡ ୱିଣ୍ଡୋରେ କାର୍ଯ୍ୟ କରେ, ଅର୍ଥାତ୍ ଏହା ଅଡିଓରେ ପ୍ୟାଟର୍ନ ଖୋଜେ। ଯେତେବେଳେ ଏହା ଦୀର୍ଘ ନୀରବତା ପାଏ, ଏହା ପ୍ରସଙ୍ଗ ସହିତ ଖାପ ଖାଉଥିବା ଟେକ୍ସଟ୍ ପ୍ରସ୍ତୁତ କରିପାରେ, ଯଦିଓ ଏହା ସଠିକ୍ ନୁହେଁ। ଅଧିକାଂଶ ସମୟରେ, ଏହା କିଛି ପ୍ରଦାନ କରେ ନାହିଁ କିମ୍ବା ଏକ no-speech ଟୋକନ୍ ପ୍ରଦାନ କରେ, କିନ୍ତୁ ବେଳେବେଳେ ଏହା ଆତ୍ମବିଶ୍ୱାସର ସହିତ ଏପରି ଏକ ବାକ୍ୟାଂଶ ସୃଷ୍ଟି କରେ ଯାହା ଯୁକ୍ତିଯୁକ୍ତ ମନେହୁଏ।

Built-in Thresholds ର ସୀମାବଦ୍ଧତା

କେହି ହୁଏତ ଭାବିପାରନ୍ତି ଯେ no_speech_threshold ପାରାମିଟର ନୀରବତା ଚିହ୍ନଟ କରିବାରେ ଏବଂ hallucinations ରୋକିବାରେ ସାହାଯ୍ୟ କରିପାରେ। ତଥାପି, ଏହା ସବୁବେଳେ ପ୍ରଭାବଶାଳୀ ହୁଏ ନାହିଁ। ନୀରବତା ବିଷୟରେ ନିଶ୍ଚିତ ନ ଥିଲେ ମଧ୍ୟ ମଡେଲଟି ଟେକ୍ସଟ୍ ପ୍ରସ୍ତୁତ କରିପାରେ। ବାସ୍ତବରେ, ବିଶ୍ଳେଷଣରୁ ଜଣାପଡ଼ିଛି ଯେ ଏକ ଉଚ୍ଚ no-speech ସମ୍ଭାବ୍ୟତା ସତ୍ତ୍ୱେ ଅନେକ hallucinations ଘଟିଥିଲା।

ଏହି ସମସ୍ୟାର ସମାଧାନ କିପରି କରିବେ

Hallucination ସମସ୍ୟାର ମୁକାବିଲା କରିବା ପାଇଁ, କିଛି ସଂଶୋଧନ କରାଯାଇପାରିବ। ମୁଖ୍ୟ କଥା ହେଉଛି ମଡେଲକୁ ନୀରବତା ପଠାଇବା ସମ୍ପୂର୍ଣ୍ଣ ବନ୍ଦ କରିବା। Silero VAD (Voice Activity Detection) ନାମକ ଏକ ବିଲ୍ଟ-ଇନ୍ ଫିଲ୍ଟର୍ ଡିକୋଡିଂ ପୂର୍ବରୁ non-speech ଅଞ୍ଚଳଗୁଡ଼ିକୁ ବାଦ୍ ଦେବାରେ ସାହାଯ୍ୟ କରିପାରିବ। ଏଠାରେ ଏକ ସରଳ କନଫିଗୁରେସନ୍ ଦିଆଗଲା ଯାହା ବ୍ୟବହାର କରାଯାଇପାରିବ:

from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")

def transcribe_answer(path: str) -> str:
    segments, _ = model.transcribe(
        path,
        vad_filter=True,
        vad_parameters=dict(min_silence_duration_ms=500),
        condition_on_previous_text=False,
    )
    kept = []
    for seg in segments:
        if seg.no_speech_prob > 0.5:
            continue  # Skip confident ghosts
        kept.append(seg.text.strip())
    return " ".join(kept)

ଏହି କନଫିଗୁରେସନ୍ ପ୍ରକୃତ ବକ୍ତବ୍ୟକୁ କ୍ୟାପଚର୍ କରିବା ସହିତ hallucinations ର ସଂଖ୍ୟାକୁ ଯଥେଷ୍ଟ ହ୍ରାସ କରିପାରିବ।

ନିଷ୍କର୍ଷ

ସଠିକ୍ ଟ୍ରାନ୍ସକ୍ରିପସନ୍ ଉପରେ ନିର୍ଭର କରୁଥିବା ଉପଭୋକ୍ତାମାନଙ୍କ ପାଇଁ Whisper ର hallucination ସମସ୍ୟା ଏକ ଉଲ୍ଲେଖନୀୟ ଚ୍ୟାଲେଞ୍ଜ। ଏହି hallucinations କିପରି ଘଟେ ତାହା ବୁଝିବା ଏବଂ ଏହାକୁ ହ୍ରାସ କରିବା ପାଇଁ ରଣନୀତି ପ୍ରୟୋଗ କରିବା ଦ୍ୱାରା, ଆମେ automatic speech recognition ସିଷ୍ଟମ୍‌ଗୁଡ଼ିକର ବିଶ୍ୱସନୀୟତାକୁ ଉନ୍ନତ କରିପାରିବା।

ସୁବିଧାଗୁଡ଼ିକ

• Hallucinations ହ୍ରାସ କରି ଟ୍ରାନ୍ସକ୍ରିପସନ୍‌ରେ ଉନ୍ନତ ସଠିକତା।
• Speech recognition ଉପରେ ନିର୍ଭରଶୀଳ ଆପ୍ଲିକେସନ୍‌ଗୁଡ଼ିକରେ ଉନ୍ନତ ଉପଭୋକ୍ତା ଅନୁଭୂତି।
• ASR ମଡେଲଗୁଡ଼ିକର ସୀମାବଦ୍ଧତା ବିଷୟରେ ଉତ୍ତମ ବୁଝାମଣା।

ଅସୁବିଧାଗୁଡ଼ିକ

• ସମାଧାନ କାର୍ଯ୍ୟକାରୀ କରିବା ପାଇଁ ବୈଷୟିକ ଜ୍ଞାନ ଆବଶ୍ୟକ।
• ଅତ୍ୟନ୍ତ ଶାନ୍ତ ଅଡିଓରେ ତଥାପି କିଛି ସୀମାବଦ୍ଧତାର ସମ୍ମୁଖୀନ ହୋଇପାରେ।
• ଯଦି ସତର୍କତାର ସହିତ କନଫିଗର୍ ନ କରାଯାଏ, ତେବେ ସଂଶୋଧନଗୁଡ଼ିକ କିଛି ପ୍ରକୃତ ବକ୍ତବ୍ୟ ନଷ୍ଟ କରିପାରେ।

ସତର୍କତା

ଏହି ଆର୍ଟିକିଲ୍‌ଟି ଶିକ୍ଷଣୀୟ ଉଦ୍ଦେଶ୍ୟରେ ଉଦ୍ଦିଷ୍ଟ। ବ୍ୟବହାରିକ ଉପଯୋଗ ପାଇଁ କୋଡ୍ ଉଦାହରଣଗୁଡ଼ିକରେ ଥିବା ଯେକୌଣସି ପ୍ଲେସହୋଲ୍ଡର୍ ମୂଲ୍ୟକୁ ପ୍ରକୃତ ଡାଟା ସହିତ ବଦଳାଇବା ଆବଶ୍ୟକ। ପାଠକମାନେ ଏହା ଉପରେ ନିର୍ଭର କରିବା ପୂର୍ବରୁ ମୂଳ ଉତ୍ସ ସହିତ ଦାବିଗୁଡ଼ିକୁ ଯାଞ୍ଚ କରିବା ଉଚିତ୍।

ବାରମ୍ବାର ପଚରାଯାଉଥିବା ପ୍ରଶ୍ନଗୁଡ଼ିକ

• Whisper hallucinations କ'ଣ? — ଏଗୁଡ଼ିକ ହେଉଛି ଏପରି ଘଟଣା ଯେଉଁଠାରେ Whisper ମଡେଲ ଅଡିଓ ରେକର୍ଡିଂର ନୀରବ ମୁହୂର୍ତ୍ତଗୁଡ଼ିକରେ ଟେକ୍ସଟ୍ ପ୍ରସ୍ତୁତ କରିଥାଏ।
• ଏହି hallucinations କେତେ ଥର ଘଟିଥାଏ? — ଏକ ସାମ୍ପ୍ରତିକ ବିଶ୍ଳେଷଣରେ, ୯.୨% ଅଡିଓ କ୍ଲିପ୍ hallucinated ଟେକ୍ସଟ୍ ପ୍ରଦର୍ଶନ କରିଥିଲା।
• ଏହି hallucinations ର କାରଣ କ'ଣ? — ଏଗୁଡ଼ିକ ଏଥିପାଇଁ ଘଟେ କାରଣ ମଡେଲଟି ଟ୍ରେନିଂ ସମୟରେ ଶିଖିଥିବା ସାଧାରଣ ବାକ୍ୟାଂଶଗୁଡ଼ିକ ଦ୍ୱାରା ନୀରବତାକୁ ପୂରଣ କରିଦିଏ।
• Hallucination ସମସ୍ୟାର ସମାଧାନ କରାଯାଇପାରିବ କି? — ହଁ, ପ୍ରକ୍ରିୟାକରଣ ପୂର୍ବରୁ ନୀରବତା ଦୂର କରିବା ପାଇଁ Voice Activity Detection ଫିଲ୍ଟର୍ ବ୍ୟବହାର କରି।
• no_speech_threshold କ'ଣ? — ଏହା ନୀରବତା ଚିହ୍ନଟ କରିବା ପାଇଁ ଉଦ୍ଦିଷ୍ଟ ଏକ ପାରାମିଟର, କିନ୍ତୁ ଏହା hallucinations କୁ ପ୍ରଭାବଶାଳୀ ଭାବରେ ରୋକି ନ ପାରେ।
• ମୁଁ କିପରି ଟ୍ରାନ୍ସକ୍ରିପସନ୍ ସଠିକତା ଉନ୍ନତ କରିପାରିବି? — ଫିଲ୍ଟର୍ ପ୍ରୟୋଗ କରିବା ଏବଂ ମଡେଲ୍ କନଫିଗୁରେସନ୍ ସଜାଡ଼ିବା ଦ୍ୱାରା ତ୍ରୁଟି ହ୍ରାସ କରିବାରେ ସାହାଯ୍ୟ ମିଳିପାରେ।

ଟ୍ୟାଗ୍‌ଗୁଡ଼ିକ

#ai #machinelearning #whisper #speechrecognition #hallucinations #transcription #technology #OpenAI #ASR #VAD