ଏଆଇ (AI) ବିଚାରକମାନେ ସ୍ଥିର କିନ୍ତୁ ଭୁଲ—ଏହା କାହିଁକି ଏକ ସମସ୍ୟା ଅଟେ

ଏଆଇ (AI) ବିଚାରକ ସମସ୍ୟା

କଳ୍ପନା କରନ୍ତୁ ଜଣେ ଶିକ୍ଷକ ଯିଏ ସର୍ବଦା ସମାନ ଛାତ୍ରଙ୍କ କାର୍ଯ୍ୟକୁ ଗୁଣବତ୍ତା ନିର୍ବିଶେଷରେ ଏକ A ସହିତ ଚିହ୍ନିତ କରନ୍ତି। ପ୍ରତ୍ୟେକ ଥର ଆପଣ ତାଙ୍କୁ ସେହି ଛାତ୍ରଙ୍କ ପ୍ରବନ୍ଧ ଦେଖାନ୍ତି, ସେ ଏହାକୁ ଏକ A ଦିଅନ୍ତି। ସେ ସମ୍ପୂର୍ଣ୍ଣ ସ୍ଥିର—ନିର୍ଭରଯୋଗ୍ୟ, ମଧ୍ୟ। କିନ୍ତୁ ସେ ମଧ୍ୟ କ୍ରମାଗତ ଭାବରେ ଭୁଲ୍। ଏକ ବୃହତ୍ ନୂତନ ଅଡିଟ୍ ମୂଳତଃ ତାହା ହିଁ ପାଇଛି: ଅନ୍ୟ ଏଆଇ (AI) ସିଷ୍ଟମ୍ଗୁଡ଼ିକୁ ବିଚାର କରିବାକୁ ଆମେ ବ୍ୟବହାର କରୁଥିବା ଏଆଇ ସିଷ୍ଟମ୍ଗୁଡ଼ିକ ନିର୍ଭରଯୋଗ୍ୟ କିନ୍ତୁ ବୈଧ ନୁହଁନ୍ତି। ସେମାନେ ବାରମ୍ବାର ସମାନ ଉତ୍ତର ଦିଅନ୍ତି, କିନ୍ତୁ ସେହି ଉତ୍ତରଗୁଡ଼ିକ ବାସ୍ତବତା ସହିତ ମେଳ ଖାଉନାହିଁ।

ଜୁଲାଇ ୨୦୨୬ ରେ, ଏହି ପାର୍ଥକ୍ୟ ପୂର୍ବ ଅପେକ୍ଷା ଅଧିକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ଅଟେ। ଆମେ ବହୁ ପରିମାଣରେ ଏଆଇ (AI) ର ମୂଲ୍ୟାୟନ କରିବା ପାଇଁ ଏଆଇ ବ୍ୟବହାର କରିବା ଆରମ୍ଭ କରିଛୁ। କେଉଁ ଏଆଇ ସିଷ୍ଟମ୍ଗୁଡ଼ିକ ଭଲ, କେଉଁଟି ନିୟୋଜିତ ହେବା ଉଚିତ୍ ଏବଂ କାହାକୁ ପାଣ୍ଠି ଯୋଗାଇବା ଉଚିତ୍, ତାହା ଆମକୁ କହିବାକୁ ଆମେ ଏହି ସ୍ୱୟଂଚାଳିତ ବିଚାରକମାନଙ୍କୁ ବିଶ୍ୱାସ କରୁ। କିନ୍ତୁ ଯଦି ସେହି ବିଚାରକମାନେ ମୌଳିକ ଭାବରେ ଭାଙ୍ଗି ଯାଇଛନ୍ତି, ତେବେ ଆମେ ଖରାପ ସୂଚନା ଉପରେ ନିଷ୍ପତ୍ତି ନେଉଛୁ।

ଏଆଇ (AI) ବିଚାରକମାନେ କିଏ?

ଏଠାରେ ସେଟଅପ୍ ଅଛି: ଆପଣ ଏକ ନୂତନ ଏଆଇ (AI) ମଡେଲ୍ ନିର୍ମାଣ କରନ୍ତି, ଏବଂ ଆପଣ ଜାଣିବାକୁ ଚାହାଁନ୍ତି ଯେ ଏହା ପ୍ରକୃତରେ ଭଲ କି ନୁହେଁ। ଏହାକୁ ଏକ ସମ୍ପୂର୍ଣ୍ଣ ମାନବ ମୂଲ୍ୟାୟନ ମାଧ୍ୟମରେ ଚଲାଇବା ବ୍ୟୟବହୁଳ ଏବଂ ଧୀର ଅଟେ। ତେଣୁ ଏହା ପରିବର୍ତ୍ତେ, ଆପଣ ଏଆଇର ଆଉଟପୁଟ୍ ଏବଂ ଏକ ବେସଲାଇନ୍ ପ୍ରତିକ୍ରିୟା ଉଭୟକୁ ଅନ୍ୟ ଏକ ଏଆଇକୁ—ଏକ ବିଚାରକ—ଦିଅନ୍ତି ଏବଂ କେଉଁଟି ଭଲ ତାହା ସ୍କୋର୍ କରିବାକୁ ଏହାକୁ କୁହନ୍ତି। ଏହା ଏବେ ଷ୍ଟାଣ୍ଡାର୍ଡ ଅଭ୍ୟାସ।

ଏହା ଯୁକ୍ତିଯୁକ୍ତ ଲାଗୁଛି। ଏକ ଏଆଇ (AI) ପାଠ୍ୟ ପଢିପାରେ, ବିକଳ୍ପଗୁଡ଼ିକୁ ତୁଳନା କରିପାରେ ଏବଂ ଫଳାଫଳ ସ୍କୋର କରିପାରେ। Chatbot Arena ପରି ବଡ଼ ବେଞ୍ଚମାର୍କଗୁଡ଼ିକ ଏହି ଆଭିମୁଖ୍ୟ ବ୍ୟବହାର କରନ୍ତି। ଏକାଡେମିକ୍ କାଗଜପତ୍ର ଏହାକୁ ବ୍ୟବହାର କରେ। କମ୍ପାନୀଗୁଡିକ କେଉଁ ମଡେଲଗୁଡିକ ପଠାଇବେ ତାହା ସ୍ଥିର କରିବାକୁ ଏହାକୁ ବ୍ୟବହାର କରନ୍ତି। ସମସ୍ୟା ହେଉଛି, ଆମେ ପ୍ରକୃତରେ କେବେହେଲେ ନିଶ୍ଚିତ କରିନାହୁଁ ଯେ ବିଚାରକ ପ୍ରକୃତରେ ସଠିକ୍ ଥିଲେ—ଆମେ କେବଳ ଧରି ନେଇଥିଲୁ ଯେ ଯଦି ବିଚାରକ ସ୍ଥିର ଉତ୍ତର ଦିଅନ୍ତି, ଏହା ନିଶ୍ଚିତ ଭାବରେ ବିଶ୍ୱାସଯୋଗ୍ୟ ହେବ।

ନିର୍ଭରଯୋଗ୍ୟ ବନାମ ବୈଧ

ଏଠାରେ ଭାଷା ବୈଷୟିକ ହୋଇଯାଏ, କିନ୍ତୁ ଏହା ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ଅଟେ। ନିର୍ଭରଯୋଗ୍ୟତା ଅର୍ଥାତ୍ ପୁନରାବୃତ୍ତିକ୍ଷମତା: ଯଦି ଆପଣ ବିଚାରକଙ୍କୁ ସମାନ ପ୍ରଶ୍ନ ଦୁଇଥର ପଚାରନ୍ତି, ଏହା କ'ଣ ସମାନ ଉତ୍ତର ଦିଏ କି? ବୈଧତା ଅର୍ଥାତ୍ ସଠିକତା: ସେହି ଉତ୍ତର କ'ଣ ପ୍ରକୃତରେ ଠିକ୍ କି?

ଆପଣଙ୍କର ସମ୍ପୂର୍ଣ୍ଣ ନିର୍ଭରଯୋଗ୍ୟତା ଏବଂ ଶୂନ୍ୟ ବୈଧତା ରହିପାରେ। ଏକ ଭଙ୍ଗା ଥର୍ମୋମିଟର ଯାହା ସର୍ବଦା 98 ଡିଗ୍ରୀ ପଢେ, ତାହା ସମ୍ପୂର୍ଣ୍ଣ ନିର୍ଭରଯୋଗ୍ୟ ଅଟେ। କିନ୍ତୁ ଏହା ବୈଧ ନୁହେଁ—ପ୍ରକୃତ ତାପମାତ୍ରା 72 ଡିଗ୍ରୀ ହୋଇପାରେ।

ଏହା ହିଁ ଅନୁସନ୍ଧାନ ଅଟେ: ଏହି ଅଡିଟ୍ ରେ ଥିବା ଏଆଇ (AI) ବିଚାରକମାନେ ନିର୍ଭରଯୋଗ୍ୟ ଅଟନ୍ତି। ସେମାନେ ବହୁତ ନିର୍ଭରଯୋଗ୍ୟ ଅଟନ୍ତି। କିନ୍ତୁ ସେମାନେ ବୈଧ ନୁହଁନ୍ତି। ସେମାନେ କ୍ରମାଗତ ଭାବରେ ଭୁଲ୍ ବିକଳ୍ପ ବାଛୁଛନ୍ତି।

ଅଡିଟ୍: ଅର୍ଦ୍ଧ ନିୟୁତ ବିଚାର

ଏହି ଅଡିଟ୍ ରେ ଅନ୍ୟ ଏଆଇ (AI) ସିଷ୍ଟମ୍ଗୁଡ଼ିକୁ ଗ୍ରେଡ୍ କରୁଥିବା ଏଆଇ ସିଷ୍ଟମ୍ଗୁଡ଼ିକ ଦ୍ୱାରା ନିଆଯାଇଥିବା 500,000 ରୁ ଅଧିକ ବ୍ୟକ୍ତିଗତ ବିଚାର ଅନ୍ତର୍ଭୁକ୍ତ ଥିଲା। ଗବେଷକମାନେ ସେହି ବିଚାରଗୁଡ଼ିକର ଢାଞ୍ଚାଗୁଡ଼ିକୁ ଦେଖିଲେ ଏବଂ ମଣିଷମାନେ ପ୍ରକୃତରେ କ'ଣ ଭଲ ବୋଲି ଭାବୁଥିଲେ ତାହା ସହିତ ସେଗୁଡ଼ିକୁ କ୍ରସ୍-ଚେକ୍ କଲେ। ସେମାନେ କିଛି ଆଶ୍ଚର୍ଯ୍ୟଜନକ ଜିନିଷ ପାଇଲେ: ଏଆଇ ବିଚାରକମାନେ ଦୃଢ ସ୍ଥିରତା ଦେଖାଇଲେ—ସେମାନେ ବାରମ୍ବାର ସମାନ ବିକଳ୍ପ ବାଛୁଥିଲେ—କିନ୍ତୁ ସେହି ବିକଳ୍ପଟି ସେହି ବିକଳ୍ପ ନଥିଲା ଯାହା ମଣିଷମାନେ ଭଲ ବୋଲି ସହମତ ଥିଲେ।

ଢାଞ୍ଚାଗୁଡ଼ିକରୁ ଗୋଟିଏ ଉଦାହରଣ: ଜଣେ ଏଆଇ (AI) ବିଚାରକ ପ୍ରସଙ୍ଗ ନିର୍ବିଶେଷରେ ସର୍ବଦା "ଉତ୍ତର A" କୁ ପସନ୍ଦ କରିପାରନ୍ତି। ଯଦି ଆପଣ ଏହାକୁ 100 ଟି ଭିନ୍ନ ଯୋଡି ଦିଅନ୍ତି, ତେବେ ଏହା ସେଥିମଧ୍ୟରୁ 70 ଟିରେ A କୁ ବାଛିପାରେ, ଏଥିପାଇଁ ନୁହେଁ ଯେ A ଭଲ, ବରଂ ଏଥିପାଇଁ ଯେ A ପ୍ରତି ଏହାର ଏକ ବ୍ୟବସ୍ଥିତ ପକ୍ଷପାତ ରହିଛି। ଏହା ହେଉଛି ସଠିକତା ବିନା ସ୍ଥିରତା।

ଏହା କାହିଁକି ଘଟିଲା

ବିଚାରକମାନେ କାହିଁକି ନିର୍ଭରଯୋଗ୍ୟ କିନ୍ତୁ ଅବୈଧ? କିଛି କାରଣ:

ପ୍ରଶିକ୍ଷଣ ତଥ୍ୟରେ ପକ୍ଷପାତ। ଏଆଇ (AI) ବିଚାରକଙ୍କୁ ଏପରି ଉଦାହରଣଗୁଡ଼ିକ ଉପରେ ତାଲିମ ଦିଆଯାଇଥିଲା ଯେଉଁଠାରେ ନିର୍ଦ୍ଦିଷ୍ଟ ଢାଞ୍ଚାଗୁଡ଼ିକୁ "ଭଲ" ଭାବରେ ଚିହ୍ନିତ କରାଯାଇଥିଲା। ଏହା ସେହି ଢାଞ୍ଚାଗୁଡ଼ିକୁ ଚିହ୍ନିବାକୁ ଏବଂ ସେଗୁଡ଼ିକୁ ପୁରସ୍କୃତ କରିବାକୁ ଶିଖିଲା, ଯଦିଓ ସେଗୁଡ଼ିକ ପ୍ରକୃତରେ ପ୍ରତିକ୍ରିୟାକୁ ଭଲ କରନ୍ତି ନାହିଁ।

ପ୍ରକ୍ସି ମେଟ୍ରିକ୍ସ୍। ବିଚାରକ ପ୍ରକୃତ ଗୁଣବତ୍ତା ପରିବର୍ତ୍ତେ ମାପଯୋଗ୍ୟ ବୈଶିଷ୍ଟ୍ୟଗୁଡିକ (ଯେପରିକି ଲମ୍ବ, କିମ୍ବା କିଛି ଶବ୍ଦର ବ୍ୟବହାର) ପାଇଁ ଅପ୍ଟିମାଇଜ୍ କରିବାକୁ ଶିଖିଥାଇପାରନ୍ତି। ଏକ ଅସମ୍ବନ୍ଧିତ ଉତ୍ତର ଅଧିକ ସ୍କୋର କରିପାରେ କାରଣ ଏହା ଲମ୍ବା ଅଟେ, ଏଥିପାଇଁ ନୁହେଁ ଯେ ଏହା ଭଲ ଅଟେ।

ଅଗଭୀର ଯୁକ୍ତି। ଏଆଇ (AI) ବିଚାରକମାନେ ପ୍ରାୟତଃ ମଣିଷମାନେ ବ୍ୟବହାର କରୁଥିବା ଗଭୀର, ପ୍ରସଙ୍ଗଗତ ଯୁକ୍ତି କରିପାରନ୍ତି ନାହିଁ। କେଉଁ ଜିନିଷଟି ପ୍ରକୃତରେ ଏକ ଉତ୍ତରକୁ ମୂଲ୍ୟବାନ କରେ ତାହା ବୁଝିବା ପରିବର୍ତ୍ତେ ସେମାନେ ଉପରିଭାଗର ଢାଞ୍ଚାଗୁଡ଼ିକୁ ଚିହ୍ନଟ କରନ୍ତି।

ଫିଡ୍ବ୍ୟାକ୍ ଲୁପ୍ଗୁଡ଼ିକ। ଥରେ ବେଞ୍ଚମାର୍କଗୁଡ଼ିକ ଏକ ନିର୍ଦ୍ଦିଷ୍ଟ ଏଆଇ (AI) ବିଚାରକ ବ୍ୟବହାର କରିବା ଆରମ୍ଭ କଲେ, ଲୋକମାନେ ପ୍ରକୃତରେ ଭଲ ସିଷ୍ଟମ୍ ନିର୍ମାଣ କରିବା ପରିବର୍ତ୍ତେ ବିଚାରକଙ୍କ ସହିତ ଖେଳିବା ଆରମ୍ଭ କରନ୍ତି। ବିଚାରକଙ୍କ ପସନ୍ଦ ଲକ୍ଷ୍ୟ ପାଲଟିଯାଏ, ପ୍ରକୃତ ଗୁଣବତ୍ତା ନୁହେଁ।

ଏହାର ଅର୍ଥ କ'ଣ

ଯଦି ଅର୍ଦ୍ଧ ନିୟୁତ ବିଚାର ତ୍ରୁଟିପୂର୍ଣ୍ଣ ଅଟେ, ତେବେ ତାହା ବାହାରକୁ ବ୍ୟାପିଯାଏ। ମଡେଲଗୁଡିକର ତୁଳନା କରିବାକୁ ଏହି ବିଚାରକମାନଙ୍କୁ ବ୍ୟବହାର କରିଥିବା କାଗଜପତ୍ରଗୁଡିକ ଭୁଲ ସିଦ୍ଧାନ୍ତ ଅଙ୍କନ କରିଥାଇପାରନ୍ତି। ଏହି ବିଚାରକମାନଙ୍କୁ ବ୍ୟବହାର କରି ସିଷ୍ଟମଗୁଡ଼ିକୁ ମାନ୍ୟତା ଦେଇଥିବା ବେଞ୍ଚମାର୍କଗୁଡ଼ିକ ସେଗୁଡ଼ିକୁ ଭୁଲ୍ ଭାବରେ ମାନ୍ୟତା ଦେଇଥାଇପାରନ୍ତି। ଏହି ବେଞ୍ଚମାର୍କଗୁଡିକ ଉପରେ ଆଧାର କରି ମଡେଲଗୁଡିକୁ ବାଛିଥିବା କମ୍ପାନୀଗୁଡିକ ଭୁଲ ମଡେଲ ବାଛିଥାଇପାରନ୍ତି।

ଏହାର ଅର୍ଥ ମଧ୍ୟ ଆମେ କିପରି ଏଆଇ (AI) ର ମୂଲ୍ୟାୟନ କରୁ ତାହା ଉପରେ ପୁନର୍ବିଚାର କରିବା ଆବଶ୍ୟକ। ସ୍ଥିରତା ସଠିକତାର ବିକଳ୍ପ ନୁହେଁ। କେବଳ ଏକ ସ୍ୱୟଂଚାଳିତ ସିଷ୍ଟମ୍ ପ୍ରତିଥର ଆପଣଙ୍କୁ ସମାନ ଉତ୍ତର ଦେଉଥିବାରୁ ଏହାର ଅର୍ଥ ନୁହେଁ ଯେ ସେହି ଉତ୍ତର ବିଶ୍ୱାସଯୋଗ୍ୟ ଅଟେ।

ଅଡିଟ୍ ଥିଲା ଏକ ବାସ୍ତବିକତା ଯାଞ୍ଚ। ଏହା ପ୍ରମାଣ କଲା ଯେ ଆମେ କରିଥିବା ଏକ ଅନୁମାନ—ଯେ ଏଆଇ (AI) ବିଚାରକଙ୍କ ସ୍ଥିରତା ଏହାର ବୈଧତା ପ୍ରମାଣ କରେ—ଭୁଲ୍ ଥିଲା।

ଆଗକୁ ବଢିବା

ଏଆଇ (AI) ସିଷ୍ଟମ୍ ନିର୍ମାଣ କରୁଥିବା କିମ୍ବା ବାଛୁଥିବା ଯେକୌଣସି ବ୍ୟକ୍ତିଙ୍କ ପାଇଁ ତାତ୍ପର୍ଯ୍ୟ: ସର୍ବଦା ଆପଣଙ୍କର ମୂଲ୍ୟାୟନକାରୀମାନଙ୍କୁ ବୈଧ କରନ୍ତୁ। ଏହା ଧରି ନିଅନ୍ତୁ ନାହିଁ ଯେ ଜଣେ ବିଚାରକ ସ୍ଥିର ଅଟନ୍ତି ବୋଲି, ଏହା ଠିକ୍ ଅଟେ। ମାନବ ବିଚାର ବିରୁଦ୍ଧରେ ସ୍ୱୟଂଚାଳିତ ବିଚାରକମାନଙ୍କୁ କ୍ରସ୍-ଚେକ୍ କରନ୍ତୁ। ଦୃଢ ପସନ୍ଦ ଦେଖାଉଥିବା (ସର୍ବଦା ସମାନ ବିକଳ୍ପ ବାଛୁଥିବା) ବିଚାରକମାନଙ୍କ ପ୍ରତି ବିଶେଷ ସନ୍ଦେହୀ ରୁହନ୍ତୁ। ଏବଂ ସଚେତନ ରୁହନ୍ତୁ ଯେ ତ୍ରୁଟିପୂର୍ଣ୍ଣ ବିଚାରକମାନଙ୍କ ଉପରେ ନିର୍ମିତ ବେଞ୍ଚମାର୍କଗୁଡ଼ିକ ଆପଣଙ୍କୁ ବିଭ୍ରାନ୍ତ କରିପାରେ।

ଏଆଇ (AI) ରେ ମାପ ବିଷୟରେ ଏହା ମଧ୍ୟ ଏକ ବ୍ୟାପକ ଶିକ୍ଷା ଅଟେ। ଆଭ୍ୟନ୍ତରୀଣ ଭାବରେ ସ୍ଥିର ଥିବା ସିଷ୍ଟମ୍ ନିର୍ମାଣ କରିବାରେ ଆମେ ଭଲ ହୋଇଛୁ। କିନ୍ତୁ ସ୍ଥିରତା ସହଜ ଅଟେ—ବୈଧତା କଷ୍ଟକର ଅଟେ। ଆପଣଙ୍କର ମାପଗୁଡ଼ିକ ବାସ୍ତବତା ସହିତ ମେଳ ଖାଉଛି କି ନାହିଁ ତାହା ପ୍ରକୃତରେ ଯାଞ୍ଚ କରିବା ଆବଶ୍ୟକ କରେ।

ଉପସଂହାର

ଆମେ ଏଆଇ (AI) ର କିପରି ମୂଲ୍ୟାୟନ କରୁ ସେଥିରେ ଏଆଇ ବିଚାରକମାନେ ଏକ ସର୍ଟକଟ୍ ପାଲଟିଛନ୍ତି। ଅଡିଟ୍ ଦର୍ଶାଉଛି ଯେ ସେହି ସର୍ଟକଟ୍ ଏକ ପାହାଡ଼ ତଳକୁ ନେଇଯାଏ: ଏହି ସିଷ୍ଟମ୍ଗୁଡ଼ିକ ପୁନରାବୃତ୍ତିକ୍ଷମ କିନ୍ତୁ ଭୁଲ୍। ଆମେ ବିଶ୍ୱସନୀୟତା ସହିତ ନିର୍ଭରଯୋଗ୍ୟତାକୁ ବିଭ୍ରାନ୍ତ କରିଛୁ, ଏବଂ ସେହି ଦ୍ୱନ୍ଦ୍ୱ ଆମେ କିପରି ଏଆଇ ସିଷ୍ଟମ୍ଗୁଡ଼ିକୁ ମାନ୍ୟତା ଦେଉ ଏବଂ ବାଛୁ ସେଥିରେ ଅନ୍ତର୍ଭୁକ୍ତ ହୋଇଛି। ଆଗକୁ ବଢିବାବେଳେ, ଶିକ୍ଷାଟି ସରଳ ଅଟେ: ଦୁଇଥର ମାପନ୍ତୁ, ଥରେ ବିଶ୍ୱାସ କରନ୍ତୁ। ସ୍ଥିରତା ଯଥେଷ୍ଟ ନୁହେଁ।

ଗୁଣଗୁଡ଼ିକ

• ବର୍ତ୍ତମାନ ଏଆଇ (AI) ସିଷ୍ଟମ୍ଗୁଡ଼ିକୁ କିପରି ବେଞ୍ଚମାର୍କ କରାଯାଉଛି ସେଥିରେ ଏକ ଗୁରୁତର ତ୍ରୁଟି ପ୍ରକାଶ କରେ
• ଏକ ବୃହତ୍, ପରିସଂଖ୍ୟାନଗତ ଭାବରେ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ନମୁନା ଉପରେ ଆଧାରିତ (500,000 ରୁ ଅଧିକ ବିଚାର)
• ନିର୍ଭରଯୋଗ୍ୟତା ଏବଂ ବୈଧତା ମଧ୍ୟରେ ପାର୍ଥକ୍ୟକୁ ସ୍ପଷ୍ଟ ଭାବରେ ବ୍ୟାଖ୍ୟା କରେ
• ଫିଡ୍ବ୍ୟାକ୍ ଲୁପ୍ ଏବଂ ତ୍ରୁଟିପୂର୍ଣ୍ଣ ବିଚାରକମାନଙ୍କ ବିରୁଦ୍ଧରେ ଅପ୍ଟିମାଇଜେସନ୍ ର ବିପଦକୁ ହାଇଲାଇଟ୍ କରେ
• ମୂଲ୍ୟାୟନ ସିଷ୍ଟମ୍ଗୁଡ଼ିକର ଅଧିକ କଠୋର ବୈଧୀକରଣକୁ ଉତ୍ସାହିତ କରେ

ଦୋଷଗୁଡ଼ିକ

• ବିଚାରକ ସମସ୍ୟାର ସମାଧାନ ପାଇଁ ସମାଧାନର ପ୍ରସ୍ତାବ ଦିଏ ନାହିଁ
• ଆଗକୁ ଏକ ସ୍ପଷ୍ଟ ପଥ ପ୍ରଦାନ ନକରି ଚିନ୍ତା ବଢାଏ
• ମାନବ ବିଚାରକମାନଙ୍କର ସମାନ ପକ୍ଷପାତିତା ଅଛି କି ନାହିଁ ତାହା ସମାଧାନ କରେ ନାହିଁ
• କେଉଁ ନିର୍ଦ୍ଦିଷ୍ଟ ଏଆଇ (AI) ବିଚାରକ ସିଷ୍ଟମ୍ଗୁଡ଼ିକ ପରୀକ୍ଷା କରାଯାଇଥିଲା ସେ ବିଷୟରେ ସୀମିତ ଆଲୋଚନା
• ଅଭ୍ୟାସରେ ବିଚାରକମାନଙ୍କୁ କିପରି ବୈଧ କରାଯିବ ସେ ବିଷୟରେ କୌଣସି ମାର୍ଗଦର୍ଶନ ନାହିଁ

ସାବଧାନତା

ଏହି ପ୍ରବନ୍ଧ ସାଧାରଣ ଉଦାହରଣ (ଯେପରିକି Chatbot Arena ଏବଂ କାଳ୍ପନିକ ବେଞ୍ଚମାର୍କ ନାମଗୁଡିକ) ବ୍ୟବହାର କରେ। ସମସ୍ତ କମ୍ପାନୀ, ସିଷ୍ଟମ୍ ଏବଂ ଉତ୍ପାଦର ନାମଗୁଡିକ ଉଦାହରଣମୂଳକ ପ୍ଲେସହୋଲ୍ଡର ଅଟେ। ପ୍ରକୃତ ଅଡିଟ୍ ନିର୍ଦ୍ଦିଷ୍ଟ ଏଆଇ (AI) ବିଚାରକ ଏବଂ ବେଞ୍ଚମାର୍କ ବ୍ୟବହାର କରିଥିଲା—ସଠିକ୍ ବିବରଣୀ ପାଇଁ ଉତ୍ସ କାଗଜ ପଢନ୍ତୁ। ଏହି ଅଡିଟ୍ ରେ ମିଳିଥିବା ନିର୍ଭରଯୋଗ୍ୟତା-ବନାମ-ବୈଧତା ବ୍ୟବଧାନ ପ୍ରକୃତ ଅଟେ, କିନ୍ତୁ ଆପଣ କେଉଁ ବିଚାରକ ସିଷ୍ଟମ୍ ଏବଂ ମୂଲ୍ୟାୟନ ପଦ୍ଧତି ଉପରେ ନିର୍ଭର କରୁଛନ୍ତି ତାହା ଉପରେ ନିର୍ଭର କରି ସମସ୍ୟାର ଆକାର ଏବଂ ପରିସର ଭିନ୍ନ ହୋଇପାରେ। ଏହା ଉପରେ ଆଧାର କରି ନିଷ୍ପତ୍ତି ନେବା ପୂର୍ବରୁ ଆପଣଙ୍କ ନିଜ ତଥ୍ୟ ସହିତ ଯେକୌଣସି ମୂଲ୍ୟାୟନ ସିଷ୍ଟମକୁ ସର୍ବଦା ବୈଧ କରନ୍ତୁ। ପ୍ରଥମେ ଏକ ଅଣ-ଉତ୍ପାଦନ ପରିବେଶରେ ପରୀକ୍ଷା କରନ୍ତୁ।

ବାରମ୍ବାର ପଚରାଯାଉଥିବା ପ୍ରଶ୍ନଗୁଡିକ

• ଏକ ନିର୍ଭରଯୋଗ୍ୟ ଏଆଇ (AI) ବିଚାରକ ଏବଂ ଏକ ବୈଧ ବିଚାରକ ମଧ୍ୟରେ ପାର୍ଥକ୍ୟ କ'ଣ?
• ଯଦି ସେମାନେ ଭୁଲ୍, ତେବେ ଏଆଇ (AI) ବିଚାରକମାନେ କାହିଁକି ସ୍ଥିର ଉତ୍ତର ଦିଅନ୍ତି?
• ଏହା କିପରି ଏଆଇ (AI) ବେଞ୍ଚମାର୍କ ଏବଂ ଲିଡରବୋର୍ଡଗୁଡିକୁ ପ୍ରଭାବିତ କରେ?
• ମଣିଷମାନେ ଅନ୍ୟ ଏଆଇ (AI) ସିଷ୍ଟମ୍ ଅପେକ୍ଷା ଏଆଇ ର ମୂଲ୍ୟାୟନ ଭଲ ଭାବରେ କରିପାରିବେ କି?
• ଜଣେ ଏଆଇ (AI) ବିଚାରକଙ୍କୁ କିଏ ପକ୍ଷପାତପୂର୍ଣ୍ଣ କିମ୍ବା ଅବିଶ୍ୱସନୀୟ କରେ?
• କମ୍ପାନୀଗୁଡିକ ସେମାନଙ୍କର ଏଆଇ (AI) ମୂଲ୍ୟାୟନ ସିଷ୍ଟମ୍ଗୁଡ଼ିକୁ କିପରି ବୈଧ କରିପାରିବେ?
• ସମସ୍ତ ଏଆଇ-ଏଜ୍-ଜଜ୍ (AI-as-judge) ସିଷ୍ଟମ୍ ସମାନ ଭାବରେ ଅବିଶ୍ୱସନୀୟ କି?
• ଏକ ଏଆଇ (AI) ମୂଲ୍ୟାୟନ ବେଞ୍ଚମାର୍କକୁ ବିଶ୍ୱାସ କରିବା ପୂର୍ବରୁ ମୁଁ କ'ଣ ଯାଞ୍ଚ କରିବା ଉଚିତ୍?

ଟ୍ୟାଗ୍ ଗୁଡିକ

#AIevaluation #machinelearning #AIbias #benchmarking #LLMs #reliability #validity #AItrustworthy