ଆପଣ ନିୟନ୍ତ୍ରଣ କରୁଥିବା ଏକ ଦ୍ୱିତୀୟ ମସ୍ତିଷ୍କ: Raspberry Pi 5 ରେ Local RAG

ଏକ ମସ୍ତିଷ୍କ ଯାହାର ମାଲିକାନା ଆପଣଙ୍କ ପାଖରେ ରହିପାରିବ

ଯଦି ଆପଣଙ୍କର ଦ୍ୱିତୀୟ ମସ୍ତିଷ୍କକୁ ଆଇନଗତ ଭାବେ ସମନ କରାଯାଇପାରନ୍ତା ନାହିଁ, ତେବେ କ’ଣ ହୁଅନ୍ତା? ବର୍ତ୍ତମାନ, ଯଦି ଆପଣ ନିଜର ଚିନ୍ତାଧାରାକୁ ବିସ୍ତାର କରିବା ପାଇଁ କ୍ଲାଉଡ୍-ଭିତ୍ତିକ ନୋଟ୍-ଟେକିଂ, vector databases କିମ୍ବା AI ସହାୟକ ବ୍ୟବହାର କରୁଛନ୍ତି, ତେବେ ଅନ୍ୟ କେହି ସେହି ଆକ୍ସେସ୍‌କୁ ନିୟନ୍ତ୍ରଣ କରୁଛନ୍ତି। ଆଜି, ଆମେ ଏପରି ଏକ ସିଷ୍ଟମ୍ କିପରି ତିଆରି କରିବା ଯାହା ଅନ୍ୟ କାହା ନିୟନ୍ତ୍ରଣରେ ରହିବ ନାହିଁ, ସେ ବିଷୟରେ ଜାଣିବା।

ଜୁଲାଇ ୫, ୨୦୨୬ ରେ, Raspberry Pi 5 ରେ ଏକ ସମ୍ପୂର୍ଣ୍ଣ retrieval ସିଷ୍ଟମ୍ କିପରି ଚଲାଇବେ ସେ ବିଷୟରେ ଦର୍ଶାଉଥିବା ଏକ ବିସ୍ତୃତ ଗାଇଡ୍ ପ୍ରକାଶିତ ହୋଇଥିଲା — କୌଣସି କ୍ଲାଉଡ୍ ସେବା ନାହିଁ, କୌଣସି API keys ନାହିଁ, କୌଣସି ତୃତୀୟ ପକ୍ଷର ନଜର ନାହିଁ। ଏହା ଏବେ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ କାରଣ ଆମେ ସମସ୍ତେ ମିଳିମିଶି ଆମର କାର୍ଯ୍ୟକାରୀ ସ୍ମୃତିକୁ ଏପରି ପ୍ଲାଟଫର୍ମଗୁଡ଼ିକୁ ସ୍ଥାନାନ୍ତର କରିସାରିଛୁ ଯାହାର ଆଇନ ବିଭାଗ, terms of service, ଏବଂ ଏପରି ଟିମ୍ ଅଛନ୍ତି ଯେଉଁମାନେ ଆପଣ ଇମେଲ୍‌ର ଉତ୍ତର ଦେବା ଅପେକ୍ଷା ଆଇନ ପ୍ରବର୍ତ୍ତନକାରୀ ସଂସ୍ଥାଗୁଡ଼ିକୁ ଶୀଘ୍ର ଉତ୍ତର ଦିଅନ୍ତି।

କାହିଁକି ଆପଣଙ୍କର କ୍ଲାଉଡ୍ ମସ୍ତିଷ୍କ ଭଡ଼ାରେ ଅଛି, ନିଜର ନୁହେଁ

ଦାର୍ଶନିକ Andy Clark ଏବଂ David Chalmers ୧୯୯୮ ରେ "extended mind" ର ଧାରଣା ପ୍ରସ୍ତୁତ କରିଥିଲେ। ସେମାନଙ୍କର ଯୁକ୍ତି ସରଳ ଥିଲା: ଯଦି ଆପଣ ଚିନ୍ତା କରିବା ପାଇଁ ଏକ ଉପକରଣକୁ ନିର୍ଭରଯୋଗ୍ୟ ଭାବରେ ବ୍ୟବହାର କରନ୍ତି — ଏକ ନୋଟବୁକ୍, ଏକ ଡାଟାବେସ୍, ଆପଣ ବିଶ୍ୱାସ କରୁଥିବା ଏକ ସିଷ୍ଟମ୍ — ତେବେ ସେହି ଉପକରଣ ଆପଣଙ୍କ ଜ୍ଞାନଗତ ପ୍ରକ୍ରିୟାର ଏକ ଅଂଶ ହୋଇଯାଏ। ଆପଣ କେବଳ ଏହାର ପରାମର୍ଶ ନିଅନ୍ତି ନାହିଁ; ଆପଣ ଏହା ସହିତ ଚିନ୍ତା କରନ୍ତି.

ଯେତେବେଳେ ଆପଣଙ୍କର extended mind ଆପଣଙ୍କ ମାଲିକାନାରେ ଥିବା ଡ୍ରୟରରେ କାଗଜ ଉପରେ ଥିଲା, ସେତେବେଳେ ତାହା ଠିକ୍ ଥିଲା। କିନ୍ତୁ ଏହାକୁ କ୍ଲାଉଡ୍‌କୁ ସ୍ଥାନାନ୍ତର କରନ୍ତୁ, ଏବଂ ତିନୋଟି ସମସ୍ୟା ଦେଖାଦିଏ:

Epistemic ପ୍ରଦୂଷଣ। ଯେତେବେଳେ ଆପଣଙ୍କର ସର୍ଚ୍ଚଗୁଡ଼ିକ ବ୍ୟାବସାୟିକ AI ମୋଡେଲଗୁଡ଼ିକୁ ତାଲିମ ଦିଏ, ଆପଣଙ୍କର ଭବିଷ୍ୟତର ଉତ୍ତରଗୁଡ଼ିକ ଅନ୍ୟ ସମସ୍ତଙ୍କର ପ୍ରଶ୍ନ ଦ୍ୱାରା ପ୍ରଭାବିତ ହୁଏ। ଆପଣଙ୍କର ବ୍ୟକ୍ତିଗତ ପ୍ରସଙ୍ଗ ହାରାହାରି ବ୍ୟବହାରକାରୀଙ୍କ ପ୍ରସଙ୍ଗରେ ମିଶି ଫିକା ହୋଇଯାଏ।

ଆଇନଗତ ବିପଦ। ଆପଣଙ୍କର ସର୍ଚ୍ଚ ଇତିହାସ, ଆପଣଙ୍କର ନୋଟ୍, ଆପଣଙ୍କର embeddings — ଆପଣଙ୍କ ଚିନ୍ତାଧାରାର ସମସ୍ତ କଞ୍ଚାମାଲ — ପ୍ରକାଶଯୋଗ୍ୟ ବ୍ୟବସାୟିକ ରେକର୍ଡ ହୋଇଯାଏ। ଅନେକ ଆଇନଗତ କ୍ଷେତ୍ରରେ, ଏକ ପ୍ଲାଟଫର୍ମକୁ ସେଗୁଡ଼ିକୁ ହସ୍ତାନ୍ତର କରିବାକୁ ବାଧ୍ୟ କରାଯାଇପାରେ।

ରଣନୈତିକ ଦୁର୍ବଳତା। ମୂଲ୍ୟ ବୃଦ୍ଧି, ନୀତି ପରିବର୍ତ୍ତନ, କ୍ଷେତ୍ର ବ୍ଲକ୍, ଏବଂ ଆପଣଙ୍କର ଜ୍ଞାନଗତ ଉପକରଣ ଗାୟବ ହୋଇଯାଏ। ତାହା ଆଉ ଏକ ଉପକରଣ ନୁହେଁ — ତାହା ଏକ ପରନିର୍ଭରଶୀଳତା।

Local retrieval ସମ୍ପୂର୍ଣ୍ଣ ଚିତ୍ରକୁ ବଦଳାଇ ଦିଏ।

RAG ପ୍ରକୃତରେ କ’ଣ (ଏବଂ କାହିଁକି ଏହା Fine-Tuning ରୁ ଶ୍ରେଷ୍ଠ)

RAG ର ଅର୍ଥ ହେଉଛି Retrieval Augmented Generation। ମୋଡେଲର weights ରେ ଜ୍ଞାନକୁ ସଂରକ୍ଷିତ କରିବା ପରିବର୍ତ୍ତେ (ଯାହା ବ୍ୟୟବହୁଳ ଏବଂ ଅପଡେଟ୍ କରିବା କଷ୍ଟକର), RAG ଆପଣଙ୍କ ଜ୍ଞାନକୁ ଅଲଗା ରଖେ ଏବଂ ପ୍ରଶ୍ନ ସମୟରେ ଏହାକୁ ଆଣିଥାଏ — ଯେପରି ଆବଶ୍ୟକ ହେଲେ ଆପଣଙ୍କ ଲାଇବ୍ରେରୀରେ ଏକ ବହି ଖୋଜିବା, ପ୍ରତ୍ୟେକ ବହିକୁ ମନେ ରଖିବା ନୁହେଁ।

ଏକ ବ୍ୟକ୍ତିଗତ ମସ୍ତିଷ୍କ ପାଇଁ, ଏହା ଚାରୋଟି କାରଣରୁ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ:

ଉତ୍ସ (Provenance)। RAG ଆପଣଙ୍କୁ ସଠିକ୍ ଭାବରେ ଦେଖାଇପାରେ ଯେ ଏହା କେଉଁ ନୋଟ୍ କିମ୍ବା ଡକ୍ୟୁମେଣ୍ଟରୁ ତଥ୍ୟ ସଂଗ୍ରହ କରିଛି। Fine-tuned ମୋଡେଲଗୁଡ଼ିକ କୌଣସି citations ବିନା ଆତ୍ମବିଶ୍ୱାସର ସହିତ hallucinate କରନ୍ତି।

ପରିବର୍ତ୍ତନଶୀଳତା (Mutability)। ଆପଣଙ୍କ ଜୀବନ ପ୍ରତିଦିନ ବଦଳିଥାଏ। ଏକ ନୋଟ୍ ଅପଡେଟ୍ କରନ୍ତୁ, ଏହାକୁ re-embed କରନ୍ତୁ, ଏବଂ ଆପଣଙ୍କର ଉତ୍ତରଗୁଡ଼ିକ ବାସ୍ତବତାକୁ ପ୍ରତିଫଳିତ କରିବ। Fine-tuned ମୋଡେଲଗୁଡ଼ିକ ପାଇଁ ବ୍ୟୟବହୁଳ ପୁନଃ ତାଲିମ ଆବଶ୍ୟକ କିମ୍ବା ସେଗୁଡ଼ିକ ଆପଣଙ୍କୁ ପୁରୁଣା ଜ୍ଞାନ ପ୍ରଦାନ କରନ୍ତି।

ସଂରଚନାଯୋଗ୍ୟତା (Composability)। ତାରିଖ, ଟ୍ୟାଗ୍, ଡକ୍ୟୁମେଣ୍ଟ ପ୍ରକାର ଦ୍ୱାରା ଫିଲ୍ଟର୍ କରନ୍ତୁ। "ମୋତେ କେବଳ 2024 ର କାର୍ଯ୍ୟ ସମ୍ବନ୍ଧୀୟ ନୋଟ୍ ଦେଖାନ୍ତୁ" ଏକ ହ୍ୟାକ୍ ନୁହେଁ — ଏହା selective decompression ଭାବରେ retrieval।

ସୁବାହ୍ୟତା (Portability)। ଏକ 2GB vector store ଏବଂ ଏକ ଛୋଟ quantized ମୋଡେଲ୍ Pi ରେ ସହଜରେ ଫିଟ୍ ହୋଇପାରିବ। ଏକ ପ୍ରକୃତ fine-tuned ମୋଡେଲ୍ ଯାହା ଖରାପ ନୁହେଁ, ତାହା ଫିଟ୍ ହୋଇପାରିବ ନାହିଁ।

ଏହି ଧାରଣା ନୂଆ ନୁହେଁ — Vannevar Bush ଦଶନ୍ଧି ପୂର୍ବରୁ ତାଙ୍କ Memex ଧାରଣାରେ ସୂଚନା ମାଧ୍ୟମରେ "associative trails" ର କଳ୍ପନା କରିଥିଲେ। ସେଗୁଡ଼ିକୁ ନିର୍ମାଣ କରିବା ପାଇଁ ଶେଷରେ ଆମ ପାଖରେ ଗଣିତ ଅଛି।

ହାର୍ଡୱେର୍: ଏକ ସୁବାହ୍ୟ ମସ୍ତିଷ୍କ

NVMe ଷ୍ଟୋରେଜ୍ ସହିତ Raspberry Pi 5 ଏଠାରେ ମୁଖ୍ୟ ସହାୟକ ଅଟେ। ପୂର୍ବର Pis ଗୁଡ଼ିକ retrieval କ୍ଷେତ୍ରରେ ଅତି ଧୀର ଥିଲେ। Pi 5 ଏହାର HAT କନେକ୍ଟର ମାଧ୍ୟମରେ PCIe ପ୍ରଦାନ କରେ, ଯାହା ଆପଣଙ୍କୁ ପ୍ରକୃତ ଷ୍ଟୋରେଜ୍ ବ୍ୟାଣ୍ଡୱିଡଥ୍ ଦେଇଥାଏ — ଯାହା RAG ସିଷ୍ଟମ୍ ପାଇଁ ପ୍ରକୃତ ପ୍ରତିବନ୍ଧକ ଅଟେ।

ଏକ ସମ୍ପୂର୍ଣ୍ଣ ବିଲ୍ଡ ଏହିପରି ଦେଖାଯାଏ:

• Raspberry Pi 5 8GB RAM ସହିତ
• NVMe HAT (ଯେପରିକି Pineberry Pi HatDrive) 1TB ର ଦ୍ରୁତ ଷ୍ଟୋରେଜ୍ ସହିତ, DRAM cache ସହିତ TLC ପସନ୍ଦଯୋଗ୍ୟ
• Hailo-8 M.2 AI module (କେବଳ 2.5 ୱାଟ୍‌ରେ 26 TOPS) embedding ଗଣିତର ଭାର କମାଇବା ପାଇଁ
• ପାସିଭ୍ ଆଲୁମିନିୟମ୍ କେସ୍ ଯାହା ଏକ heatsink ଭାବରେ ମଧ୍ୟ କାର୍ଯ୍ୟ କରେ
• USB-C PD ବ୍ୟାଟେରୀ ବ୍ୟାଙ୍କ ସୁବାହ୍ୟତା ପାଇଁ (65W)
• ଦୁଇଟି microSD କାର୍ଡ — ଗୋଟିଏ bootloader ପାଇଁ, ଗୋଟିଏ ଏନକ୍ରିପ୍ଟେଡ୍ ବ୍ୟାକଅପ୍ ପାଇଁ

ସମ୍ପୂର୍ଣ୍ଣ ସିଷ୍ଟମ୍ idle ଥିବାବେଳେ 4 ରୁ 6 ୱାଟ୍, ଲୋଡ୍‌ରେ ଥିବାବେଳେ 9 ରୁ 12 ୱାଟ୍ ବିଦ୍ୟୁତ୍ ବ୍ୟବହାର କରେ। ଏକ 20,000 mAh ବ୍ୟାଟେରୀ ବ୍ୟାଙ୍କ ଏହାକୁ ସାରା ଦିନ ଚାଲୁରଖେ। ସେଇଟି ହିଁ ମୁଖ୍ୟ କଥା: ଯେଉଁ ମସ୍ତିଷ୍କକୁ ଆପଣ ନିଜ ସାଙ୍ଗରେ ନେଇପାରିବେ ନାହିଁ, ତାହାକୁ ଆପଣ ବ୍ୟବହାର କରିବେ ନାହିଁ।

ସଫ୍ଟୱେର୍ ଷ୍ଟାକ୍ (ଉଦ୍ଦେଶ୍ୟମୂଳକ ଭାବରେ ନ୍ୟୁନତମ)

Bloat ଯାଞ୍ଚ ପ୍ରକ୍ରିୟାକୁ ନଷ୍ଟ କରେ। ସମ୍ପୂର୍ଣ୍ଣ ସିଷ୍ଟମ୍ Docker Compose ସହିତ ପରିଚାଳିତ ଚାରୋଟି containers ଚଲାଏ:

1. Qdrant — Rust ରେ ଲେଖାଯାଇଥିବା ଏକ vector database। ଏହା ହାଲୁକା, ARM ରେ ଚାଲେ, ଏବଂ କେବଳ ଗତି ଅପେକ୍ଷା metadata ଫିଲ୍ଟରିଂକୁ ଭଲ ଭାବରେ ପରିଚାଳନା କରେ।

2. Ollama — ଏକ quantized language model ସେବା ପ୍ରଦାନ କରେ। 8GB ସହିତ Pi 5 ପାଇଁ ସବୁଠାରୁ ଉପଯୁକ୍ତ ମୋଡେଲ୍ ହେଉଛି llama3.1:8b-instruct-q4_K_M। ଏହା ଫିଟ୍ ହେବା ପାଇଁ ଯଥେଷ୍ଟ ଛୋଟ, ପ୍ରକୃତ ଗଦ୍ୟ ଲେଖିବା ପାଇଁ ଯଥେଷ୍ଟ ଶକ୍ତିଶାଳୀ।

3. Nomic Embed Text v1.5 — embedding model ଯାହା ଆପଣଙ୍କ text କୁ vectors ରେ ପରିଣତ କରେ। ଏହା କମ୍ପାକ୍ଟ, recall କ୍ଷେତ୍ରରେ ଭଲ, ଏବଂ ARM processors ରେ ସହଜରେ ଚାଲେ।

4. ଏକ FastAPI ସର୍ଭର (Python ର ~180 ଧାଡ଼ି) ଯାହା ସବୁକିଛିକୁ ଏକାଠି ଯୋଡ଼ିଥାଏ: ingest documents, retrieve matches, build prompts, call the model, return answers.

କୌଣସି LangChain ନାହିଁ। prompt କିପରି ନିର୍ମାଣ କରାଯାଇଛି ତାହା ଲୁଚାଉଥିବା କୌଣସି ମ୍ୟାଜିକ୍ ଚେନ୍ ନାହିଁ। ଆପଣ bias ଦେଖିପାରିବେ କାରଣ ଆପଣ template ଦେଖିପାରିବେ।

ଜ୍ଞାନକୁ ସଠିକ୍ ଭାବରେ Ingest କିପରି କରିବେ

Chunking ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ। ସିଷ୍ଟମ୍ Markdown ଫାଇଲଗୁଡ଼ିକୁ 700 ରୁ 900 tokens ରେ chunk କରେ, chunk ଗୁଡ଼ିକ ମଧ୍ୟରେ 100 ରୁ 150 tokens ର overlap ଥାଏ। ସେହି overlap ସୀମାଗୁଡ଼ିକ ମଧ୍ୟରେ context କୁ ସୁରକ୍ଷିତ ରଖେ — ଧାରରେ ଥିବା ଶବ୍ଦଗୁଡ଼ିକ ପୂର୍ବରୁ ଆସିଥିବା ଶବ୍ଦଗୁଡ଼ିକରୁ ବିଚ୍ଛିନ୍ନ ହୁଏ ନାହିଁ।

କୋଡ୍ ପାଇଁ, ଏହା tree-sitter (syntax structure ବିଷୟରେ ଜାଣିଥିବା ଏକ parser) ବ୍ୟବହାର କରି function କିମ୍ବା class ଅନୁଯାୟୀ chunk କରେ, ଏବଂ language ଓ symbol ନାମକୁ metadata ଭାବରେ ସଂରକ୍ଷଣ କରେ।

PDFs ପାଇଁ, ଏହା ସ୍ଥାନୀୟ ଭାବରେ OCR ଚଲାଏ, heading ଅନୁଯାୟୀ chunk କରେ, ଏବଂ ପୃଷ୍ଠା ସଂଖ୍ୟାଗୁଡ଼ିକୁ ରଖେ ଯାହା ଦ୍ୱାରା ଆପଣ ମୂଳ ଡକ୍ୟୁମେଣ୍ଟ ଖୋଜି ପାଇପାରିବେ।

ଏହା source ଫାଇଲଗୁଡ଼ିକର SHA256 hashes ଗଣନା କରେ। ଯେତେବେଳେ ଆପଣ re-ingest କରନ୍ତି, ଅପରିବର୍ତ୍ତିତ ଫାଇଲଗୁଡ଼ିକ ପ୍ରୋସେସିଂରୁ ବାଦ୍ ପଡ଼ନ୍ତି — ଚତୁର ଏବଂ ଦ୍ରୁତ।

Retrieval: ପ୍ରକୃତ ଉତ୍ତର ପାଇବା

ଯେତେବେଳେ ଆପଣ ଏକ ପ୍ରଶ୍ନ ପଚାରନ୍ତି:

1. ସିଷ୍ଟମ୍ ଆପଣଙ୍କ ପ୍ରଶ୍ନକୁ vectors ଭାବରେ embed କରେ।
2. ଏହା ସବୁଠାରୁ ସଦୃଶ 12 ଟି chunks ପାଇଁ Qdrant ରେ ସର୍ଚ୍ଚ କରେ।
3. ଏହା ଏକ diversity rerank (maximal marginal relevance) ପ୍ରୟୋଗ କରେ ଯାହା ଦ୍ୱାରା ଆପଣ କେବଳ ଏକା ଧାରଣାର 12 ଟି ସଂସ୍କରଣ ନୁହେଁ, ବିଭିନ୍ନ ଦୃଷ୍ଟିକୋଣ ପାଆନ୍ତି।
4. ଯଦି ଆପଣଙ୍କ ପ୍ରଶ୍ନ ସୂଚାଉଥାଏ, ତେବେ ଏହା tags କିମ୍ବା ତାରିଖ ଅନୁଯାୟୀ ଫିଲ୍ଟର୍ କରେ।

ଧୀର ସଠିକ୍ ଉତ୍ତର ଅପେକ୍ଷା ଦ୍ରୁତ ଭୁଲ ଉତ୍ତର ଅଧିକ ଖରାପ। ସିଷ୍ଟମ୍ ଗତି ଅପେକ୍ଷା ସଠିକତାକୁ ପ୍ରାଥମିକତା ଦିଏ।

ସୁରକ୍ଷା ଏବଂ ଗୋପନୀୟତା

Argon2id (PBKDF2 ନୁହେଁ) ବ୍ୟବହାର କରି LUKS2 ସହିତ NVMe କୁ encrypt କରନ୍ତୁ। boot ପରେ ଆପଣ ଶାରୀରିକ ଭାବରେ ବାହାର କରୁଥିବା USB drive ରେ keyfile ସଂରକ୍ଷଣ କରନ୍ତୁ, କିମ୍ବା ଏକ ଶକ୍ତିଶାଳୀ passphrase ମନେ ରଖନ୍ତୁ। noexec ଏବଂ nodev flags ସହିତ data partition କୁ mount କରନ୍ତୁ ଯାହା ଦ୍ୱାରା code ଏଥିରୁ ଚାଲିପାରିବ ନାହିଁ।

operating system କୁ ଏକ read-only overlay ରେ ରଖନ୍ତୁ ଯାହା ଦ୍ୱାରା ହଠାତ୍ power loss ହେଲେ ଆପଣଙ୍କର root filesystem ନଷ୍ଟ ହୋଇଯିବ ନାହିଁ।

ଏହା paranoia ନୁହେଁ। ଆପଣ ଏକ cognitive appliance ନିର୍ମାଣ କରୁଛନ୍ତି, ଏକ hobby project ନୁହେଁ। ଡାଟା ହେଉଛି ଆପଣଙ୍କର ଚିନ୍ତାଧାରା।

ନିଷ୍କର୍ଷ

extended mind ପ୍ରକୃତ ଅଟେ। ଆପଣଙ୍କର ଉପକରଣଗୁଡ଼ିକ ଆପଣଙ୍କ ଚିନ୍ତାଧାରାକୁ ଆକାର ଦିଅନ୍ତି। ଦଶନ୍ଧି ଦଶନ୍ଧି ଧରି, ଆମେ ସୁବିଧା ପାଇଁ ମାଲିକାନାକୁ ସାଲିସ୍ କରିଛୁ, ନଜର ରଖିବା ଏବଂ ତଥ୍ୟ ସଂଗ୍ରହ ପାଇଁ ଅନୁକୂଳିତ ପ୍ଲାଟଫର୍ମଗୁଡ଼ିକରେ ଆମର କାର୍ଯ୍ୟକାରୀ ସ୍ମୃତିକୁ ସଂରକ୍ଷିତ କରିଛୁ। ଆପଣ ଏହାକୁ ଫେରାଇ ଆଣିପାରିବେ — ଧୈର୍ଯ୍ୟ ଏବଂ କିଛି hardware setup ସହିତ, ଆପଣଙ୍କର ଦ୍ୱିତୀୟ ମସ୍ତିଷ୍କ କେବଳ ଆପଣଙ୍କର ହୋଇପାରିବ, ଅଫଲାଇନ୍, ଦ୍ରୁତ, ଏବଂ ପ୍ରକୃତରେ ବ୍ୟକ୍ତିଗତ।

ସୁବିଧାଗୁଡ଼ିକ

• ସମ୍ପୂର୍ଣ୍ଣ ବ୍ୟକ୍ତିଗତ: କୌଣସି cloud ନାହିଁ, କୌଣସି third-party access ନାହିଁ, subpoena କରିବାକୁ କିଛି ନାହିଁ।
• ଆପଣ ସମ୍ପୂର୍ଣ୍ଣ stack କୁ ନିୟନ୍ତ୍ରଣ କରନ୍ତି: କୋଡ୍‌ର ପ୍ରତ୍ୟେକ ଧାଡ଼ି ଦେଖନ୍ତୁ, ପ୍ରତ୍ୟେକ ନିଷ୍ପତ୍ତି ବୁଝନ୍ତୁ।
• ସୁବାହ୍ୟ ଏବଂ କମ୍-ଶକ୍ତି: ବ୍ୟାଟେରୀରେ ସାରା ଦିନ ଚାଲେ।
• ସଠିକ୍: RAG citations ଆପଣଙ୍କୁ ଉତ୍ସଗୁଡ଼ିକୁ ଯାଞ୍ଚ କରିବାକୁ ଏବଂ hallucination ରୁ ବଞ୍ଚିବାକୁ ଦିଏ।
• ଅପଡେଟ୍ ଯୋଗ୍ୟ: retraining ବିନା ନୂତନ ଜ୍ଞାନ ଯୋଡ଼ନ୍ତୁ।
• ସମ୍ପୂର୍ଣ୍ଣ ଅଫଲାଇନ୍‌ରେ କାମ କରେ: କୌଣସି API rate limits ନାହିଁ, cloud ପାଇଁ ଅପେକ୍ଷା କରିବା ପାଇଁ କୌଣସି latency ନାହିଁ।

ଅସୁବିଧାଗୁଡ଼ିକ

• Technical setup ଆବଶ୍ୟକ: point-and-click ନୁହେଁ।
• Inference ଡିଭାଇସ୍ hardware ରେ ହୋଇଥାଏ: ତତ୍କ୍ଷଣାତ୍ ନୁହେଁ।
• ଅତି ବଡ଼ cloud models ତୁଳନାରେ ସୀମିତ model ଗୁଣବତ୍ତା।
• ରକ୍ଷଣାବେକ୍ଷଣ ଆପଣଙ୍କର ନିଜର: updates, security patches, hardware failures ଆପଣଙ୍କ ଦାୟିତ୍ୱ।
• ଛୋଟ knowledge base: Pi ର ଷ୍ଟୋରେଜ୍ ଦ୍ୱାରା ସୀମିତ (ଯଦିଓ ବ୍ୟକ୍ତିଗତ ବ୍ୟବହାର ପାଇଁ 1TB ଯଥେଷ୍ଟ)।

ସତର୍କତା

ଏହି ପ୍ରବନ୍ଧଟି ଶିକ୍ଷଣୀୟ ଏବଂ ସାର୍ବଜନୀନ ଭାବରେ ଉପଲବ୍ଧ ସୂଚନାର ସାରାଂଶ ଅଟେ। ଯଦି ଆପଣ ଏହି ସିଷ୍ଟମ୍ ନିର୍ମାଣ କରନ୍ତି, ତେବେ କୌଣସି ଉଦାହରଣ ମୂଲ୍ୟକୁ ଆପଣଙ୍କ ନିଜର configuration ସହିତ ବଦଳାନ୍ତୁ। ମୂଳ ଉତ୍ସ ସହିତ ସମସ୍ତ technical claims ଯାଞ୍ଚ କରନ୍ତୁ ଏବଂ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ କାର୍ଯ୍ୟ ପାଇଁ ଆପଣଙ୍କ ସିଷ୍ଟମ୍ ଉପରେ ନିର୍ଭର କରିବା ପୂର୍ବରୁ ସମ୍ପୂର୍ଣ୍ଣ ପରୀକ୍ଷା କରନ୍ତୁ। ଯଦି ଆପଣଙ୍କର threat model ଗମ୍ଭୀର ଅଟେ, ତେବେ Security (ବିଶେଷ କରି encryption) cryptography expertise ଥିବା କାହା ଦ୍ୱାରା ଯାଞଚ କରାଯିବା ଉଚିତ। ଏହି ପ୍ରବନ୍ଧଟି security advice ଗଠନ କରେ ନାହିଁ।

ବାରମ୍ବାର ପଚରାଯାଉଥିବା ପ୍ରଶ୍ନ

• ବ୍ୟକ୍ତିଗତ knowledge systems ପାଇଁ RAG ଏବଂ fine-tuning ମଧ୍ୟରେ ଫରକ୍ କ’ଣ?
• ଗୋଟିଏ Raspberry Pi 5 ସତରେ ଏକ ସମ୍ପୂର୍ଣ୍ଣ AI retrieval system ଅଫଲାଇନ୍‌ରେ ଚଲାଇପାରିବ କି?
• ଗୋଟିଏ 1TB Pi drive ରେ ଆପଣ କେତେ knowledge ସଂରକ୍ଷିତ କରିପାରିବେ?
• ସମ୍ପୂର୍ଣ୍ଣ local setup ସହିତ ମଧ୍ୟ କେଉଁ privacy risks ରହିଥାଏ?
• ଆପଣ ଏକାଧିକ devices ମଧ୍ୟରେ ଆପଣଙ୍କର personal brain କୁ ସୁରକ୍ଷିତ ଭାବରେ sync କରିପାରିବେ କି?
• ଏହାକୁ set up କରିବା ପାଇଁ ଆପଣଙ୍କୁ କେଉଁ programming skills ଆବଶ୍ୟକ?
• cloud note-taking apps ବ୍ୟବହାର କରିବା ଅପେକ୍ଷା ଏହି approach ଭଲ କି?
• battery backup ସହିତ ଏକ Raspberry Pi system କେତେ ସୁବାହ୍ୟ?

Tags

#privacy #raspberrypi #rag #ai #offline #security #locallm #personalknowledge