ನೀವು ನಿಯಂತ್ರಿಸುವ ಎರಡನೇ ಮೆದುಳು: Raspberry Pi 5 ನಲ್ಲಿ Local RAG

ನಿಮ್ಮ ಸ್ವಂತದ ನಿಯಂತ್ರಣದಲ್ಲಿರುವ ಮೆದುಳು

ನಿಮ್ಮ ಎರಡನೇ ಮೆದುಳನ್ನು ಸಬ್‌ಪೀನಾ ಮಾಡಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ ಹೇಗಿರುತ್ತದೆ? ಪ್ರಸ್ತುತ, ನಿಮ್ಮ ಚಿಂತನೆಯನ್ನು ವಿಸ್ತರಿಸಲು ನೀವು ಕ್ಲೌಡ್ ಆಧಾರಿತ ನೋಟ್-ಟೇಕಿಂಗ್, ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ಗಳು ಅಥವಾ AI ಸಹಾಯಕಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ಆ ಪ್ರವೇಶವನ್ನು ಬೇರಾರೋ ನಿಯಂತ್ರಿಸುತ್ತಾರೆ. ಇಂದು, ಹಾಗಲ್ಲದ ವ್ಯವಸ್ಥೆಯನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂಬುದನ್ನು ನಾವು ಅನ್ವೇಷಿಸುತ್ತೇವೆ.

ಜುಲೈ 5, 2026 ರಂದು, Raspberry Pi 5 ನಲ್ಲಿ ಸಂಪೂರ್ಣ ರಿಟ್ರೈವಲ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ಹೇಗೆ ನಡೆಸುವುದು ಎಂದು ನಿಖರವಾಗಿ ತೋರಿಸುವ ವಿವರವಾದ ಮಾರ್ಗದರ್ಶಿ ಪ್ರಕಟವಾಯಿತು — ಯಾವುದೇ ಕ್ಲೌಡ್ ಸೇವೆಗಳಿಲ್ಲ, API ಕೀಗಳಿಲ್ಲ, ಮೂರನೇ ವ್ಯಕ್ತಿಯ ವೀಕ್ಷಣೆಯಿಲ್ಲ. ಇದು ಈಗ ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ನಾವು ನಮ್ಮ ಕೆಲಸದ ನೆನಪನ್ನು (working memory) ಕಾನೂನು ವಿಭಾಗಗಳು, ಸೇವಾ ನಿಯಮಗಳು (terms of service) ಮತ್ತು ನೀವು ಇಮೇಲ್‌ಗಳಿಗೆ ಉತ್ತರಿಸುವುದಕ್ಕಿಂತ ವೇಗವಾಗಿ ಕಾನೂನು ಜಾರಿ ಸಂಸ್ಥೆಗಳಿಗೆ ಉತ್ತರಿಸುವ ತಂಡಗಳನ್ನು ಹೊಂದಿರುವ ವೇದಿಕೆಗಳಿಗೆ ಸಾಮೂಹಿಕವಾಗಿ ವರ್ಗಾಯಿಸಿದ್ದೇವೆ.

ನಿಮ್ಮ ಕ್ಲೌಡ್ ಮೆದುಳು ನಿಮ್ಮ ಸ್ವಂತದ್ದಲ್ಲ, ಬದಲಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆದದ್ದು ಏಕೆ

ತತ್ವಜ್ಞಾನಿಗಳಾದ Andy Clark ಮತ್ತು David Chalmers 1998 ರಲ್ಲೇ "extended mind" ಪರಿಕಲ್ಪನೆಯನ್ನು ಪರಿಚಯಿಸಿದರು. ಅವರ ವಾದವು ಸರಳವಾಗಿತ್ತು: ಆಲೋಚಿಸಲು ನೀವು ಒಂದು ಉಪಕರಣವನ್ನು — ಒಂದು ನೋಟ್‌ಬುಕ್, ಡೇಟಾಬೇಸ್, ಅಥವಾ ನೀವು ನಂಬುವ ವ್ಯವಸ್ಥೆಯನ್ನು — ನಿಯಮಿತವಾಗಿ ಬಳಸಿದರೆ, ಆ ಉಪಕರಣವು ನಿಮ್ಮ ಗ್ರಹಿಕೆಯ (cognition) ಭಾಗವಾಗುತ್ತದೆ. ನೀವು ಅದನ್ನು ಕೇವಲ ಸಂಪರ್ಕಿಸುವುದಿಲ್ಲ; ನೀವು ಅದರೊಂದಿಗೆ ಆಲೋಚಿಸುತ್ತೀರಿ.

ನಿಮ್ಮ ವಿಸ್ತೃತ ಮನಸ್ಸು ನಿಮ್ಮ ಸ್ವಂತ ಡ್ರಾಯರ್‌ನಲ್ಲಿರುವ ಕಾಗದದ ಮೇಲಿದ್ದಾಗ ಅದು ಸರಿ ಇತ್ತು. ಆದರೆ ಅದನ್ನು ಕ್ಲೌಡ್‌ಗೆ ಸರಿಸಿದರೆ, ಮೂರು ಸಮಸ್ಯೆಗಳು ಹೊರಹೊಮ್ಮುತ್ತವೆ:

ಜ್ಞಾನಶಾಸ್ತ್ರದ ಮಾಲಿನ್ಯ. ನಿಮ್ಮ ಹುಡುಕಾಟಗಳು ವಾಣಿಜ್ಯ AI ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿದಾಗ, ನಿಮ್ಮ ಭವಿಷ್ಯದ ಉತ್ತರಗಳು ಇತರ ಪ್ರತಿಯೊಬ್ಬರ ಪ್ರಶ್ನೆಗಳಿಂದ ರೂಪುಗೊಳ್ಳುತ್ತವೆ. ನಿಮ್ಮ ಖಾಸಗಿ ಸನ್ನಿವೇಶವು ಸರಾಸರಿ ಬಳಕೆದಾರರ ಸನ್ನಿವೇಶದಲ್ಲಿ ವಿಲೀನಗೊಂಡು ತೆಳುವಾಗುತ್ತದೆ.

ಕಾನೂನು ಅಪಾಯ. ನಿಮ್ಮ ಹುಡುಕಾಟದ ಇತಿಹಾಸ, ನಿಮ್ಮ ಟಿಪ್ಪಣಿಗಳು, ನಿಮ್ಮ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು — ನಿಮ್ಮ ಚಿಂತನೆಯ ಎಲ್ಲಾ ಮೂಲ ಸಾಮಗ್ರಿಗಳು — ಬಹಿರಂಗಪಡಿಸಬಹುದಾದ ವ್ಯವಹಾರ ದಾಖಲೆಗಳಾಗುತ್ತವೆ. ಅನೇಕ ನ್ಯಾಯಾಂಗ ವ್ಯಾಪ್ತಿಗಳಲ್ಲಿ, ಅವುಗಳನ್ನು ಹಸ್ತಾಂತರಿಸಲು ವೇದಿಕೆಗೆ ಒತ್ತಾಯಿಸಬಹುದು.

ಕಾರ್ಯತಂತ್ರದ ದೌರ್ಬಲ್ಯ. ಬೆಲೆ ಏರಿಕೆ, ನೀತಿ ಬದಲಾವಣೆ, ಅಥವಾ ಪ್ರಾದೇಶಿಕ ನಿರ್ಬಂಧ ಸಂಭವಿಸಿದರೆ ನಿಮ್ಮ ಜ್ಞಾನದ ಉಪಕರಣವು ಕಣ್ಮರೆಯಾಗುತ್ತದೆ. ಅದು ಇನ್ನು ಮುಂದೆ ಉಪಕರಣವಲ್ಲ — ಅದೊಂದು ಅವಲಂಬನೆ.

Local retrieval ಈ ಚಿತ್ರಣವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ.

RAG ನಿಜವಾಗಿಯೂ ಎಂದರೇನು (ಮತ್ತು ಅದು Fine-Tuning ಗಿಂತ ಏಕೆ ಉತ್ತಮವಾಗಿದೆ)

RAG ಎಂದರೆ Retrieval Augmented Generation. ಜ್ಞಾನವನ್ನು ಮಾದರಿಯ ವೈಟ್‌ಗಳಲ್ಲಿ (weights) ಸೇರಿಸುವ ಬದಲಿಗೆ (ಇದು ವೆಚ್ಚದಾಯಕ ಮತ್ತು ನವೀಕರಿಸಲು ಕಷ್ಟ), RAG ನಿಮ್ಮ ಜ್ಞಾನವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿರಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಶ್ನೆಯ ಸಮಯದಲ್ಲಿ ಅದನ್ನು ಪಡೆದುಕೊಳ್ಳುತ್ತದೆ — ಪ್ರತಿಯೊಂದು ಪುಸ್ತಕವನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವ ಬದಲು ಅಗತ್ಯವಿದ್ದಾಗ ಗ್ರಂಥಾಲಯದಲ್ಲಿ ಪುಸ್ತಕವನ್ನು ಹುಡುಕಿದಂತೆ.

ವೈಯಕ್ತಿಕ ಮೆದುಳಿಗೆ, ಇದು ನಾಲ್ಕು ಕಾರಣಗಳಿಗಾಗಿ ಮುಖ್ಯವಾಗಿದೆ:

ಮೂಲದ ಪತ್ತೆಹಚ್ಚುವಿಕೆ. RAG ತಾನು ಮಾಹಿತಿಯನ್ನು ಯಾವ ಟಿಪ್ಪಣಿ ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್‌ನಿಂದ ಪಡೆದುಕೊಂಡಿದೆ ಎಂಬುದನ್ನು ನಿಖರವಾಗಿ ತೋರಿಸಬಲ್ಲದು. ಆದರೆ Fine-tuned ಮಾದರಿಗಳು ಯಾವುದೇ ಆಧಾರಗಳಿಲ್ಲದೆ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ತಪ್ಪಾದ ಮಾಹಿತಿಯನ್ನು (hallucinate) ನೀಡುತ್ತವೆ.

ಬದಲಾಯಿಸುವಿಕೆ. ನಿಮ್ಮ ಜೀವನ ಪ್ರತಿದಿನ ಬದಲಾಗುತ್ತದೆ. ಒಂದು ಟಿಪ್ಪಣಿಯನ್ನು ನವೀಕರಿಸಿ, ಅದನ್ನು ಮರು-ಎಂಬೆಡ್ ಮಾಡಿ, ಮತ್ತು ನಿಮ್ಮ ಉತ್ತರಗಳು ವಾಸ್ತವವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ. Fine-tuned ಮಾದರಿಗಳಿಗೆ ವೆಚ್ಚದಾಯಕ ಮರುತರಬೇತಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ ಅಥವಾ ಅವು ಹಳೆಯ ಜ್ಞಾನವನ್ನೇ ನೀಡುತ್ತವೆ.

ಸಂಯೋಜಿಸುವಿಕೆ. ದಿನಾಂಕ, ಟ್ಯಾಗ್, ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಕಾರದ ಮೂಲಕ ಫಿಲ್ಟರ್ ಮಾಡಿ. "2024 ರ ಕೆಲಸದ ಟಿಪ್ಪಣಿಗಳನ್ನು ಮಾತ್ರ ನನಗೆ ತೋರಿಸು" ಎಂಬುದು ಯಾವುದೇ ಹ್ಯಾಕ್ ಅಲ್ಲ — ಇದು ಆಯ್ಕೆಮಾಡಿದ ಮರುಸಂಪಾದನೆಯಾಗಿದೆ.

ಸಾಗಣೆ ಸುಲಭತೆ. 2GB ವೆಕ್ಟರ್ ಸ್ಟೋರ್ ಮತ್ತು ಸಣ್ಣ quantized ಮಾದರಿಯು Pi ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ. ಆದರೆ ಕಳಪೆಯಲ್ಲದ ನಿಜವಾದ fine-tuned ಮಾದರಿಯು ಅದರಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುವುದಿಲ್ಲ.

ಈ ಕಲ್ಪನೆ ಹೊಸದೇನಲ್ಲ — ದಶಕಗಳ ಹಿಂದೆ Vannevar Bush ತಮ್ಮ Memex ಪರಿಕಲ್ಪನೆಯಲ್ಲಿ ಮಾಹಿತಿಯ ಮೂಲಕ "associative trails" ಅನ್ನು ಕಲ್ಪಿಸಿಕೊಂಡಿದ್ದರು. ಅವುಗಳನ್ನು ನಿರ್ಮಿಸಲು ಕೊನೆಗೂ ನಮ್ಮ ಬಳಿ ಗಣಿತೀಯ ಸೂತ್ರಗಳಿವೆ.

ಹಾರ್‌ವೇರ್: ಸಾಗಿಸಬಹುದಾದ ಮೆದುಳು

NVMe ಸ್ಟೋರೇಜ್ ಹೊಂದಿರುವ Raspberry Pi 5 ಇಲ್ಲಿ ಪ್ರಮುಖ ಅನುಕೂಲಕರವಾಗಿದೆ. ಹಿಂದಿನ Pi ಗಳು ರಿಟ್ರೈವಲ್‌ನಲ್ಲಿ ಅತ್ಯಂತ ನಿಧಾನವಾಗಿದ್ದವು. Pi 5 ತನ್ನ HAT ಕನೆಕ್ಟರ್ ಮೂಲಕ PCIe ಅನ್ನು ನೀಡುತ್ತದೆ, ಇದು ನಿಮಗೆ ನಿಜವಾದ ಸ್ಟೋರೇಜ್ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ — ಇದು RAG ಸಿಸ್ಟಮ್‌ಗಳಿಗೆ ಪ್ರಮುಖ ತಡೆಯಾಗಿತ್ತು.

ಸಂಪೂರ್ಣ ನಿರ್ಮಾಣವು ಹೀಗಿರುತ್ತದೆ:

• Raspberry Pi 5 8GB RAM ನೊಂದಿಗೆ
• NVMe HAT (Pineberry Pi HatDrive ನಂತೆ) 1TB ವೇಗದ ಸ್ಟೋರೇಜ್‌ನೊಂದಿಗೆ, DRAM ಕ್ಯಾಶ್‌ನೊಂದಿಗೆ TLC ಗೆ ಆದ್ಯತೆ ನೀಡಲಾಗಿದೆ
• Hailo-8 M.2 AI ಮಾಡ್ಯೂಲ್ ಎಂಬೆಡ್ಡಿಂಗ್ ಗಣಿತದ ಹೊರೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು (ಕೇವಲ 2.5 ವಾಟ್‌ಗಳಲ್ಲಿ 26 TOPS)
• ಪ್ಯಾಸಿವ್ ಅಲ್ಯೂಮಿನಿಯಂ ಕೇಸ್ ಇದು ಹೀಟ್‌ಸಿಂಕ್ ಆಗಿಯೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ
• USB-C PD ಬ್ಯಾಟರಿ ಬ್ಯಾಂಕ್ ಸಾಗಿಸಲು ಅನುಕೂಲವಾಗಲು (65W)
• ಎರಡು microSD ಕಾರ್ಡ್‌ಗಳು — ಒಂದು ಬೂಟ್‌ಲೋಡರ್‌ಗಾಗಿ, ಇನ್ನೊಂದು ಎನ್‌ಕ್ರಿಪ್ಟ್ ಮಾಡಿದ ಬ್ಯಾಕಪ್‌ಗಾಗಿ

ಸಂಪೂರ್ಣ ವ್ಯವಸ್ಥೆಯು ಐಡಲ್‌ನಲ್ಲಿ 4 ರಿಂದ 6 ವಾಟ್‌ಗಳನ್ನು ಮತ್ತು ಲೋಡ್‌ನಲ್ಲಿದ್ದಾಗ 9 ರಿಂದ 12 ವಾಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. 20,000 mAh ಬ್ಯಾಟರಿ ಬ್ಯಾಂಕ್ ಇದನ್ನು ದಿನವಿಡೀ ಚಾಲನೆಯಲ್ಲಿಡುತ್ತದೆ. ವಿಷಯವೇನೆಂದರೆ: ನೀವು ಸಾಗಿಸಲು ಸಾಧ್ಯವಾಗದ ಮೆದುಳನ್ನು ನೀವು ಬಳಸುವುದಿಲ್ಲ.

ಸಾಫ್ಟ್‌ವೇರ್ ಸ್ಟ್ಯಾಕ್ (ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಕನಿಷ್ಠ)

ಅತಿಯಾದ ಗಾತ್ರವು ತಪಾಸಣೆಯನ್ನು ಹಾಳುಗೆಡವುತ್ತದೆ. ಇಡೀ ವ್ಯವಸ್ಥೆಯು Docker Compose ನೊಂದಿಗೆ ನಿಯಂತ್ರಿಸಲ್ಪಡುವ ನಾಲ್ಕು ಕಂಟೈನರ್‌ಗಳನ್ನು ಚಲಾಯಿಸುತ್ತದೆ:

1. Qdrant — Rust ನಲ್ಲಿ ಬರೆಯಲಾದ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್. ಇದು ಹಗುರವಾಗಿದೆ, ARM ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ ಮತ್ತು ಕೇವಲ ವೇಗಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಮೆಟಾಡೇಟಾ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ನು ಉತ್ತಮವಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ.

2. Ollama — quantized ಭಾಷಾ ಮಾದರಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ. 8GB ಹೊಂದಿರುವ Pi 5 ಗೆ ಸೂಕ್ತವಾದ ಮಾದರಿಯೆಂದರೆ llama3.1:8b-instruct-q4_K_M. ಇದು ಹೊಂದಿಕೊಳ್ಳಲು ಸಾಕಷ್ಟು ಚಿಕ್ಕದಾಗಿದೆ ಮತ್ತು ನೈಜ ಪಠ್ಯವನ್ನು ಬರೆಯಲು ಸಾಕಷ್ಟು ಶಕ್ತಿಶಾಲಿಯಾಗಿದೆ.

3. Nomic Embed Text v1.5 — ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ವೆಕ್ಟರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸುವ ಎಂಬೆಡ್ಡಿಂಗ್ ಮಾದರಿ. ಇದು ಕಾಂಪ್ಯಾಕ್ಟ್ ಆಗಿದೆ, ರಿಕಾಲ್‌ನಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ ಮತ್ತು ARM ಪ್ರೊಸೆಸರ್‌ಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಚಲಿಸುತ್ತದೆ.

4. ಒಂದು FastAPI ಸರ್ವರ್ (~180 ಸಾಲುಗಳ Python) ಇದು ಎಲ್ಲವನ್ನೂ ಒಂದಾಗಿ ಜೋಡಿಸುತ್ತದೆ: ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಸೇರಿಸುವುದು, ಹೊಂದಾಣಿಕೆಗಳನ್ನು ಹಿಂಪಡೆಯುವುದು, ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು, ಮಾದರಿಯನ್ನು ಕರೆಯುವುದು, ಉತ್ತರಗಳನ್ನು ಹಿಂತಿರುಗಿಸುವುದು.

LangChain ಇಲ್ಲ. ಪ್ರಾಂಪ್ಟ್ ಹೇಗೆ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿದೆ ಎಂಬುದನ್ನು ಮರೆಮಾಚುವ ಯಾವುದೇ ಮ್ಯಾಜಿಕ್ ಚೈನ್‌ಗಳಿಲ್ಲ. ಟೆಂಪ್ಲೇಟ್ ನಿಮಗೆ ಕಾಣಿಸುವುದರಿಂದ ನೀವು ಅದರ ಪಕ್ಷಪಾತವನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ನೋಡಬಹುದು.

ಜ್ಞಾನವನ್ನು ಸರಿಯಾಗಿ ಸೇರಿಸುವುದು ಹೇಗೆ

Chunking ಪ್ರಮುಖವಾಗಿದೆ. ವ್ಯವಸ್ಥೆಯು Markdown ಫೈಲ್‌ಗಳನ್ನು 700 ರಿಂದ 900 ಟೋಕನ್‌ಗಳಲ್ಲಿ ಚಂಕ್ ಮಾಡುತ್ತದೆ, ಚಂಕ್‌ಗಳ ನಡುವೆ 100 ರಿಂದ 150 ಟೋಕನ್‌ಗಳ ಓವರ್‌ಲ್ಯಾಪ್ ಇರುತ್ತದೆ. ಆ ಓವರ್‌ಲ್ಯಾಪ್ ಗಡಿಗಳಾದ್ಯಂತ ಸನ್ನಿವೇಶವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ — ತುದಿಯಲ್ಲಿರುವ ಪದಗಳು ಮುಂಚಿನದರಿಂದ ಬೇರ್ಪಡುವುದಿಲ್ಲ.

ಕೋಡ್‌ಗಾಗಿ, ಇದು tree-sitter (ಸಿಂಟ್ಯಾಕ್ಸ್ ರಚನೆಯನ್ನು ತಿಳಿಯುವ ಪಾರ್ಸರ್) ಬಳಸಿ ಫಂಕ್ಷನ್ ಅಥವಾ ಕ್ಲಾಸ್ ಆಧಾರದ ಮೇಲೆ ಚಂಕ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಭಾಷೆ ಹಾಗೂ ಸಿಂಬಲ್ ಹೆಸರನ್ನು ಮೆಟಾಡೇಟಾವಾಗಿ ಸಂಗ್ರಹಿಸುತ್ತದೆ.

PDF ಗಳಿಗಾಗಿ, ಇದು ಸ್ಥಳೀಯವಾಗಿ OCR ಚಲಾಯಿಸುತ್ತದೆ, ಶೀರ್ಷಿಕೆಯ ಆಧಾರದ ಮೇಲೆ ಚಂಕ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಮೂಲವನ್ನು ಹುಡುಕಲು ಸಹಾಯವಾಗುವಂತೆ ಪುಟ ಸಂಖ್ಯೆಗಳನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ.

ಇದು ಮೂಲ ಫೈಲ್‌ಗಳ SHA256 ಹ್ಯಾಶ್‌ಗಳನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ನೀವು ಮರು-ಸೇರಿಸಿದಾಗ, ಬದಲಾಗದ ಫೈಲ್‌ಗಳು ಪ್ರಕ್ರಿಯೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತವೆ — ಇದು ಜಾಣತನದ ಮತ್ತು ವೇಗದ ವಿಧಾನ.

Retrieval: ನೈಜ ಉತ್ತರಗಳನ್ನು ಪಡೆಯುವುದು

ನೀವು ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿದಾಗ:

1. ವ್ಯವಸ್ಥೆಯು ನಿಮ್ಮ ಪ್ರಶ್ನೆಯನ್ನು ವೆಕ್ಟರ್‌ಗಳಾಗಿ ಎಂಬೆಡ್ ಮಾಡುತ್ತದೆ.
2. ಇದು Qdrant ನಲ್ಲಿ ಅತ್ಯಂತ ಹೋಲುವ ಪ್ರಮುಖ 12 ಚಂಕ್‌ಗಳಿಗಾಗಿ ಹುಡುಕುತ್ತದೆ.
3. ಇದು ವೈವಿಧ್ಯತೆಯ ಮರು-ಶ್ರೇಣಿಯನ್ನು (maximal marginal relevance) ಅನ್ವಯಿಸುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಒಂದೇ ಕಲ್ಪನೆಯ 12 ಆವೃತ್ತಿಗಳ ಬದಲಿಗೆ ವಿಭಿನ್ನ ದೃಷ್ಟಿಕೋನಗಳು ದೊರೆಯುತ್ತವೆ.
4. ನಿಮ್ಮ ಪ್ರಶ್ನೆಯು ಸೂಚಿಸಿದರೆ ಇದು ಟ್ಯಾಗ್‌ಗಳು ಅಥವಾ ದಿನಾಂಕಗಳ ಮೂಲಕ ಫಿಲ್ಟರ್ ಮಾಡುತ್ತದೆ.

ನಿಧಾನವಾದ ಸರಿಯಾದ ಉತ್ತರಗಳಿಗಿಂತ ವೇಗವಾದ ತಪ್ಪಾದ ಉತ್ತರಗಳು ಕೆಟ್ಟವು. ವ್ಯವಸ್ಥೆಯು ವೇಗಕ್ಕಿಂತ ನಿಖರತೆಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತದೆ.

ಭದ್ರತೆ ಮತ್ತು ಖಾಸಗಿತನ

Argon2id (PBKDF2 ಅಲ್ಲ) ಬಳಸಿ NVMe ಅನ್ನು LUKS2 ನಿಂದ ಎನ್‌ಕ್ರಿಪ್ಟ್ ಮಾಡಿ. ಬೂಟ್ ಮಾಡಿದ ನಂತರ ನೀವು ಭೌತಿಕವಾಗಿ ತೆಗೆದುಹಾಕುವ USB ಡ್ರೈವ್‌ನಲ್ಲಿ ಕೀಫೈಲ್ ಅನ್ನು ಸಂಗ್ರಹಿಸಿ, ಅಥವಾ ಬಲವಾದ ಪಾಸ್‌ಫ್ರೇಸ್ ನೆನಪಿಡಿ. ಡಾಟಾ ಪಾರ್ಟಿಷನ್ ಅನ್ನು noexec ಮತ್ತು nodev ಫ್ಲ್ಯಾಗ್‌ಗಳೊಂದಿಗೆ ಮೌಂಟ್ ಮಾಡಿ ಇದರಿಂದ ಅದರಿಂದ ಕೋಡ್ ಚಲಾಯಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಮ್ ಅನ್ನು read-only ಓವರ್‌ಲೇನಲ್ಲಿ ಇರಿಸಿ ಇದರಿಂದ ವಿದ್ಯುತ್ ಕಡಿತವು ನಿಮ್ಮ ರೂಟ್ ಫೈಲ್‌ಸಿಸ್ಟಮ್ ಅನ್ನು ಹಾಳುಮಾಡುವುದಿಲ್ಲ.

ಇದು ಭ್ರಮೆಯಲ್ಲ. ನೀವು ಜ್ಞಾನದ ಸಾಧನವನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದೀರಿ, ಹವ್ಯಾಸದ ಪ್ರಾಜೆಕ್ಟ್ ಅಲ್ಲ. ಡೇಟಾ ಎಂಬುದು ನಿಮ್ಮ ಚಿಂತನೆಯಾಗಿದೆ.

ಉಪಸಂಹಾರ

ವಿಸ್ತೃತ ಮನಸ್ಸು ನಿಜವಾದದ್ದು. ನಿಮ್ಮ ಉಪಕರಣಗಳು ನಿಮ್ಮ ಆಲೋಚನೆಗಳನ್ನು ರೂಪಿಸುತ್ತವೆ. ದಶಕಗಳಿಂದ, ನಾವು ಸೌಕರ್ಯಕ್ಕಾಗಿ ಮಾಲೀಕತ್ವವನ್ನು ನೀಡಿದ್ದೇವೆ, ಕಾವಲು ಮತ್ತು ಹೊರತೆಗೆಯುವಿಕೆಗೆ ಆಪ್ಟಿಮೈಸ್ ಮಾಡುವ ವೇದಿಕೆಗಳಲ್ಲಿ ನಮ್ಮ ಕಾರ್ಯಾಚರಣೆಯ ನೆನಪನ್ನು ಸಂಗ್ರಹಿಸಿದ್ದೇವೆ. ನೀವು ಅದನ್ನು ಹಿಂಪಡೆಯಬಹುದು — ತಾಳ್ಮೆ ಮತ್ತು ಕೆಲವು ಹಾರ್ಡ್‌ವೇರ್ ಕಾನ್ಫಿಗರೇಶನ್‌ನೊಂದಿಗೆ, ನಿಮ್ಮ ಎರಡನೇ ಮೆದುಳು ನಿಮ್ಮದೊಂದೇ ಆಗಿರಬಹುದು, ಆಫ್‌ಲೈನ್, ವೇಗ ಮತ್ತು ನಿಜವಾಗಿಯೂ ಖಾಸಗಿಯಾಗಿರುತ್ತದೆ.

ಪ್ರಯೋಜನಗಳು

• ಸಂಪೂರ್ಣವಾಗಿ ಖಾಸಗಿ: ಕ್ಲೌಡ್ ಇಲ್ಲ, ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಪ್ರವೇಶವಿಲ್ಲ, ಸಬ್‌ಪೀನಾ ಮಾಡಲು ಏನೂ ಇಲ್ಲ.
• ನೀವು ಇಡೀ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ನಿಯಂತ್ರಿಸುತ್ತೀರಿ: ಕೋಡ್‌ನ ಪ್ರತಿಯೊಂದು ಸಾಲನ್ನು ನೋಡಿ, ಪ್ರತಿಯೊಂದು ನಿರ್ಧಾರವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ.
• ಸಾಗಿಸಲು ಸುಲಭ ಮತ್ತು ಕಡಿಮೆ ಶಕ್ತಿ ಬಳಕೆ: ಬ್ಯಾಟರಿಯಲ್ಲಿ ದಿನವಿಡೀ ಚಲಿಸುತ್ತದೆ.
• ನಿಖರವಾಗಿದೆ: RAG ಉಲ್ಲೇಖಗಳು ಮೂಲಗಳನ್ನು ಪರಿಶೀಲಿಸಲು ಮತ್ತು ತಪ್ಪಾದ ಮಾಹಿತಿಯನ್ನು ತಡೆಯಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತವೆ.
• ನವೀಕರಿಸಬಹುದಾಗಿದೆ: ಮರುತರಬೇತಿ ಇಲ್ಲದೆ ಹೊಸ ಜ್ಞಾನವನ್ನು ಸೇರಿಸಿ.
• ಸಂಪೂರ್ಣವಾಗಿ ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: ಯಾವುದೇ API ದರ ಮಿತಿಗಳಿಲ್ಲ, ಕ್ಲೌಡ್‌ಗಾಗಿ ಕಾಯುವ ವಿಳಂಬವಿಲ್ಲ.

ಸವಾಲುಗಳು

• ತಾಂತ್ರಿಕ ಸಂಯೋಜನೆಯ ಅಗತ್ಯವಿದೆ: ಪಾಯಿಂಟ್-ಮತ್ತು-ಕ್ಲಿಕ್ ಅಲ್ಲ.
• ಸಾಧನದ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಪ್ರಕ್ರಿಯೆ ನಡೆಯುತ್ತದೆ: ತ್ವರಿತವಾಗಿರುವುದಿಲ್ಲ.
• ಅತ್ಯಂತ ದೊಡ್ಡ ಕ್ಲೌಡ್ ಮಾದರಿಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಸೀಮಿತ ಮಾದರಿ ಗುಣಮಟ್ಟ.
• ನಿರ್ವಹಣೆ ನಿಮ್ಮದೇ ಹೊಣೆ: ನವೀಕರಣಗಳು, ಭದ್ರತಾ ಪ್ಯಾಚ್‌ಗಳು, ಹಾರ್ಡ್‌ವೇರ್ ವೈಫಲ್ಯಗಳು ನಿಮ್ಮ ಜವಾಬ್ದಾರಿಯಾಗಿದೆ.
• ಸಣ್ಣ ಜ್ಞಾನದ ಬೇಸ್: Pi ನ ಸ್ಟೋರೇಜ್‌ನಿಂದ ಸೀಮಿತವಾಗಿದೆ (ವೈಯಕ್ತಿಕ ಬಳಕೆಗೆ 1TB ಗಣನೀಯವಾಗಿದ್ದರೂ).

ಎಚ್ಚರಿಕೆ

ಈ ಲೇಖನವು ಶೈಕ್ಷಣಿಕ ಉದ್ದೇಶಕ್ಕಾಗಿ ಮತ್ತು ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ನೀವು ಈ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಿದರೆ, ಯಾವುದೇ ಉದಾಹರಣೆ ಮೌಲ್ಯಗಳನ್ನು ನಿಮ್ಮ ಸ್ವಂತ ಕಾನ್ಫಿಗರೇಶನ್‌ನೊಂದಿಗೆ ಬದಲಾಯಿಸಿ. ಮೂಲದ ವಿರುದ್ಧ ಎಲ್ಲಾ ತಾಂತ್ರಿಕ ಹಕ್ಕುಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ನಿರ್ಣಾಯಕ ಕಾರ್ಯಗಳಿಗಾಗಿ ನಿಮ್ಮ ವ್ಯವಸ್ಥೆಯನ್ನು ನಂಬುವ ಮೊದಲು ಸಂಪೂರ್ಣವಾಗಿ ಪರೀಕ್ಷಿಸಿ. ನಿಮ್ಮ ಭದ್ರತಾ ಬೆದರಿಕೆ ಗಂಭೀರವಾಗಿದ್ದರೆ ಭದ್ರತೆಯನ್ನು (ವಿಶೇಷವಾಗಿ ಎನ್‌ಕ್ರಿಪ್ಶನ್) ಕ್ರಿಪ್ಟೋಗ್ರಫಿ ಪರಿಣತಿಯನ್ನು ಹೊಂದಿರುವ ಯಾರಾದರೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕು. ಈ ಲೇಖನವು ಭದ್ರತಾ ಸಲಹೆಯಾಗುವುದಿಲ್ಲ.

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

• ವೈಯಕ್ತಿಕ ಜ್ಞಾನ ವ್ಯವಸ್ಥೆಗಳಿಗೆ RAG ಮತ್ತು fine-tuning ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?
• Raspberry Pi 5 ನಿಜವಾಗಿಯೂ ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ಸಂಪೂರ್ಣ AI ರಿಟ್ರೈವಲ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ಚಲಾಯಿಸಬಲ್ಲದೇ?
• 1TB Pi ಡ್ರೈವ್‌ನಲ್ಲಿ ನೀವು ಎಷ್ಟು ಜ್ಞಾನವನ್ನು ಸಂಗ್ರಹಿಸಬಹುದು?
• ಸಂಪೂರ್ಣ ಸ್ಥಳೀಯ ಸೆಟಪ್ ಹೊಂದಿದ್ದರೂ ಸಹ ಯಾವ ಖಾಸಗಿತನದ ಅಪಾಯಗಳು ಉಳಿಯುತ್ತವೆ?
• ನಿಮ್ಮ ವೈಯಕ್ತಿಕ ಮೆದುಳನ್ನು ಬಹು ಸಾಧನಗಳ ನಡುವೆ ಸುರಕ್ಷಿತವಾಗಿ ಸಿಂಕ್ ಮಾಡಬಹುದೇ?
• ಇದನ್ನು ಹೊಂದಿಸಲು ನಿಮಗೆ ಯಾವ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಕೌಶಲ್ಯಗಳು ಬೇಕು?
• ಕ್ಲೌಡ್ ನೋಟ್-ಟೇಕಿಂಗ್ ಆಪ್‌ಗಳನ್ನು ಬಳಸುವುದಕ್ಕಿಂತ ಈ ವಿಧಾನವು ಉತ್ತಮವೇ?
• ಬ್ಯಾಟರಿ ಬ್ಯಾಕಪ್ ಹೊಂದಿರುವ Raspberry Pi ಸಿಸ್ಟಮ್ ಎಷ್ಟು ಸಾಗಿಸಬಹುದಾದದ್ದು?

ಟ್ಯಾಗ್‌ಗಳು

#privacy #raspberrypi #rag #ai #offline #security #locallm #personalknowledge