நீங்கள் கட்டுப்படுத்தும் ஒரு இரண்டாவது மூளை: Raspberry Pi 5-இல் உள்ளூர் RAG

நீங்கள் சொந்தமாக்கக்கூடிய ஒரு மூளை

உங்கள் இரண்டாவது மூளைக்கு நீதிமன்ற சம்மன் அனுப்பப்பட முடியாது என்றால் எப்படி இருக்கும்? தற்போது, உங்கள் சிந்தனையை விரிவாக்க கிளவுட் சார்ந்த குறிப்பெடுத்தல், வெக்டார் தரவுத்தளங்கள் அல்லது AI உதவியாளர்களைப் பயன்படுத்தினால், அந்த அணுகலை வேறொருவர் கட்டுப்படுத்துகிறார். இன்று, அவ்வாறு இல்லாத ஒன்றை எவ்வாறு உருவாக்குவது என்பதை ஆராய்வோம்.

சூலை 5, 2026 அன்று, Raspberry Pi 5-இல் ஒரு முழுமையான மீட்டெடுப்பு அமைப்பை எவ்வாறு இயக்குவது என்பதைத் துல்லியமாகக் காட்டும் விரிவான வழிகாட்டி ஒன்று வெளியானது — கிளவுட் சேவைகள் இல்லை, API சாவிகள் இல்லை, மூன்றாம் தரப்பு கண்காணிப்பு இல்லை. நீங்கள் மின்னஞ்சல்களுக்குப் பதிலளிப்பதை விட விரைவாகச் சட்ட அமலாக்கத்துறைக்குப் பதிலளிக்கும் சட்டப் பிரிவுகள், சேவை விதிகளுக்கான நிபந்தனைகள் மற்றும் குழுக்களைக் கொண்ட தளங்களுக்கு நாம் நமது பணி நினைவகத்தை ஒட்டுமொத்தமாக மாற்றியிருப்பதால், இது இப்போது மிக முக்கியமானது.

உங்கள் கிளவுட் மூளை சொந்தமானது அல்ல, குத்தகைக்கு எடுக்கப்பட்டது ஏன்

தத்துவவியலாளர்களான Andy Clark மற்றும் David Chalmers 1998 ஆம் ஆண்டிலேயே "extended mind" என்ற கருத்தாக்கத்தை அறிமுகப்படுத்தினர். அவர்களின் வாதம் எளிமையானது: சிந்திப்பதற்கு ஒரு கருவியை — ஒரு குறிப்பேடு, ஒரு தரவுத்தளம், அல்லது நீங்கள் நம்பும் ஒரு அமைப்பை — நீங்கள் தொடர்ச்சியாகப் பயன்படுத்தினால், அக்கருவி உங்கள் அறிவாற்றலின் ஒரு பகுதியாக மாறுகிறது. நீங்கள் அதை வெறும் கலந்தாலோசிப்பது மட்டுமல்ல; அதைக் கொண்டு சிந்திக்கிறீர்கள்.

உங்கள் நீட்டிக்கப்பட்ட மனம் நீங்கள் சொந்தமாக வைத்திருக்கும் டிராயரில் உள்ள காகிதத்தில் இருந்தவரை அது நன்றாகத்தான் இருந்தது. ஆனால் அதை கிளவுட்டிற்கு மாற்றும்போது, மூன்று சிக்கல்கள் எழுகின்றன:

அறிவாற்றல் மாசுபாடு. உங்கள் தேடல்கள் வணிகரீதியான AI மாதிரிகளுக்குப் பயிற்சியளிக்கும் போது, உங்கள் எதிர்காலப் பதில்கள் மற்ற அனைவரின் தேடல்களாலும் வடிவமைக்கப்படுகின்றன. உங்கள் தனிப்பட்ட சூழல், சராசரி பயனரின் சூழலில் நீர்த்துப்போகிறது.

சட்டரீதியான வெளிப்பாடு. உங்கள் தேடல் வரலாறு, குறிப்புகள், எம்படிங்ஸ்கள் — உங்கள் சிந்தனையின் அனைத்து மூலப்பொருட்களும் — கண்டறியக்கூடிய வணிகப் பதிவுகளாக மாறுகின்றன. பல அதிகார வரம்புகளில், அவற்றை ஒப்படைக்குமாறு ஒரு தளத்தைக் கட்டாயப்படுத்த முடியும்.

மூலோபாய பலவீனம். விலையேற்றம், கொள்கை மாற்றம், பிராந்தியத் தடை போன்றவற்றால் உங்கள் அறிவாற்றல் கருவி மறைந்துவிடும். அது இனி ஒரு கருவி அல்ல — அது ஒரு சார்ந்திருத்தல்.

உள்ளூர் மீட்டெடுப்பு இந்த நிலையை முற்றிலுமாக மாற்றுகிறது.

RAG என்பது உண்மையில் என்ன (மேலும் அது ஏன் Fine-Tuning-ஐ விடச் சிறந்தது)

RAG என்பது Retrieval Augmented Generation என்பதைக் குறிக்கிறது. ஒரு மாதிரியின் எடைகளில் அறிவை உள்ளடக்குவதற்குப் பதிலாக (இது செலவு மிகுந்தது மற்றும் புதுப்பிக்க கடினமானது), RAG உங்கள் அறிவைத் தனியாக வைத்து, தேடும் நேரத்தில் அதை மீட்டெடுக்கிறது — ஒவ்வொரு புத்தகத்தையும் மனப்பாடம் செய்வதற்குப் பதிலாக, தேவைப்படும்போது உங்கள் நூலகத்தில் ஒரு புத்தகத்தைத் தேடிப் பார்ப்பது போல.

ஒரு தனிப்பட்ட மூளைக்கு, இது நான்கு காரணங்களால் முக்கியமானது:

மூல ஆதாரம். RAG எந்தக் குறிப்பு அல்லது ஆவணத்திலிருந்து தகவலை எடுத்தது என்பதைத் துல்லியமாகக் காட்ட முடியும். Fine-tuned மாதிரிகள் எந்த ஆதாரமும் இல்லாமல் தன்னம்பிக்கையுடன் தவறான தகவல்களைப் புனையும்.

மாறும் தன்மை. உங்கள் வாழ்க்கை தினமும் மாறுகிறது. ஒரு குறிப்பைப் புதுப்பித்து, மீண்டும் எம்பெட் செய்தால், உங்கள் பதில்கள் உண்மையை நிழலிடும். Fine-tuned மாதிரிகளுக்குச் செலவு மிகுந்த மறுபயிற்சி தேவைப்படும் அல்லது பழைய அறிவையே உங்களுக்கு வழங்கும்.

ஒருங்கிணைக்கும் தன்மை. தேதி, டேக், அல்லது ஆவண வகை மூலம் வடிகட்டலாம். "2024-இலிருந்து எனது வேலைக் குறிப்புகளை மட்டும் காட்டு" என்பது ஒரு ஹேக் அல்ல — அது தேர்ந்தெடுக்கப்பட்ட விரிவாக்கமாகச் செயல்படும் மீட்டெடுப்பு.

எளிதில் எடுத்துச்செல்லும் தன்மை. ஒரு 2GB vector store மற்றும் சிறிய quantized மாதிரி ஆகியவை ஒரு Pi-இல் அடங்கும். மோசமில்லாத ஒரு உண்மையான fine-tuned மாதிரி அப்படி அடங்காது.

இந்த யோசனை புதியதல்ல — தசாப்தங்களுக்கு முன்பே Vannevar Bush தனது Memex கருத்தாக்கத்தில் தகவல் வழியிலான "associative trails" ஐ கற்பனை செய்தார். அவற்றை உருவாக்குவதற்கான கணிதம் இறுதியாக நம்மிடம் உள்ளது.

வன்பொருள்: எளிதில் எடுத்துச்செல்லக்கூடிய ஒரு மூளை

NVMe சேமிப்பகத்துடன் கூடிய Raspberry Pi 5 தான் இங்கு முதன்மை காரணியாகும். முந்தைய Pi மாடல்கள் மீட்டெடுப்பில் மிகவும் மெதுவாக இருந்தன. Pi 5 அதன் HAT இணைப்பான் மூலம் PCIe-ஐ வழங்குகிறது, இது உங்களுக்கு உண்மையான சேமிப்பக அலைவரிசையை அளிக்கிறது — இதுவே RAG அமைப்புகளுக்கான உண்மையான தடங்கலாகும்.

ஒரு முழுமையான கட்டமைப்பு இப்படித்தான் இருக்கும்:

• Raspberry Pi 5 8GB RAM உடன்
• NVMe HAT 1TB வேகமான சேமிப்பகத்துடன் (Pineberry Pi HatDrive போன்றவை), DRAM கேச் கொண்ட TLC பரிந்துரைக்கப்படுகிறது
• Hailo-8 M.2 AI மாடியூல் எம்படிங் கணிதத்தைக் குறைக்க (வெறும் 2.5 வாட்களில் 26 TOPS)
• செயலற்ற அலுமினிய கேஸ் இது ஹீட்சின்காகவும் செயல்படுகிறது
• USB-C PD பேட்டரி பேங்க் எளிதில் எடுத்துச்செல்ல (65W)
• இரண்டு microSD கார்டுகள் — ஒன்று பூட்லோடருக்கு, மற்றொன்று குறியாக்கம் செய்யப்பட்ட காப்புப்பிரதிக்கு

முழு அமைப்பும் சும்மா இருக்கும் போது 4 முதல் 6 வாட்களையும், பயன்பாட்டின் போது 9 முதல் 12 வாட்களையும் பயன்படுத்துகிறது. ஒரு 20,000 mAh பேட்டரி பேங்க் அதை நாள் முழுவதும் இயக்க வைக்கிறது. அதுவே முக்கிய விஷயம்: உங்களால் எடுத்துச் செல்ல முடியாத மூளை, நீங்கள் பயன்படுத்தாத மூளை ஆகும்.

மென்பொருள் அடுக்கு (நோக்கத்தோடு குறைவாக அமைக்கப்பட்டது)

தேவையற்ற சுமைகள் தணிக்கை திறனைக் கெடுக்கும். முழு அமைப்பும் Docker Compose மூலம் ஒருங்கிணைக்கப்பட்ட நான்கு கொள்கலன்களைக் கொண்டு இயங்குகிறது:

1. Qdrant — Rust-இல் எழுதப்பட்ட ஒரு வெக்டார் தரவுத்தளம். இது குறைந்த எடையுடையது, ARM-இல் இயங்குகிறது, மற்றும் வெறும் வேகத்தை விட மெட்டாடேட்டா வடிகட்டலைச் சிறப்பாகக் கையாள்கிறது.

2. Ollama — ஒரு quantized மொழி மாதிரியை வழங்குகிறது. 8GB RAM கொண்ட Pi 5-க்கான சரியான மாதிரி llama3.1:8b-instruct-q4_K_M ஆகும். இது அமைப்பில் அடங்குமளவு சிறியது, ஆனால் உண்மையான உரையை எழுதக்கூடிய அளவுக்கு ஆற்றல் வாய்ந்தது.

3. Nomic Embed Text v1.5 — உங்கள் உரையை வெக்டார்களாக மாற்றும் எம்படிங் மாதிரி. இது கச்சிதமானது, தகவல்களை மீட்டெடுப்பதில் சிறந்தது, மற்றும் ARM செயலிகளில் சிறப்பாக இயங்குகிறது.

4. ஒரு FastAPI சர்வர் (~180 வரிகள் கொண்ட Python) இது அனைத்தையும் ஒன்றாக இணைக்கிறது: ஆவணங்களை உட்புகுத்தல், பொருத்தங்களை மீட்டெடுத்தல், தூண்டுதல்களை உருவாக்குதல், மாதிரியை அழைத்தல், பதில்களைத் திருப்புதல்.

LangChain இல்லை. தூண்டுதல் எவ்வாறு உருவாக்கப்படுகிறது என்பதை மறைக்கும் மாயச் சங்கிலிகள் எதுவும் இல்லை. டெம்ப்ளேட்டை நீங்கள் பார்ப்பதால், அதில் உள்ள சார்புநிலையை உங்களால் பார்க்க முடிகிறது.

அறிவை சரியான முறையில் எவ்வாறு உட்புகுத்துவது

துண்டாக்குதல் மிக முக்கியமானது. இந்த அமைப்பு Markdown கோப்புகளை 700 முதல் 900 டோக்கன்களாகத் துண்டாக்குகிறது, துண்டுகளுக்கு இடையே 100 முதல் 150 டோக்கன்கள் ஒன்றுடன் ஒன்று மேலொன்றுமாறு வைக்கிறது. அந்த மேலடுக்கு எல்லைகளுக்கு அப்பாலும் சூழலைப் பாதுகாக்கிறது — விளிம்பில் உள்ள சொற்கள் முன்னிருந்தவற்றிலிருந்து துண்டிக்கப்படுவதில்லை.

குறியீட்டிற்கு, இது tree-sitter (தொடரியல் கட்டமைப்பை அறிந்த ஒரு பார்ஸர்) ஐப் பயன்படுத்தி ஃபங்க்ஷன் அல்லது கிளாஸ் வாரியாகத் துண்டாக்குகிறது, மேலும் மொழி மற்றும் குறியீட்டுப் பெயரை மெட்டாடேட்டாவாகச் சேமிக்கிறது.

PDF-களுக்கு, இது உள்ளூரிலேயே OCR-ஐ இயக்கி, தலைப்பு வாரியாகத் துண்டாக்குகிறது, மேலும் மூலத்தைக் கண்டறியும் வகையில் பக்க எண்களைத் தக்கவைத்துக்கொள்கிறது.

இது மூலக் கோப்புகளின் SHA256 ஹேஷ்களைக் கணக்கிடுகிறது. நீங்கள் மீண்டும் உட்புகுத்தும்போது, மாறாத கோப்புகள் செயலாக்கத்தைத் தவிர்க்கின்றன — புத்திசாலித்தனமானது மற்றும் வேகமானது.

மீட்டெடுப்பு: உண்மையான பதில்களைப் பெறுதல்

நீங்கள் ஒரு கேள்வியைக் கேட்கும்போது:

1. அமைப்பு உங்கள் கேள்வியை வெக்டார்களாக எம்பெட் செய்கிறது.
2. மிகவும் ஒத்த 12 சிறந்த துண்டுகளுக்கு இது Qdrant-இல் தேடுகிறது.
3. ஒரே யோசனையின் 12 பதிப்புகளைத் தவிர்த்து, பல்வேறு கோணங்களைப் பெறுவதற்காக இது ஒரு பன்முகத்தன்மை மறுவரிசையாக்கத்தைச் (maximal marginal relevance) செயல்படுத்துகிறது.
4. உங்கள் கேள்வி குறிப்பிடும் பட்சத்தில், இது டேக்குகள் அல்லது தேதிகள் மூலம் வடிகட்டுகிறது.

மெதுவான சரியான பதில்களை விட வேகமான தவறான பதில்கள் மோசமானவை. இந்த அமைப்பு வேகத்தை விடச் சரியான தன்மைக்கே முன்னுரிமை அளிக்கிறது.

பாதுகாப்பு மற்றும் தனிப்பரிவு

Argon2id (PBKDF2 அல்ல) ஐப் பயன்படுத்தி NVMe-ஐ LUKS2 உடன் குறியாக்கம் செய்யவும். பூட் செய்த பிறகு நீங்கள் உடலியல் ரீதியாக அகற்றும் ஒரு USB டிரைவில் சாவிக்கோப்பைச் சேமிக்கவும், அல்லது ஒரு வலுவான கடவுச்சொற்றொடரை நினைவில் கொள்ளவும். தரவுப் பிரிவை noexec மற்றும் nodev கொடிகளுடன் மவுண்ட் செய்யவும், இதனால் அதிலிருந்து குறியீடு இயங்க முடியாது.

இயக்க முறைமையை படிக்க மட்டும் மேலடுக்கில் வைத்திருங்கள், இதனால் திடீர் மின் இழப்பு உங்கள் ரூட் கோப்பு முறைமையை சேதப்படுத்தாது.

இது தேவையற்ற அச்சம் அல்ல. நீங்கள் ஒரு அறிவாற்றல் சாதனத்தை உருவாக்குகிறீர்கள், ஏதோ ஒரு பொழுதுபோக்குத் திட்டத்தை அல்ல. இந்தத் தரவுதான் உங்கள் சிந்தனை.

முடிவுரை

நீட்டிக்கப்பட்ட மனம் என்பது உண்மை. உங்கள் கருவிகளே உங்கள் எண்ணங்களை வடிவமைக்கின்றன. பல தசாப்தங்களாக, கண்காணிப்பு மற்றும் தகவல் பிரித்தெடுப்பிற்கு உகந்ததாக்கப்பட்ட தளங்களில் நமது பணி நினைவகத்தைச் சேமித்து, வசதிக்காகச் உரிமையை இழந்துவிட்டோம். நீங்கள் அதை மீட்டெடுக்க முடியும் — பொறுமை மற்றும் சில வன்பொருள் அமைப்புகளுடன், உங்கள் இரண்டாவது மூளை உங்களுக்கு மட்டுமே உரியதாக, ஆஃப்லைனில், வேகமானதாக, மற்றும் உண்மையான தனிப்பட்டதாக இருக்கும்.

நன்மைகள்

• முற்றிலும் தனிப்பட்டது: கிளவுட் இல்லை, மூன்றாம் தரப்பு அணுகல் இல்லை, சம்மன் அனுப்ப எதுவும் இல்லை.
• முழு அடுக்கையும் நீங்களே கட்டுப்படுத்துகிறீர்கள்: குறியீட்டின் ஒவ்வொரு வரியையும் பாருங்கள், ஒவ்வொரு முடிவையும் புரிந்து கொள்ளுங்கள்.
• எளிதில் எடுத்துச்செல்லக்கூடியது மற்றும் குறைந்த மின்நுகர்வு: பேட்டரியில் நாள் முழுவதும் இயங்கும்.
• துல்லியமானது: RAG மேற்கோள்கள் ஆதாரங்களைச் சரிபார்க்கவும் தவறான தகவல்களைத் தவிர்க்கவும் அனுமதிக்கின்றன.
• புதுப்பிக்கத்தக்கது: மறுபயிற்சி இன்றி புதிய அறிவைச் சேர்க்கலாம்.
• முற்றிலும் ஆஃப்லைனில் இயங்குகிறது: API வரம்புகள் இல்லை, கிளவுட்டுக்காகக் காத்திருக்கும் காலதாமதம் இல்லை.

குறைபாடுகள்

• தொழில்நுட்ப அமைப்பு தேவை: சுட்டியைச் சொடுக்குவது போல் எளிதானதல்ல.
• ஊகம் சாதன வன்பொருளிலேயே நடக்கிறது: உடனடியானது அல்ல.
• மிகப்பெரிய கிளவுட் மாதிரிகளுடன் ஒப்பிடும்போது வரையறுக்கப்பட்ட மாதிரி தரம்.
• பராமரிப்பு உங்கள் பொறுப்பு: புதுப்பிப்புகள், பாதுகாப்புத் திட்டுகள், வன்பொருள் தோல்விகள் ஆகியவை உங்கள் பொறுப்பாகும்.
• சிறிய அறிவுத் தளம்: Pi-இன் சேமிப்பகத்தால் வரம்பிடப்பட்டது (இருப்பினும் தனிப்பட்ட பயன்பாட்டிற்கு 1TB கணிசமானது).

எச்சரிக்கை

இந்தக் கட்டுரை கல்வி நோக்கமுள்ளது மற்றும் பொதுவெளியில் கிடைக்கும் தகவல்களைச் சுருக்குகிறது. நீங்கள் இந்த அமைப்பை உருவாக்கினால், ஏதேனும் மாதிரி மதிப்புகளை உங்கள் சொந்த உள்ளமைவு கொண்டு மாற்றவும். முக்கியமான பணிகளுக்கு உங்கள் அமைப்பை நம்புவதற்கு முன், அசல் ஆதாரத்திற்கு எதிராக அனைத்துத் தொழில்நுட்பக் கோரிக்கைகளையும் சரிபார்த்து முழுமையாகச் சோதிக்கவும். உங்கள் அச்சுறுத்தல் மாதிரி தீவிரமானது என்றால், பாதுகாப்பு (குறிப்பாகக் குறியாக்கம்) இரகசியக் குறியீட்டு முறையியல் நிபுணத்துவம் பெற்ற ஒருவரால் சரிபார்க்கப்பட வேண்டும். இந்தக் கட்டுரை பாதுகாப்பு ஆலோசனையாக அமையாது.

அடிக்கடி கேட்கப்படும் கேள்விகள்

• தனிப்பட்ட அறிவு அமைப்புகளுக்கு RAG மற்றும் fine-tuning ஆகியவற்றிற்கு இடையே உள்ள வேறுபாடு என்ன?
• ஒரு Raspberry Pi 5 உண்மையில் ஒரு முழுமையான AI மீட்டெடுப்பு அமைப்பை ஆஃப்லைனில் இயக்க முடியுமா?
• 1TB Pi டிரைவில் எவ்வளவு அறிவைச் சேமிக்க முடியும்?
• முழுமையான உள்ளூர் அமைப்பிலும் என்ன தனிப்பரிவு அபாயங்கள் எஞ்சியுள்ளன?
• பல சாதனங்களுக்கு இடையே உங்கள் தனிப்பட்ட மூளையைப் பாதுகாப்பாக ஒத்திசைக்க முடியுமா?
• இதை அமைக்க உங்களுக்கு என்ன நிரலாக்கத் திறன்கள் தேவை?
• கிளவுட் குறிப்பெடுக்கும் பயன்பாடுகளைப் பயன்படுத்துவதை விட இந்த அணுகுமுறை சிறந்ததா?
• பேட்டரி பேக்கப் கொண்ட Raspberry Pi அமைப்பு எவ்வளவு எளிதில் எடுத்துச்செல்லக்கூடியது?

டேக்குகள்

#privacy #raspberrypi #rag #ai #offline #security #locallm #personalknowledge