சுயமாக ஹோஸ்ட் செய்யப்படும் Databricks மாற்று: Homelab Data Lakehouse

கச்சாத் தரவு என்பது பதப்படுத்தப்படாத எஃகு போன்றது; அது மதிப்புமிக்கதாக மாற செயலாக்கம் தேவைப்படுகிறது. இக்கட்டுரை ஓபன்-சோர்ஸ் கருவிகளைப் பயன்படுத்தி சுயமாக ஹோஸ்ட் செய்யப்படும் data lakehouse-ஐ எவ்வாறு உருவாக்குவது என்பதை ஆராய்கிறது, இது அதிக செலவின்றி தரவின் ஆற்றலைப் பயன்படுத்த விரும்பும் எவருக்கும் ஒரு சிறந்த தேர்வாக அமைகிறது.

Data Lakehouse என்றால் என்ன?

ஒரு data lakehouse என்பது data lakes மற்றும் data warehouses ஆகியவற்றின் சிறந்த அம்சங்களை ஒருங்கிணைக்கிறது. இது கச்சாத் தரவைக் குறைந்த செலவில் சேமிக்க அனுமதிக்கும் அதே வேளையில், தரவு மேலாண்மைக்கான கட்டமைப்பு மற்றும் விதிகளையும் வழங்குகிறது. இதன் பொருள் உங்கள் தரவின் ஒரே பதிப்பை நீங்கள் பராமரிக்க முடியும், இது அணுகுவதையும் பகுப்பாய்வு செய்வதையும் எளிதாக்குகிறது.

சுயமாக ஹோஸ்ட் செய்யப்படும் ஒரு Data Lakehouse-ன் கூறுகள்

சுயமாக ஹோஸ்ட் செய்யப்படும் data lakehouse ஒன்றை உருவாக்குவதில், ஒரு சக்திவாய்ந்த அமைப்பை உருவாக்க பல முக்கிய கூறுகள் ஒன்றிணைகின்றன:

• Ceph Object Storage: இங்குதான் அனைத்து கச்சாத் தரவுகளும் சேமிக்கப்படுகின்றன. இது உள்வரும் தரவுகளுக்கான ஏற்றி இறக்கும் தளமாக (loading dock) செயல்படுகிறது.
• Project Nessie: இந்த கருவி தரவுக்கான Git போல செயல்பட்டு, உங்கள் அட்டவணைகளின் ஒவ்வொரு பதிப்பையும் கண்காணிக்கிறது. இது data lineage-ஐ நிர்வகிக்க உதவுகிறது மற்றும் ஒவ்வொரு தரவும் எங்கிருந்து வந்தது என்பதை நீங்கள் அறிவதை உறுதி செய்கிறது.
• dbt (data build tool): இக்கருவி தரவை உருமாற்றுவதற்கும் (transforming) சோதிப்பதற்கும் பயன்படுத்தப்படுகிறது. தரவு பயன்படுத்தப்படுவதற்கு முன்பு அது சுத்தமாகவும் நம்பகமானதாகவும் இருப்பதை இது உறுதி செய்கிறது.
• Trino: உங்கள் தரவின் மீது வினவல்களை (queries) எளிதாக இயக்க அனுமதிக்கும் ஒரு விநியோகிக்கப்பட்ட SQL query engine.
• Apache Superset: SQL எழுத வேண்டிய அவசியமின்றி டாஷ்போர்டுகளை உருவாக்கவும் தரவு நுண்ணறிவுகளைக் காட்சிப்படுத்தவும் இது பயன்படுகிறது.
• OpenMetadata: இந்த கருவி மெட்டாடேட்டாவை நிர்வகிக்கவும் data lineage-ஐக் கண்டறியவும் உதவுகிறது, மேலும் தரவு எங்கிருந்து உருவானது மற்றும் அது எவ்வாறு மாறியுள்ளது என்பதற்கான நுண்ணறிவுகளை வழங்குகிறது.
• Kubeflow: மாடல் பயிற்சி மற்றும் பயன்பாட்டில் வரிசைப்படுத்துதல் (deployment) உள்ளிட்ட மெஷின் லேர்னிங் பணிப்பாய்வுகளை நிர்வகிப்பதற்கான ஒரு தளம்.
• MLflow and KServe: இந்த கருவிகள் மெஷின் லேர்னிங் சோதனைகளைக் கண்காணிக்கின்றன மற்றும் HTTP வழியாக மாடல்களை வழங்குகின்றன (serve).

உங்கள் Data Lakehouse-ஐ உருவாக்குவதற்கான படிகள்

படி 1: உங்கள் Homelab சூழலை அமைக்கவும்

உங்களுக்கு ஒரு homelab அமைப்பு தேவைப்படும், முன்னுரிமையாக RKE2 போன்ற ஒரு Kubernetes கிளஸ்டரைப் பயன்படுத்துவது நல்லது. இது உங்கள் அனைத்து கூறுகளையும் ஹோஸ்ட் செய்யும்.

படி 2: Object Storage-க்காக Ceph-ஐ நிறுவவும்

உங்கள் கச்சாத் தரவுச் சேமிப்பகத்தைக் கையாள Ceph-ஐ அமைக்கவும். உள்வரும் உங்கள் அனைத்து தரவுகளுக்கும் இதுவே முதல் நுழைவுப் புள்ளியாக இருக்கும்.

படி 3: Project Nessie-ஐ வரிசைப்படுத்தவும் (Deploy)

உங்கள் தரவுப் பதிப்புகளை நிர்வகிக்க Project Nessie-ஐ நிறுவவும். இது மாற்றங்களைக் கண்காணிக்கவும் தரவு ஒருமைப்பாட்டைப் (data integrity) பராமரிக்கவும் உதவும்.

படி 4: தரவு உருமாற்றத்திற்கு dbt-ஐ செயல்படுத்தவும்

தரவு மாதிரிகளை (data models) உருவாக்கவும் தரக் கட்டுப்பாட்டை உறுதிப்படுத்தவும் dbt-ஐப் பயன்படுத்தவும். சுத்தமான மற்றும் நம்பகமான தரவைப் பராமரிக்க இந்த படி மிக முக்கியமானது.

படி 5: வினவுவதற்கு (Querying) Trino-வை அமைக்கவும்

உங்கள் data lakehouse முழுவதும் SQL வினவல்களை இயக்க Trino-வை நிறுவவும். இது உங்கள் தரவுகளுடன் எளிதாக தொடர்புகொள்ள உங்களை அனுமதிக்கும்.

படி 6: Apache Superset-ஐ ஒருங்கிணைக்கவும்

காட்சிப்படுத்தல்கள் மற்றும் டாஷ்போர்டுகளை உருவாக்க Superset-ஐ வரிசைப்படுத்தவும், இது உங்கள் தரவு நுண்ணறிவுகளைப் புரிந்துகொள்வதை எளிதாக்குகிறது.

படி 7: OpenMetadata கொண்டு மெட்டாடேட்டாவை நிர்வகிக்கவும்

உங்கள் data lineage-ஐக் கண்காணிக்கவும் மெட்டாடேட்டாவைத் திறம்பட நிர்வகிக்கவும் OpenMetadata-வை ஒருங்கிணைக்கவும்.

படி 8: மெஷின் லேர்னிங்கிற்கு Kubeflow-ஐப் பயன்படுத்தவும்

மாடல் பயிற்சி மற்றும் பயன்பாட்டில் வரிசைப்படுத்துதல் உள்ளிட்ட உங்கள் மெஷின் லேர்னிங் பணிப்பாய்வுகளை நிர்வகிக்க Kubeflow-ஐ அமைக்கவும்.

படி 9: MLflow கொண்டு மாடல்களைக் கண்காணிக்கவும்

உங்கள் மெஷின் லேர்னிங் சோதனைகளைக் கண்காணிக்கவும் மாடல் பதிப்புகளை நிர்வகிக்கவும் MLflow-ஐ செயல்படுத்தவும்.

சுயமாக ஹோஸ்ட் செய்யப்படும் Lakehouse-ஐ ஏன் தேர்வு செய்ய வேண்டும்?

சுயமாக ஹோஸ்ட் செய்யப்படும் data lakehouse-ஐ உருவாக்குவது பல நன்மைகளை வழங்குகிறது:

• செலவு குறைவானது: கிளவுட் சேவைகளை வாடகைக்கு எடுப்பதற்கான தொடர் செலவுகளை நீங்கள் தவிர்க்கலாம்.
• தனிப்பயனாக்கக்கூடியது: உங்கள் அமைப்பின் மீது முழுமையான கட்டுப்பாடு உங்களுக்கு உண்டு, மேலும் உங்கள் குறிப்பிட்ட தேவைகளுக்கு ஏற்ப அதை அமைத்துக் கொள்ளலாம்.
• ஓபன்-சோர்ஸ்: ஓபன்-சோர்ஸ் கருவிகளைப் பயன்படுத்துவது என்பது, உரிமக் கட்டணங்கள் ஏதுமின்றி தேவைக்கேற்ப அவற்றை மாற்றியமைக்கவும் தழுவிக்கொள்ளவும் முடியும் என்பதாகும்.

முடிவுரை

சுயமாக ஹோஸ்ட் செய்யப்படும் data lakehouse-ஐ உருவாக்குவது என்பது உங்கள் தரவை திறமையாகவும் குறைந்த செலவிலும் நிர்வகிப்பதற்கான ஒரு அருமையான வழியாகும். சரியான கருவிகள் மற்றும் அமைப்புடன், உங்கள் தரவுத் தேவைகளைப் பூர்த்தி செய்யும் ஒரு சக்திவாய்ந்த அமைப்பை நீங்கள் உருவாக்க முடியும்.

நன்மைகள்

• கிளவுட் சேவைகளுடன் ஒப்பிடும்போது செலவு மிச்சமாகிறது.
• தரவு மேலாண்மை மற்றும் செயலாக்கத்தின் மீது முழு கட்டுப்பாடு.
• சூழலைத் தனிப்பயனாக்குவதற்கான நெகிழ்வுத்தன்மை (Flexibility).

குறைபாடுகள்

• அமைப்பதற்கும் பராமரிப்பதற்கும் தொழில்நுட்ப நிபுணத்துவம் தேவைப்படுகிறது.
• ஆரம்ப கட்டமைப்பு நேரம் அதிகமாக இருக்கலாம்.
• கணினி சீராக இயங்குவதற்கு தொடர்ச்சியான பராமரிப்பு அவசியம்.

எச்சரிக்கை

இந்த கட்டுரை கல்வி நோக்கங்களுக்காக மட்டுமே உருவாக்கப்பட்டுள்ளது. ஒதுக்கிட (placeholder) மதிப்புகளை உங்கள் குறிப்பிட்ட நற்சான்றிதழ்களுடன் (credentials) மாற்றுவதையும், அவற்றை நம்புவதற்கு முன் அசல் மூலத்துடன் அனைத்து தகவல்களையும் சரிபார்ப்பதையும் நினைவில் கொள்ளுங்கள்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

• Data lakehouse என்றால் என்ன? — ஒரு data lakehouse என்பது data lakes மற்றும் warehouses ஆகியவற்றின் அம்சங்களை ஒருங்கிணைத்து, திறமையான தரவு சேமிப்பு மற்றும் மேலாண்மைக்கு வழிவகுக்கிறது.
• ஓபன்-சோர்ஸ் கருவிகளை ஏன் பயன்படுத்த வேண்டும்? — ஓபன்-சோர்ஸ் கருவிகள் நெகிழ்வுத்தன்மையையும் செலவு சேமிப்பையும் வழங்குகின்றன, உரிமக் கட்டணங்கள் இன்றி உங்கள் அமைப்பைத் தனிப்பயனாக்க உங்களை அனுமதிக்கின்றன.
• தரவின் தரத்தை (data quality) நான் எவ்வாறு உறுதி செய்வது? — dbt போன்ற கருவிகளைப் பயன்படுத்துவது தரவை உருமாற்றவும் சோதிக்கவும் உதவுகிறது, இது தரத் தரநிலைகளை பூர்த்தி செய்வதை உறுதி செய்கிறது.
• Project Nessie என்றால் என்ன? — Project Nessie என்பது குறியீட்டிற்கான Git போல, உங்கள் தரவின் பதிப்புகளைக் கண்காணிக்கும் ஒரு data catalog கருவியாகும்.
• Ceph எதற்காகப் பயன்படுத்தப்படுகிறது? — Ceph என்பது உங்கள் data lakehouse-ல் கச்சாத் தரவை வைத்திருக்கக்கூடிய ஒரு object storage அமைப்பாகும்.
• எனது தரவை எவ்வாறு காட்சிப்படுத்துவது? — உங்கள் தரவு நுண்ணறிவுகளின் டாஷ்போர்டுகள் மற்றும் காட்சிப்படுத்தல்களை உருவாக்க Apache Superset-ஐப் பயன்படுத்தலாம்.

குறிச்சொற்கள்

#data #lakehouse #homelab #opensource #databases #mlops #dataengineering #visualization #kubernetes #cloudnative