मुख्य विषयवस्तु में जाएं

इलम स्टोरेज्स

अधिक लचीलापन प्रदान करने और Ilum उपयोगकर्ताओं के लिए उपलब्ध संभावनाओं की सीमा को समृद्ध करने के लिए, हमने उस भंडारण को कॉन्फ़िगर करने की संभावना का विस्तार किया है जिस पर Ilum चलता है। अब तक, इलम दृढ़ता से एस 3 से जुड़ा हुआ था, लेकिन संस्करण 6.1.0 के रूप में हमने इसे बदल दिया है। वर्तमान में, 4 प्रकार के स्टोरेजों में से एक का उपयोग करना संभव है:

  1. एस 3 - Amazon सिंपल स्टोरेज सर्विस या कोई S3 संगत इंटरफ़ेस जैसे समुद्री शैवाल एफएस नहीं तो मिनियो .
  2. जीसीएस - Google क्लाउड स्टोरेज।
  3. डब्ल्यूएएसबीएस - Azure ब्लॉब स्टोरेज।
  4. एचडीएफएस - Hadoop वितरित फ़ाइल सिस्टम।

Ilum डिफ़ॉल्ट क्लस्टर संग्रहण को हेल्म मानों के साथ कॉन्फ़िगर किया जा सकता है। यहां बताया गया है कि आप हेल्म अपग्रेड कमांड का उपयोग करके उनमें से प्रत्येक को कैसे कॉन्फ़िगर कर सकते हैं:

एस 3 ​

हेल्म अपग्रेड \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--सेट ilum-core.kubernetes.storage.type=s3 \ 
--set ilum-core.kubernetes.s3.host=ilum-minio \ 
--सेट इलम-कोर.कुबेरनेट्स.s3.पोर्ट=9000 \ 
--set ilum-core.kubernetes.s3.sparkBucket=ilum-spark \ 
--set ilum-core.kubernetes.s3.dataBucket=ilum-data \ 
--set ilum-core.kubernetes.s3.accessKey=minioadmin \ 
--set ilum-core.kubernetes.s3.secretKey=minioadmin \ 
--पुन: उपयोग-मान इलम इलम /

जीसीएस ​

हेल्म अपग्रेड \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--सेट ilum-core.kubernetes.storage.type=gcs \ 
--set ilum-core.kubernetes.gcs.clientEmail=gcsEmail \ 
--set ilum-core.kubernetes.gcs.privateKey=gcsPrivateKey \ 
--set ilum-core.kubernetes.gcs.privateKeyId=gcsPrivateKeyId \ 
--set ilum-core.kubernetes.gcs.sparkBucket=ilum-spark \ 
--set ilum-core.kubernetes.gcs.dataBucket=ilum-data \ 
--पुन: उपयोग-मान इलम इलम /

WASBS - Azure ब्लॉब संग्रहण ​

हेल्म अपग्रेड \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--सेट ilum-core.kubernetes.storage.type=wasbs \ 
--set ilum-core.kubernetes.wasbs.accessKey =wasbsAccessKey \ 
--set ilum-core.kubernetes.wasbs.accountName=wasbsAccountName \ 
--set ilum-core.kubernetes.wasbs.sparkContainer=ilum-spark \ 
--set ilum-core.kubernetes.wasbs.dataContainer=ilum-data \ 
--पुन: उपयोग-मान इलम इलम /

एचडीएफएस ​

हेल्म अपग्रेड \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--सेट ilum-core.kubernetes.storage.type=hdfs \ 
--set ilum-core.kubernetes.hdfs.hadoopUsername=hdfs \ 
--set ilum-core.kubernetes.hdfs.config.'core-site\.xml'=base64EncodedCore-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'yarn-site\.xml'=base64EncodedYarn-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'hdfs-site\.xml'=base64EncodedHdfs-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'mapred-site\.xml'=base64EncodedMapred-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.sparkCatalog=ilum-spark \ 
--set ilum-core.kubernetes.hdfs.dataCatalog=ilum-data \ 
--set ilum-core.kubernetes.hdfs.logDirectory=hdfs://10.1.2.3/user/hdfs/illum-spark/ilum/logs \ 
--पुन: उपयोग-मान इलम इलम /

नोट: Hdfs कॉन्फ़िगरेशन फ़ाइलों को base64 प्रारूप में एन्कोड किया जाना चाहिए

चेतावनी : सावधान रहें, यदि आप क्लस्टर के स्पार्क स्टोरेज को बदलना चाहते हैं, तो सुनिश्चित करें कि इसमें समूह या कार्य नहीं हैं, अन्यथा अपडेट के बाद उन्हें हटाने पर यह समस्या पैदा कर सकता है

उपरोक्त विकल्पों में से आपके द्वारा चुने जाने के आधार पर, एक डिफ़ॉल्ट क्लस्टर और स्पार्क इतिहास सर्वर, यदि सक्षम है, तो इस विशिष्ट संग्रहण के साथ कॉन्फ़िगर किया जाएगा।

क्लस्टर निर्माण स्तर पर प्रत्येक इलम क्लस्टर को कई स्टोरेज सौंपे जा सकते हैं, उनमें से प्रत्येक के आवश्यक कॉन्फ़िगरेशन को इस क्लस्टर के स्पार्क जॉब्स में स्थानांतरित किया जाता है, इसलिए हम आसानी से उन स्टोरेजों में स्थित इलम टेबल तक पहुंच सकते हैं।

उदाहरण ​

आप इस में अपने स्पार्क नौकरियों में मल्टी स्टोरेज इलम क्लस्टर का लाभ उठाने के तरीके के बारे में उदाहरण पा सकते हैं कोष

Last updated on