16 जून 2024 11 मिनट लाल समाचार

5 मिनट से भी कम समय में कुबेरनेट्स पर अपाचे स्पार्क कैसे चलाएं

इलम जैसे उपकरण कुबेरनेट्स पर अपाचे स्पार्क स्थापित करने की प्रक्रिया को सरल बनाने में एक लंबा रास्ता तय करेंगे। यह मार्गदर्शिका आपको चरण दर चरण बताएगी कि स्पार्क को अपने कुबेरनेट्स क्लस्टर पर अच्छी तरह से कैसे चलाया जाए। इलम के साथ, अपाचे स्पार्क क्लस्टर की तैनाती, प्रबंधन और स्केलिंग आसानी से और स्वाभाविक रूप से की जाती है।

परिचय

आज, हम दिखाएंगे कि K8s पर Apache Spark के साथ कैसे उठना और दौड़ना है। ऐसा करने के कई तरीके हैं, लेकिन अधिकांश जटिल हैं और कई कॉन्फ़िगरेशन की आवश्यकता होती है। हम उपयोग करेंगे इलम चूंकि वह हमारे लिए सभी क्लस्टर सेटअप करेगा। अगले ब्लॉग पोस्ट में, हम स्पार्क ऑपरेटर के साथ उपयोग की तुलना करेंगे।

इलम अपाचे स्पार्क क्लस्टर को आसानी से तैनात और प्रबंधित करने के लिए एक स्वतंत्र, मॉड्यूलर डेटा लेकहाउस है। स्पार्क को परिभाषित और प्रबंधित करने के लिए इसमें एक सरल एपीआई है, यह सभी निर्भरताओं को संभाल लेगा। यह आपकी खुद की प्रबंधित चिंगारी के निर्माण में मदद करता है।

इलम के साथ, आप मिनटों में स्पार्क क्लस्टर तैनात कर सकते हैं और स्पार्क एप्लिकेशन को तुरंत चलाना शुरू कर सकते हैं। इलम आपको आसानी से स्केल आउट करने और अपने स्पार्क क्लस्टर में एक ही यूआई से कई स्पार्क क्लस्टर प्रबंधित करने की अनुमति देता है।

इलम के साथ, आरंभ करना आसान है यदि आप कुबेरनेट्स पर अपाचे स्पार्क के लिए अपेक्षाकृत नए हैं।

कुबेरनेट्स पर अपाचे स्पार्क स्थापित करने के लिए चरण-दर-चरण मार्गदर्शिका

द्रुत सुरुवात

हम मानते हैं कि आपके पास कुबेरनेट्स क्लस्टर ऊपर और चल रहा है, बस अगर आप नहीं करते हैं, तो मिनीक्यूब पर कुबेरनेट्स क्लस्टर सेट करने के लिए इन निर्देशों को देखें। मिनिक्यूब स्थापित करने का तरीका जांचें .

एक स्थानीय कुबेरनेट्स क्लस्टर सेटअप करें

मिनिक्यूब स्थापित करें: अनुशंसित संसाधनों के साथ मिनिक्यूब स्थापित करने के लिए निम्न आदेश निष्पादित करें। यह मिनिक्यूब को 6 वीसीपीयू और 12288 एमबी मेमोरी के साथ स्थापित करेगा, जिसमें मैट्रिक्स सर्वर ऐड-ऑन शामिल है जो निगरानी के लिए आवश्यक है।

minikube start --cpus 6 --memory 12288 --addons metrics-server

एक बार जब आपके पास कुबेरनेट्स क्लस्टर चल रहा होता है, तो इलम को स्थापित करने के लिए बस कुछ ही कमांड दूर होते हैं:

इलम के साथ कुबेरनेट्स पर स्पार्क स्थापित करें

आगे कहना इलम हेल्म रिपोजिटरी

हेल्म रेपो जोड़ें ilum https://charts.ilum.cloud

अपने क्लस्टर में इलम स्थापित करें

हेल्म इंस्टॉल और ile/el

💡

धीमी इंटरनेट गति और बड़े डॉकर छवि आकार से 2 मिनट के डाउनलोड टाइमआउट के कारण कुबेरनेट्स पॉड की विफलता हो सकती है। इसलिए हम टाइमआउट प्राप्त किए बिना छवि को मैन्युअल रूप से खींचने की सलाह देते हैं।

मिनिक्यूब एसएसएच डॉकर पुल इलम/कोर:6.2.0

इस सेटअप में लगभग दो मिनट लगने चाहिए। इलम आपके कुबेरनेट्स क्लस्टर में तैनात होगा, इसे स्पार्क नौकरियों को संभालने के लिए तैयार करेगा।

एक बार इलम स्थापित हो जाने के बाद, आप यूआई को पोर्ट-फॉरवर्ड और लोकलहोस्ट: 9777 के साथ एक्सेस कर सकते हैं।

UI तक पहुँचने के लिए पोर्ट अग्रेषित: Ilum UI तक पहुँचने के लिए कुबेरनेट्स पोर्ट-फ़ॉरवर्डिंग का उपयोग करें।

Kubectl पोर्ट-फॉरवर्ड SVC/ILUM-UI 9777:9777

प्रयोग व्यवस्थापक/व्यवस्थापक डिफ़ॉल्ट क्रेडेंशियल्स के रूप में। आप उन्हें के दौरान बदल सकते हैं परिनियोजन प्रक्रिया .

बस इतना ही, आपका कुबेरनेट्स क्लस्टर अब स्पार्क नौकरियों को संभालने के लिए कॉन्फ़िगर किया गया है। इलम एक सरल एपीआई और यूआई प्रदान करता है जो स्पार्क एप्लिकेशन जमा करना आसान बनाता है। आप अच्छे पुराने का भी उपयोग कर सकते हैं स्पार्क सबमिट करें .

कुबेरनेट्स पर स्पार्क एप्लिकेशन तैनात करें

आइए अब एक साधारण स्पार्क जॉब शुरू करें। हम स्पार्क से "SparkPi" उदाहरण का उपयोग करेंगे प्रलेखन . आप इससे जार फाइल का इस्तेमाल कर सकते हैं जोड .

इलम स्पार्क जॉब जोड़ें

इलम एक स्पार्क ड्राइवर कुबेरनेट्स पॉड बनाएगा, यह स्पार्क संस्करण 3.x डॉकर छवि का उपयोग करता है। आप स्पार्क निष्पादक फली की संख्या को कई नोड्स तक स्केल करके नियंत्रित कर सकते हैं। K8s में स्पार्क एप्लिकेशन सबमिट करने का यह सबसे आसान तरीका है।

कुबेरनेट्स पर स्पार्क चलाना इलम के साथ वास्तव में आसान और घर्षण रहित है। यह आपके पूरे क्लस्टर को कॉन्फ़िगर करेगा और आपको एक इंटरफ़ेस के साथ प्रस्तुत करेगा जहां आप अपने स्पार्क क्लस्टर का प्रबंधन और निगरानी कर सकते हैं। हमारा मानना है कि कुबेरनेट्स पर स्पार्क ऐप्स बड़े डेटा का भविष्य हैं। कुबेरनेट्स के साथ, स्पार्क एप्लिकेशन बड़ी मात्रा में डेटा को अधिक मज़बूती से संभालने में सक्षम होंगे, इस प्रकार सटीक अंतर्दृष्टि प्रदान करेंगे और बड़े डेटा के साथ निर्णय लेने में सक्षम होंगे।

कुबेरनेट्स (पुरानी शैली) के लिए एक स्पार्क आवेदन जमा करना

कुबेरनेट्स क्लस्टर में स्पार्क जॉब सबमिट करने में स्पार्क-सबमिट कुबेरनेट्स के लिए विशिष्ट कॉन्फ़िगरेशन के साथ स्क्रिप्ट। यहां चरण-दर-चरण मार्गदर्शिका दी गई है:

सीढ़ी :

स्पार्क एप्लिकेशन तैयार करें : अपने स्पार्क एप्लिकेशन को जेएआर फ़ाइल (स्काला/जावा के लिए) या पायथन स्क्रिप्ट में पैकेज करें।
प्रयोग स्पार्क-सबमिट तैनात करने के लिए : निष्पादित करें स्पार्क-सबमिट कुबेरनेट्स-विशिष्ट विकल्पों के साथ कमांड:
```
./bin/spark-submit \
  --मास्टर k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
  --deploy-mode क्लस्टर \
  --नाम स्पार्क-ऐप \
  --class org.apache.spark.examples.SparkPi \
  --conf spark.executor.instances=3 \
  --conf spark.kubernetes.container.image=<your-spark-image> \
  local:///path/to/your-app.jar 
```
बदलें:
- <k8s-apiserver-host> : आपका कुबेरनेट्स एपीआई सर्वर होस्ट।
- <k8s-apiserver-port> : आपका कुबेरनेट्स एपीआई सर्वर पोर्ट।
- <your-spark-image> : स्पार्क युक्त डॉकर छवि।
- local:///path/to/your-app.jar : डॉकर छवि के भीतर आपके एप्लिकेशन JAR का पथ।

कुंजी विन्यास :

--गुरू : कुबेरनेट्स API URL निर्दिष्ट करता है।
--तैनाती-मोड : करने के लिए सेट करें गुच्‍छा कुबेरनेट्स क्लस्टर के अंदर ड्राइवर को चलाने के लिए।
--नाम : अपने स्पार्क एप्लिकेशन को नाम देता है।
--कक्षा : आपके आवेदन का मुख्य वर्ग।
--conf spark.executor.instances : निष्पादक फली की संख्या।
--conf spark.kubernetes.container.image : स्पार्क पॉड्स के लिए डॉकर छवि।

अधिक जानकारी के लिए, देखें कुबेरनेट्स पर चलने पर अपाचे स्पार्क प्रलेखन .

2. स्पार्क के लिए एक कस्टम डॉकर छवि बनाना

एक कस्टम डॉकर छवि बनाने से आप अपने स्पार्क एप्लिकेशन और इसकी निर्भरताओं को पैकेज कर सकते हैं, जिससे वातावरण में स्थिरता सुनिश्चित हो सकती है।

सीढ़ी :

एक डॉकरफ़ाइल बनाएँ : परिवेश और निर्भरताएँ परिभाषित करें.
```
# आधिकारिक स्पार्क आधार छवि का उपयोग करें
चिंगारी से: 3.5.3

# सेट पर्यावरण चर
ईएनवी SPARK_HOME=/ऑप्ट/स्पार्क
ईएनवी पथ = $PATH: $SPARK_होम/बिन

# छवि में अपने आवेदन जार कॉपी
कॉपी your-app.jar $SPARK_होम/उदाहरण/जार/

# अपना आवेदन चलाने के लिए प्रवेश बिंदु सेट करें
ENTRYPOINT ["स्पार्क-सबमिट", "--क्लास", "org.apache.spark.examples.SparkPi", "--master", "local[4]", "/opt/spark/examples/jars/your-app.jar"] 
```
इस डॉकरफाइल में:
- चिंगारी से: 3.5.3 : आधार के रूप में आधिकारिक स्पार्क छवि का उपयोग करता है।
- ईएनवी : स्पार्क के लिए पर्यावरण चर सेट करता है।
- प्रतिलिपि : छवि के लिए अपने आवेदन जार कहते हैं।
- प्रवेश बिंदु : आपके स्पार्क एप्लिकेशन को चलाने के लिए डिफ़ॉल्ट कमांड को परिभाषित करता है।
डॉकर छवि बनाएं : अपनी छवि बनाने के लिए डॉकर का उपयोग करें।
```
डॉकर बिल्ड -टी योर-रेपो/आपका-स्पार्क-ऐप:नवीनतम। 
```
बदलें आपका-रेपो/आपका-स्पार्क-ऐप अपने साथ Docker भंडार और छवि नाम।
छवि को रजिस्ट्री में पुश करें : अपनी छवि को अपने कुबेरनेट्स क्लस्टर द्वारा सुलभ डॉकर रजिस्ट्री पर अपलोड करें।
```
डॉकर पुश योर-रेपो/आपका-स्पार्क-ऐप:नवीनतम 
```

वापरताना स्पार्क-सबमिट स्पार्क अनुप्रयोगों को तैनात करने के लिए एक सामान्य तरीका है, यह उत्पादन वातावरण के लिए सबसे कुशल दृष्टिकोण नहीं हो सकता है। मैनुअल सबमिशन विसंगतियों को जन्म दे सकते हैं और स्वचालित वर्कफ़्लोज़ में एकीकृत करने के लिए चुनौतीपूर्ण हैं। दक्षता और रखरखाव बढ़ाने के लिए, इलम के आरईएसटी एपीआई का लाभ उठाने की सिफारिश की जाती है।

इलम के आरईएसटी एपीआई के साथ स्पार्क तैनाती को स्वचालित करना

इलम एक मजबूत रीस्टफुल एपीआई प्रदान करता है जो स्पार्क क्लस्टर के साथ सहज बातचीत को सक्षम बनाता है। यह एपीआई नौकरी सबमिशन, निगरानी और प्रबंधन के स्वचालन की सुविधा प्रदान करता है, जिससे यह निरंतर एकीकरण / निरंतर तैनाती (सीआई / सीडी) पाइपलाइनों के लिए एक आदर्श विकल्प बन जाता है।

इलम के आरईएसटी एपीआई का उपयोग करने के लाभ:

मशीनी परिचालन : स्पार्क जॉब सबमिशन को सीआई/सीडी पाइपलाइनों में एकीकृत करें, मैनुअल हस्तक्षेप और संभावित त्रुटियों को कम करें।
स्थिरता : विभिन्न परिवेशों में समान परिनियोजन प्रक्रियाएँ सुनिश्चित करें.
अनुमापकता : आसानी से कई स्पार्क क्लस्टर और नौकरियों को प्रोग्रामेटिक रूप से प्रबंधित करें।

उदाहरण: इलम के आरईएसटी एपीआई के माध्यम से एक स्पार्क नौकरी जमा करना

Ilum के REST API का उपयोग करके Spark जॉब सबमिट करने के लिए, आप आवश्यक पैरामीटर के साथ HTTP POST अनुरोध कर सकते हैं। यहां एक सरलीकृत उदाहरण का उपयोग करके छल्‍ला :

कर्ल -एक्स पोस्ट https://<ilum-server>/एपीआई/वी1/जॉब/सबमिट \
  -एच "सामग्री-प्रकार: मल्टीपार्ट/फॉर्म-डेटा" \
  -एफ "नाम = उदाहरण-नौकरी" \
  -एफ "क्लस्टरनाम = डिफ़ॉल्ट" \
  -एफ "jobClass = org.apache.spark.examples.SparkPi" \
  -एफ "जार =@/पथ/से/your-app.jar" \
  -एफ "जॉबकॉन्फिग = स्पार्क.निष्पादक.इंस्टेंस = 3; स्पार्क.निष्पादक.मेमोरी = 4 जी"

इस आदेश में:

नाम : कार्य का नाम निर्दिष्ट करता है.
क्लस्टरनाम : लक्ष्य क्लस्टर इंगित करता है।
jobClass : आपके स्पार्क एप्लिकेशन के मुख्य वर्ग को परिभाषित करता है।
जार : आपके आवेदन JAR फ़ाइल अपलोड करता है।
jobConfig : स्पार्क कॉन्फ़िगरेशन सेट करता है, जैसे निष्पादकों की संख्या और स्मृति आवंटन।

API एंडपॉइंट और पैरामीटर के बारे में विस्तृत जानकारी के लिए, इलम एपीआई दस्तावेज़ीकरण .

इंटरएक्टिव स्पार्क जॉब्स के साथ दक्षता बढ़ाना

नौकरी सबमिशन को स्वचालित करने से परे, स्पार्क नौकरियों को इंटरैक्टिव माइक्रोसर्विसेज में बदलना संसाधन उपयोग और प्रतिक्रिया समय को काफी अनुकूलित कर सकता है। इलम लंबे समय से चल रहे इंटरैक्टिव स्पार्क सत्रों के निर्माण का समर्थन करता है जो प्रत्येक अनुरोध के लिए एक नया स्पार्क संदर्भ शुरू करने के ओवरहेड के बिना वास्तविक समय डेटा को संसाधित कर सकते हैं।

इंटरएक्टिव स्पार्क नौकरियों के लाभ:

कम विलंबता : हर काम के लिए एक नया स्पार्क संदर्भ शुरू करने की आवश्यकता को समाप्त करता है, जिससे तेजी से निष्पादन होता है।
संसाधन अनुकूलन : एक सतत स्पार्क संदर्भ बनाए रखता है, जिससे कुशल संसाधन प्रबंधन की अनुमति मिलती है।
अनुमापकता : एक ही स्पार्क सत्र में एक साथ कई अनुरोधों को संभालता है।

इलम के साथ एक इंटरैक्टिव स्पार्क नौकरी को लागू करने के लिए, आप एक स्पार्क एप्लिकेशन को परिभाषित कर सकते हैं जो आने वाले डेटा को सुनता है और इसे वास्तविक समय में संसाधित करता है। यह दृष्टिकोण तत्काल डेटा प्रोसेसिंग और प्रतिक्रिया की आवश्यकता वाले अनुप्रयोगों के लिए विशेष रूप से फायदेमंद है।

इंटरैक्टिव स्पार्क नौकरियों की स्थापना और अपने स्पार्क क्लस्टर को अनुकूलित करने के लिए एक व्यापक मार्गदर्शिका के लिए, इलम के ब्लॉग पोस्ट को देखें: इंटरएक्टिव स्पार्क जॉब्स के साथ अपने स्पार्क क्लस्टर को कैसे ऑप्टिमाइज़ करें .

इलम के आरईएसटी एपीआई को एकीकृत करके और इंटरैक्टिव स्पार्क नौकरियों को अपनाकर, आप अपने स्पार्क वर्कफ़्लोज़ को सुव्यवस्थित कर सकते हैं, स्वचालन बढ़ा सकते हैं और अधिक कुशल और स्केलेबल डेटा प्रोसेसिंग वातावरण प्राप्त कर सकते हैं।

कुबेरनेट्स पर स्पार्क चलाने के लिए इलम का उपयोग करने के लाभ

इलम एक सहज यूआई और स्पार्क क्लस्टर को स्केल करने और संभालने के लिए एक लचीला एपीआई से लैस है, जो एक इंटरफ़ेस से स्पार्क अनुप्रयोगों के एक जोड़े को कॉन्फ़िगर करता है। उस संबंध में यहां कुछ महान विशेषताएं दी गई हैं:

उपयोग की आसानी : Ilum जटिल सेटअप प्रक्रियाओं को समाप्त करते हुए, सहज ज्ञान युक्त Spark UI के साथ Kubernetes पर Spark कॉन्फ़िगरेशन और प्रबंधन को सरल करता है।
त्वरित तैनाती: स्पार्क क्लस्टर को मिनटों में सेटअप, परिनियोजित और स्केल करें ताकि अनुप्रयोगों को तुरंत निष्पादित करने और परीक्षण करने के समय में तेजी आ सके।
अनुमापकता: कुबेरनेट्स एपीआई का उपयोग करके, इष्टतम संसाधन उपयोग सुनिश्चित करते हुए, अपनी डेटा प्रोसेसिंग आवश्यकताओं को पूरा करने के लिए स्पार्क क्लस्टर को आसानी से ऊपर या नीचे स्केल करें।
प्रतिरूपकता : इलम एक मॉड्यूलर ढांचे के साथ आता है जो उपयोगकर्ताओं को स्पार्क हिस्ट्री सर्वर, अपाचे ज्यूपिटर, मिनियो, और बहुत कुछ जैसे विभिन्न घटकों को चुनने और संयोजित करने की अनुमति देता है।

अपाचे Hadoop यार्न से पलायन

अब जबकि अपाचे हडोप यार्न गहरे ठहराव में है, अधिक से अधिक संगठन यार्न से कुबेरनेट्स की ओर पलायन करने की ओर देख रहे हैं। इसके लिए कई कारणों से जिम्मेदार ठहराया गया है, लेकिन सबसे आम यह है कि कुबेरनेट्स बिग डेटा वर्कलोड के प्रबंधन के मामलों में अधिक लचीला और लचीला मंच प्रदान करता है।

आम तौर पर, अपाचे हडोप यार्न से किसी अन्य में डेटा प्रोसेसिंग प्लेटफॉर्म का प्लेटफॉर्म माइग्रेशन करना मुश्किल है। इस तरह के स्विच को कब बनाया जाता है, इस पर विचार करने के लिए कई कारक हैं - डेटा की संगतता, गति और प्रसंस्करण की लागत। हालांकि, यह सुचारू रूप से और सफलतापूर्वक आएगा यदि प्रक्रिया अच्छी तरह से योजनाबद्ध और निष्पादित की जाती है।

कुबेरनेट्स बहुत स्वाभाविक रूप से फिट है जब यह बिग डेटा वर्कलोड की बात आती है क्योंकि इसकी अंतर्निहित क्षमता क्षैतिज रूप से स्केल करने में सक्षम होती है। लेकिन, Hadoop यार्न के साथ, आप अपने क्लस्टर में नोड्स की संख्या तक सीमित हैं। आप मांग पर कुबेरनेट्स क्लस्टर के अंदर नोड्स की संख्या बढ़ा और घटा सकते हैं।

यह उन सुविधाओं की भी अनुमति देता है जो यार्न में उपलब्ध नहीं हैं, उदाहरण के लिए: स्व-चिकित्सा और क्षैतिज स्केलिंग।

कुबेरनेट्स पर स्विच करने का समय?

जैसे-जैसे बड़े डेटा की दुनिया विकसित होती जा रही है, वैसे-वैसे इसे प्रबंधित करने के लिए उपयोग किए जाने वाले उपकरण और प्रौद्योगिकियां भी विकसित होती हैं। वर्षों से, Apache Hadoop YARN बड़े डेटा वातावरण में संसाधन प्रबंधन के लिए वास्तविक मानक रहा है। लेकिन कुबेरनेट्स जैसी कंटेनरीकरण और ऑर्केस्ट्रेशन तकनीकों के उदय के साथ, क्या यह स्विच करने का समय है?

कुबेरनेट्स एक कंटेनर ऑर्केस्ट्रेशन प्लेटफॉर्म के रूप में लोकप्रियता हासिल कर रहा है, और अच्छे कारण के लिए। यह लचीला, स्केलेबल और उपयोग करने में अपेक्षाकृत आसान है। यदि आप अभी भी पारंपरिक वीएम-आधारित बुनियादी ढांचे का उपयोग कर रहे हैं, तो अब कुबेरनेट्स पर स्विच करने का समय हो सकता है।

यदि आप कंटेनरों के साथ काम कर रहे हैं, तो आपको निश्चित रूप से कुबेरनेट्स की परवाह करनी चाहिए। यह आपके कंटेनरों को अधिक प्रभावी ढंग से प्रबंधित और तैनात करने में आपकी सहायता कर सकता है, और यह विशेष रूप से उपयोगी है यदि आप बहुत सारे कंटेनरों के साथ काम कर रहे हैं या यदि आप अपने कंटेनरों को क्लाउड प्लेटफ़ॉर्म पर तैनात कर रहे हैं।

कुबेरनेट्स भी एक बढ़िया विकल्प है यदि आप एक ऑर्केस्ट्रेशन टूल की तलाश कर रहे हैं जो एक प्रमुख टेक कंपनी द्वारा समर्थित है। Google अपने स्वयं के कंटेनरीकृत अनुप्रयोगों को प्रबंधित करने के लिए वर्षों से कुबेरनेट्स का उपयोग कर रहा है, और उन्होंने इसे एक बेहतरीन उपकरण बनाने में बहुत समय और संसाधनों का निवेश किया है।

यार्न बनाम कुबेरनेट्स बहस में कोई स्पष्ट विजेता नहीं है। आपके संगठन के लिए सबसे अच्छा समाधान आपकी विशिष्ट आवश्यकताओं और उपयोग के मामलों पर निर्भर करेगा। यदि आप अधिक लचीले और स्केलेबल संसाधन प्रबंधन समाधान की तलाश कर रहे हैं, तो कुबेरनेट्स विचार करने योग्य है। यदि आपको विरासत अनुप्रयोगों के लिए बेहतर समर्थन की आवश्यकता है, तो यार्न एक बेहतर विकल्प हो सकता है।

आप जो भी मंच चुनते हैं, इलम आपको इसका अधिकतम लाभ उठाने में मदद कर सकता है। हमारा प्लेटफ़ॉर्म यार्न और कुबेरनेट्स दोनों के साथ काम करने के लिए डिज़ाइन किया गया है, और विशेषज्ञों की हमारी टीम आपके संगठन के लिए सही समाधान चुनने और लागू करने में आपकी सहायता कर सकती है।

प्रबंधित स्पार्क क्लस्टर

प्रबंधित स्पार्क क्लस्टर क्लाउड-आधारित समाधान है जो स्पार्क क्लस्टर का प्रावधान और प्रबंधन करना आसान बनाता है. यह स्पार्क क्लस्टर बनाने और प्रबंधित करने के लिए एक वेब-आधारित इंटरफ़ेस प्रदान करता है, साथ ही क्लस्टर प्रबंधन कार्यों को स्वचालित करने के लिए एपीआई का एक सेट भी प्रदान करता है। प्रबंधित स्पार्क क्लस्टर अक्सर डेटा वैज्ञानिकों और डेवलपर्स द्वारा उपयोग किए जाते हैं जो अंतर्निहित बुनियादी ढांचे के बारे में चिंता किए बिना स्पार्क क्लस्टर को जल्दी से प्रावधान और प्रबंधित करना चाहते हैं।

इलम आपके स्वयं के स्पार्क क्लस्टर को बनाने और प्रबंधित करने की क्षमता प्रदान करता है, जिसे क्लाउड, ऑन-प्रिमाइसेस या दोनों के मिश्रण सहित किसी भी वातावरण में चलाया जा सकता है।

कुबेरनेट्स पर अपाचे स्पार्क के पेशेवरों

इस बारे में कुछ बहस हुई है कि क्या अपाचे स्पार्क को कुबेरनेट्स पर चलना चाहिए।

कुछ लोगों का तर्क है कि कुबेरनेट्स बहुत जटिल है और स्पार्क को अपने स्वयं के समर्पित क्लस्टर प्रबंधक पर चलना जारी रखना चाहिए या क्लाउड में रहना चाहिए। दूसरों का तर्क है कि कुबेरनेट्स बड़े डेटा प्रोसेसिंग का भविष्य है और स्पार्क को इसे अपनाना चाहिए।

हम बाद वाले शिविर में हैं। हमारा मानना है कि कुबेरनेट्स बड़े डेटा प्रोसेसिंग का भविष्य है और अपाचे स्पार्क को कुबेरनेट्स पर चलना चाहिए।

कुबेरनेट्स पर स्पार्क का उपयोग करने का सबसे बड़ा लाभ यह है कि यह स्पार्क अनुप्रयोगों की बहुत आसान स्केलिंग की अनुमति देता है। ऐसा इसलिए है क्योंकि कुबेरनेट्स को बड़ी संख्या में समवर्ती कंटेनरों की तैनाती को संभालने के लिए डिज़ाइन किया गया है। इसलिए, यदि आपके पास एक स्पार्क एप्लिकेशन है जिसे बहुत सारे डेटा को संसाधित करने की आवश्यकता है, तो आप समानांतर में डेटा को संसाधित करने के लिए कुबेरनेट्स क्लस्टर में अधिक कंटेनर तैनात कर सकते हैं। यह ईएमआर पर एक नया स्पार्क क्लस्टर स्थापित करने की तुलना में बहुत आसान है, हर बार जब आपको अपने प्रसंस्करण को बढ़ाने की आवश्यकता होती है। आप इसे किसी भी क्लाउड प्लेटफॉर्म (AWS, Google क्लाउड, Azure, आदि) या ऑन-प्रिमाइसेस पर चला सकते हैं। इसका मतलब है कि आप अपने क्लस्टर प्रबंधक को बदलने के बारे में चिंता किए बिना आसानी से अपने स्पार्क अनुप्रयोगों को एक वातावरण से दूसरे वातावरण में स्थानांतरित कर सकते हैं।

एक और बड़ा लाभ यह है कि यह अधिक लचीले वर्कफ़्लोज़ की अनुमति देता है। उदाहरण के लिए, यदि आपको कई स्रोतों से डेटा संसाधित करने की आवश्यकता है, तो आप आसानी से प्रत्येक स्रोत के लिए अलग-अलग कंटेनर तैनात कर सकते हैं और उन सभी को समानांतर में संसाधित कर सकते हैं। यह एक एकल स्पार्क क्लस्टर पर एक जटिल वर्कफ़्लो का प्रबंधन करने की कोशिश करने से बहुत आसान है।

कुबेरनेट्स में कई सुरक्षा विशेषताएं हैं जो इसे स्पार्क एप्लिकेशन चलाने के लिए अधिक आकर्षक विकल्प बनाती हैं। उदाहरण के लिए, कुबेरनेट्स भूमिका-आधारित अभिगम नियंत्रण का समर्थन करता है, जो आपको आपके स्पार्क क्लस्टर तक पहुंच बनाने की अनुमति देता है।

इसलिए यह अब आपके पास है। ये कुछ कारण हैं जिनकी वजह से हम मानते हैं कि अपाचे स्पार्क को कुबेरनेट्स पर चलना चाहिए। यदि आप आश्वस्त नहीं हैं, तो हम आपको इसे अपने लिए आज़माने के लिए प्रोत्साहित करते हैं। हमें लगता है कि आपको आश्चर्य होगा कि यह कितनी अच्छी तरह काम करता है।

अतिरिक्त संसाधन

समाप्ति

Ilum कुबेरनेट्स पर Apache Spark को स्थापित करने और प्रबंधित करने की प्रक्रिया को सरल करता है, जिससे यह शुरुआती और अनुभवी उपयोगकर्ताओं दोनों के लिए एक आदर्श विकल्प बन जाता है। इस गाइड का पालन करके, आपके पास कुछ ही समय में कुबेरनेट्स पर चलने वाला एक कार्यात्मक स्पार्क क्लस्टर होगा।

यह कोशिश करो, यह मुफ़्त है