इलम में ज़ेपेलिन
विहंगावलोकन
ज़ेपलिन अपाचे स्पार्क जैसे बड़े डेटा प्लेटफार्मों पर डेटा अन्वेषण, विज़ुअलाइज़ेशन और एनालिटिक्स के लिए एक इंटरैक्टिव, वेब-आधारित नोटबुक प्लेटफ़ॉर्म है।
इलम में, ज़ेपेलिन को इलम कोर सेवाओं के साथ कसकर एकीकृत किया गया है, जिसमें स्पार्क क्लस्टर और इलम-लिवी-प्रॉक्सी शामिल हैं। यह मजबूत विज़ुअलाइज़ेशन क्षमताओं के साथ सहयोगी, बहु-भाषा विश्लेषण का समर्थन करता है, जो इसे तदर्थ विश्लेषण, डैशबोर्ड और टीम डेटा वर्कफ़्लोज़ के लिए आदर्श बनाता है।
नोट:
- इलम में ज़ेपेलिन वैकल्पिक है। इसे एक अलग मॉड्यूल के रूप में सक्षम और प्रबंधित किया जा सकता है।
- Zeppelin provides a different experience from JupyterLab—see the comparison tables in नोटबुक्स ओवरव्यू.
- वर्तमान में, इलम में Zeppelin कोई प्रमाणीकरण या उपयोगकर्ता अभिगम नियंत्रण प्रदान नहीं करता है। जो कोई भी Zeppelin वेब इंटरफ़ेस का उपयोग कर सकता है, उसके पास सभी नोटबुक और सुविधाओं तक पूर्ण पहुंच है।
प्रमुख विशेषताऐं
- बहु भाषा विश्लेषण:
Use interpreters to run code in Python, Scala, SQL, Bash, and more—all in a single document. - प्रथम श्रेणी स्पार्क समर्थन:
समर्पित स्पार्क दुभाषिए (लिवी के माध्यम से) नोटबुक कोशिकाओं से सीधे स्पार्क नौकरियों को चलाने की अनुमति देते हैं, दोनों का समर्थन करते हैं%livy.spark(स्काला) और%livy.pyspark(पायथन)। - अंतर्निहित दृश्यावलोकन:
Instantly generate bar charts, line plots, pie charts, tables, and more from SQL/Spark results—no additional coding required. - टीम सहयोग:
नोटबुक्स उपयोगकर्ताओं के बीच साझा किए जा सकते हैं, और प्रस्तुति के लिए दृश्यावलोकन को डैशबोर्ड में संयोजित किया जा सकता है. - गतिशील, ब्लॉक-दर-ब्लॉक निष्पादन:
कोशिकाओं को वृद्धिशील रूप से निष्पादित करें और वास्तविक समय में परिणामों की कल्पना करें। - इलम सेवाओं के साथ एकीकरण:
इलम के स्पार्क क्लस्टर, स्टोरेज, वंश और इतिहास सर्वर तक इलम-लिवी-प्रॉक्सी के माध्यम से पहुंच।
इलम बनाम ज्यूपिटरलैब /
| दृष्टिकोण | ज़ेपलिन | JupyterLab / JupyterHub |
|---|---|---|
| उपयोगकर्ता मॉडल | साझा नोटबुक्स (कोई अलगाव नहीं) | बहु-उपयोगकर्ता (JupyterHub), एकल-उपयोगकर्ता (JupyterLab) |
| प्रमाणीकरण | कोई प्रमाणीकरण नहीं | एलडीएपी/एसएसओ इलम के माध्यम से |
| कार्यस्थान अलगाव | साझा या प्रति-नोटबुक | प्रति-उपयोगकर्ता (JupyterHub), साझा/एकल (JupyterLab) |
| स्पार्क एकीकरण | बिल्ट-इन लिवी इंटरप्रेटर | स्पार्कमैजिक जादू और लिवी प्रॉक्सी |
| संस्करण नियंत्रण | हाथ-संबंधी, निर्यात | गिट (गिटिया एकीकरण) |
| दृश्य | बिल्ट-इन चार्ट/डैशबोर्ड | विजेट, मैटप्लोटलिब, प्लॉटली, आदि। |
| के लिए सबसे अच्छा | डैशबोर्ड, तदर्थ विश्लेषण, इंटरैक्टिव डेटा अन्वेषण | डेटा विज्ञान पाइपलाइन, एमएल, प्रतिलिपि प्रस्तुत करने योग्य वर्कफ़्लोज़ |
पहुँच और परिनियोजन
- इलम में Zeppelin सक्षम करें:
टसेपेल्लिन है डिफ़ॉल्ट रूप से सक्षम नहीं है. आप इसे हेल्म के माध्यम से सक्षम कर सकते हैं:हेल्म अपग्रेड \
--अस्त हो ilum-zeppelin.enabled=सच्चा \
--पुन: उपयोग-मान \
इलम इलम /
-
Zeppelin UI एक्सेस करें: परिनियोजन के बाद, Zeppelin के माध्यम से एक्सेस करें Zeppelin > मॉड्यूल
-
प्रमाणीकरण: वर्तमान में, इलम में Zeppelin कोई प्रमाणीकरण या अभिगम नियंत्रण प्रदान नहीं करता है। जो कोई भी Zeppelin वेब UI (ब्राउज़र के माध्यम से) तक पहुँच सकता है, उसके पास सभी नोटबुक बनाने, संपादित करने, चलाने और हटाने की पूरी पहुंच होगी।
इलम में ज़ेपेलिन कैसे काम करता है
- दुभाषिया वास्तुकला:
Zeppelin प्रत्येक भाषा या प्रणाली के लिए दुभाषियों का उपयोग करता है (उदा.,
%livy.spark,%livy.pyspark,%livy.sql). प्रत्येक दुभाषिया इलम-लिवी-प्रॉक्सी के माध्यम से स्पार्क क्लस्टर से जुड़ता है, नोटबुक ब्लॉक को स्पार्क नौकरियों और कोड सेवाओं के लिए मैप करता है। - सत्र प्रबंधन:
प्रत्येक नोटबुक के लिए, अलग स्पार्क सत्र बनाए जाते हैं
%livy.spark(स्काला),%livy.pyspark(पायथन), और%livy.sql(एसक्यूएल)। सत्र स्वचालित रूप से प्रबंधित किए जाते हैं लेकिन दुभाषिया सेटिंग्स के माध्यम से कॉन्फ़िगर किए जा सकते हैं। - इलम सेवाओं के साथ एकीकरण: Spark jobs launched from Zeppelin are visible in the Ilum UI (Workloads). These sessions inherit all cluster integrations—Hive Metastore, lineage, storage access, and monitoring.
उदाहरण वर्कफ़्लोज़
उदाहरण और हैंड्स-ऑन वर्कफ़्लोज़ Zeppelin के लिए (Spark, SQL, विज़ुअलाइज़ेशन, डैशबोर्ड और सत्र जीवनचक्र प्रबंधन चलाने सहित) का वर्णन एक समर्पित मार्गदर्शिका में किया गया है:
देखना Zeppelin उपयोग के उदाहरण
सबसे सही तरीके
- दुभाषिया चयन:
हमेशा लिवी-आधारित दुभाषियों का उपयोग करें (
%livy.spark,%livy.pyspark,%livy.sql) इलम में स्पार्क नौकरियों के लिए। - डेटा विज़ुअलाइज़ेशन: तत्काल जानकारी के लिए अंतर्निहित Zeppelin चार्ट का लाभ उठाएं; आवश्यकतानुसार छवियों या डैशबोर्ड के रूप में निर्यात करें।
- संसाधन जागरूकता: सत्र स्पार्क संसाधनों का उपभोग करते हैं; आवश्यकता न होने पर नोटबुक्स बंद करें या सत्र बंद करें.
- संस्करण: बैकअप या मैन्युअल संस्करण के लिए नोटबुक निर्यात का उपयोग करें, या यदि आवश्यक हो तो बाहरी गिट के साथ एकीकृत करें।
- सहयोग: याद रखें: कोई अभिगम नियंत्रण नहीं है। सभी Zeppelin नोटबुक को किसी भी व्यक्ति द्वारा दृश्यमान/संपादन योग्य मानें जो सेवा का उपयोग कर सकता है।
समस्या निवारण
-
Zeppelin तक नहीं पहुंच सकता:
- जांचें कि क्या मॉड्यूल सक्षम है और ठीक से तैनात है।
- सुनिश्चित करें कि Zeppelin सेवा उपलब्ध है (पोर्ट-फ़ॉरवर्ड या प्रवेश की जाँच करें)।
-
स्पार्क सत्र के मुद्दे:
- यदि नौकरियां शुरू नहीं होती हैं, तो सुनिश्चित करें कि लिवी प्रॉक्सी सक्षम और सुलभ है।
- दुभाषिया सेटिंग्स की समीक्षा करें या Zeppelin UI में लॉग करें।
-
समयबाह्य:
- लंबे समय से चल रहे कार्यों के लिए दुभाषिया कॉन्फ़िगरेशन में सत्र टाइमआउट समायोजित करें।
-
विज़ुअलाइज़ेशन मुद्दे:
- ऑफ़लाइन विश्लेषण के लिए चार्ट प्रकार स्विच करने या परिणाम निर्यात करने का प्रयास करें.