Notebooks in Ilum
विहंगावलोकन
Ilum supports two powerful, enterprise-ready notebook environments: Jupyter (JupyterLab/JupyterHub) और ज़ेपलिन.
Both environments enable users to create interactive, executable documents that combine code, results, rich text, and dynamic visualizations—making them essential tools for data science, analytics, and engineering workflows. Ilum ensures these environments are tightly integrated with cluster resources, Spark, data storage, and version control.
Supported Notebook Environments
ज्यूपिटरलैब
- ज्यूपिटरलैब is a modern, flexible web-based IDE for notebooks and data applications.
- It runs in single-user mode: perfect for experimentation, prototyping, and personal data projects.
- In Ilum, JupyterLab is provided as the core user interface within each JupyterHub user's workspace.
ज्यूपिटरहब
- ज्यूपिटरहब is the enterprise, multi-user orchestrator for JupyterLab environments.
- It manages authentication (LDAP/SSO), user isolation, spawning, and centralized resource management on Kubernetes.
- Each authenticated user receives a private, persistent JupyterLab workspace with built-in Spark and Git integration.
- JupyterHub is optional in Ilum and can be enabled via Helm.
ज़ेपलिन
- ज़ेपलिन is a multi-language notebook environment that emphasizes Spark analytics, visualizations, and dashboards.
- It supports a wide array of interpreters and provides flexible visualization out of the box.
- Zeppelin is optional in Ilum and can be enabled via Helm.
Key Differences and Typical Use Cases
| फ़ीचर/पहलू | JupyterLab (Standalone) | JupyterHub (Multi-user) | ज़ेपलिन |
|---|---|---|---|
| उपयोगकर्ता मॉडल | Single user | Multi-user (centralized) | Single user |
| प्रमाणीकरण | None / local only | LDAP / SSO via Ilum | None / local only |
| संसाधन प्रबंधन | Local server | Centralized via Kubernetes | Local server |
| Workspace | Local user environment | Per-user isolated workspace | Local user environment |
| स्पार्क एकीकरण | Sparkmagic plugin | Sparkmagic plugin | Livy Interpreter |
| संस्करण नियंत्रण | Optional | Built-in with Gitea (per user repo) | Optional / not integrated |
| Collaboration | Git (share via repo), export | Git (share via repo), export | Share notebooks, export |
| भाषा समर्थन | Python, R, Bash, Scala, SQL | Python, R, Bash, Scala, SQL | Python, Scala, SQL, Bash, others (interpreters) |
| दृश्य | Jupyter widgets, matplotlib, etc. | Jupyter widgets, matplotlib, etc. | Built-in visualizations, dashboards |
| Recommended for | Prototyping, local analysis | Team workflows, reproducible research, secure enterprise analytics | Prototyping, local analysis |
Environment Selection Guide
| उपयोग का मामला | ज्यूपिटरलैब | ज्यूपिटरहब | ज़ेपलिन |
|---|---|---|---|
| Personal prototyping/experiments | ✓ | ✓ | ✓ |
| Multi-user, secure, enterprise deployments | ✓ | ||
| Centralized resource & user management | ✓ | ||
| Integrated Git version control | ✓ | ✓ (per user) | |
| Ad-hoc exploration and dashboards | ✓ | ✓ | ✓ |
| Advanced Python/R data science workflows | ✓ | ✓ | |
| Spark jobs from notebooks (via Livy) | ✓ | ✓ | ✓ |
| Collaboration via Git | ✓ | ✓ | (manual sharing) |
How Notebook Environments Work in Ilum
- ज्यूपिटरहब provides a central portal and login for users. After LDAP/SSO authentication, each user gets a personal JupyterLab environment on the cluster, with isolated storage and a pre-configured Spark integration. All code, notebooks, and output are private by default, but can be shared via Git (Gitea).
- ज्यूपिटरलैब is the UI each user interacts with—write code, run cells, visualize data, and manage files, all from the browser.
- ज़ेपलिन can be enabled as an alternative, supporting multi-language analytics and fast, interactive dashboards. Zeppelin leverages Livy interpreters for Spark, and supports SQL and many other interpreters.
For a technical breakdown of the architecture and flow, see:
Ilum Livy प्रॉक्सी के माध्यम से नोटबुक के साथ Ilum एकीकरण
स्पार्क के साथ संचार करने के लिए, नोटबुक को विशिष्ट प्लगइन्स की आवश्यकता होती है।
में बृहस्पति, यह के माध्यम से हासिल किया जाता है जादू के आदेश — special syntax expressions such as %%जादू नहीं तो %जादू जो एक कोड ब्लॉक के व्यवहार को बदल देता है। उदाहरण के लिए %%स्पार्क सक्षम चिंगारी जादू, ब्लॉक को स्पार्क कोड का उपयोग करके निष्पादित करने की अनुमति देता है इलम कोड सेवा.
ज़ेपलिनदूसरी ओर, एक अलग वास्तुकला है। यह उपयोग करता है दुभाषियों प्रत्येक ब्लॉक में कोड संसाधित करने के लिए, प्रत्येक दुभाषिया के साथ एक विशिष्ट भाषा या सेवा के लिए डिज़ाइन किया गया है। स्पार्क के लिए, Zeppelin एक समर्पित का उपयोग करता है स्पार्क दुभाषिया.
But how does Ilum connect Jupyter’s Spark magic and Zeppelin’s interpreters to manage jobs and organize them into meaningful groups? It does it by utilizing Livy Server with Proxy over it.
ज्यूपिटर सहित कई सेवाएं स्पार्क मैजिक और ज़ेपेलिन अपने लिवी इंजन के साथ, स्पार्क के साथ संचार के लिए लिवी का लाभ उठाती हैं। लिवी एक सर्वर है जो स्पार्क के साथ बातचीत करने के लिए एक आरईएसटी एपीआई प्रदान करता है।
इलम लिवी एपीआई का अपना कार्यान्वयन प्रदान करता है जिसे कहा जाता है इलम-लिवी-प्रॉक्सी जो इलम सर्विसेज के साथ स्पार्क सत्रों को बाध्य करता है। उदाहरण के लिए, यदि आप ज्यूपिटर में एक लिवी सत्र बनाते हैं, तो आपको अपने इलम वर्कलोड के भीतर एक संबंधित कोड सेवा दिखाई देगी।
For detailed Spark workflows and notebook-specific Spark usage, see ज्यूपिटर नोटबुक के लिए गाइड.
Deployment Overview
- ज्यूपिटरलैब:
- JupyterLab is enabled and preconfigured by default.
- Access from JupyterLab > मॉड्यूल इलम यूआई में।
- Only one instance.
- Version control (Gitea) and Spark integration are ready-to-use.
-
ज्यूपिटरहब
- JupyterHub (multi-user) is not enabled and preconfigured by default (use this guide to deploy).
- Access from JupyterHub > मॉड्यूल इलम यूआई में।
- Each user receives a private JupyterLab instance.
- Version control (Gitea) and Spark integration are ready-to-use.
-
ज़ेपलिन:
- Zeppelin is not enabled and preconfigured by default (use this guide to deploy).
- Access from Zeppelin > मॉड्यूल इलम यूआई में।
- Pre-integrated with Livy Proxy and Spark.
Notebook Features in Ilum
All supported notebook environments provide:
- Executable, incremental cells (Python, Scala, SQL, Bash, etc.)
- Data visualization (charts, tables, widgets, dashboards)
- Integration with Spark clusters
- Access to Ilum storages and services
- Documentation via Markdown/HTML
- Data lineage and session management
- Collaboration and sharing options