Run Apache Spark Jobs via Ilum UI

Running an Apache Spark job on Kubernetes with Ilum operates just like one submitted via स्पार्क-सबमिट, लेकिन उपयोग में आसानी, कॉन्फ़िगरेशन और बाहरी उपकरणों के साथ एकीकरण के लिए अतिरिक्त संवर्द्धन के साथ।

You can use the jar file with spark examples from one of these links:

Spark 4 (default)

Spark 4 / Scala 2.13: spark-examples_2.13-4.1.1.jar

Spark 3

Spark 3 / Scala 2.12: spark-examples_2.12-3.5.8.jar

Interactive Spark Job Submission Guide

पूर्ण स्क्रीन में गाइड

इलम का उपयोग करके एक सरल स्पार्क नौकरी स्थापित करने के लिए चरण-दर-चरण मार्गदर्शिका यहां दी गई है। यह मार्गदर्शिका आपको इलम प्लेटफॉर्म के भीतर MiniReadWriteTest नामक एक बुनियादी नौकरी को कॉन्फ़िगर करने, निष्पादित करने और निगरानी करने के माध्यम से चलेगी।

Step-by-Step Tutorial: Running Your First Spark Job

1. नौकरियां अनुभाग पर नेविगेट करें: यह क्षेत्र आपको अपने सभी डेटा प्रोसेसिंग कार्यों को प्रबंधित करने की अनुमति देता है।

2. एक नई नौकरी बनाएँ:

   • Click on the ‘New Job +’ button to start the setup process.

3. नौकरी का विवरण भरें:

   • सामान्य टैब:

     • नाम: घुसना मिनीरीराइटटेस्ट
     • Job Type: Select Spark Job
     • कक्षा: घुसना org.apache.spark.examples.MiniReadWriteTest
     • Language: Select स्काला

   • Configuration Tab:

     • Arguments: घुसना /opt/spark/examples/src/main/resources/kv1.txt

     This path specifies a local file to be distributed to executors, a test file available in every Spark environment.

   • संसाधन टैब:

     • Jars: Upload the JAR file:

Spark 4 (default)

Spark 4 / Scala 2.13: spark-examples_2.13-4.1.1.jar

Spark 3

Spark 3 / Scala 2.12: spark-examples_2.12-3.5.8.jar

• Memory Tab:
  • Leave all settings at their default values for this example.

4. नौकरी जमा करें और निगरानी करें:

   • नौकरी जमा करें।
   • प्रत्येक निष्पादक से लॉग की समीक्षा करने के लिए लॉग अनुभाग पर नेविगेट करें।
   • You should see log output showing the job execution, including:
     • Spark initialization messages (SparkContext: Running Spark version 3.5.8)
     • File reading and word count operations (Performing local word count from /opt/spark/examples/src/main/resources/kv1.txt)
     • Task execution across executors (Starting task 0.0 in stage 0.0)
     • Final success message (Success! Local Word Count 500 and D Word Count 500 agree.)

5. नौकरी निष्पादन की समीक्षा करें:

   • एक बार काम शुरू हो जाने के बाद, नौकरी अवलोकन अनुभाग में स्थिति की जांच करें।
   • निष्पादक अनुभाग में स्मृति उपयोग और अन्य प्रदर्शन मैट्रिक्स की निगरानी करें।
   • समयरेखा पर प्रत्येक चरण के माध्यम से अपनी नौकरी की प्रगति का निरीक्षण करें।

6. समापन और समीक्षा:

   • पूरा होने पर, नौकरी के विवरण और परिणाम स्पार्क इतिहास सर्वर में लॉग इन किए जाते हैं।
   • अपनी पूर्ण नौकरी देखने और विस्तृत निष्पादन चरणों की समीक्षा करने के लिए इतिहास सर्वर अनुभाग पर जाएं।

7. अंतिम चरण:

   • बधाइयाँ! आप सफलतापूर्वक सेट अप और Ilum में अपने MiniReadWriteTest कार्य चलाएँ। अधिक जानकारी या समर्थन के लिए, संपर्क करें [ईमेल संरक्षित].

To submit jobs programmatically instead of using the UI, see the Run Spark Job via REST API guide.

Congratulations! You have successfully set up and run your MiniReadWriteTest job in Ilum. For further information or support, contact [ईमेल संरक्षित].

इन चरणों का पालन करके, आप इलम प्लेटफॉर्म के भीतर एक बुनियादी स्पार्क जॉब को कुशलतापूर्वक सेट अप, रन और मॉनिटर करने में सक्षम होंगे, इसकी कार्यक्षमता से परिचित होंगे और आपको अधिक जटिल डेटा प्रोसेसिंग कार्यों के लिए तैयार करेंगे।

यहां एक समेकित विवरण दिया गया है कि कैसे इलम स्पार्क जॉब सबमिशन की सुविधा प्रदान करता है, पारंपरिक विशेषताओं को सम्मिश्रण करता है स्पार्क-सबमिट इलम की उन्नत प्रबंधन क्षमताओं के साथ:

उदाहरण कार्य लोड हो रहा है

सूचना-विषयक

Ilum नए उपयोगकर्ताओं को जल्दी से आरंभ करने में मदद करने के लिए एक उदाहरण नौकरी प्रदान करता है। उदाहरण नौकरी लोड हो रहा है सक्षम है डिफ़ॉल्ट रूप से। हालाँकि, आप इसका उपयोग करके इसे अक्षम कर सकते हैं --सेट ilum-core.examples.job=false.

Why Ilum is a Better Alternative to spark-submit

• सार्वभौमिक संगतता: इलम किसी भी स्पार्क नौकरी को प्रस्तुत करने में सक्षम बनाता है, जिसका उपयोग करने के लिए स्पार्क-सबमिट. यह स्पार्क के साथ उपयोग की जाने वाली विभिन्न प्रोग्रामिंग भाषाओं का समर्थन करता है, जिसमें स्काला, पायथन और आर शामिल हैं, जो बैच प्रोसेसिंग, स्ट्रीमिंग जॉब्स या इंटरैक्टिव प्रश्नों जैसे सभी विशिष्ट स्पार्क संचालन के लिए खानपान करते हैं।

• सरलीकृत आदेश निष्पादन: जब स्पार्क-सबमिट अक्सर लाइब्रेरी निर्भरता, नौकरी पैरामीटर और क्लस्टर कॉन्फ़िगरेशन के लिए जटिल कमांड-लाइन इनपुट शामिल होते हैं, इलम इन्हें एक सहज उपयोगकर्ता इंटरफ़ेस में सार करता है। यह दृष्टिकोण त्रुटि जोखिमों को कम करता है और संचालन को सरल करता है, विशेष रूप से कमांड-लाइन पेचीदगियों से कम परिचित लोगों के लिए फायदेमंद है।

• प्रत्यक्ष कोड परिनियोजन: उपयोगकर्ता अपनी जेएआर फाइलें, पायथन स्क्रिप्ट या नोटबुक सीधे इलम में अपलोड कर सकते हैं, जैसे कि एक में संसाधनों को निर्दिष्ट करने के लिए स्पार्क-सबमिट आज्ञा। इलम इन संसाधनों को अनुसूचित या घटना-ट्रिगर निष्पादन के लिए कॉन्फ़िगर करने की अनुमति देकर इसे बढ़ाता है, जिससे अधिक परिचालन लचीलापन मिलता है।

• स्वचालित पर्यावरण हैंडलिंग: के साथ आवश्यक मैनुअल सेटअप के विपरीत स्पार्क-सबमिट, Ilum सुनिश्चित करता है कि सभी निर्भरताएँ और कॉन्फ़िगरेशन स्वचालित रूप से प्रबंधित हों। यह गारंटी देता है कि निष्पादन वातावरण लगातार नौकरी निष्पादन के लिए तैयार है, चाहे स्थानीय क्लस्टर, क्लाउड या हाइब्रिड सेटअप पर।

• एकीकृत निगरानी और टूलींग: Ilum निगरानी और लॉगिंग टूल के लिए अंतर्निहित एकीकरण के साथ आता है, जिसमें स्पार्क-सबमिट वर्कफ़्लो के लिए अतिरिक्त सेटअप की आवश्यकता होगी। यह एकीकरण उपयोगकर्ताओं को नौकरी के प्रदर्शन को ट्रैक करने, लॉग प्रबंधित करने और अन्य डेटा सेवाओं के साथ मूल रूप से जुड़ने के लिए उपयोग के लिए तैयार समाधान प्रदान करता है।

नौकरी जमा करने का अनुभव बढ़ाया

इलम न केवल की क्षमताओं से मेल खाता है स्पार्क-सबमिट लेकिन नौकरी विन्यास और पर्यावरण सेटअप से जुड़े ओवरहेड को कम करके उन्हें बढ़ाता है। यह एक सर्वव्यापी मंच प्रदान करता है जो स्पार्क नौकरियों की तैनाती, प्रबंधन और स्केलिंग को सरल बनाता है, जिससे यह अपाचे स्पार्क की शक्ति और लचीलेपन से समझौता किए बिना अपने डेटा प्रोसेसिंग वर्कफ़्लो को बढ़ाने का लक्ष्य रखने वाले संगठनों के लिए एक आदर्श समाधान बन जाता है।

Job Configuration Reference

सामान्य

Parameter	या क़िस्‍म
नाम	A unique identifier for the job. This name is used in the dashboard and logs to track the job's execution and history.
Job Type	The category of the job to be created. Select Spark Job for standard batch processing or Spark Connect Job for client-server Spark applications.
गुच्‍छा	The target cluster where the job will be executed. Choose a cluster that has the necessary resources and data access for your job.
कक्षा	The fully qualified class name of the application (e.g., org.apache.spark.examples.SparkPi) or the filename for Python scripts. This tells Spark which code to execute as the entry point.
भाषा	The programming language used for the job. Select स्काला नहीं तो अजगर to match your application code.
Max Retries	The maximum number of times Ilum will attempt to restart the job if it fails. Setting this helps ensure job completion in case of transient errors.

संरूपण

Parameter	या क़िस्‍म
पैरामीटर	Key-value pairs for configuring Spark properties (e.g., spark.executor.instances). These settings allow you to fine-tune the Spark environment for this specific job.
Arguments	Command-line arguments passed directly to the job's main method. Use these to provide dynamic inputs or configuration flags to your application logic.
टैग	Custom labels used to categorize and filter jobs in the UI. Tags are helpful for organizing jobs by project, team, or purpose (e.g., production, etl).

संसाधन

Parameter	या क़िस्‍म
जार	Additional JAR files to be included in the classpath of the driver and executors. These are necessary if your job relies on external libraries not present in the base image.
Files	Auxiliary files to be placed in the working directory of each executor. These are often used for configuration files or small datasets required by the job.
पायफाइल्स	Python dependencies such as .zip, .eggनहीं तो .py files. These are added to the PYTHONPATH to ensure Python jobs have access to required modules.
आवश्यकताओं	A list of additional Python packages to install on the nodes before execution. This ensures the runtime environment matches your development environment.
Spark Packages	Maven coordinates for Spark JAR packages to be downloaded and included. This is a convenient way to include libraries from Maven Central without manually uploading JARs.

याद

Parameter	या क़िस्‍म
Executors	The number of executor instances to launch for this job. Increasing this number allows for greater parallelism and faster processing of large datasets.
Driver Cores	The number of CPU cores allocated to the driver process. More cores can help the driver manage task scheduling and result collection more efficiently.
Executor Cores	The number of CPU cores allocated to each executor. This determines the number of concurrent tasks each executor can handle.
Driver Memory	The amount of RAM allocated to the driver (e.g., 2g). Sufficient memory is required for the driver to maintain application state and handle large results.
Executor Memory	The amount of RAM allocated to each executor (e.g., 4g). This directly affects how much data can be cached and processed in memory on each node.
Dynamic Allocation	Enables automatic scaling of the number of executors based on the current workload. This helps optimize resource usage by requesting more executors when needed and releasing them when idle.
Initial Executors	The initial number of executors to start with when dynamic allocation is enabled. This provides a baseline capacity when the job starts.
Minimal number of executors	The lower bound for the number of executors when dynamic allocation is enabled. The job will never scale below this number.
Maximal number of executors	The upper bound for the number of executors when dynamic allocation is enabled. This prevents the job from consuming too many cluster resources.