मुख्य विषयवस्तु में जाएं

इलम कोर

इलम कोर हेल्म चार्ट कॉन्फ़िगरेशन।

टी एल; डॉक्‍टर

$ helm repo आगे कहना ilum https://charts.ilum.cloud
$ helm install ilum-core ilum/ilum-core

चार्ट स्थापित करना

रिलीज़ नाम के साथ चार्ट स्थापित करने के लिए इलम कोर:

$ helm install ilum-core ilum/ilum-core

आदेश तैनात करता है इलम कोर डिफ़ॉल्ट कॉन्फ़िगरेशन में कुबेरनेट्स क्लस्टर पर। वही पैरामीटर अनुभाग उन मापदंडों को सूचीबद्ध करता है जिन्हें स्थापना के दौरान कॉन्फ़िगर किया जा सकता है।

चार्ट की स्थापना रद्द करना

अनइंस्टॉल/डिलीट करने के लिए इलम कोर परिनियोजन:

$ हेल्म डिलीट इलम-कोर

कमांड चार्ट से जुड़े सभी कुबेरनेट्स घटकों को हटा देता है और रिलीज को हटा देता है।

पैरामीटर

सामान्य पैरामीटर

नामया क़िस्‍ममूल्य
नामओवरराइड करेंस्ट्रिंग आंशिक रूप से ilum-core.fullname टेम्पलेट ओवरराइड करने के लिए (रिलीज नाम बनाए रखेगा)""
प्रतिकृति गणनाइलम-कोर प्रतिकृतियों की संख्या1
fullnameOverrideilum-core.fullname टेम्पलेट को पूरी तरह से ओवरराइड करने के लिए स्ट्रिंग""
nodeSelectorइलम-कोर नोड चयन बाधा
सहनशीलताइलम-कोर पॉड्स सहनशीलता[]
सादृश्‍यइलम-कोर नोड एफ़िनिटी

ILUM-Core परिनियोजन पैरामीटर

नामया क़िस्‍ममूल्य
प्रतिबिंबइलम-कोर छविइलम/कोर:6.2.0
पुलपॉलिसीइलम-कोर इमेज पुल पॉलिसीअगरउपस्थित नहीं
इमेजपुलसीक्रेट्सइलम-कोर इमेज पुल सीक्रेट्स[]

इलम-कोर संचार पैरामीटर

नामया क़िस्‍ममूल्य
संचार.प्रकारस्पार्क नौकरियों के साथ इलम-कोर संचार प्रकार, उपलब्ध विकल्प: जीआरपीसी, काफ्काजीआरपीसी

इलम-कोर सेवा पैरामीटर

नामया क़िस्‍ममूल्य
सेवा.प्रकारilum-core सेवा प्रकारक्लस्टरआईपी
सेवा.पोर्टilum-Core सर्विस पोर्ट9888
service.nodePortइलम-कोर सेवा नोड पोर्ट - आवश्यक जब प्रकार है लोडबैलेंसर नहीं तो नोडपोर्ट""
service.clusterIPilum-core सेवा क्लस्टर IP - आवश्यक जब प्रकार है क्लस्टरआईपी""
service.loadBalancerIPilum-core सेवा लोड बैलेंसर IP - आवश्यक है जब प्रकार है लोडबैलेंसर""
सेवा.एनोटेशनilum-Core सेवा एनोटेशन{}

इलम-कोर प्रवेश पैरामीटर

नामया क़िस्‍ममूल्य
प्रवेश.सक्षमilum-core प्रवेश सक्षम ध्वजगलत
प्रवेश.संस्करणइलम-कोर प्रवेश संस्करणवी 1
प्रवेश.वर्गनामइलम-कोर प्रवेश वर्ग का नाम""
प्रवेश.होस्टइलम-कोर प्रवेश मेजबानमेज़बान
प्रवेश.tlsआईएलएम-कोर प्रवेश टीएलएस कॉन्फ़िगरेशन[]
ingress.tls[x].secretNameएकल TLS कॉन्फ़िगरेशन प्रविष्टि के लिए आवेदन करने के लिए ilum-core प्रवेश गुप्त नाम
ingress.tls[x].hostsILUM-Core प्रवेश होस्ट सूची एकल TLS कॉन्फ़िगरेशन प्रविष्टि के लिए लागू करने के लिए
प्रवेश.एनोटेशनYAML प्रारूप में ILUM-Core प्रवेश एनोटेशनnginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 मीटर"
nginx.org/client-max-body-size: "600 मीटर"
प्रवेश.पथइलम-कोर प्रवेश पथ/(.*)
ingress.pathTypeइलम-कोर प्रवेश पथ प्रकारपूर्वसर्ग

इलम-कोर जीवंतताजांच/तत्परताजांच पैरामीटर

नामया क़िस्‍ममूल्य
तत्परताजांचilum-core readinessजांच कॉन्फ़िगरेशन
तत्परता जांच:
विफलता थ्रेशोल्ड: 3
httpGet:
पथ: /api/dev/reactive/health
बंदरगाह: HTTP
योजना: HTTP
प्रारंभिक देरी सेकंड: 60
अवधिसेकंड: 10
सफलता की दहलीज: 1
समय समाप्तसेकंड: 1
livenessजांचilum-core livenessProbe कॉन्फ़िगरेशन
livenessProbe:
विफलता थ्रेशोल्ड: 3
httpGet:
पथ: /api/dev/reactive/health
बंदरगाह: HTTP
योजना: HTTP
प्रारंभिक देरी सेकंड: 60
अवधिसेकंड: 10
सफलता की दहलीज: 1
समय समाप्तसेकंड: 1

इलम-कोर मोंगो पैरामीटर्स

नामया क़िस्‍ममूल्य
मोंगो.इंस्टेंसilum-core Mongo इंस्टेंस से कनेक्ट करने के लिएमोंगो:27017
mongo.replicaSetNameइलम-कोर मोंगो प्रतिकृति सेट नामरु.0
mongo.statusProbe.enanbledइलम-कोर मोंगो हेल्थचेक फ्लैगसच्चा
mongo.statusProbe.imageइलम-कोर मोंगो हेल्थचेक इमेजइलम/मोंगोडीबी:6.0.5

ILUM-Core KAFKA पैरामीटर

नामया क़िस्‍ममूल्य
काफ्का.पताilum-core Kafka पता से कनेक्ट करने के लिएकाफ्का:9092
काफ्का.अनुरोधआकारILUM जॉब्स काफ्का उत्पादकों के लिए ilum-core kafka max.request.size पैरामीटर20000000
काफ्का.मैक्सपोल रिकॉर्ड्सILUM जॉब्स काफ्का उपभोक्ताओं के लिए ilum-core kafka max.poll.records पैरामीटर500
kafka.maxPollIntervalआईएलएम-कोर काफ्का max.poll.interval.ms पैरामीटर आईएलएम जॉब्स काफ्का उपभोक्ताओं के लिए60000
kafka.statusProbe.enanbledilum-core Kafka HealthCheck फ्लैगसच्चा
काफ्का.स्टेटसप्रोब.इमेजइलम-कोर काफ्का हेल्थचेक इमेजबिटनामी/काफ्का:3.4.1

इलम-कोर जीआरपीसी सेवा पैरामीटर्स

नामया क़िस्‍ममूल्य
जीआरपीसी.सेवा.प्रकारilum-core GRPC सेवा प्रकारक्लस्टरआईपी
जीआरपीसी.सर्विस.पोर्टilum-Core GRPC सर्विस पोर्ट9999
जीआरपीसी.सर्विस.नोडपोर्टइलम-कोर जीआरपीसी सेवा नोड पोर्ट - आवश्यक जब प्रकार है लोडबैलेंसर नहीं तो नोडपोर्ट""
grpc.service.clusterIPilum-core grpc सेवा क्लस्टर IP - आवश्यक जब प्रकार है क्लस्टरआईपी""
grpc.service.loadBalancerIPilum-core grpc सेवा लोड बैलेंसर IP - आवश्यक है जब प्रकार है लोडबैलेंसर""
grpc.service.annotationsilum-core GRPC सेवा एनोटेशन{}

स्पार्क जॉब के लिए आईएलएम-कोर जीआरपीसी पैरामीटर

नामया क़िस्‍ममूल्य
जीआरपीसी.जॉब.होस्टilum-core grpc host for Spark Job to Connect to Connectआईएलएम-जीआरपीसी
जीआरपीसी.जॉब.पोर्टilum-core grpc port for Spark Job to Connect to Connect9999

ilum-core kubernetes cluster initializer पॅरामीटर्स

नामया क़िस्‍ममूल्य
kubernetes.initClusterOnStartupilum-core default kubernetes cluster initialization flagसच्चा
kubernetes.upgradeClusterOnStartupilum-core डिफ़ॉल्ट कुबेरनेट्स क्लस्टर कॉन्फ़िगरेशन मैप ध्वज में मानों से अपग्रेड करेंगलत
कुबेरनेट्स.api.urlilum-core default kubernetes cluster api urlhttps://kubernetes.default.svc
कुबेरनेट्स.कंटेनर.इमेजilum-core default kubernetes cluster container imageइलम / स्पार्क: 3.5.2-डेल्टा
कुबेरनेट्स.स्पार्कनामस्थानilum-core default kubernetes cluster namespace स्पार्क संसाधनों को स्टोर करने के लिए{{ . Release.Namespace }}
कुबेरनेट्स.स्टोरेज.टाइपilum-core डिफ़ॉल्ट कुबेरनेट्स क्लस्टर संग्रहण प्रकार, उपलब्ध विकल्प: एस 3, जीसीएस, डब्ल्यूएएसबीएस, एचडीएफएसएस 3

Default cluster reconciliation

The two flags above govern how the bundled चूक Spark cluster is reconciled from chart values. The चूक cluster is bootstrap-once. When kubernetes.initClusterOnStartup है सच्चा (the default), the cluster is created on first startup if it does not already exist. When a cluster named चूक is already present, its stored specification is re-synced from chart values only if kubernetes.upgradeClusterOnStartup है सच्चा. That flag defaults to गलत, so a routine हेल्म अपग्रेड followed by a pod rollout does not push changed kubernetes.* values onto an existing default cluster. This preserves edits made through the UI or the dev API, at the cost of chart values no longer being authoritative once the cluster exists.

When kubernetes.upgradeClusterOnStartup is enabled, the reconciliation is partial:

Re-synced from chart valuesNever chart-driven on an existing cluster
sparkImage, defaultApplicationConfig, environment variables, Namespace, serviceAccountName, attached presetsscalaVersion, TLS certificates, credentials, cluster परिचय और या क़िस्‍म

The fields in the right-hand column are always preserved from the stored cluster, even with the flag enabled. They can only be changed by editing the cluster through the UI or the dev API.

Metastore is reconciled independently

The bundled चूक metastore row (metastore.type and the corresponding metastore..config) is reconciled unconditionally on every startup, independent of kubernetes.upgradeClusterOnStartup. A छत्ता तक नेस्सी switch therefore takes effect on a plain pod rollout.

To apply changed default-cluster values, either enable reconciliation:

इलम कोर:
kubernetes:
upgradeClusterOnStartup: "सच"

and run हेल्म अपग्रेड followed by kubectl rollout restart deploy/ilum-core, or delete the existing cluster and re-bootstrap it from current chart values.

After the चूक cluster is deleted from the क्लस्टर्स list under वर्कलोड, it can be rebuilt from chart values without restarting इलम कोर: while no clusters remain, the क्लस्टर्स list shows a Restore Default Cluster button that re-creates it from chart values. The button is offered only when no चूक cluster exists; it never overwrites a cluster that is still present.

Restarting इलम कोर after the delete has the equivalent effect, since the startup initializer recreates the missing cluster:

कुबेक्टल -n ilum rollout restart deploy/ilum-core

Enabling kubernetes.upgradeClusterOnStartup re-applies chart values on every boot, which overwrites subsequent UI or dev-API edits to the default cluster, and still does not migrate scalaVersion, certificates, or credentials.

S3 कुबेरनेट्स स्टोरेज पैरामीटर

नामया क़िस्‍ममूल्य
कुबेरनेट्स.s3.होस्टilum-core default kubernetes cluster S3 स्टोरेज होस्ट स्पार्क संसाधनांना संग्रहित करण्यासाठीएस 3
कुबेरनेट्स.s3.पोर्टilum-core default kubernetes cluster S3 स्टोरेज पोर्ट स्पार्क रिसोर्सेज स्टोर करण्यासाठी7000
कुबेरनेट्स.s3.स्पार्कबकेटilum-core default kubernetes cluster S3 स्टोरेज बकेट स्पार्क रिमार्सेज स्टोर करण्यासाठीइलम फ़ाइलें
कुबेरनेट्स.s3.डेटाबकेटilum-core default kubernetes cluster S3 स्टोरेज बकेट इलम टेबल स्टोर करने के लिएइलम टेबल्स
कुबेरनेट्स.s3.accessKeyilum-core default kubernetes cluster S3 स्टोरेज एक्सेस की कुंजी स्पार्क संसाधनांना संग्रहित करण्यासाठी""
कुबेरनेट्स.s3.secretKeyilum-core default kubernetes cluster S3 स्टोरेज सीक्रेट की स्पार्क रिसोर्सेज स्टोअर करण्यासाठी""

GCS कुबेरनेट्स स्टोरेज पैरामीटर

नामया क़िस्‍ममूल्य
kubernetes.gcs.clientईमेलilum-core default kubernetes cluster GCS स्टोरेज क्लाइंट ईमेल""
कुबेरनेट्स.gcs.sparkBucketilum-core default kubernetes cluster GCS स्टोरेज बकेट स्पार्क रिसोर्सेज स्टोर करने के लिए"इलम फाइलें"
कुबेरनेट्स.gcs.dataबकेटilum-core default kubernetes cluster GCS स्टोरेज बकेट इलम टेबल स्टोर करने के लिए"इलम-टेबल्स"
कुबेरनेट्स.जीसीएस.प्राइवेटकीilum-core default kubernetes cluster GCS storage निजी कुंजी स्पार्क संसाधनों को स्टोर करने के लिए""
कुबेरनेट्स.gcs.privateKeyIdilum-core default kubernetes cluster GCS storage private key id to store spark resources""

WASBS कुबेरनेट्स भंडारण पैरामीटर

नामया क़िस्‍ममूल्य
कुबेरनेट्स.wasbs.accountNameilum-core default kubernetes cluster WASBS स्टोरेज अकाउंट का नाम""
कुबेरनेट्स.wasbs.accessKeyilum-core default kubernetes cluster WASBS स्टोरेज एक्सेस कुंजी स्पार्क संसाधनों को स्टोर करने के लिए""
कुबेरनेट्स.wasbs.sparkकंटेनरilum-core default kubernetes cluster WASBS स्टोरेज कंटेनर का नाम स्पार्क संसाधनों को स्टोर करने के लिए"इलम फाइलें"
कुबेरनेट्स.wasbs.dataकंटेनरilum-core default kubernetes cluster WASBS स्टोरेज कंटेनर नाव ilum टेबल स्टोर करने के लिए"इलम-टेबल्स"

HDFS कुबेरनेट्स स्टोरेज पैरामीटर

नामया क़िस्‍ममूल्य
kubernetes.hdfs.hadoopUsernameilum-core default kubernetes cluster HDFS storage hadoop username""
कुबेरनेट्स.एचडीएफएस.कॉन्फिगilum-core default kubernetes cluster HDFS स्टोरेज डिक्ट ऑफ़ कॉन्फ़िग फ़ाइलों का नाम कुंजी के रूप में और बेस 64 एन्कोडेड सामग्री मान के रूप में""
kubernetes.hdfs.sparkकैटलॉगilum-core default kubernetes cluster HDFS स्टोरेज कैटलॉग स्पार्क रिसोर्सेज स्टोर करने के लिए"इलम फाइलें"
kubernetes.hdfs.dataकैटलॉगilum-core default kubernetes cluster HDFS स्टोरेज कैटलॉग इलम-टेबल स्टोर करने के लिए"इलम-टेबल्स"
कुबेरनेट्स.एचडीएफएस.कीटैबilum-core default kubernetes cluster HDFS Storage keytab file base64 एन्कोडेड सामग्री""
कुबेरनेट्स.एचडीएफएस.प्रिंसिपलilum-core default kubernetes cluster HDFS storage principal name""
कुबेरनेट्स.एचडीएफएस.केआरबी5ilum-core default kubernetes cluster HDFS storage krb5 file base64 एन्कोडेड सामग्री""
kubernetes.hdfs.trustस्टोरilum-core default kubernetes cluster HDFS storage trustStore file base64 एन्कोडेड सामग्री""
कुबेरनेट्स.hdfs.logनिर्देशिकाilum-core default kubernetes cluster HDFS storage directory path to store eventLog for history server""

महत्वपूर्ण! सुनिश्चित करें कि S3/GCS बाल्टी या WASBS कंटेनर पहले से ही बनाए गए हैं और उपलब्ध हैं! महत्वपूर्ण! सुनिश्चित करें कि HDFS logDirectory /ilum/logs प्रत्यय के साथ कॉन्फ़िगर किए गए sparkCatalog का पूर्ण पथ है! जैसे hdfs://name-node/user/username/spark-catalog/ilum/logs

इलम-कोर सुरक्षा पैरामीटर

नामया क़िस्‍ममूल्य
सुरक्षा.प्रकारilum-core प्रमाणीकरण प्रकार, उपलब्ध विकल्प: आंतरिक, एलडीएपी, ओथ2आंतरिक
security.jwt.issuerUrlilum-core frontend URI का उपयोग jwt iss दावे में किया गया हैhttps://ilum.cloud
security.jwt.timeToLiveइलम-कोर JWT निर्दिष्ट समय इकाइयों में रहने का समय8घंटे
security.jwt.publicKeyilum-core base64 एन्कोडेड स्ट्रिंग जिसमें X.509 RSA 2048 बिट सार्वजनिक कुंजी""
security.jwt.privateKeyilum-core base64 एन्कोडेड स्ट्रिंग जिसमें PKCS8 RSA 2048 बिट निजी कुंजी""
सुरक्षा.प्राधिकरणइलम-कोर प्राधिकरण मैपिंग नियम कॉन्फ़िगरेशन। प्राधिकरण होने पर उपयोग किया जाता है एलडीएपी नहीं तो ओथ2. बाहरी प्रमाणीकरण प्रदाता समूहों और क्षेत्रों को ilum भूमिकाओं में अनुवाद करने की अनुमति देता है
अधिकारियों:
भूमिकाओं:
उपसर्ग: ROLE_
दावा-नाम: समूह
क्षेत्र:
उपसर्ग: SCOPE__
दावा-नाम: SCP
security.authorities.roles.prefixilum-Core प्रमाणीकरण भूमिका उपसर्गभूमिका_
security.authorities.roles.claimNamejwt दावे की ilum-core बाहरी प्रमाणीकरण प्रदाता ID जिसमें भूमिकाओं/समूहों की सूची शामिल हैसमूहों
सुरक्षा.प्राधिकरण.रोल्स.मैपिंगमानचित्र के रूप में इलम-कोर भूमिका मानचित्रण परिभाषाएँ external_role: ilum_role{}
security.authorities.scopes.उपसर्गilum-Core प्रमाणीकरण कार्यक्षेत्र उपसर्गगुंजाइश_
security.authorities.scopes.claimNameilum-core बाहरी प्रमाणीकरण प्रदाता आईडी jwt दावे जिसमें स्कोप की सूची हैएससीपी
सुरक्षा.प्राधिकरण.scopes.mappingsइलम-कोर स्कोप मैपिंग परिभाषाएँ मानचित्र के रूप में external_scope: ilum_scope{}

आंतरिक कॉन्फ़िगरेशन-मैप आधारित प्रमाणीकरण पैरामीटर

नामया क़िस्‍ममूल्य
सुरक्षा.आंतरिक.उपयोगकर्ताilum-core आंतरिक उपयोगकर्ता कॉन्फ़िगरेशन
उपयोगकर्ताओं:
- उपयोगकर्ता नाम: "व्यवस्थापक"
password: "व्यवस्थापक"
भूमिकाओं:
- "व्यवस्थापक"
security.internal.users[].usernameilum-Core उपयोगकर्ता उपयोगकर्ता नाम""
security.internal.users[].passwordilum-core उपयोगकर्ता सादा पासवर्ड""
security.internal.users[].rolesilum-core उपयोगकर्ता भूमिकाएँ, उपलब्ध विकल्प: शासन, उपभोक्ता, टीवी दर्शक[]

LDAP आधारित प्रमाणीकरण पैरामीटर

नामया क़िस्‍ममूल्य
security.ldap.urlsilum-core LDAP URL सर्वर के[]
security.ldap.baseइलम-कोर एलडीएपी बेस प्रत्यय जिसमें से सभी ऑपरेशन उत्पन्न होने चाहिए""
security.ldap.usernameilum-core LDAP सर्वर का लॉगिन उपयोगकर्ता नाम""
security.ldap.passwordilum-core LDAP सर्भरको लगइन पासवर्ड""
security.ldap.passwordEncoderilum-core LDAP password encoder. LDAP सर्वर उपयोगकर्ताओं को प्रमाणित करता है (बाइंड कार्रवाई) यदि खाली, उपलब्ध विकल्प:
अनुकूली - पासवर्ड एनकोडर जो एक के आधार पर किसी अन्य एनकोडर को सौंपता है उपसर्ग पहचानकर्ता
बीक्रिप्ट
एमडी5
एसएचए256
""
security.ldap.userSearch.baseइलम-कोर एलडीएपी बेस डीएन जिससे उपयोगकर्ता की खोज की जानी चाहिए""
security.ldap.userSearch.filterउपयोगकर्ता खोज के लिए उपयोग किए जाने वाले इलम-कोर एलडीएपी पैटर्न। 0 उपयोगकर्ता नाम हैयूआईडी = {0}
security.ldap.userSearch.passwordAttrविशेषता का ilum-core LDAP ID जिसमें उपयोगकर्ता का पासवर्ड हैउपयोगकर्ता पासवर्ड
security.ldap.groupSearch.baseइलम-कोर एलडीएपी बेस डीएन जिसमें से समूह सदस्यता की खोज की जानी चाहिए""
security.ldap.groupSearch.filterसमूह खोज के लिए उपयोग किए जाने वाले इलम-कोर एलडीएपी पैटर्न। 0 उपयोगकर्ता का डीएन है(सदस्य = {0})
security.ldap.groupSearch.roleAttrविशेषता का ilum-core LDAP ID जिसमें समूह के लिए भूमिका नाम हैसीएन

OAuth2 आधारित प्रमाणीकरण पैरामीटर

नामया क़िस्‍ममूल्य
security.oauth2.clientIdilum-core oauth2 क्लाइंट आईडी""
security.oauth2.clientSecretilum-core oauth2 क्लाइंट सीक्रेट""
security.oauth2.issuerUriilum-core oauth2 URI जो या तो OpenID Connect डिस्कवरी समापन बिंदु या OAuth 2.0 प्राधिकरण सर्वर मेटाडेटा समापन बिंदु हो सकता है जिसे RFC 8414 द्वारा परिभाषित किया गया है।""

ilum-Core लाइसेंस पैरामीटर

नामया क़िस्‍ममूल्य
लाइसेंस.privateKeyILUM लाइसेंस कुंजी""

ilum-core बाहरी स्पार्क पैरामीटर सबमिट करें

नामया क़िस्‍ममूल्य
externalSparkSubmit.enabledilum-core बाहरी स्पार्क-सबमिट ध्वजगलत
externalSparkSubmit.imageilum-core बाहरी स्पार्क-सबमिट बेस इमेजइलम / स्पार्क-लॉन्चर: स्पार्क-3.5.1
externalSparkSubmit.resourcesilum-core External Spark-submit POD Kubernetes संसाधन
सीमाएं:
मेमोरी: "500Mi"
अनुरोध:
मेमोरी: "300Mi"

ilum-core स्पार्क इतिहास सर्वर पैरामीटर

नामया क़िस्‍ममूल्य
historyServer.enabledilum-core स्पार्क इतिहास सर्वर ध्वजसच्चा
इतिहाससर्वर.इमेजइलम-कोर स्पार्क इतिहास सर्वर छविइलम / स्पार्क-लॉन्चर: स्पार्क-3.5.1
इतिहाससर्वर.पताilum-core स्पार्क इतिहास सर्वर पताhttp://ilum-history-server:9666
इतिहाससर्वर.पुलपॉलिसीइलम-कोर स्पार्क इतिहास सर्वर छवि पुल नीतिअगरउपस्थित नहीं
इतिहाससर्वर.इमेजपुलसीक्रेट्सइलम-कोर स्पार्क हिस्ट्री सर्वर इमेज पुल सीक्रेट्स[]
इतिहाससर्वर.पैरामीटरइलम-कोर स्पार्क इतिहास सर्वर कस्टम स्पार्क पैरामीटर
spark.history.fs.cleaner.enabled: सच
स्पार्क.इतिहास.एफएस.क्लीनर.इंटरवल: 1 डी
स्पार्क.इतिहास.fs.cleaner.maxआयु: 7 डी
इतिहाससर्वर.संसाधनilum-core Spark इतिहास सर्वर POD संसाधन
सीमा:
मेमोरी: "500Mi"
अनुरोध:
मेमोरी: "300Mi"
इतिहाससर्वर.service.typeइलम-कोर स्पार्क इतिहास सर्वर सेवा प्रकारक्लस्टरआईपी
इतिहाससर्वर.service.portilum-Core स्पार्क इतिहास सर्वर सेवा पोर्ट9666
इतिहाससर्वर.service.nodePortइलम-कोर स्पार्क इतिहास सर्वर सेवा नोडपोर्ट""
historyServer.service.clusterIPilum-core spark history server service clusterIP""
इतिहाससर्वर.service.loadBalancerIPilum-core spark history server service loadbalancerIP""
historyServer.service.annotationsilum-Core इतिहास सर्वर सेवा एनोटेशन{}
इतिहाससर्वर.ingress.enabledilum-core Spark इतिहास सर्वर प्रवेश ध्वजगलत
इतिहाससर्वर.ingress.versionइलम-कोर स्पार्क इतिहास सर्वर प्रवेश संस्करण"वी 1"
इतिहाससर्वर.ingress.classNameilum-core spark history server प्रवेश className""
इतिहाससर्वर.ingress.होस्टilum-core स्पार्क हिस्ट्री सर्वर प्रवेश होस्ट"मेजबान"
इतिहाससर्वर.ingress.pathइलम-कोर स्पार्क इतिहास सर्वर प्रवेश पथ"/(.*)"
इतिहाससर्वर.ingress.pathTypeइलम-कोर स्पार्क इतिहास सर्वर प्रवेश पथ प्रकारपूर्वसर्ग
historyServer.ingress.annotationsइलम-कोर स्पार्क इतिहास सर्वर एनोटेशनnginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 मीटर"
nginx.org/client-max-body-size: "600 मीटर"
historyServer.statusProbe.enabledilum-core Spark इतिहास सर्वर ilum-core HealthCheck ध्वजसच्चा
इतिहाससर्वर.statusProbe.imageइलम-कोर स्पार्क इतिहास सर्वर इलम-कोर हेल्थचेक इमेजकर्लइमेज/कर्ल:8.5.0
historyServer.nodeSelectorilum-core spark history server nodeSelector
historyServer.tolerationsइलम-कोर स्पार्क इतिहास सर्वर सहिष्णुता[]
इतिहाससर्वर.आत्मीयताइलम-कोर स्पार्क इतिहास सर्वर एफ़िनिटी

आईएलएम-कोर जॉब पैरामीटर

नामया क़िस्‍ममूल्य
job.retain.hoursILUM-Core स्पार्क कार्य प्रतिधारण घंटे सीमा168
job.prometheus.enabledइलम-कोर स्पार्क जॉब्स प्रोमेथियस सक्षम ध्वजसच्चा
job.healthcheck.enabledILUM-Core Spark Jobs HealthCheck सक्षम ध्वजसच्चा
job.healthcheck.intervalइलम-कोर स्पार्क जॉब्स हेल्थसेकंड में अंतराल की जांच करें300
job.healthcheck.toleranceइलम-कोर स्पार्क जॉब्स हेल्थसेकंड में प्रतिक्रिया समय सहिष्णुता की जांच करें120
job.memorysettings.executorsआईएलएम-कोर स्पार्क जॉब्स एक्जीक्यूटर काउंट2
job.memorysettings.executorMemoryआईएलएम-कोर स्पार्क जॉब्स एक्जीक्यूटर मेमोरी एलोकेशन1जी
job.memorysettings.driverMemoryआईएलएम-कोर स्पार्क जॉब्स ड्राइवर मेमोरी आवंटन1जी
job.memorysettings.executorCoresआईएलएम-कोर स्पार्क जॉब्स एक्जीक्यूटर कोर काउंट1
job.memorysettings.driverCoresइलम-कोर स्पार्क जॉब्स ड्राइवर कोर काउंट1
job.memorysettings.dynamicAllocationसक्षमआईएलएम-कोर स्पार्क जॉब्स डायनामिक आवंटन सक्षम ध्वजगलत
job.memorysettings.minExecutorsइलम-कोर स्पार्क जॉब्स निष्पादकों की न्यूनतम संख्या0
job.memorysettings.initialExecutorsइलम-कोर स्पार्क जॉब्स निष्पादकों की प्रारंभिक संख्या0
job.memorysettings.maxExecutorsइलम-कोर स्पार्क जॉब्स निष्पादकों की अधिकतम संख्या20

ilum-core डिफ़ॉल्ट मेटास्टोर पैरामीटर

नामया क़िस्‍ममूल्य
metastore.enabledilum-core डिफ़ॉल्ट हाइव मेटास्टोर सक्षम ध्वजगलत
metastore.hive.addressilum-core डिफ़ॉल्ट हाइव मेटास्टोर पताthrift://ilum-hive-metastore:9083
metastore.hive.versionilum-core डिफ़ॉल्ट हाइव मेटास्टोर संस्करण3.1.3

ilum-Core स्वतः विराम सेटिंग्स

नामया क़िस्‍ममूल्य
job.autoPause.enabledilum-Core Group ऑटो पॉजिंग फ्लैगसच्चा
job.autoPause.idleTimeइलम-कोर ऑटो सेकंड में न्यूनतम समूह निष्क्रिय समय को रोक रहा है3600
job.autoPause.periodसेकंड में समूह आलस्य की जांच के बीच इलम-कोर समय180

आरएसए निजी और सार्वजनिक कुंजी उत्पन्न करना

प्रमाणीकरण कॉन्फ़िगरेशन के लिए अनएन्क्रिप्टेड बेस 64 पीईएम पीकेसीएस # 8 प्रारूप में 2048-बिट आरएसए कुंजी बनाने के लिए, ओपनएसएसएल का उपयोग किया गया था।

निजी कुंजी उत्पन्न करें

openssl genpkey -algorithm RSA \
-pkeyopt rsa_keygen_bits:2048 \
-पीकेओपीटी rsa_keygen_pubexp:65537 | \
ओपनएसएसएल PKCS8 -topk8 -nocrypt -outform pem > private-key.p8

निजी कुंजी की सामग्री निम्न की तरह दिखनी चाहिए:

-----निजी कुंजी शुरू करें-----
MIIEvQIBADANBgkqhkiG9w0BAQEFAASCBKcwggSjAgEAAoIBAQCsRnE83rm6BJya
nTyzVqX0SG+D4zBjkyWsOmGG+CoDdgQ6Z8AaocmnjP1SbRykQsQSMf6SeW+fdpH+
ccmzuHe7pZIa2o2Mg8xbk/UszJDaPztwoQbUt/2gHi/rZP8cIVkquzhnN/yxrMls
...
-----अंत निजी कुंजी-----

सेटिंग के रूप में निजी कुंजी का उपयोग करने के लिए security.jwt.privateKey, कुंजी से शीर्ष लेख और पाद लेख निकालें।

सार्वजनिक कुंजी निकालें

ओपनएसएसएल pkey -pubout -inform pem -outform pem -in private-key.p8 -out public-key.spki

सार्वजनिक कुंजी की सामग्री निम्न की तरह दिखनी चाहिए:

-----सार्वजनिक कुंजी शुरू करें-----
MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEArEZxPN65ugScmp08s1al
9Ehvg+MwY5MlrDphhvgqA3YEOmfAGqHJp4z9Um0cpELEEjH+knlvn3aR/nHJs7h3
u6WSGtqNjIPMW5P1LMyQ2j87cKEG1Lf9oB4v62T/HCFZKrs4Zzf8sazJbMN3E/mJ
...
----- सार्वजनिक कुंजी समाप्त करें-----

सेटिंग के रूप में सार्वजनिक कुंजी का उपयोग करने के लिए security.jwt.publicKey, कुंजी से शीर्ष लेख और पाद लेख निकालें।