मुख्य विषयवस्तु में जाएं

नोट्स अपग्रेड करें

नोट्स अपग्रेड करें​

अगली रिलीज​

टेम्पलेट नोट करें​

1. बदलें​

लक्षण:​

फ़ीचर विवरण

हटाए गए मान - चार्ट का नाम​

नामकारण
हेल्म.वैल्यूहेल्म वैल्यू डिलीट करने का कारण

जोड़े गए मान - चार्ट का नाम​

मान अनुभाग विवरण​
नामया क़िस्‍ममूल्य
हेल्म.वैल्यूहेल्म मूल्य विवरणडिफ़ॉल्ट मान

बदले गए नाम - चार्ट का नाम​

पुराना नामनया नाम
पुराना नामनया नाम

⚠️⚠️⚠️ Warnings​

परिवर्तित मान - चार्ट नाम​

नामपुराना मूल्यनया मूल्य
हेल्म.वैल्यूपुराना मूल्यनया मूल्य

RELEASE 6.7.3​

1. UI internationalization (i18n) + RTL​

लक्षण:​

The web UI can now switch language and text direction at runtime from Settings (persisted to localStorage). The set of available languages is config-driven: add or remove a language with no frontend rebuild. Ships English + Persian (RTL) + Arabic (RTL) + Portuguese + Spanish + Chinese

  • Hindi; direction follows the language.

Values added - helm_ui (mirrored under ilum-ui.runtimeVars in helm_aio)​

UI language configuration (rendered into the इलम यूआई ConfigMap)​
नामया क़िस्‍ममूल्य
runtimeVars.defaultLanguageDefault UI language code (ILUM_DEFAULT_LANGUAGE)en
runtimeVars.availableLanguagesLanguages in the selector + i18next supportedLngs (ILUM_AVAILABLE_LANGUAGES); array of {code,label,dir,font?}[en, fa(rtl), ar(rtl), pt, es, zh, hi]
i18n.extraLocaleConfigMapsOptional ConfigMaps mounted over /usr/share/nginx/html/locales// to add or override catalogs at runtime (no rebuild)[]

Per-language font (the font field of each availableLanguages entry): Persian (fa) uses IRANSans, Arabic (ar) uses Vazirmatn. Both are self-hosted and the binaries are NOT shipped in the image; fa uses the free IRANSansWeb build. To render Persian in IRANSans, place the IRANSansWeb woff2 files in a custom UI image (public/fonts/) or mount them; otherwise the UI falls back to the system Persian font. Vazirmatn is SIL-OFL — confirm IRANSansWeb's terms fit your deployment, or set fa's font तक "Vazirmatn".

⚠️⚠️⚠️ Warnings​

None. New keys are additive with safe defaults; existing installs default to English with no behavior change. To add a brand-new language at runtime, append an availableLanguages entry AND mount its catalog JSON via i18n.extraLocaleConfigMaps (or bake it into a custom UI image under public/locales//).

2. RustFS object-storage provider (opt-in)​

लक्षण:​

RustFS (Apache-2.0) is now bundled as an opt-in S3-compatible object storage provider alongside MinIO, which remains the default in the 6.7.x line. RustFS is planned to become the default in 6.8.0. Switching is a single Helm flag (rustfs.enabled=true, minio.enabled=false). A pre-upgrade hook refuses हेल्म अपग्रेड when an existing MinIO PVC would be orphaned without explicit acknowledgement.

For step-by-step instructions, refer to Migrate Between Object Storage Providers. For the broader storage decision and provider reference pages, refer to the Object Storage section.

3. Object-storage credentials consolidation​

लक्षण:​

All object-storage consumers now read S3 credentials from a single shared Secret, ilum-objectstorage-credentials, instead of per-consumer literal values in मान.yaml. The Secret holds six aliased keys: access-key, secret-key, root-user, root-password, RUSTFS_ACCESS_KEY, RUSTFS_SECRET_KEY. Consumers wired to this Secret include इलम कोर, ilum-jupyter, ilum-history-server, ilum-hive-metastore, airflow, kestra, ट्रिनो, langfuse, loki, मीनोऔर rustfs.

Default credentials for net-new installs are शासन/शासन. On upgrade, the credentials-secret template's lookup preserves the live Secret values, so existing deployments keep their current credentials.

Per-consumer accessKey/secretKey literals in Helm values are now ignored when an existingSecret reference is set, which is the default in helm_aio.

The chart resolves the S3 Service + credentials Secret via templates/_storage.tpl helpers. Defaults to MinIO (ilum-minio, keys root-user/root-password); a live lookup for Service ilum-objectstorage switches it to the rustfs alias (ilum-objectstorage-credentials, keys access-key/secret-key) automatically. objectStorage.useAlias: true forces the alias path for CI helm template (no cluster lookup). Rotation is performed by editing the shared Secret and restarting the affected Pods. For the full procedure, refer to Rotate Object Storage Credentials.

4. OpenMetadata + OpenLineage integration​

लक्षण:​

Ilum now ships an optional OpenMetadata data-catalog and governance layer, fed by OpenLineage events from Airflow and Spark. The whole stack is disabled by default and is safe on upgrade: an existing deployment that does not set the new flags brings up zero OpenMetadata resources and behaves exactly as before.

The integration is gated by five flags, all defaulting to गलत: openmetadata.enabled, openmetadata-dependencies.enabled, openmetadataBootstrap.enabled, fixHmsDeltaColumns.enabledऔर ilum-core.job.openLineage.openmetadata.enabled. Enabling the first four plus the OpenLineage transport leg brings up the OpenMetadata server (a small Ilum fork of the 1.12.5 image), its OpenSearch + पोस्टग्रेएसक्यूएल dependencies, the bootstrap Job, and the OL→OM backfill CronJob. Spark and Airflow lineage then flows into OpenMetadata via a composite OpenLineage transport that fans out to both Marquez and OpenMetadata.

Iceberg-via-Nessie catalog ingestion ships in preview status. For configuration, the governance model, and operational details, refer to OpenMetadata.

5. OM bootstrap Job + bot tokens​

  • Bootstrap is a regular Job (-om-bootstrap-), not a hook — helm install returns immediately. Watch: kubectl logs -f job/-om-bootstrap-; final line is BOOTSTRAP_SUMMARY: {...}. Completed Jobs GC after 24h.
  • Bot tokens default-on (openmetadataBootstrap.botTokens.enabled: true): OM clients use the ingestion-bot/lineage-bot JWTs in the ilum-om-bot-tokens Secret; consumers fall back to admin login while the Secret holds placeholders.
  • ilum-core blocks startup on the bot token (job.openLineage.openmetadata.auth.waitForBotToken: true) via a wait-for-om-bot-token initContainer, so OpenLineage never falls back to the 1h-expiring admin login (which 401s long-lived Kyuubi engines). Set waitForBotToken: false for an external OM with no bootstrap-published token.
  • Bot-token attribution is self-healing but lags: pods that boot before the JWTs are published attribute OM writes to the इलम admin until their next restart. To switch immediately, roll Airflow + ilum-core once after BOOTSTRAP_SUMMARY. Cosmetic only (audit attribution) — both paths have identical permissions.
  • ilum-om-bot-tokens carries helm.sh/resource-policy: keep and holds never-expiring JWTs. On a shared cluster, after teardown delete it explicitly (kubectl delete secret ilum-om-bot-tokens -n ) or rotate the bots in OM.

6. OpenMetadata bootstrap behaviour​

The bootstrap Job registers Hive/Superset/MinIO/Delta services and runs polish ops: sets openMetadataBaseUrlConfiguration, triggers SearchIndexing + DataInsights, seeds Table custom properties (sourceSystem, slaHours), bumps certification duration to P365D, and seeds two demo users. All ops are idempotent + non-fatal, and re-runs preserve operator overrides (GET-before-PUT on the base URL, service connections carrying ssl/kerberos/sasl/jaas/auth keys, and existing custom properties). The Hive service routes through Kyuubi (ilum-sql-thrift-binary:10009) — no separate Kyuubi service is registered.

नामया क़िस्‍ममूल्य
openmetadataBootstrap.publicBaseUrlOM base URL for alert mails / deep-links. Override in production.http://localhost:9777/external/openmetadata
openmetadataBootstrap.demoUsersEnabledSeed analyst/steward demo users. Set गलत in production.सच्चा
openmetadataBootstrap.certificationDurationISO8601Default certification validity."P365D"
openmetadataBootstrap.omUserOM admin user (Secret -openmetadata-admin).[ईमेल संरक्षित]
openmetadataBootstrap.omPasswordOM admin password. Change for production.शासन
openmetadataBootstrap.botTokens.enabledPublish bot JWTs to ilum-om-bot-tokens.सच्चा

The OM admin password lives only in the -openmetadata-admin Secret (consumed by the bootstrap Job, Airflow, and ilum-core via secretKeyRef); rotate by editing openmetadataBootstrap.omPassword. Two more Secrets render with the release: ilum-superset-admin और ilum-hms-db-creds (account for them if you mirror manifests externally).

7. OM ingestion CronJobs are OM-owned​

OM creates 7 om-cronjob-* ingestion CronJobs server-side (label managed-by=openmetadata, no ownerReferences). Edit schedules/pipelines through a re-bootstrap PATCH, not the CronJob directly (reverted on next bootstrap). The helm uninstall pre-delete hook reaps them. Scheduled Hive ingestion runs with overrideMetadata: false so it preserves DAG-set Tier/Certification governance.

8. Delta + lineage helpers (opt-in flags, default on)​

नामया क़िस्‍ममूल्य
openmetadataBootstrap.deltaEnricher.enabledCronJob PATCHing Delta facets onto OM tables (Rust deltalake, ~80MB).सच्चा
openmetadataBootstrap.deltaEnricher.scheduleDelta property refresh cron.0 */6 * * *
openmetadataBootstrap.olBackfill.enabledCronJob replaying Marquez OL events to OM (idempotent gap-fill).सच्चा
openmetadataBootstrap.olBackfill.scheduleOL replay scan cron.0 2 * * *
fixHmsDeltaColumns.enabledPost-install/upgrade Job repairing Delta col array HMS schemas.गलत

OM's native DeltaLake-S3 connector stays paused (>4Gi peak); the enricher CronJob fills Delta facets instead.

9. OpenLineage namespace​

Airflow OL events use airflow.config.openlineage.namespace (default ilum-airflow, single source of truth). Bootstrap's namespaceToServiceMapping attaches s3://ilum-data, spark://ilum-sql-thrift-binary:10009और ilum-airflow to the right OM services. Override the namespace only to match events already in Marquez/OM.

10. Production overrides checklist​

KeyचूकFor production
openmetadataBootstrap.publicBaseUrlhttp://localhost:9777/external/openmetadataactual ingress URL
openmetadataBootstrap.demoUsersEnabledसच्चागलत (use LDAP/OIDC)
openmetadataBootstrap.omPasswordशासनa real password
gitea.gitea.config.server.ROOT_URLhttp://localhost:9777/external/gitea/public host (path must match STATIC_URL_PREFIX)

The chart installs into any namespace (bare service DNS names, no .svc.cluster.local). If you carry extraValues overrides with FQDN metastore addresses, drop .ilum.svc.cluster.local or Spark lineage silently fails to map.

11. Iceberg via Project Nessie (opt-in, OFF by default)​

A stock install runs Hive-only with no Nessie pod. Enable Iceberg cataloging (starts a Nessie pod + Postgres DB) with BOTH flags — the gate ANDs them:

helm upgrade ilum ./helm_aio \
  --अस्त हो nessie.enabled=सच्चा \
  --अस्त हो openmetadataBootstrap.services.iceberg.enabled=सच्चा
नामया क़िस्‍ममूल्य
openmetadataBootstrap.services.iceberg.enabledRegister OM Iceberg service (needs nessie.enabled).गलत
openmetadataBootstrap.services.iceberg.restUriNessie Iceberg-REST URI (no ref in path).http://ilum-nessie:19120/iceberg
openmetadataBootstrap.services.iceberg.warehouse / .catalogNameSymbolic warehouse name.nessie_catalog
openmetadataBootstrap.services.iceberg.{endpoint,accessKey,secretKey,region}S3-reader overrides (empty = objectStorage Secret)."" / US-East-1 (अमेरिका पूर्व -1)
nessie.catalog.enabledNessie Iceberg-REST endpoint.सच्चा

Gotchas:

  • Do NOT disable Hive to go "Iceberg-first": the bundled example tables are Delta/Parquet via HMS, and bootstrap gates SUCCESS on Hive producing ≥10 tables (openmetadataBootstrap.examplesIngest.expectedMinTables). Iceberg-only also needs openmetadataBootstrap.examplesIngest.enabled=false.
  • The OM ingestion reader reads Iceberg metadata.json/manifests directly from S3, so it MUST hold creds that read s3://ilum-data/nessie_catalog/. A credential mismatch registers fine but ingests 0 tables.
  • On rustfs/non-default backends, override nessie.catalog.storage.s3.defaultOptions.accessKeySecret (static YAML, defaults to the minio Secret) so Nessie and the OM reader resolve the SAME identity.
  • To catalog a ref other than मुख्य, pin it via a Nessie warehouse, not the URI path (putting the ref in the path → HTTP 404). OM ingests one ref; no history.

12. Hive 4 support (opt-in)​

Set ilum-hive-metastore.majorVersion: 4 के लिए apache/hive:standalone-metastore-4.x images (default 3). A v3 Postgres DB cannot be reused for v4 (incompatible schemas). Running v3 + v4 side-by-side: give v4 its own database (--set ilum-hive-metastore.postgresql.database=metastore_v4) and add it to postgresExtensions.databasesToCreate. Spark against a v4 metastore needs Hive 4 client jars — use ilum/spark:4.0.2-delta-hive4 as the cluster image.

13. Airflow pools​

airflowExtensions.pools pre-creates the listed Airflow pools (name + slots) via an init container on the Airflow api-server/scheduler. Default is empty ([]); add your own DAGs' pools here.

14. Cross-stack observability + cost attribution​

लक्षण​

A new cross-stack observability stack (off by default) bundles an OpenTelemetry Collector (helm_otel_collector sub-chart), a Tempo trace backend (ilum-tempo, S3-backed), and Loki/Promtail log correlation, adding a Pipeline Trace tab spanning Airflow → ilum-service → Spark. A separate daily cost-attribution rollup (off by default) writes cost landing files from an in-driver Spark plugin and folds them in-core into per-job and per-table Cost tabs. Hostnames are release-name portable via _helpers.tpl, so the stack works under any release name. The settings entity (sampling ratio, listener policy, rate card) is seeded from helm_core's observabilityDefaults on first boot only — UI/dev-API edits win afterward. The previously-unprotected /api/dev/reactive/lineage/* और /cost/* endpoints now require permissions.

Values added - helm_aio​

नामया क़िस्‍ममूल्य
global.observability.otel.enabledEnable the OTel collector + Tempo trace backend + log correlationगलत
global.observability.monitoring.enabledRender the ServiceMonitor + PrometheusRule alert set for Tempo/collectorगलत
global.costAggregator.enabledEnable the daily cost-attribution rollupगलत
global.costAggregator.retentionDaysClamp the cost reader window to this many days90
global.observability.otel.tempoAuth.modeTempo query auth (none | bearer | basic)none
global.logAggregation.loki.auth.modeLoki query auth (none | bearer | basic)none
global.observability.otel.tenant.idTenant filter for a shared Tempo (empty = single-tenant)""

Values changed - ilum-tempo​

नामपुराना मूल्यNew value
ilum-tempo.tempo.resources.limits.memory2Gi4जीआई

⚠️ Warnings​

The observability stack hostnames are now derived at render time by helpers in helm_aio/templates/_helpers.tpl (ilum-aio.tempoHost, ilum-aio.lokiReadHost, ilum-aio.otelCollectorHost, ilum-aio.lokiQueryUrl). An overlay carrying an explicit hostname override copied from a previous release still takes precedence but couples the install to the इलम release name — drop it to let the helpers pick the correct hostname.

RELEASE 6.7.2​

1. Default Java options for ilum-core​

लक्षण:​

Added default JVM options to ilum-core for optimized memory and performance. The javaOpts value is now appended to security-related Java options (trustStore/keyStore) instead of replacing them, allowing both to coexist.

Values changed - helm_core​

नामपुराना मूल्यनया मूल्य
javaOpts"""-XX:-UsePerfData -XX:+UseStringDeduplication -Xms256m -XX:MaxMetaspaceSize=256m -XX:MaxDirectMemorySize=256m -XX:CICompilerCount=2 -XX:G1ConcRefinementThreads=2 -XX:ReservedCodeCacheSize=128m"

2. Unity Catalog init container for ilum-core​

लक्षण:​

Added a wait-for-unity-catalog init container to the ilum-core deployment, matching the existing pattern for Hive and Nessie. When metastore.type करने के लिए सेट किया गया है unity, the init container waits for the Unity Catalog server to become reachable before starting ilum-core, preventing startup failures due to race conditions.

Values added - helm_aio​

नामया क़िस्‍ममूल्य
ilum-core.metastore.unity.statusProbe.enabledEnable init container to wait for Unity Catalogसच्चा

3. PostgreSQL support for ilum-core​

लक्षण:​

Added PostgreSQL as an alternative persistence backend to MongoDB. The backend is selected via storage.type (mongo नहीं तो पोस्टग्रेज़). When set to पोस्टग्रेज़, Mongock migrations and the MongoDB status probe are skipped, and PostgreSQL connection details are injected instead. The MongoDB URI (मोंगो.उरी) is always present in the configmap regardless of storage.type, so that the built-in MongoToPostgresMigration tool can read from MongoDB during migration. Flyway migrations run automatically on startup — no manual schema setup is needed. Existing deployments using MongoDB are unaffected; the default remains mongo.

Values added - helm_core​

Storage type selection and migration​
नामया क़िस्‍ममूल्य
storage.typePersistence backend: mongo नहीं तो पोस्टग्रेज़mongo
storage.migration.mongoToPostgresEnable one-time data migration from MongoDB to PostgreSQL. Set to सच्चा together with storage.type=postgres and a valid मोंगो.उरी to migrate all data on startup. Disable after migration completes.गलत
PostgreSQL connection settings​
नामया क़िस्‍ममूल्य
postgres.hostPostgreSQL hostnameilum-postgresql
postgres.portPostgreSQL port5432
postgres.databaseDatabase nameइलम
postgres.usernameDatabase usernameइलम
postgres.passwordDatabase passwordचेंजमीकृपया
postgres.createSecretCreate a K8s Secret with postgres credentialsसच्चा
postgres.existingSecretUse an existing K8s Secret (must have keys: POSTGRES_USERNAME, POSTGRES_PASSWORD)""
postgres.statusProbe.enabledEnable init container that waits for PostgreSQL readinessसच्चा
postgres.statusProbe.imageImage used for the PostgreSQL readiness probebusybox:1.36

⚠️⚠️⚠️ Warnings​

Migrating from MongoDB to PostgreSQL:

  1. Set storage.type=postgres and configure postgres.* connection values
  2. Ensure मोंगो.उरी still points to the existing MongoDB instance
  3. Set storage.migration.mongoToPostgres=true
  4. Run हेल्म अपग्रेड — the backend will migrate all data from MongoDB to PostgreSQL on startup
  5. After successful migration, set storage.migration.mongoToPostgres=false and run हेल्म अपग्रेड again

4. Slimmed down ilum-core bundled configuration​

लक्षण:​

The bundled application.yml in ilum-core has been significantly slimmed down. Hardcoded defaults that are now managed by the application itself (Spring multipart config, Kafka admin settings, codec size, task scheduling pool, leader election tuning, third-party logging levels, license validation details) have been removed from the Helm-generated config. This reduces the surface area of the ConfigMap and avoids conflicts with application-managed defaults.

⚠️⚠️⚠️ Warnings​

If you relied on any of the removed hardcoded values (e.g., custom spring.servlet.multipart limits, spring.kafka.admin.fail-fast, logging levels for org.apache.kafka नहीं तो org.mongodb.driver), you must now set them via the new customConfig नहीं तो overrideConfig mechanisms described below.

5. Config override and custom config for ilum-core​

लक्षण:​

Added two new mechanisms for advanced configuration of ilum-core:

  • overrideConfig: Replaces the bundled application.yml entirely with a user-managed ConfigMap (mounted at /etc/ilum/override).
  • customConfig: Mounts an additional ConfigMap at /etc/ilum/custom for partial overrides that layer on top of the bundled config.

Values added - helm_core​

Full config override​
नामया क़िस्‍ममूल्य
overrideConfig.enabledEnable full config override (replaces bundled application.yml entirely)गलत
overrideConfig.configMapNameName of a user-managed ConfigMap containing a complete application.yml replacement""
Custom config escape hatch​
नामया क़िस्‍ममूल्य
customConfig.enabledEnable custom config escape hatch (mounts an additional ConfigMap at /etc/ilum/custom)गलत
customConfig.configMapNameName of a user-managed ConfigMap containing application.yml overrides""

⚠️⚠️⚠️ Warnings​

The config mount path has changed from /config तक /etc/ilum/config. If you have scripts or tooling that references the old path, update them accordingly.

6. Default communication mode changed to gRPC​

लक्षण:​

The default communication mode in ilum-core has changed from काफ्का तक जीआरपीसी.

Values changed - helm_core​

नामपुराना मूल्यनया मूल्य
संचार.प्रकारकाफ्काजीआरपीसी

⚠️⚠️⚠️ Warnings​

If your deployment depends on Kafka-based communication between ilum components, explicitly set communication.type: kafka in your values.

7. New configurable parameters in ilum-core​

लक्षण:​

Spring actuator endpoint exposure and job instance result timeout are now configurable via values instead of being hardcoded.

Values added - helm_core​

नामया क़िस्‍ममूल्य
management.endpoints.web.exposure.includeSpring actuator endpoints to expose"info,configprops,env,metrics,mappings,beans,prometheus,health"
job.instance.result.timeout.msJob instance result timeout in milliseconds120000

8. Schema and nullability fixes​

लक्षण:​

Fixed sql.url तक sql.host in the ilum-core configmap to match the actual values key.

Names changed - helm_core (configmap only)​

पुराना नामनया नाम
sql.urlsql.host

9. rustfs added as an opt-in object storage provider​

लक्षण​

rustfs (Apache-2.0) is now bundled in helm_aio as an opt-in S3-compatible object storage provider (rustfs.enabled=false by default). मीनो remains the default provider (minio.enabled=true); rustfs is planned to become the default in 6.8.0. A stable Service alias ilum-objectstorage routes to whichever provider is enabled; all downstream consumers (Trino, Nessie, Jupyter, MLflow, Airflow, Kestra, Langfuse, the helm_core readiness probe) target this alias instead of provider-specific names.

⚠️⚠️⚠️ Warnings​

  • rustfs is currently published as 1.0.0-alpha.99; distributed mode is marked "under testing" upstream. helm_aio defaults rustfs to standalone mode with a single 50Gi PVC.
  • A pre-upgrade hook detects orphan minio PVCs and refuses the upgrade unless the operator has chosen one of the paths below.

Choose one path on upgrade​

Path A: keep using minio (zero-touch)​
helm upgrade ilum ./helm_aio --अस्त हो minio.enabled=सच्चा --अस्त हो rustfs.enabled=गलत

Existing data is untouched; consumers continue talking to ilum-objectstorage which now selects minio pods.

Path B: migrate from minio to rustfs​

Single credential source. Every consumer (ilum-core, jupyter, airflow, trino, kestra, langfuse, loki, hive-metastore, minio, rustfs) now reads S3 credentials from the shared ilum-objectstorage-credentials Secret. Net-new installs default to व्यवस्थापक/व्यवस्थापक; rotate with:

kubectl edit secret ilum-objectstorage-credentials
kubectl rollout restart deploy,statefulset -l 'app.kubernetes.io/part-of=ilum'

When upgrading from a MinIO-only deployment with non-default credentials, seed the new Secret with the live minio root creds before running the upgrade so consumers don't lose access:

EXISTING_USER=$(kubectl get secret ilum-minio -ओ jsonpath='{.data.root-user}' | base64 -d)
EXISTING_PASS=$(kubectl get secret ilum-minio -ओ jsonpath='{.data.root-password}' | base64 -d)
kubectl create secret generic ilum-objectstorage-credentials \
  --from-literal=access-key=$EXISTING_USER \
  --from-literal=secret-key=$EXISTING_PASS \
  --from-literal=root-user=$EXISTING_USER \
  --from-literal=root-password=$EXISTING_PASS \
  --from-literal=RUSTFS_ACCESS_KEY=$EXISTING_USER \
  --from-literal=RUSTFS_SECRET_KEY=$EXISTING_PASS
# the credentials-secret template's preserveExisting lookup will keep these
# values intact across helm upgrades.
# 1. Run both providers side by side. Acknowledge the cutover so the
#    pre-upgrade hook accepts the upgrade.
helm upgrade ilum ./helm_aio \
  --अस्त हो minio.enabled=सच्चा \
  --अस्त हो rustfs.enabled=सच्चा \
  --अस्त हो rustfs.migrationAcknowledged=सच्चा

# 2. Dry-run the migration Job to preview what would be copied.
helm upgrade ilum ./helm_aio \
  --अस्त हो minio.enabled=सच्चा \
  --अस्त हो rustfs.enabled=सच्चा \
  --अस्त हो rustfs.migrationAcknowledged=सच्चा \
  --अस्त हो migration.minioToRustfs.enabled=सच्चा \
  --अस्त हो migration.minioToRustfs.dryRun=सच्चा
kubectl logs job/ilum-minio-to-rustfs-migration-<rev>

# 3. Run the real migration.
helm upgrade ilum ./helm_aio \
  --अस्त हो minio.enabled=सच्चा \
  --अस्त हो rustfs.enabled=सच्चा \
  --अस्त हो rustfs.migrationAcknowledged=सच्चा \
  --अस्त हो migration.minioToRustfs.enabled=सच्चा
कुबेक्टल -n इलम wait job -l app.kubernetes.io/component=migration --for=condition=complete --timeout=600s

# 4. Verify (e.g. mc diff against both providers), then disable minio.
helm upgrade ilum ./helm_aio --अस्त हो rustfs.migrationAcknowledged=सच्चा

For per-bucket manual procedures (no Job), see the documentation site: documentation/docs/operations/migrate-minio-to-rustfs.md.

Path C: net-new install​

Nothing to do. minio is the default; the alias Service is created automatically. To start on rustfs instead, set rustfs.enabled=true और minio.enabled=false.

Values added - helm_aio​

नामया क़िस्‍ममूल्य
global.s3.hostStable Service name targeted by S3 consumersilum-objectstorage
global.s3.portS3 API port9000
global.s3.consolePortWeb console port9001
global.s3.regionDefault S3 regionUS-East-1 (अमेरिका पूर्व -1)
global.s3.pathStylePath-style addressing flag for S3 clientsसच्चा
global.s3.sslSSL flag for S3 clientsगलत
rustfs.enabledEnable bundled rustfs chartसच्चा
rustfs.moderustfs deployment modestandalone
rustfs.persistence.sizerustfs PVC size50Gi
rustfs.migrationAcknowledgedOperator acknowledgement that disabling minio is intentional (read by the pre-upgrade hook)गलत
rustfsExtensions.enabledEnable bucket/policy bootstrap on rustfsसच्चा
objectStorage.service.enabledRender the ilum-objectstorage Service aliasसच्चा
objectStorage.credentials.createCreate the shared credentials Secretसच्चा
objectStorage.credentials.nameName of the shared credentials Secretilum-objectstorage-credentials
objectStorage.credentials.accessKeyDefault access key (only used to bootstrap the Secret; rotated values survive upgrades via lookup)शासन
objectStorage.credentials.secretKeyDefault secret keyशासन
rustfs.secret.rustfs.access_keyRoot access key the rustfs Pod is launched with (must match objectStorage.credentials.accessKey)शासन
rustfs.secret.rustfs.secret_keyRoot secret key the rustfs Pod is launched withशासन
objectStorage.defaultBucketsDefault buckets created by the rustfs init Job and migrated by the migration Job[ilum-files, ilum-data, ...]
migration.minioToRustfs.enabledRender the one-shot migration Jobगलत
migration.minioToRustfs.dryRunPass --fake to mc mirror (preview only)गलत
migration.minioToRustfs.deleteAfterAfter successful mirror, remove source data with mc mirror --removeगलत
migration.minioToRustfs.ttlSecondsAfterFinishedKeep Job logs around for inspection86400
preUpgradeChecks.enabledRender the pre-upgrade safety hook (disable in CI)सच्चा

Values changed - helm_aio​

नामपुराना मूल्यNew value
minio.enabledसच्चागलत
ilum-core.kubernetes.s3.hostilum-minioilum-objectstorage
ilum-core.metastore.nessie.s3Endpointhttp://ilum-minio:9000/http://ilum-objectstorage:9000/
ilum-core.minio.statusProbe.baseUrlhttp://ilum-minio:9000http://ilum-objectstorage:9000
trino.catalogs.ilum-delta (s3.endpoint=...)http://ilum-minio:9000http://ilum-objectstorage:9000
mlflow.externalS3.hostilum-minioilum-objectstorage
mlflow.externalS3.existingSecretilum-minioilum-objectstorage-credentials
mlflow.externalS3.existingSecretAccessKeyIDKeyroot-useraccess-key
mlflow.externalS3.existingSecretKeySecretKeyroot-passwordsecret-key
kestra.configuration.kestra.storage.minio.endpointilum-minioilum-objectstorage
langfuse.langfuse.s3.endpointhttp://ilum-minio:9000http://ilum-objectstorage:9000
ilum-jupyter.extraEnv (S3_ENDPOINT)http://ilum-minio:9000http://ilum-objectstorage:9000
airflow.extraEnv (MINIO_ENDPOINT, AWS_ENDPOINT_URL, AIRFLOW_CONN_ILUM-MINIO)http://ilum-minio:9000http://ilum-objectstorage:9000
ilum-ui.runtimeVars.minioUrlhttp://ilum-minio:9001http://ilum-objectstorage:9001

Values added - helm_core​

नामया क़िस्‍ममूल्य
objectStorage.statusProbe.enabledEnable readiness probe init container for object storageसच्चा
objectStorage.statusProbe.baseUrlBase URL probed for readinesshttp://ilum-objectstorage:9000
objectStorage.statusProbe.imageProbe init-container imageकर्लइमेज/कर्ल:8.5.0
objectStorage.statusProbe.healthPathHTTP path probed (root works for both rustfs and minio)/

Values changed - helm_core​

नामपुराना मूल्यNew value
minio.statusProbe.baseUrlhttp://ilum-minio:9000http://ilum-objectstorage:9000

The legacy minio.statusProbe block is retained as a deprecated alias; templates prefer objectStorage.statusProbe and fall back to it when the new key is unset.

Values added - helm_ui​

नामया क़िस्‍ममूल्य
runtimeVars.objectStorageUrlConsole URL for the object-storage viewhttp://ilum-objectstorage:9001
runtimeVars.objectStoragePathUI iframe path/external/object-storage/
nginx.config.objectStorage.enabledRender the /external/object-storage/ proxy blockगलत
nginx.config.http_cookie.objectStorage.enabledCookie gate for the new pathसच्चा

10. Kestra chart 1.0.x upgrade (breaking)​

लक्षण:​

Bumped the bundled kestra chart from ^0.22.x तक ^1.0.x (Kestra app ~v0.20 → v1.3.x). The Kestra Helm chart was rewritten in 1.0.0 — top-level deployment fields moved under a new common: block, the configuration: map was renamed to configurations.application, serviceAccountName was replaced by a structured serviceAccount block, the dind sidecar gained a mode: rootless|insecure selector, and the bundled पोस्टग्रेज़/मीनो/काफ्का/elasticsearch subchart dependencies were dropped (operators bring their own). The umbrella kestra: block has been restructured accordingly; existing Ilum integrations (PostgreSQL backend, MinIO storage, Nginx context path, root-mode dind, post-install example flow Job) are preserved.

Names changed - kestra​

पुराना नामनया नाम
kestra.configurationkestra.configurations.application
kestra.serviceAccountNamekestra.serviceAccount.name (with kestra.serviceAccount.create: false)
kestra.securityContextkestra.common.securityContext
kestra.initContainerskestra.common.initContainers
kestra.dind.image.tagkestra.dind.base.insecure.image.tag (with kestra.dind.mode: insecure)
kestra.dind.argskestra.dind.base.insecure.args
kestra.dind.securityContextkestra.dind.base.insecure.securityContext

Values changed - kestra​

नामOld Valueनया मूल्य
kestra.exampleFlow.kestraServicekestra-servicekestra
ilum-ui.runtimeVars.kestraUrlhttp://ilum-kestra-service:8080http://ilum-kestra:8080

Values deleted - kestra​

नामकारण
kestra.postgresql.enabledSubchart dependency removed in 1.0.0; operators provide their own PostgreSQL.
kestra.minio.enabledSubchart dependency removed in 1.0.0; operators provide their own object storage.
kestra.startupProbe.pathReplaced by the structured kestra.common.startupProbe (full Kubernetes probe spec). Path stays /external/kestra/health because Micronaut propagates server.contextPath to the management server (8081) too.
kestra.livenessProbe.pathReplaced by kestra.common.livenessProbe; path stays /external/kestra/health/liveness.
kestra.readinessProbe.pathReplaced by kestra.common.readinessProbe; path stays /external/kestra/health/readiness.

Values added - kestra​

नामया क़िस्‍ममूल्य
kestra.deployments.standalone.enabledEnables the standalone Kestra deployment in the new split-deployment model.सच्चा
kestra.deployments.standalone.dind.enabledEnables the dind sidecar for the standalone deployment.सच्चा
kestra.dind.modeSelects the dind sidecar mode (rootless नहीं तो insecure); Ilum defaults to insecure to preserve prior root-mode behaviour.insecure
kestra.serviceAccount.createControls whether the chart creates the ServiceAccount; Ilum sets it to गलत and reuses the Spark SA.गलत

⚠️⚠️⚠️ Warnings​

  • The Kestra application itself was bumped from the 0.x line to v1.3.x. Verify any custom flow definitions against the Kestra 1.0.0 migration guide — reserved Flow IDs, the purgeAuditLogs.permissions → resources rename, removal of the Singer plugin, dynamic rendering of input defaults, and custom-plugin package structure changes can break existing flows.
  • kestra.dind.mode: insecure runs the dind sidecar privileged with elevated capabilities. On hardened clusters switch to kestra.dind.mode: rootless and drop the kestra.common.securityContext.runAsUser/runAsGroup overrides.
  • The Kestra Service object is now named -kestra (chart fullname) instead of -kestra-service. The bundled helm_ui kestraUrl runtimeVar (consumed by the Nginx proxy via ILUM_KESTRA_URL) and the exampleFlow post-install Job have been updated to the new name. Any external references to ilum-kestra-service must be updated manually.
  • Kestra 1.0+ moved the flow API under a tenant path (/api/v1/{tenant}/flows). The bundled exampleFlow Job now POSTs to /api/v1/main/flows (the OSS implicit tenant). Operators with custom छल्‍ला/SDK calls against the Kestra API must add the tenant segment.

11. Kyuubi server image bumped to 1.11.1-spark-trino​

लक्षण​

The default इलम-एसक्यूएल (Kyuubi) server image is bumped to ilum/kyuubi:1.11.1-spark-trino. Existing हेल्म अपग्रेड users will pick up the new image automatically.

Values changed - helm_kyuubi​

नामOld Valueनया मूल्य
छवि.टैग1.10.2-spark-trino1.11.1-spark-trino

12. JupyterLab Pipeline Exporter ↔ Airflow integration (helm_jupyter)​

लक्षण​

The bundled JupyterLab now ships jupyterlab-pipeline-exporter (JPE), which generates Airflow DAGs from notebooks and can auto-trigger them against the in-cluster Airflow REST API. The helm_jupyter Deployment mounts a new jupyter-pipeline-exporter-cm.yaml ConfigMap and renders the env vars JPE needs to mint bearer tokens (AIRFLOW_JWT_SECRET, AIRFLOW_API_URL), push DAGs into Gitea (GITEA_USERNAME, GITEA_PASSWORD), and build clickable deep-links (ILUM_UI_URL).

git.enabled is split into two orthogonal flags so a slim deploy without the gitea subchart can keep JPE's Gitea creds without forcing the init-container seed loop to run. The init loop (curl healthz wait + git init/commit/push) is now gated on git.initialCommit.enabled; the GITEA_* env vars are gated on git.existingSecret alone. git.enabled is retained as a deprecated back-compat alias for git.initialCommit.enabled.

Operator impact (zero by default)​

On AIO (airflow.enabled=true, gitea subchart present) the chart defaults render the full integration automatically on हेल्म अपग्रेड — no action required. On a slim deploy without Airflow, set airflowIntegration.enabled=false to suppress the JWT env block; on a slim deploy without the gitea subchart, set git.initialCommit.enabled=false (instead of the old git.enabled=false) so the init container no longer hangs while still mounting JPE's Gitea creds via git.existingSecret.

Values added - helm_jupyter​

नामया क़िस्‍ममूल्य
airflowIntegration.enabledRender the AIRFLOW_JWT_SECRET / AIRFLOW_API_URL block for JPE's DAG auto-triggerसच्चा
git.initialCommit.enabledRun the init-container that seeds the work dir into Giteaगलत
ilumUiUrlBrowser-facing Ilum UI base URL surfaced as ILUM_UI_URL for JPE deep-linkshttp://localhost:9777

Values changed - helm_jupyter​

नामPre-upgradePost-upgrade
git.enabledgated init loop और GITEA_* env varsdeprecated alias for git.initialCommit.enabled; GITEA_* env vars now gate on git.existingSecret

13. Preset feature​

लक्षण​

New first-class Preset entity. A preset is a named bag of Spark / runtime properties that can be attached by id to clusters, services (groups), schedules, and jobs. At job-launch time the preset's properties merge into the resulting Spark config so users can pin a bundle (Delta / Iceberg / Hudi) once and reuse it instead of re-typing the same 5+ keys.

CRUD is exposed at POST/GET/PUT/DELETE /api/v1/preset (public) and at /api/dev/reactive/preset (internal). New PRESET_READ, PRESET_CREATE, PRESET_EDIT, PRESET_DELETE permissions are added.

Postgres V1 schema gains a preset table and preset_ids text[] columns on गुच्‍छा, समूहों, schedule. Mongo gains the same field lazily — no migration required.

Operator-controllable defaults (helm)​

helm_core/values.yaml ships a new top-level presets: block. Each entry (नाम, या क़िस्‍म, properties) is auto-seeded at first boot by the backend's DefaultPresetInitializer. The chart defaults ship a डेल्टा and an हिमशैल entry; remove or override them to taste, or set presets: [] to disable defaults entirely.

The default cluster's attached presets are also helm-controlled via kubernetes.defaultCluster.presetNames (defaults to [delta]). Each entry is resolved to a preset id at boot time via a deterministic v3 UUID derived from the name (same hash as the initializer uses), so the linkage is stable across restarts.

Values added — helm_core​

नामया क़िस्‍ममूल्य
presetsSpark/runtime property bundles auto-seeded on first bootList of डेल्टा + हिमशैल
kubernetes.defaultCluster.presetNamesNames (declared under presets:) attached to the default cluster on first boot[delta]

Values removed — helm_core​

नामकारण
kubernetes.defaultCluster.config.spark.kubernetes.container.imageMoved into the डेल्टा preset entry under top-level presets:
kubernetes.defaultCluster.config.spark.databricks.delta.catalog.update.enabledSame
kubernetes.defaultCluster.config.spark.sql.extensionsSame
kubernetes.defaultCluster.config.spark.sql.catalog.spark_catalogSame

Operator impact​

Zero on a default upgrade. The bundled डेल्टा preset reproduces exactly the Delta keys that previously lived inline in the default cluster's defaultApplicationConfig. Existing user-created clusters keep their own config unchanged.

If you customised कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग with non-Delta overrides, those entries are preserved as-is — only the four Delta-specific keys were lifted into the preset.

Operators wanting to add their own preset (e.g. a tuned नेस्सी bundle) extend presets: in their values override:

इलम कोर:
  presets:
    - नाम: नेस्सी
      या क़िस्‍म: Iceberg + Nessie wiring
      properties:
        स्पार्क.कुबेरनेट्स.कंटेनर.इमेज: my-registry/spark:नेस्सी
        spark.sql.एक्सटेंशन: org.projectnessie.spark.extensions.NessieSparkSessionExtensions
        # ...
  kubernetes:
    defaultCluster:
      presetNames:
        - डेल्टा
        - नेस्सी

Renaming a preset detaches any cluster / group / schedule that referenced the old id (the id is derived from the name). Detach in the UI first, or use the API to update presetIds to the new id before removing the old entry.

Merge precedence at job launch (last wins): cluster's effective config (including its attached presets via ClusterConfigurer) → system providers (memory, metastore, packages) → entity presets → entity jobConfig. The symmetric "plain spark args you typed at the entity level win" rule still applies. Follow-up #202 will extract प्रतिबिंब और Namespace to first-class cluster fields so presets layer cleanly without the current "plain wins" caveat on the cluster scope.

14. Airflow secret backend + base image bump​

लक्षण​

The bundled Airflow image (ilum/airflow) now ships an IlumS3SecretsBackend that resolves the conn-id aliases ilum-minio, ilum-s3और ilum-objectstorage (plus their _-separated and case variants) to a single canonical AIRFLOW_CONN_ILUM_S3 env var. Activating the backend (AIRFLOW__SECRETS__BACKEND=ilum_secrets_backend.IlumS3SecretsBackend) is already wired in helm_aio/values.yaml.

This replaces the broken AIRFLOW_CONN_ILUM-MINIO_CMD / AIRFLOW_CONN_ILUM-S3_CMD printf-based env-var pattern. Airflow 3 silently dropped _CMD resolution for connection env vars — the suffix now resolves only for config keys like SQL_ALCHEMY_CONN_CMD — which caused worker pods to surface RuntimeError: generator didn't yield from the remote-logging path and InvalidAccessKeyId from user S3Hook calls.

The same change bumps the base image from apache/airflow:3.1.6 तक apache/airflow:3.2.1 across all four ops/docker/ilum-airflow/ variants (डॉकरफ़ाइल, Dockerfile-plain, Dockerfile-spark, Dockerfile-spark-4.x), and switches the bake-in install location for the backend to /opt/ilum_secrets/ with a PYTHONPATH prepend so the module path no longer depends on the base image's Python minor.

Operator impact (zero by default)​

The Helm values flip is opt-in via the chart-default airflow.enabled flag — operators with airflow.enabled=true pick up the new env configuration automatically on हेल्म अपग्रेड. No DAG changes are required: BaseHook.get_connection("ilum-minio") और S3Hook(aws_conn_id="ilum-s3") continue to work, but now resolve to a storage-backend-agnostic connection.

KeyPre-upgradePost-upgrade
airflow.airflowVersion3.1.63.2.1
airflow.images.airflow.tag3.1.63.2.1
airflow.extraEnv AIRFLOW_CONN_ILUM-MINIO_CMD(broken printf pattern)removed
airflow.extraEnv AIRFLOW_CONN_ILUM-S3_CMD(broken printf pattern)removed
airflow.extraEnv AIRFLOW__SECRETS__BACKEND(unset)ilum_secrets_backend.IlumS3SecretsBackend
airflow.extraEnv AIRFLOW_CONN_ILUM_S3(unset)JSON literal with $(AWS_*) downward expansion

DAG-level changes from Airflow 3.1.6 to 3.2.1 are minor; full changelog at https://airflow.apache.org/docs/apache-airflow/3.2.1/release_notes.html.

Failure modes (now caught at chart-render time)​

  • If an operator overrides airflow.images.airflow.tag to an ilum/airflow tag that does not contain /opt/ilum_secrets/ (e.g. an older custom build), the secrets backend resolves to ModuleNotFoundError: ilum_secrets_backend at scheduler start. Fix by upgrading the image or unsetting AIRFLOW__SECRETS__BACKEND.

15. Object storage console wiring is now data-driven​

लक्षण​

The active object-storage provider, the Object Storage iframe path, and the /external/object-storage/ nginx redirect target are now derived from a single source of truth in helm_aio/templates/_helpers.tpl. The previously hand-rolled three-way conditional in ui-cm.yaml has been replaced with helper calls; the objectstorage-svc.yaml inline resolution has been collapsed into the same helper.

A new objectStorage.providers registry maps provider names to their console paths and routing modes. To enable a third S3-compatible backend (e.g. SeaweedFS) for benchmarking or migration:

  1. Add the chart dependency under helm_aio/Chart.yaml.
  2. Add an entry under objectStorage.providers. के साथ consolePath और consoleMode (same-origin नहीं तो nginx-rewrite).
  3. Set objectStorage.activeProvider: to flip user-facing traffic.

Operator impact (zero by default)​

Existing RC2 overlays that only set rustfs.enabled / minio.enabled / rustfs.migrationAcknowledged continue to work unchanged. The chart reads the legacy flags as back-compat shims.

The registry intentionally does NOT set a default सक्षम field for rustfs और मीनो; the chart-level flags (.Values.rustfs.enabled / .Values.minio.enabled) remain the single source of truth for those two providers. This avoids the silent override that would occur if the new chart-default registry flipped objectStorage.providers.rustfs.enabled=true on a user who had rustfs.enabled=false in their overlay.

Verified upgrade paths (zero operator action required):

Pre-upgrade overlayPost-upgrade resolved providerRisk
minio.enabled=true, rustfs.enabled=false (default)मीनोnone
minio.enabled=false, rustfs.enabled=true (opt-in)rustfsnone
minio.enabled=true, rustfs.enabled=true, rustfs.migrationAcknowledged=falseminio (data-bearing side)none
minio.enabled=true, rustfs.enabled=true, rustfs.migrationAcknowledged=truerustfs (post-cutover)none
objectStorage.activeProvider= explicit override verbatimonly if has no pods, ilum-core readiness fails loudly
Pre-RC2 install (no rustfs key, only minio.enabled=true)मीनोnone

Misconfiguration scenarios that fail loudly (not silently):

  • 3+ providers enabled with activeProvider=auto: render-time error names the enabled providers and asks for an explicit choice.
  • Explicit activeProvider= where has no running pods: Service alias has no endpoints; ilum-core readiness probe fails with a clear log message.

New values to know about​

KeyचूकMeaning
objectStorage.previousProvider"minio"Required when two providers are enabled and activeProvider=auto. Names the side that holds the data; the alias targets it until cutover is acknowledged.
objectStorage.cutoverAcknowledgedगलतGeneralizes the previous rustfs.migrationAcknowledged. Flips the alias from previousProvider to the other enabled provider. The legacy flag is still honored as an alias.
objectStorage.providers..enabledper-providerMirror of .Values..enabled for new providers without their own chart-level flag.
objectStorage.providers..consolePath/rustfs/console/, /बाहरी/मिनी/UI iframe path for that provider's console.
objectStorage.providers..consoleModesame-origin (rustfs), nginx-rewrite (minio)Controls whether nginx redirects /external/object-storage/ to the provider's path (nginx-rewrite, for consoles pinned to a single URL) or keeps the proxy body (same-origin).

Failure modes (now loud)​

  • Three or more providers enabled with activeProvider=auto: the chart fails at render time with a message naming the enabled providers and asking the operator to set activeProvider= explicitly.
  • Two providers enabled with previousProvider empty: chart fails at render time asking the operator to set previousProvider to the data-bearing side, or to set activeProvider explicitly.
  • activeProvider set to a name with no matching pods: the chart renders but the alias Service has no Endpoints, and इलम कोर's readiness probe surfaces the misconfiguration in pod logs.

16. Rook-Ceph S3 Storage Backend (BYO)​

लक्षण:​

A pre-deployed (BYO) rook-ceph cluster can now be used as the sole S3-compatible storage backend, in place of the default minio (or opt-in rustfs). The rook-ceph operator and CephCluster must be deployed separately; see the Rook-Ceph user guide for end-to-end setup.

Values added - ilum (AIO)​

नामया क़िस्‍ममूल्य
rookCeph.enabledEnable rook-ceph S3 storage integration (requires pre-deployed rook-ceph)गलत
rookCeph.s3.hostRGW service hostname (e.g., rook-ceph-rgw-my-store.rook-ceph.svc.cluster.local)""
rookCeph.s3.serviceNameRGW Service name for Endpoints lookup; falls back to first segment of मेज़बान""
rookCeph.s3.namespaceNamespace containing the RGW Service; falls back to second segment of मेज़बान""
rookCeph.s3.portRGW service port80
rookCeph.s3.schemeURL scheme (एचटीटीपी नहीं तो एचटीटीपीएस); set to एचटीटीपीएस for TLS-terminating RGW Servicesएचटीटीपी
rookCeph.s3.insecureSkipVerifySkip TLS certificate verification (opt-in for self-signed Rook-managed RGW)गलत
rookCeph.s3.regionS3 regionUS-East-1 (अमेरिका पूर्व -1)
rookCeph.s3.accessKeyS3 access key from CephObjectStoreUserचेंजमीकृपया
rookCeph.s3.secretKeyS3 secret key from CephObjectStoreUserचेंजमीकृपया
rookCeph.bucketInit.enabledCreate S3 buckets on the RGW endpoint (reuses objectStorage.defaultBuckets)सच्चा
rookCeph.bucketInit.imageaws-cli image for bucket creationamazon/aws-cli:2.27.31
rookCeph.statusProbe.enabledEnable RGW health check in the bucket init Jobसच्चा
rookCeph.statusProbe.imageHealth check imageकर्लइमेज/कर्ल:8.5.0

⚠️⚠️⚠️ Warnings​

  • minio.enabled=true is the chart default in the 6.7.x line (rustfs is opt-in until it becomes the default in 6.8.0). When switching to rook-ceph, the values overlay must set both minio.enabled=false और rustfs.enabled=false. The rustfsExtensions और minioExtensions bootstrap Jobs are already gated on their parent providers, so a separate *Extensions.enabled=false flag is not required. A chart validation now fails the install when rookCeph.enabled is combined with either bundled provider.
  • वही ilum-objectstorage Service alias is rendered as a selector-less Service backed by a manual Endpoints object that mirrors the live RGW Pod IPs from the rook-ceph namespace (a label-selector alias cannot cross namespaces, and an ExternalName CNAME is black-holed by kube-proxy because it cannot DNAT a packet twice). RGW Pod restarts rotate the Pod IPs and stale the mirrored Endpoints; re-run helm upgrade ilum ./helm_aio -f ilum-rook-ceph-values.yaml after any RGW Pod restart to refresh the addresses.
  • The shared ilum-objectstorage-credentials Secret is now seeded from rookCeph.s3.{accessKey,secretKey} in rook-ceph-only mode; an install fails fast when either is left at the चेंजमीकृपया placeholder.
  • The bucket init Job no longer swallows aws-cli errors. Network/credential/endpoint misconfigurations now fail the Job loudly instead of completing 1/1 with no buckets created.

To perform the rollout:

# 1. Deploy the rook-ceph operator and CephCluster in the rook-ceph namespace
#    (operator chart, CephCluster CR, CephObjectStore, CephObjectStoreUser).
#    Wait for the RGW Service and Pods to become Ready in the rook-ceph
#    namespace; ilum-objectstorage Endpoints are mirrored from this Service
#    at chart install/upgrade time.

# 2. Extract S3 credentials from the CephObjectStoreUser Secret.
ACCESS_KEY=$(कुबेक्टल -n rook-ceph get secret \
  rook-ceph-object-user-<store-name>-<user-name> \
  -ओ jsonpath='{.data.AccessKey}' | base64 -d)
SECRET_KEY=$(कुबेक्टल -n rook-ceph get secret \
  rook-ceph-object-user-<store-name>-<user-name> \
  -ओ jsonpath='{.data.SecretKey}' | base64 -d)

# 3. Render the overlay (the doc ships a complete template).
cat > ilum-rook-ceph-values.yaml <<ईओएफ
rustfs:
  enabled: false
minio:
  enabled: false
rookCeph:
  enabled: true
  s3:
    host: rook-ceph-rgw-.rook-ceph.svc.cluster.local
    port: 80
    accessKey: $ACCESS_KEY
    secretKey: $SECRET_KEY
ईओएफ

# 4. Install or upgrade.
हेल्म अपग्रेड --install ilum ./helm_aio -स्‍त्री-विषयक ilum-rook-ceph-values.yaml

# 5. After RGW Pod restarts (Ceph cluster upgrades, rook-ceph operator
#    rollouts, node maintenance), refresh the mirrored Endpoints:
helm upgrade ilum ./helm_aio -स्‍त्री-विषयक ilum-rook-ceph-values.yaml

17. Legacy activities audit feature removed (helm_core)​

लक्षण:​

The backend dropped the legacy "activities" audit trail; the structured EventLog now backs all audit and user/group operation statistics. The corresponding backend config key was removed, so its Helm value is dead.

Values deleted - helm_core​

नामकारण
security.activities.timeToLiveBackend security.activities.timeToLive property no longer exists

RELEASE 6.7.1​

1. Cluster-scoped RBAC for the management API​

लक्षण:​

The management API (helm_api, which backs the Ilum CLI and the in-UI Module Marketplace) can now be granted a cluster-scoped role so it can install and manage modules that require cluster-scoped resources — CRDs, ClusterRoles/ClusterRoleBindings, admission webhooks, and Prometheus Operator custom resources (for example, kube-prometheus-stack). When rbac.clusterScope is enabled, the chart renders a क्लस्टररोल और क्लस्टररोलबाइंडिंग bound to the API service account; with it disabled, the API keeps only its namespace-scoped permissions.

Values added - helm_api​

नामया क़िस्‍ममूल्य
rbac.clusterScopeRender a cluster-scoped क्लस्टररोल/क्लस्टररोलबाइंडिंग for the management APIसच्चा

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-api.rbac.createCreate RBAC resources for the management APIसच्चा
ilum-api.rbac.clusterScopeGrant the management API cluster-scoped RBACसच्चा

2. Probe and startup hardening​

लक्षण:​

Liveness, readiness, and startup probe timings were relaxed across इलम कोर, इलम यूआईऔर ilum-api (longer initial delays, periods, and failure thresholds, with startup probes enabled) so the stack comes up cleanly in slower or resource-constrained environments. The bundled default cluster also gained a spark.kubernetes.memoryOverheadFactor का 0.5 and a higher default driver memory. No operator action is required.

RELEASE 6.7.0​

1. Airflow version update​

लक्षण:​

Updated Airflow from version 3.1.1 to 3.1.6.

Values changed - helm_aio​

नामपुराना मूल्यनया मूल्य
airflow.airflowVersion3.1.13.1.6
airflow.images.airflow.tag3.1.13.1.6
airflow.apiServer.extraInitContainers[0].image`ilum/airflow:3.1.1ilum/airflow:3.1.6

2. Added ClickHouse and Langfuse to ilum-aio​

लक्षण:​

Added ClickHouse and Langfuse to ilum-aio as new modules. ClickHouse is a fast open-source OLAP database management system. Langfuse is an open source LLM engineering platform.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
clickhouse.enabledFlag to enable ClickHouse deployment in ilum-aioगलत
langfuse.enabledFlag to enable Langfuse deployment in ilum-aioगलत

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
runtimeVars.langfuseUrlURL of the Langfuse instancehttp://ilum-langfuse-web:3000
runtimeVars.langfusePathProxy path for Langfuse/external/langfuse/
nginx.config.langfuse.enabledEnable proxy for Langfuseगलत
nginx.config.http_cookie.langfuse.enabledEnables cookie mapping for Langfuseसच्चा

3. Configurable Scala version for default cluster​

लक्षण:​

अतिरिक्त scalaVersion configuration option to the default cluster settings. This allows users to specify which Scala version their Spark jobs are run with, supporting both Scala 2.12 for spark 3.x and 2.13 for spark 4.x

Values added - helm_core​

नामया क़िस्‍ममूल्य
kubernetes.defaultCluster.scalaVersionScala version for Spark jobs (SCALA_2_12 or SCALA_2_13)SCALA_2_13

4. API token authentication system​

लक्षण:​

Added "API token authentication system for internal and external service authentication."

Values added - helm_core​

नामया क़िस्‍ममूल्य
security.api-token.enabledFlag to enable API token authenticationगलत
security.api-token.tokensList of initial tokens[]

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-core.security.api-token.enabledFlag to enable API token authenticationगलत
ilum-core.security.api-token.tokensList of initial tokens[{name: "superset", token: "initial-superset-token-for-engine-creation", permissions: ["SQLENGINE_CREATE"]}]

5. Startup probe for Ilum-core​

लक्षण:​

Added startup probe to the Ilum-core deployment. This allows the application to have sufficient time to start in constrained environments while maintaining quick readiness and liveness checks once started. The startup probe delays readiness and liveness probes until the application starts successfully.

Values added - helm_core​

नामया क़िस्‍ममूल्य
startupProbeStartup probe configuration for ilum-core containerSee values.yaml for full structure
startupProbe.failureThresholdNumber of failures before giving up (300 × 2s = 10 minutes max)300
startupProbe.periodSecondsHow often to perform the probe2
startupProbe.timeoutSecondsTimeout for each probe request1
startupProbe.httpGet.pathHTTP path for startup probe/actuator/health/liveness

Values changed - helm_core​

नामपुराना मूल्यनया मूल्य
livenessProbe.initialDelaySeconds12010
readinessProbe.initialDelaySeconds12010

6. Disabled SASL in Kafka configuration​

लक्षण:​

Disabled SASL authentication in the default Kafka configuration. This change simplifies the setup for users who do not require SASL authentication for their Kafka clusters. Users who need SASL can still enable it through custom configuration.

Values added - helm_aio​

नामया क़िस्‍ममूल्य
kafka.listeners.interbroker.protocolInterbroker protocolPLAINTEXT
kafka.listeners.controller.protocolController protocolPLAINTEXT
kafka.kraft.clusterIdKraft clusterId to prevent Bitnami chart upgrade failuresaWx1bS1kZWZhdWx0LWlkMQ

7. Management API and Ilum CLI​

लक्षण:​

Added the helm_api chart (ilum-api), a Management API sidecar that exposes the Ilum CLI's operations over HTTP and powers the in-UI Module Marketplace for point-and-click module deployment. It is deployed by default in ilum-aio.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-api.enabledDeploy the Management API sidecar (CLI over HTTP)सच्चा

RELEASE 6.6.2​

1. Spark 4.x Upgrade - Scala 2.13 Migration​

लक्षण:​

Updated default Spark images to ilum/spark:4.0.1-delta and ilum-spark-launcher to spark-4.1.0. Spark 4.x exclusively uses Scala 2.13 and has dropped support for Scala 2.12.

Values changed - helm_core​

नामपुराना मूल्यनया मूल्य
kubernetes.defaultCluster.dockerImageilum/spark:3.5.7-deltailum/spark:4.0.1-delta
इतिहाससर्वर.इमेजspark-3.5.7spark-4.1.0
externalSparkSubmit.image.tagspark-3.5.7spark-4.1.0

⚠️⚠️⚠️ CRITICAL WARNING - BREAKING CHANGE ⚠️⚠️⚠️​

Spark 4.x uses Scala 2.13 exclusively. Scala 2.12 is NO LONGER SUPPORTED.

This is a BREAKING CHANGE that may affect your existing Spark jobs:

  1. JAR Compatibility: Any Spark applications, libraries, or dependencies compiled with Scala 2.12 WILL NOT WORK with Spark 4.x. You must recompile all custom JARs with Scala 2.13.

  2. Affected Components:

    • Custom Spark applications (Scala-based)
    • Third-party libraries compiled for Scala 2.12
    • UDFs written in Scala
    • कोई .jar files built with scalaVersion := "2.12.x"

  3. How to Identify Affected JARs:

    • Check your बिल्ड.एसबीटी नहीं तो pom.xml के लिए scalaVersion settings
    • JAR names often contain the Scala version suffix (e.g., myapp_2.12-1.0.jar)
    • JARs with _2.12 suffix need to be rebuilt with _2.13

  4. Required Actions Before Upgrade:

    • Inventory all custom Spark JARs in use
    • Recompile all Scala-based applications with Scala 2.13
    • Update all third-party dependencies to Scala 2.13 versions
    • Test all jobs thoroughly in a staging environment

  5. No Backwards Compatibility:

    • Starting from this version, Ilum's Spark job wrapper uses Scala 2.13 exclusively
    • Running Spark 3.x jobs compiled with Scala 2.12 is no longer supported
    • तुम MUST recompile all your Scala-based Spark jobs with Scala 2.13 before upgrading

  6. PySpark Users: PySpark jobs are generally unaffected unless they use Scala-based UDFs or custom Scala libraries.

RECOMMENDATION: Test your workloads in a non-production environment before upgrading to this release.

2. Added environment variables support to default cluster configuration​

लक्षण:​

Added support for configuring environment variables in the default cluster configuration. This allows users to set environment variables that will be applied to Spark jobs running on the default cluster. The SPARK_SUBMIT_OPTS environment variable is now configurable through Helm values instead of being hardcoded, providing better flexibility for JVM tuning and other environment-specific configurations.

Values added - helm_core​

Default cluster environment variables configuration​
नामया क़िस्‍ममूल्य
kubernetes.defaultCluster.environmentVariablesEnvironment variables for default cluster{}
kubernetes.defaultCluster.environmentVariables.SPARK_SUBMIT_OPTSJVM options for Spark submit process"-XX:MaxHeapSize=64m -XX:MaxMetaspaceSize=64m -Xss256k"

3. Added Unity Catalog integration​

लक्षण:​

अतिरिक्त helm_unity_catalog chart to provide Unity Catalog support as an optional catalog backend (similar to Hive Metastore and Nessie). Unity Catalog is disabled by default and can be enabled to provide unified governance for data and AI assets. The chart is integrated with the existing PostgreSQL database and MinIO S3 storage, with automatic JWT keypair generation for authentication.

Values added - helm_unity_catalog​

नामया क़िस्‍ममूल्य
ilum-unity-catalog.enabledEnables Unity Catalog deploymentगलत
ilum-unity-catalog.server.enabledEnables the Unity Catalog serverसच्चा
ilum-unity-catalog.server.db.typeDatabase backend type (file or postgresql)postgresql
ilum-unity-catalog.server.db.postgresqlConfig.hostPostgreSQL hostilum-postgresql-hl
ilum-unity-catalog.server.db.postgresqlConfig.portPostgreSQL port5432
ilum-unity-catalog.server.db.postgresqlConfig.dbNamePostgreSQL database nameunitycatalog
ilum-unity-catalog.server.db.postgresqlConfig.userPostgreSQL usernameइलम
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretNameSecret containing PostgreSQL passwordilum-postgres-credentials
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretKeyKey in secret for passwordपासवर्ड
ilum-unity-catalog.server.jwtKeypairSecret.createAuto-generate JWT keypair for authenticationसच्चा
ilum-unity-catalog.storage.modelStorageRootS3 path for Unity Catalog model storages3a://ilum-data/unity-catalog/
ilum-unity-catalog.storage.credentials.s3[0].bucketPathS3 bucket paths3://ilum-data
ilum-unity-catalog.storage.credentials.s3[0].regionS3 regionUS-East-1 (अमेरिका पूर्व -1)
ilum-unity-catalog.storage.credentials.s3[0].credentialsSecretNameSecret containing S3 credentialsilum-minio
ilum-unity-catalog.storage.credentials.s3[0].accessKeySecretKeyKey name for S3 access key in secretroot-user
ilum-unity-catalog.storage.credentials.s3[0].secretKeySecretKeyKey name for S3 secret key in secretroot-password
ilum-unity-catalog.ui.enabledEnables Unity Catalog UIगलत

Values added - helm_core​

Unity Catalog metastore configuration​
नामया क़िस्‍ममूल्य
ilum-core.metastore.typeकरने के लिए सेट करें unity to use Unity Catalog as metastoreछत्ता
ilum-core.metastore.unity.addressUnity Catalog server endpointhttp://unity-catalog-ilum-unity-catalog-server:8080
ilum-core.metastore.unity.warehouseDirUnity Catalog warehouse directorys3a://ilum-data/unity-catalog/
ilum-core.metastore.unity.s3EndpointS3 endpoint for Unity Cataloghttp://ilum-minio:9000/
ilum-core.metastore.unity.s3PathStyleAccessEnable S3 path-style accessसच्चा
ilum-core.metastore.unity.catalogNameUnity Catalog name in Sparkunity_catalog
ilum-core.metastore.unity.configSpark configuration for Unity Catalog integrationSee values.yaml

Values added - postgresExtensions​

नामया क़िस्‍ममूल्य
postgresExtensions.databasesToCreateअतिरिक्त unitycatalog database for Unity Catalog metadata...,nessie,unitycatalog

⚠️⚠️⚠️ Warnings​

  • Unity Catalog requires PostgreSQL and S3-compatible storage to be enabled
  • JWT keypairs are auto-generated on first deployment and stored in Kubernetes secrets
  • When using Unity Catalog, set ilum-core.metastore.type: unity to configure Spark integration

4. Added DuckDb and DuckLake to Ilum Core​

लक्षण:​

Added DuckDb as an SQL executor and DuckLake as a metastore option in Ilum Core. DuckDb is a fast and lightweight SQL engine that supports a wide range of data types and SQL features. DuckLake is a distributed metastore for DuckDb, which provides options for multi-user access and data versioning.

Values added - ilum_core​

नामया क़िस्‍ममूल्य
sql.duckdb.idleTimeoutDetermines the time DuckDb connections are kept alive without activity1h
sql.duckdb.ducklake.enabledEnables DuckLakeसच्चा
sql.duckdb.ducklake.locationLocation of the data in for the DuckLakes3://ilum-ducklake/
sql.duckdb.ducklake.postgres.hostHost for the metastore postgres connection``
sql.duckdb.ducklake.postgres.portPort for the metastore postgres connection5432
sql.duckdb.ducklake.postgres.databaseDatabase name for the metastore postgres connectionducklake
sql.duckdb.ducklake.postgres.userUsername for the metastore postgres connection``
sql.duckdb.ducklake.postgres.passwordPassword for the metastore postgres connection``
sql.duckdb.ducklake.s3.endpointS3 endpoint for the metastore data``
sql.duckdb.ducklake.s3.regionS3 region for the metastore dataUS-East-1 (अमेरिका पूर्व -1)
sql.duckdb.ducklake.s3.keyIdS3 key id for the metastore data``
sql.duckdb.ducklake.s3.secretS3 secret for the metastore data``
sql.duckdb.ducklake.s3.urlStyleUrl style to use for S3. Either पथ नहीं तो vhostपथ
sql.duckdb.ducklake.s3.sslWhether to use SSL for the S3 connectionगलत

RELEASE 6.6.1​

1. Ugraded JupyterHub experience​

लक्षण:​

Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins fullnameOverride, and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.

Values added - helm_aio​

नामया क़िस्‍ममूल्य
ilum-jupyterhub.enabledEnables the curated Ilum JupyterHub chartगलत

Values added - helm_jupyterhub​

नामया क़िस्‍ममूल्य
fullnameOverrideOverride for the full resource nameilum-jupyterhub
सक्षमChart enabled flagगलत
SSH configuration​
नामया क़िस्‍ममूल्य
ssh.enabledEnables the bundled SSH operator, service, and shared key workflowगलत
ssh.keysSecretSecret that provides the stable host and authorized keysilum-jupyter-ssh-keys
ssh.modeSSH authentication mode: गुरू (shared authorized_keys from keysSecret) or per-user (individual secrets per user)गुरू
ssh.perUserSecretNameTemplateTemplate for per-user secret names when using per-user modessh-keys-{username}
ssh.perUserAuthorizedKeysKeyKey name in per-user secrets containing authorized_keysauthorized_keys
ssh.service.typeType of service fronting port 2222नोडपोर्ट
ssh.service.portPort exposed for SSH traffic2222
ssh.service.targetPortTarget port for SSH traffic2222
ssh.service.nodePortNodePort number (empty for auto-assignment)""
ssh.service.clusterIPClusterIP address (empty for auto-assignment)""
ssh.service.loadBalancerIPLoadBalancer IP address""
ssh.service.annotationsAnnotations for the SSH service{}
ssh.service.prefixPrefix for SSH service resourcesilum-jupyter-ssh
ssh.sshdConfig.customConfigCustom sshd_config lines[]
ssh.operatorImage.nameSSH operator image repositorydocker.ilum.cloud/ilum-jupyterhub
ssh.operatorImage.tagSSH operator image tagssh-operator-4.3.1
ssh.extraEnvExtra environment variables for SSH operator[]
Git configuration​
नामया क़िस्‍ममूल्य
git.existingSecretCredentials that allow the Git init job to seed the notebooks repositoryilum-git-credentials
git.emailGit email for commitsilum@ilum
git.repositoryगिट रिपॉजिटरी का नामबृहस्पति
git.addressGitea server addressएलम-गिटिया-एचटीटीपी:3000
git.urlGitea endpoint URL used to seed the ilum-jupyterhub orghttp://ilum-gitea-http:3000
git.orgNameOrganization managed by the git-init jobilum-jupyterhub
git.operatorImage.nameGit operator image repositorydocker.ilum.cloud/ilum-jupyterhub
git.operatorImage.tagGit operator image taggitea-operator-4.3.1
git.secret.nameSecret containing credentials referenced by the operatorilum-git-credentials
git.secret.usernameKeyKey for username in the secretउपयोगकर्ता नाम
git.secret.passwordKeyKey for password in the secretपासवर्ड
LDAP configuration​
नामया क़िस्‍ममूल्य
ldap.enabledKeeps the LDAP authenticator wired into Ilum JupyterHubसच्चा
ldap.urlsLDAP server endpoints that front the Ilum directory["ldap://ilum-openldap:389"]
ldap.baseSearch base for Ilum users and groups"dc=ilum,dc=cloud"
ldap.usernameBind DN used for authentication"cn=admin,dc=ilum,dc=cloud"
ldap.passwordPassword for the bind DNNot@SecurePassw0rd
ldap.adminUsersLDAP accounts with admin privileges in JupyterHub["ilumadmin","admin"]
ldap.userSearchBaseBase DN where user entries live"ou=people,dc=ilum,dc=cloud"
ldap.userSearchFilterFilter for user lookups"यूआईडी = {0}"
ldap.groupSearchBaseBase DN where group entries live"ou=groups,dc=ilum,dc=cloud"
ldap.groupSearchFilterFilter that matches members"(सदस्य = {0})"
ldap.allowedGroupsEmpty list allows all groups unless specified[]
ldap.userAttributeUser attribute for username"यूआईडी"
ldap.fullnameAttributeAttribute for user's full name"सीएन"
ldap.emailAttributeAttribute for user's email"मेल"
ldap.groupNameAttributeAttribute for group name"सीएन"
ldap.groupMemberAttributeAttribute for group membership"member"
ldap.useSslUse SSL for LDAP connectionगलत
ldap.startTlsUse STARTTLS for LDAP connectionगलत
ldap.lookupDnLookup DN before bindingसच्चा
Hub configuration​
नामया क़िस्‍ममूल्य
hub.image.nameHub image repositorydocker.ilum.cloud/ilum-jupyterhub
hub.image.tagHub image tagjupyterhub-4.3.1
hub.contentSecurityPolicy.enabledTurns the managed CSP header injection on/offसच्चा
hub.contentSecurityPolicy.frameAncestorsOrigins allowed to embed JupyterHub in an iframe["'self'","http://localhost:9777"]
hub.gitInit.enabledRuns the job that ensures the ilum-jupyterhub organization/repo existसच्चा
Singleuser runtime defaults​
नामया क़िस्‍ममूल्य
singleuser.startupArgs.iopubDataRateLimitRaised output bandwidth ceiling for Ilum workloads1000000000
singleuser.startupArgs.extraArgsAdditional CLI arguments forwarded to the user server[]
singleuser.nodeSelectorArchitecture-agnostic placement (empty by default){}
singleuser.tolerationsAllows scheduling on tainted nodes when needed[]
Image pull credentials​
नामया क़िस्‍ममूल्य
imagePullSecret.createCreate the pull secret in-clusterगलत
imagePullSecret.automaticReferenceInjectionAuto-inject the created secret into JupyterHub workloadsसच्चा
imagePullSecret.registryRegistry host for the pull secret""
imagePullSecret.usernameRegistry username for the pull secret""
imagePullSecret.passwordRegistry password for the pull secret""
imagePullSecret.emailRegistry email for the pull secret""
imagePullSecret.nameExisting secret name to reference instead of the autogenerated pull secret""
इमेजपुलसीक्रेट्सAdditional pull secrets injected into all hub-managed pods[]

Values changed - helm_jupyterhub​

नामपुराना मूल्यनया मूल्य
singleuser.networkPolicy.allowedIngressPorts[][2222]

Instructions​

  • Keep ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
  • Ensure ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
  • To refresh the curated notebooks, update helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.

⚠️⚠️⚠️ Warnings​

  • Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.

  • Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.

2. Upgraded Livy compatible API to version 0.8.0​

लक्षण:​

Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.

मूल्य जोड़े गए - इलम-कोर​

Livy Compression Configuration​
नामया क़िस्‍ममूल्य
livy.compression.enabledEnable response compression for Livy endpointsगलत
Livy Server Configuration​
नामया क़िस्‍ममूल्य
livy.server.versionLivy server version identifier0.8.0
livy.server.sendServerVersionSend server version in response headersगलत
livy.server.allowCustomClasspathAllow custom classpath in session creationगलत
Livy TTL Session Cleanup Configuration​
नामया क़िस्‍ममूल्य
livy.ttl.checkPeriodBackground sweep period in milliseconds for checking expired sessions300000
livy.ttl.checkInitialDelayInitial delay in milliseconds before first TTL background check60000

मान जोड़े गए - ilum-aio​

Same values as इलम कोर but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. All new configuration options have safe defaults and are backward compatible.

Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.

सत्र प्रबंधन: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.

3. Updated default Spark version and added autopause configuration​

लक्षण:​

Updated default Spark version to 3.5.7-delta में कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग. Added spark.ilum.autopause: "true" तक कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग to set the default behavior of the autopause feature.

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
kubernetes.defaultCluster.config.spark.kubernetes.container.imageilum/spark:3.5.6-deltailum/spark:3.5.7-delta

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
kubernetes.defaultCluster.config.spark.ilum.autopauseSets the default behavior of autopause feature"सच"

लक्षण:​

Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).

What Changed?​

  • External services are now open by default - no cookie requirements
  • All users can access services without any special configuration
  • System works out-of-the-box

What This Means for You​

  • ✅ Your services will become more accessible
  • ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
  • ✅ No action required for most deployments

If you need to restrict access:

  • Use the built-in OAuth2/Hydra authentication (recommended for production)
  • Or manually enable cookie-based access control per service (see below)

This is an advanced feature for specific use cases:

  • ✅ Temporary access restrictions for specific users/sessions
  • ✅ Custom access control integrated with your frontend application

To enable for a specific service:

nginx:
  कॉन्फिग:
    http_cookie:
      सक्षम: सच्चा
      ilum-jupyter:
        सक्षम: सच्चा

Values changed - ilum-ui​

नामपुराना मूल्यनया मूल्य
nginx.config.http_cookie.enabledसच्चागलत

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
ilum-ui.nginx.config.http_cookie.enabledसच्चागलत

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. This change makes services more accessible.

If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.

RELEASE 6.6.0​

1. Upgraded Apache Airflow to 3.1.1​

लक्षण:​

Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
airflow.airflowVersion3.0.53.1.1
airflow.images.airflow.tag3.0.53.1.1
airflow.apiServer.extraInitContainers[0].imageilum/airflow:3.0.5ilum/airflow:3.1.1

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
airflow.migrateDatabaseJob.useHelmHooksDisable Helm hooks for database migration jobगलत
airflow.apiServer.extraInitContainers[0]Modified create admin user init containerSee below
airflow.apiServer.apiServerConfigConfigMapNameCustom webserver_config.py configmapilum-api-server-config
Init Container Volume Mount Configuration​
- नाम: create-शासन-उपभोक्ता
  प्रतिबिंब: ilum/airflow:3.1.1
  command: ["/bin/bash", "/scripts/init.sh"]
  वॉल्यूममाउंट्स:
    - नाम: इलम-airflow-create-उपभोक्ता-रहस्य
      माउंटपाथ: /scripts
    - नाम: कॉन्फिग
      माउंटपाथ: /opt/airflow/airflow.cfg
      उपपथ: airflow.cfg
    - नाम: औथ-रहस्य-volume
      माउंटपाथ: /opt/airflow/client-रहस्य
      readOnly: सच्चा
    - नाम: webserver-कॉन्फिग-volume
      माउंटपाथ: /opt/airflow/webserver_config.py
      उपपथ: webserver_config.py
      readOnly: सच्चा

⚠️⚠️⚠️ Warnings​

Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config. But the name of this configMap must follow pattern -api-server-config to be properly mounted as it is Airflow's chart requirement. So if your release name is different from इलम, please change this value accordingly. For example use:

airflow:
  apiServer:
    apiServerConfigConfigMapName: < आपका-release-नाम>-एपीआई-सर्वर-कॉन्फिग
    extraVolumes:
      - नाम: औथ-रहस्य-volume
        रहस्य:
          गुप्त नाम: इलम-हाइड्रा-ग्राहक-रहस्य
      - नाम: इलम-airflow-create-उपभोक्ता-रहस्य
        रहस्य:
          गुप्त नाम: इलम-airflow-create-उपभोक्ता-रहस्य
      - नाम: webserver-कॉन्फिग-volume
        कॉन्फ़िग मैप:
          नाम: < आपका-release-नाम>-एपीआई-सर्वर-कॉन्फिग

2. Enhanced Jupyter startup configuration​

लक्षण:​

Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.

मूल्य जोड़े गए - इलम-ज्यूपिटर​

Startup and environment configuration​
नामया क़िस्‍ममूल्य
tokenJupyter notebook authentication token""
startupArgs.baseUrlJupyter base URL path for reverse proxy configurations/external/jupyter/
startupArgs.iopubDataRateLimitIOPub data rate limit in bytes/sec (controls output bandwidth)1000000000
startupArgs.extraArgsAdditional command-line arguments to pass to Jupyter server[]
extraEnvAdditional environment variables for Jupyter container as string template""

⚠️⚠️⚠️ Warnings​

  • All startup arguments configured via startupArgs.* can be completely overridden by setting the आर्ग्स parameter in values.yaml. When आर्ग्स is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
  • वही extraEnv parameter accepts a string template (multiline YAML using |). Example usage: 
    extraEnv: |
      - name: MY_VAR
        value: value

3. Added Apache NiFi module​

लक्षण:​

Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
nifi.enabledFlag to enable NiFi deployment in ilum-aioगलत
nifi.fullnameOverrideFull name override for NiFiilum-nifi
nifi.image.tagTag of the source NiFi image2.5.0
nifi.properties.safetyValveAdditional properties passed to nifi.propertiesदेखना मान.yaml
nifi.persistence.enabledEnables PVC for the data directoryसच्चा
nifi.persistence.subpath.enabledEnabled one PVC instead of manyसच्चा
nifi.persistence.subpath.sizeSize of the data directory10Gi
nifi.zookeeper.enabledEnables bundled Zookeeper deploymentगलत
nifi.registry.enabledEnables bundled NiFi registry deploymentगलत
nifi.ca.enabledEnables bundled CA deploymentगलत
nifi.openldap.enabledEnables bundled openLDAP deploymentगलत

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
runtimeVars.nifiUrlURL of the NiFi instancehttp://ilum-nifi:8443/nifi/
runtimeVars.nifiPathProxy path of NiFi/external/nifi/
nginx.config.nifi.enabledEnable proxy for NiFiगलत
nginx.config.http_cookie.nifi.enabledEnables cookie mapping for NiFiसच्चा

4. Added integration with Project Nessie metastore​

लक्षण:​

Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
metastore.typeIndicates the default metastoreछत्ता
metastore.nessie.addressThe address of the default Nessie metastorehttp://ilum-nessie:19120/api/v2
metastore.nessie.warehouseDirThe location of the warehouse of the default Nessie metastores3a://ilum-data/nessie_catalog
metastore.nessie.s3EndpointThe S3 API endpoint to use for the default Nessie metastorehttp://ilum-minio:9000
metastore.nessie.s3PathStyleAccessWhether to use path style access for the S3 Nessie connectionसच्चा
metastore.nessie.authTypeAuth type of the default Nessie metastoreNONE
metastore.nessie.refThe branch to use for the default Nessie metastoreमुख्य
metastore.nessie.cacheEnabledEnables caching in the default Nessie metastoreगलत
metastore.nessie.catalog_nameThe name of the catalog for the default Nessie metastorenessie_catalog
metastore.nessie.configAdditional config to add for the Spark jobदेखना मान.yaml
metastore.nessie.statusProbeStatus probe for the Nessie metastore, so Ilum-core does not launch too quicklyदेखना मान.yaml

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
nessie.enabledEnables or disables bundled Nessie deploymentगलत
nessie.fullnameOverrideFull name override for Nessieilum-nessie
nessie.versionStoreTypeType of persistent metadata storageJDBC2
nessie.extraInitContainersAdds init containers to Nessie (waiting for database)देखना मान.yaml
nessie.jdbc.jdbcUrlUrl for DB connectionjdbc:postgresql://ilum-postgresql-hl:5432/nessie
nessie.jdbc.secret.nameSecret containing DB credentialsilum-postgres-credentals
nessie.jdbc.secret.usernameKey of username in the secretउपयोगकर्ता नाम
nessie.jdbc.secret.passwordKey of password in the secretपासवर्ड

नाम बदले गए - इलम-कोर​

पुराना नामनया नाम
हाइवमेटास्टोर.सक्षमmetastore.enabled
hiveMetastore.*metastore.hive.*

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िगदेखना मान.yamlदेखना मान.yaml

⚠️⚠️⚠️ Warnings​

This is an important change that will need to be addressed if any custom changes to the default configuration were made. Please carefully review the changes and make sure they will not break your deployment.

5. Livy API now fully served by ilum-core (embedded)​

लक्षण:​

Livy API is implemented and served directly by इलम कोर (embedded). The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-core.livy.enabledEnables embedded Livy integration in AIO via इलम कोरसच्चा
ilum-core.livy.ilumUI.publicEndpointPublic endpoint of ilum-ui used for Livy links/integrationhttp://localhost:9777
ilum-livy-proxy.legacy.enabledTurns on the legacy Livy proxy resources (ConfigMap/Deployment/etc.)गलत

⚠️⚠️⚠️ Warnings​

  • वही compat Service (ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
  • वही legacy proxy is also deprecated and will be removed after the transition period.
  • Mode matrix (AIO):
    • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call इलम कोर directly.
    • ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new इलम कोर Livy API.
    • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
  • When legacy is enabled, update client endpoints to use the legacy Service:
    • ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
    • ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
    • Airflow connection: AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
  • Some resources (e.g., ConfigMap/Ingress) are rendered based on ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled).

6. Added cronjob cleaning after uninstalling​

लक्षण:​

A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
cronjob.cleanup.enabledEnable cronjob cleanup after uninstalling the chartसच्चा
cronjob.cleanup.imageImage used for the cleanup jobalpine/kubectl:1.34.1

RELEASE 6.5.2​

1. SSH mode implementation for helm_jupyter​

लक्षण:​

SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.

Values added - helm_jupyter​

SSH access configuration​
नामया क़िस्‍ममूल्य
ssh.enabledEnable SSH access in the Jupyter containerसच्चा
ssh.keysSecretName of the secret containing SSH keysilum-jupyter-ssh-keys
ssh.service.typeSSH service typeनोडपोर्ट
ssh.service.portSSH service port2222
ssh.service.nodePortSSH service node port (when service type is NodePort)""
ssh.service.clusterIPSSH service cluster IP""
ssh.service.loadBalancerIPSSH service load balancer IP""
ssh.service.annotationsSSH service annotations{}
ssh.sshdConfig.customConfigCustom SSH server configuration[]

⚠️⚠️⚠️ Warnings​

  • SSH server runs directly in the main Jupyter container on port 2222 internally
  • SSH keys must be provided via a Kubernetes Secret referenced by ssh.keysSecret parameter
  • The secret should contain both SSH host keys and authorized_keys for authentication
  • SSH access provides direct access to the /home/jovyan/work directory (same as web interface)
  • Custom SSH server configuration can be provided via ssh.sshdConfig.customConfig array

2. Address Bitnami’s move to bitnamilegacy + bitnamisecure​

लक्षण:​

Bitnami has moved to bitnamilegacy + bitnamisecure for their images after the 18th of August 2025. This change moves used images to the new repositories.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
global.security.allowInsecureImagesAllows images from outside of bitnami repository in Bitnami's chartsसच्चा
kafka.image.repositoryRepository for Kafka's imagebitnamilegacy/kafka
minio.image.repositoryRepository for Minio's imagebitnamilegacy/minio
mlflow.image.repositoryRepository for MlFlow's imagebitnamilegacy/mlflow
postgresql.image.repositoryRepository for Postgresql's imagebitnamilegacy/postgresql

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
airflowExtensions.git.imageबिटनामी/गिट:2.48.1bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546
पोस्टग्रेसएक्सटेंशन.इमेजबिटनामी/पोस्टग्रेएसक्यूएल:16bitnamilegacy/postgresql:16

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
काफ्का.स्टेटसप्रोब.इमेजबिटनामी/काफ्का:3.4.1bitnamilegacy/kafka:3.4.1

Values changed - ilum-hive-metastore​

नामपुराना मूल्यनया मूल्य
postgresql.imageबिटनामी/पोस्टग्रेएसक्यूएल:16bitnamilegacy/postgresql:16

Values changed - ilum-jupyter​

नामपुराना मूल्यनया मूल्य
git.init.imageबिटनामी/गिट:2.48.1bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546

Values changed - ilum-marquez​

नामपुराना मूल्यनया मूल्य
marquez.db.imageबिटनामी/पोस्टग्रेएसक्यूएल:16bitnamilegacy/postgresql:16

1. Updated Airflow defaults in ilum-aio​

लक्षण:​

Bumped Airflow to 3.0.5 and streamlined default connection/env configuration. Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
airflow.enableBuiltInSecretEnvVars.AIRFLOW__CORE__FERNET_KEYEnable default fernet key generationगलत

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
airflow.extraEnvदेखना मान.yamlदेखना मान.yaml
airflow.airflowVersion3.0.33.0.5
airflow.images.airflow.tag3.0.33.0.5
airflow.apiServer.extraInitContainers[0].imageilum/airflow:3.0.3ilum/airflow:3.0.5

Values deleted - ilum-aio​

नामकारण
airflow.scheduler.argsRevert to chart default scheduler command as we manage connections via env variables now
airflow.cleanup.enabledUse executor's instant cleanup
airflow.config.kubernetes_executor.delete_worker_podsUse chart defaults
airflow.config.kubernetes_executor.delete_worker_pods_on_failureUse chart defaults

⚠️⚠️⚠️ Warnings​

As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default. To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.

लक्षण:​

Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
nginx.config.http_cookie.enabledGlobal flag to enable HTTP cookie mappingsसच्चा
nginx.config.http_cookie.historyServer.enabledEnable cookie mapping for history server accessसच्चा
nginx.config.http_cookie.mlflow.enabledEnable cookie mapping for MLflow accessसच्चा
nginx.config.http_cookie.ilum-jupyter.enabledEnable cookie mapping for Jupyter notebook accessसच्चा
nginx.config.http_cookie.gitea.enabledEnable cookie mapping for Gitea accessसच्चा
nginx.config.http_cookie.n8n.enabledEnable cookie mapping for n8n accessसच्चा
nginx.config.http_cookie.minio.enabledEnable cookie mapping for MinIO accessसच्चा
nginx.config.http_cookie.airflow.enabledEnable cookie mapping for Airflow accessसच्चा
nginx.config.http_cookie.superset.enabledEnable cookie mapping for Superset accessसच्चा
nginx.config.http_cookie.grafana.enabledEnable cookie mapping for Grafana accessसच्चा
nginx.config.http_cookie.kestra.enabledEnable cookie mapping for Kestra accessसच्चा
nginx.config.http_cookie.mageai.enabledEnable cookie mapping for Mage AI accessसच्चा

4. PostgreSQL Max Connections Configuration​

लक्षण:​

Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.

मान जोड़े गए - ilum-aio​

PostgreSQL configuration​
नामया क़िस्‍ममूल्य
postgresql.primary.extendedConfigurationExtended PostgreSQL configuration to set max_connections parametermax_connections = 1000

RELEASE 6.4.3​

1. Added Mage to ilum-aio​

लक्षण:​

Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
mageai.enabledFlag to enable Mage OSS deployment in ilum-aioगलत
mageai.fullnameOverrideOverrides the full name of the Mage deploymentilum-mageai
mageai.image.repositoryRepository of the source Mage imageilum/mageai
mageai.image.tagTag of the source Mage image0.9.76
mageai.rootPathThe root path for the Mage web serverexternal/mageai
mageai.service.typeType of Mage's kubernetes serviceक्लस्टरआईपी
mageai.redis.enabledEnables Redis for the Mage deploymentगलत
mageai.postgresql.enabledEnables external Postgres for Mageसच्चा
mageai.postgresql.deployDeploys external Postgres for Mageगलत
mageai.postgresql.fullnameOverrideThe name of the Postgres serviceilum-postgresql-hl
mageai.postgresql.auth.usernameUsername of the Postgres userइलम
mageai.postgresql.auth.passwordPassword of the Postgres userचेंजमीकृपया
mageai.postgresql.auth.databaseThe database Mage should usemageai
mageai.persistence.enabledEnables PVC for the main data directoryसच्चा

2. Updated Airflow’s chart and values to support Airflow 3.0​

लक्षण:​

Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
airflow.airflowVersionSets chart compatibility for given Airflow version3.0.3
airflow.apiServer.*apiServer replaces webserver settingsदेखना मान.yaml
airflow.config.core.auth_managerClass of auth manager used in Airflowairflow.providers.fab.auth_manager.fab_auth_manager.FabAuthManager
airflow.config.api.base_urlThe base path of the Airflow web apphttp://localhost:9777/external/airflow
airflow.config.api.enable_xcom_deserialize_supportEnables XCom deserialization in Airflow APIसच्चा
airflow.config.logging.colored_console_logEnables colored console log in Airflowसच्चा
airflow.config.kubernetes_executor.delete_worker_podsEnables instant deletion of worker podsFalse
airflow.config.kubernetes_executor.delete_worker_pods_on_failureEnables instant deletion of failed worker podsFalse
airflow.cleanup.enabledEnables periodic deletion of worker podsसच्चा

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
airflow.images.airflow.tag2.9.33.0.3
airflow.executorLocalKubernetesExecutorKubernetesExecutor
airflow.extraEnvदेखना मान.yamlदेखना मान.yaml
airflow.webserver.extraInitContainersदेखना मान.yamlदेखना मान.yaml

Values deleted - ilum-aio​

नामकारण
airflow.migrateDatabaseJob.useHelmHooksRevert to chart default

Values changed - ilum-ui​

नामपुराना मूल्यनया मूल्य
रनटाइमVars.airflowUrlhttp://ilum-airflow-webserver:8080http://ilum-airflow-api-server:8080

⚠️⚠️⚠️ Warnings​

Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment. Please review the new values and adjust your configuration accordingly.

If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration, as Helm is likely to not be able to automatically migrate the values.

3. Added securityContext configuration for ilum charts​

लक्षण:​

Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
securityContext.pod.runAsNonRootRun container as non-root userसच्चा
securityContext.pod.runAsUserUser ID to run the container1001
securityContext.pod.runAsGroupGroup ID to run the container1001
securityContext.pod.fsGroupFile system group ID1001
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationगलत
securityContext.container.readOnlyRootFilesystemRead-only root filesystemगलत
securityContext.container.runAsNonRootRun container as non-root userसच्चा
securityContext.container.runAsUserUser ID to run the container1001
securityContext.container.runAsGroupGroup ID to run the container1001
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
securityContext.pod.runAsNonRootRun pod as non-root userसच्चा
securityContext.pod.runAsUserUser ID to run the pod101
securityContext.pod.runAsGroupGroup ID to run the pod101
securityContext.pod.fsGroupFile system group ID101
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationगलत
securityContext.container.readOnlyRootFilesystemRead-only root filesystemगलत
securityContext.container.runAsNonRootRun container as non-root userसच्चा
securityContext.container.runAsUserUser ID to run the container101
securityContext.container.runAsGroupGroup ID to run the container101
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

मूल्य जोड़े गए - इलम-ज्यूपिटर​

नामया क़िस्‍ममूल्य
securityContext.container.allowPrivilegeEscalationAllow privilege escalationगलत
securityContext.container.readOnlyRootFilesystemRead-only root filesystemगलत
securityContext.container.runAsNonRootRun container as non-root userसच्चा
securityContext.container.runAsUserUser ID to run the container1000
securityContext.container.runAsGroupGroup ID to run the container100
securityContext.container.capabilities.dropCapabilities to drop["ALL"]
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.initContainer.allowPrivilegeEscalationAllow privilege escalation for init containerगलत
securityContext.initContainer.readOnlyRootFilesystemRead-only root filesystem for init containerगलत
securityContext.initContainer.runAsNonRootRun init container as non-root userगलत
securityContext.initContainer.runAsUserUser ID to run the init container0
securityContext.initContainer.runAsGroupGroup ID to run the init container0
securityContext.initContainer.capabilities.dropCapabilities to drop for init container["ALL"]
securityContext.initContainer.seccompProfile.typeSeccomp profile type for init containerUnconfined

मान जोड़े गए - ilum-livy-proxy​

नामया क़िस्‍ममूल्य
securityContext.pod.runAsNonRootRun pod as non-root userसच्चा
securityContext.pod.runAsUserUser ID to run the pod1001
securityContext.pod.runAsGroupGroup ID to run the pod1001
securityContext.pod.fsGroupFile system group ID1001
securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
securityContext.container.allowPrivilegeEscalationAllow privilege escalationगलत
securityContext.container.readOnlyRootFilesystemRead-only root filesystemगलत
securityContext.container.runAsNonRootRun container as non-root userसच्चा
securityContext.container.runAsUserUser ID to run the container1001
securityContext.container.runAsGroupGroup ID to run the container1001
securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

मान जोड़े गए - ilum-aio​

Added securityContext configuration for postgresExtensions​
नामया क़िस्‍ममूल्य
postgresExtensions.securityContext.pod.runAsNonRootRun pod as non-root userसच्चा
postgresExtensions.securityContext.pod.runAsUserUser ID to run the pod999
postgresExtensions.securityContext.pod.runAsGroupGroup ID to run the pod999
postgresExtensions.securityContext.pod.fsGroupFile system group ID999
postgresExtensions.securityContext.pod.seccompProfile.typeSeccomp profile typeUnconfined
postgresExtensions.securityContext.container.allowPrivilegeEscalationAllow privilege escalationगलत
postgresExtensions.securityContext.container.readOnlyRootFilesystemRead-only root filesystemगलत
postgresExtensions.securityContext.container.runAsNonRootRun container as non-root userसच्चा
postgresExtensions.securityContext.container.runAsUserUser ID to run the container999
postgresExtensions.securityContext.container.runAsGroupGroup ID to run the container999
postgresExtensions.securityContext.container.capabilities.dropCapabilities to drop["ALL"]
postgresExtensions.securityContext.container.seccompProfile.typeSeccomp profile typeUnconfined

RELEASE 6.4.2​

1. changed openldap chart provider to jp-gouin's​

लक्षण:​

Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS. Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
security.ldap.userMapping.enabledएसएनemployeeType
security.ldap.userMapping.enabledValue~active
security.ldap.passwordशासनNot@SecurePassw0rd

मान जोड़े गए - ilum-aio​

Added new values for openldap configuration​
नामया क़िस्‍ममूल्य
global.ldapDomainDomain of the LDAP configurationilum.cloud
openldap.replicaCountReplica count of openLDAP1
openldap.replication.enabledEnable HA for openLDAPगलत
openldap.ltb-passwd.enabledEnable ltb-passwd serviceगलत
openldap.phpldapadmin.enabledEnable PhpLdapAdminगलत

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
openldap.env.LDAP_BACKENDhdbmdb
openldap.customLdifFilessee मान.yamlsee मान.yaml

Values deleted - ilum-aio​

नामकारण
openldap.env.LDAP_ORGANISATIONManaged by the chart
openldap.env.LDAP_DOMAINManaged by the chart
openldap.env.LDAP_TLSManaged by the chart
openldap.env.LDAP_TLS_ENFORCEManaged by the chart

RELEASE 6.4.1​

1. Adapt hydra to https​

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
global.security.hydra.uiDomainDomain where ilum-ui can be accessed from browser``
global.security.hydra.uiProtocolProtocol used to access ilum-ui: एचटीटीपी नहीं तो एचटीटीपीएसएचटीटीपी

Values deleted - ilum-aio​

नामकारण
वैश्विक.सुरक्षा.hydra.uiUrlके साथ बदल दिया uiDomain और uiProtocol

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
hydra.cookies.same_site_modeSameSite value for hydra cookies in set-cookie headerLax

2. Added openldap to helm chart and ilum-to-ldap synchronization​

मान जोड़े गए - ilum-aio​

Added openldap configuration values​
नामया क़िस्‍ममूल्य
openldap.enabledFlag used to enable openldapगलत
openldap.adminPasswordPassword of admin ldap userशासन
openldap.fullnameOverrideName of Openldap helm chart resourcesilum-openldap
openldap.persistence.enabledFlag to enable persistence by openldapसच्चा
openldap.persistence.sizeMemory used by openldap for storage1Gi
openldap.env.LDAP_ORGANIZATIONOrganization name of main ldap domainइलम
openldap.env.LDAP_DOMAINMain domain used in ldap by adminilum.cloud
openldap.env.LDAP_BACKENDType of ldap backendhdb
openldap.env.LDAP_TLSFlag used to enable TLS in ldapगलत
openldap.env.LDAP_TLS_ENFORCEFlag used to enforce TLS in ldapगलत
openldap.env.LDAP_REMOVE_CONFIG_AFTER_SETUPFlag used to update configसच्चा
openldap.customLdifFiles.schemas.ldifFile with custom schem applied at the startup

मूल्य जोड़े गए - इलम-कोर​

Added configurations for synchronization of ldap with ilum​
नामया क़िस्‍ममूल्य
security.ldap.ilumToLdapSyncFlag used to enable ilum to ldap syncगलत
security.ldap.userMapping.ocOC values used during insertion of ilum users into ldap
security.ldap.groupMapping.ocOC values used during insertion of ilum groups into ldap

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
security.ldap.urls[][ "ldap://ilum-openldap:389" ]
security.ldap.base""dc=ilum,dc=cloud
security.ldap.username""cn=admin,dc=ilum,dc=cloud
security.ldap.password""शासन
security.ldap.adminUsers[ "admin" ][ "admin", "ilumadmin" ]
security.ldap.userMapping.base""ou=लोग
security.ldap.userMapping.fullname""सीएन
security.ldap.userMapping.description""या क़िस्‍म
security.ldap.userMapping.email""डाक
security.ldap.userMapping.enabled""एसएन
security.ldap.userMapping.base""ou=groups
security.ldap.userMapping.description""या क़िस्‍म

3. Restricted RBAC Mode for ilum-core service​

लक्षण:​

Introduced a new rbac.restricted.enabled flag in the इलम कोर chart. When set to सच्चा, this option applies a more restrictive set of RBAC permissions for the service account. This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.

मूल्य जोड़े गए - इलम-कोर​

Added a flag to enable a more restrictive RBAC configuration.​
नामया क़िस्‍ममूल्य
rbac.restricted.enabledIf true, applies a more restrictive, non-cluster-wide set of RBAC permissions for Spark applications.गलत

4. Added सक्षम flag to Trino in ilum-sql​

लक्षण:​

अतिरिक्त सक्षम flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it. This also will help ilum-ui with the configuration of Trino.

Values added - ilum-sql​

नामया क़िस्‍ममूल्य
config.trino.enabledFlag to enable Trino in ilum-sqlगलत

⚠️⚠️⚠️ Warnings​

Trino was enabled by default, so if you wish to enable it after the version upgrade, you need to set ilum-sql.config.trino.enabled तक सच्चा अपने पतवार मूल्यों में।

RELEASE 6.4.0​

1. Addition of OAuth Provider and its integration with Services​

लक्षण:​

Added Hydra deployment to helm chart and fields to configure it

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
वैश्विक.सुरक्षा.हाइड्रा.सक्षमFlag to enable hydraगलत
वैश्विक.सुरक्षा.hydra.uiUrlIlum UI url required to configure OpenID connect``
global.security.hydra.clientIdClient Id of OpenID client created in hydraइलम ग्राहक
global.security.hydra.cliendSecretClient Secret of OpenId Client created in hydraरहस्य
hydra.dsnDSN for database used by hydrapostgres://ilum:CHANGEMEPLEASE@ilum-postgresql:5432/hydra?sslmode=disable
hydra.secretsSystemSecret used by hydra to securily store dataचेंजमीकृपया
hydra.recreateClientBoolean flag for OpenId client recreation during hydra startupसच्चा
hydra.resources.requestsMemory and CPU limits and requests used by hydra deploymentशून्य
hydra.imagePullPolicyHydra container image pull policyअगरउपस्थित नहीं
hydra.service.domainDomain used by hydra serviceilum-hydra
hydra.service.publicPortPort that exposes public api of hydra4444
hydra.service.adminPortPort that exposes admin api of hydra4445
hydra.service.typeHydra service typeक्लस्टरआईपी
hydra.service.publicNodePortHydra service node port assigned to public port``
hydra.service.publicNodePortHydra service node port assigned to admin port``
hydra.service.clusterIPHydra service cluster IP``
hydra.service.loadBalancerIPHydra service load balancer IP``
hydra.service.annotationsAnnotations used by hydra service{}
hydra.separateDeploymentFlag to launch hydra in a separate deployment or in ilum-coreसच्चा

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
runtimeVars.hydraUrlUrl of Hydra Public APIhttp://ilum-hydra:4444
runtimeVars.hydraPathilum-ui proxy-path to hydra public api/external/hydra

लक्षण​

Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
hydra.rewriteMappingBoolean flag for recreation of ilum-to-services roles config after ilum-core restartसच्चा
hydra.mapping.minioMinAccessRoleDefault role assigned to ilum users with access to minioकेवलपन
hydra.mapping.airflowMinAccessRoleDefault role assigned to ilum users with access to airflowViewer
hydra.mapping.supersetMinAccessRoleDefault role assigned to ilum users with access to supersetGamma
hydra.mapping.grafanaMinAccessRoleDefault role assigned to ilum users with access to grafanaViewer
hydra.mapping.giteaMinAccessRoleDefault role assigned to ilum users with access to gitea``
hydra.mapping.groupsToMinioMap of ilum groups to a list of minio policiesशून्य
hydra.mapping.groupsToSupersetMap of ilum groups to a list of superset rolesशून्य
hydra.mapping.groupsToAirflowMap of ilum groups to a list of airflow rolesशून्य
hydra.mapping.groupsToGrafanaMap of ilum groups to a list of grafana rolesशून्य
hydra.mapping.groupsToGiteaMap of ilum groups to a list of gitea rolesशून्य
hydra.mapping.groupsToMinio[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToMinio[*].serviceObjsList of minio policies that the ilum group is mapped to``
hydra.mapping.groupsToSuperset[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToSuperset[*].serviceObjsList of superset roles that the ilum group is mapped to``
hydra.mapping.groupsToAirflow[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToAirflow[*].serviceObjsList of airflow roles that the ilum group is mapped to``
hydra.mapping.groupsToGrafana[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToGrafana[*].serviceObjsList of grafana roles that the ilum group is mapped to``
hydra.mapping.groupsToGitea[*].ilumObjName of ilum group to be mapped``
hydra.mapping.groupsToGitea[*].serviceObjsList of gitea roles that the ilum group is mapped to``
hydra.mapping.rolesToGiteaMap of ilum roles to a list of gitea rolesशून्य
hydra.mapping.rolesToMinio[0].ilumObjName of ilum role to be mappedशासन
hydra.mapping.rolesToMinio[0].serviceObjsList of minio policies that the ilum role is mapped to[ consoleAdmin ]
hydra.mapping.rolesToMinio[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToMinio[1].serviceObjsList of minio policies that the ilum role is mapped to[ readonly, writeonly, diagnostics ]
hydra.mapping.rolesToSuperset[0].ilumObjName of ilum role to be mappedशासन
hydra.mapping.rolesToSuperset[0].serviceObjsList of superset roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToSuperset[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToSuperset[1].serviceObjsList of superset roles that the ilum role is mapped to[ Alpha ]
hydra.mapping.rolesToAirflow[0].ilumObjName of ilum role to be mappedशासन
hydra.mapping.rolesToAirflow[0].serviceObjsList of airflow roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToAirflow[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToAirflow[1].serviceObjsList of airflow roles that the ilum role is mapped to[ User ]
hydra.mapping.rolesToGrafana[0].ilumObjName of ilum role to be mappedशासन
hydra.mapping.rolesToGrafana[0].serviceObjsList of grafana roles that the ilum role is mapped to[ Admin ]
hydra.mapping.rolesToGrafana[1].ilumObjName of ilum role to be mappedDATA_ENGINEER
hydra.mapping.rolesToGrafana[1].serviceObjsList of grafana roles that the ilum role is mapped to[ Editor ]
hydra.mapping.rolesToMinio[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToMinio[*].serviceObjsList of minio policies that the ilum role is mapped to``
hydra.mapping.rolesToSuperset[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToSuperset[*].serviceObjsList of superset roles that the ilum role is mapped to``
hydra.mapping.rolesToAirflow[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToAirflow[*].serviceObjsList of airflow roles that the ilum role is mapped to``
hydra.mapping.rolesToGrafana[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToGrafana[*].serviceObjsList of grafana roles that the ilum role is mapped to``
hydra.mapping.rolesToGitea[*].ilumObjName of ilum role to be mapped``
hydra.mapping.rolesToGitea[*].serviceObjsList of gitea roles that the ilum role is mapped to``

लक्षण​

Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra

Values added - minio​

| minio.extraEnvVars | | |

नामपुराना मूल्यनया मूल्य
minio.extraEnvVars......

लक्षण​

Integrated airflow with Hydra OIDC in values.yaml

Values added - airflow​

नामया क़िस्‍ममूल्य
airflow.webserver.extraVolumes[0].nameName of additional airflow volume with oidc configoauth-secret-volume
airflow.webserver.extraVolumes[0].secret.secretNameAirflow secret with hydra oidc client configilum-hydra-client-secret
airflow.webserver.extraVolumeMounts[0].nameName of volume-mount of secret with oidc configoauth-secret-volume
airflow.webserver.extraVolumeMounts[0].mountPathPath for volume-mount of secret with oidc config/opt/airflow/client-secret
airflow.webserver.extraVolumeMounts[0].readOnlyreadonly flag of volume mount with oidc configसच्चा

लक्षण​

Integrated grafana with Hydra OIDC in values.yaml

Values added - grafana​

नामया क़िस्‍ममूल्य
grafana.grafana.ini.auth.generic_oauth.enabledFlag to enable oauth in grafana, taken from वैश्विक.सुरक्षा.हाइड्रा.सक्षम by defaultगलत
grafana.grafana.ini.auth.generic_oauth.nameName of oauth clientइलम
grafana.grafana.ini.auth.generic_oauth.allow_sign_upFlag to enable user creation when signing in with oauthसच्चा
grafana.grafana.ini.auth.generic_oauth.client_idId of oauth client, taken from global.security.hydra.clientId by defaultइलम ग्राहक
grafana.grafana.ini.auth.generic_oauth.client_secretSecret of oauth client, taken from global.security.hydra.clientSecret by defaultरहस्य
grafana.grafana.ini.auth.generic_oauth.scopesScopes requested from oauthopenid profile email offline_access
grafana.grafana.ini.auth.generic_oauth.auth_urlUrl used to initiate oauth authentication, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default/external/hydra/oauth2/auth
grafana.grafana.ini.auth.generic_oauth.token_urlUrl used for tokens exchange in oauth workflow, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default/external/hydra/oauth2/token
grafana.grafana.ini.auth.generic_oauth.api_urlUrl used to access user info, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default/external/hydra/userinfo
grafana.grafana.ini.auth.generic_oauth.login_attribute_pathId token claim used to distinguish different usersuserId
grafana.grafana.ini.auth.generic_oauth.email_attribute_nameId token claim with emailईमेल
grafana.grafana.ini.auth.generic_oauth.role_attribute_pathExpression used to map roles from id_token to grafana...
grafana.grafana.ini.auth.generic_oauth.role_attribute_strictFlag to require the role during sign upसच्चा

लक्षण​

Integrated superset with Hydra OIDC in values.yaml

Values added - superset​

नामया क़िस्‍ममूल्य
superset.configOverrides.ilum_oauth_securityCode added to superset config in order to enable oidc...
superset.extraVolumes[0].nameName of extra volume with a secret for oidc connectionoauth-secret-volume
superset.extraVolumes[0].secret.secretNameName of secret used in extra volume for oidc connectionilum-hydra-client-secret
superset.extraVolumes[1].nameName of extra volume with superset plugin used to enable oidcoauth-plugin-volume
superset.extraVolumes[1].secret.secretNameSecret with superset plugin used to enable oidcilum-superset-oidc-plugin-secret
superset.extraVolumeMounts[0].nameName of volume mount with oidc secret dataoauth-secret-volume
superset.extraVolumeMounts[0].mountPathPath of volume mount with oidc secret data/app/pythonpath/oauth
superset.extraVolumeMounts[1].nameName of volume mount with a superset plugin as a python fileoauth-plugin-volume
superset.extraVolumeMounts[1].mountPathPath of volume mound with a superset plugin/app/pythonpath/security

2. Addition of examples for ilum-core and superset​

लक्षण:​

Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
examples.jobEnables creating single job exampleसच्चा
examples.scheduleEnables creating schedule exampleसच्चा
examples.sqlNotebookEnables creating sql notebook exampleसच्चा
examples.sqlQueryEnables creating sql query exampleसच्चा
examples.databaseEnables creating database exampleसच्चा

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-core.examples.jobEnables creating single job exampleसच्चा
ilum-core.examples.scheduleEnables creating schedule exampleसच्चा
ilum-core.examples.sqlNotebookEnables creating sql notebook exampleसच्चा
ilum-core.examples.sqlQueryEnables creating sql query exampleसच्चा
ilum-core.examples.databaseEnables creating database exampleसच्चा
superset.extraEnv.IMPORT_DASHBOARDEnables creating superset dashboard exampleसच्चा
superset.extraVolumes[2].nameVolume name for dashboard importexample-dashboard
superset.extraVolumes[2].configMap.nameConfigMap that contains base64-encoded dashboardilum-superset-example-dashboard
superset.extraVolumeMounts[2].nameMount name for example dashboard configexample-dashboard
superset.extraVolumeMounts[2].mountPathPath in container to mount the dashboard config/config
superset.extraVolumeMounts[2].readOnlyMount config as read-onlyसच्चा
superset.init.initscriptCustom init script to conditionally import dashboardSee script in ilum-aio values file

3. Internal users upgrade credentials flag​

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
ilum-core.security.internal.upgradeCredentialsEnables overriding user password with helm configurationगलत

4. Tighter integration of Marquez with Ilum​

लक्षण:​

Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore. This way, having a customized Marquez build is not necessary anymore.

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
job.openLineage.transport.endpoint/बाहरी/वंश/API/v1/वंश/API/v1/वंश

5. Changed superset load example variable name​

Values deleted - ilum-aio​

नामकारण
superset.extraEnv.IMPORT_DASHBOARDChanged to other variable name

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
superset.init.loadExamplesEnables creating superset dashboard exampleसच्चा

RELEASE 6.3.2​

1. Addition of frequently used values to ilum-sql​

लक्षण:​

Added frequently used values to ilum-sql chart, so that their configuration is easier.

Values added - ilum-sql​

नामया क़िस्‍ममूल्य
config.kyuubi.logLevelBase log-level of the log4j frameworkINFO
config.kyuubi.idleEngineTimeoutAuto-shutdown time of Kyuubi engines30M
config.kyuubi.idleSessionTimeoutAuto-shutdown time of Kyuubi sessions30M
config.kyuubi.engineAliveProbeWhether to create a probe, which will check engine livenessसच्चा
config.kyuubi.cleanupTerminatedSparkDriverPodsDetermines which of the terminated Spark engine pods will get deleted. Available: NONE, COMPLETED, ALLALL

Values changed - ilum-aio​

नामपुराना मूल्यनया मूल्य
ilum-sql.config.kyuubi.defaultssee मान.yaml~

⚠️⚠️⚠️ Warnings​

Because these values were already present in the ilum-aio chart, the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.

2. Support of Trino in ilum-sql​

लक्षण:​

Introduced support for Trino as an SQL engine in ilum-sql chart.

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
trino.enabledEnables built-in Trinoगलत
trino.nameOverrideSets the name overrideilum-trino
trino.coordinatorNameOverrideSets the name override for the coordinatorilum-trino-coordinator
trino.workerNameOverrideSets the name override for the worker nodesilum-trino-worker
trino.server.workersSets the number of workers1
trino.catalogs.ilum-deltaConfigures the 'ilum-delta' catalogदेखना मान.yaml
ilum-sql.config.trino.catalogThe catalog of choice for Trinoइलम-डेल्टा

Values added - ilum-sql​

नामया क़िस्‍ममूल्य
config.trino.urlUrl pointing to Trino coordinatorhttp://ilum-trino:8080
config.trino.catalogThe catalog of choice for Trinoप्रणाली
config.trino.defaultsAdditional settings of Trino engines. All properties must be prefixed with trino.~

3. Enhanced Oauth2​

लक्षण​

Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core. Added ability to assign Admin role to oauth2 users.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
security.oauth2.mapping.idJWT claim that should be mapped to user`s id""
security.oauth2.mapping.nameJWT claim that should be mapped to user`s nameउप
security.oauth2.mapping.emailJWT claim that should be mapped to user`s emailईमेल
security.oauth2.mapping.fullnameJWT claim that should be mapped to user`s fullnameपूरा नाम
security.oauth2.mapping.descriptionJWT claim that should be mapped to user`s description""
security.oauth2.mapping.departmentJWT claim that should be mapped to user`s department""
security.oauth2.mapping.groupsJWT claim with a list of groups that user is a part of represented by strings"समूह"
security.oauth2.mapping.rolesJWT claim with a list of roles that user uses represented by strings"भूमिकाएँ"
security.oauth2.mapping.enabledJWT claim that should be mapped to user`s state""
security.oauth2.mapping.enabledTrueValue of JWT claim with the name of mapping.enabled जो सक्षम के लिए खड़ा है""
security.oauth2.mapping.singleGroupJWT claim that contains a string with name of group that the user is part of""
security.oauth2.mapping.singleRoleJWT claim that contains a string with name of role that the user has""

4. Addition of kubernetes s3 region to ilum-core and ilum-aio​

लक्षण:​

Added the ability to set the S3 region in ilum-core.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
kubernetes.s3.regiondefault kubernetes cluster S3 storage region to store spark resourcesUS-East-1 (अमेरिका पूर्व -1)

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-core.kubernetes.s3.regiondefault kubernetes cluster S3 storage region to store spark resourcesUS-East-1 (अमेरिका पूर्व -1)
ilum-core.kubernetes.defaultCluster.config.spark.hadoop.fs.s3a.bucket.ilum-data.regiondefault kubernetes cluster S3 storage region to store spark resourcesUS-East-1 (अमेरिका पूर्व -1)

5. Protocol in superset​

लक्षण:​

Added the ability to set the protocol in superset.

Values added - superset​

नामया क़िस्‍ममूल्य
प्रोटोकॉलsuperset protocolएचटीटीपी

6. Addition of hive metastore status probe to ilum-core helm chart​

लक्षण:​

Added possibility to enable status probe for hive metastore.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
hiveMetastore.statusProbe.enabledHive metastore status probe enabled flagगलत
hiveMetastore.statusProbe.imageHive metastore status probe imageकर्लइमेज/कर्ल:8.5.0
hiveMetastore.statusProbe.hostHive metastore status probe hostilum-hive-metastore
hiveMetastore.statusProbe.portHive metastore status probe port9083

रिलीज 6.3.1​

1. भंडारण विन्यास के लिए अतिरिक्त बाल्टी जोड़ा​

लक्षण​

इलम क्लस्टर स्पार्क स्टोरेज कॉन्फ़िगरेशन में अतिरिक्त बाल्टी शामिल करने की क्षमता जोड़ी गई।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
कुबेरनेट्स.s3.extraBucketsilum-core default kubernetes cluster S3 स्टोरेज अतिरिक्त बकेट शामिल करने के लिए[]
कुबेरनेट्स.जीसीएस.एक्स्ट्राबकेटilum-core default kubernetes cluster GCS स्टोरेज अतिरिक्त बकेट समाविष्ट करण्यासाठी[]
कुबेरनेट्स.wasbs.extraकंटेनरilum-core default kubernetes cluster WASBS स्टोरेज अतिरिक्त कंटेनर शामिल करने के लिए[]
kubernetes.hdfs.extraकैटलॉगilum-core default kubernetes cluster HDFS स्टोरेज अतिरिक्त कैटलॉग शामिल करने के लिए[]

2. उन्नत एलडीएपी​

Added the ability to map users, groups, and roles — along with their properties and relationships — from an LDAP server to Ilum Core based on mapping configurations in Helm. Enabled the option to assign Admin role to LDAP users.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
security.ldap.userMapping.baseउपयोगकर्ता प्रविष्टियों का LDAP आधार""
security.ldap.userMapping.filterउपयोगकर्ता खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर"यूआईडी = {0}"
security.ldap.userMapping.usernameLDAP विशेषता का नाम जिसे उपयोगकर्ता के उपयोगकर्ता नाम पर मैप किया जाना चाहिएयूआईडी
security.ldap.userMapping.passwordLDAP विशेषता का नाम जिसे उपयोगकर्ता के पासवर्ड पर मैप किया जाना चाहिएउपयोगकर्ता पासवर्ड
security.ldap.userMapping.descriptionLDAP विशेषता का नाम जिसे उपयोगकर्ता के वर्णन में मैप किया जाना चाहिए""
security.ldap.userMapping.fullnameLDAP विशेषता का नाम जिसे उपयोगकर्ता के पूर्णनाम पर मैप किया जाना चाहिए""
security.ldap.userMapping.departmentLDAP विशेषता का नाम जिसे उपयोगकर्ता के विभाग में मैप किया जाना चाहिए""
security.ldap.userMapping.emailLDAP विशेषता का नाम जिसे उपयोगकर्ता के ईमेल में मैप किया जाना चाहिए""
security.ldap.userMapping.enabledLDAP विशेषता का नाम जिसे उपयोगकर्ता की स्थिति में मैप किया जाना चाहिए""
security.ldap.userMapping.enabledValueके नाम के साथ विशेषता का मान उपयोगकर्ता मैपिंग.सक्षम जो सक्षम के लिए खड़ा है""
security.ldap.groupMapping.baseसमूह प्रविष्टियों के लिए LDAP आधार""
security.ldap.groupMapping.filterसमूह खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर(सदस्य = {0})
security.ldap.groupMapping.nameLDAP विशेषता का नाम जिसे समूह के नाम से मैप किया जाना चाहिएसीएन
security.ldap.groupMapping.descriptionLDAP विशेषता का नाम जिसे समूह के वर्णन में मैप किया जाना चाहिए""
security.ldap.groupMapping.memberविशेषताLDAP विशेषता का नाम जो समूह वाले उपयोगकर्ताओं को सूचीबद्ध करता हैयूआईडी
security.ldap.groupMapping.rolesLDAP विशेषता जो समूह में शामिल भूमिकाओं को सूचीबद्ध करती है""
security.ldap.groupMapping.roleFilterAttributeLDAP भूमिकाओं की विशेषता जो भूमिका का प्रतिनिधित्व करती है समूहमैपिंग.रोल्स लक्षण""
security.ldap.groupMapping.enabledLDAP विशेषता का नाम जिसे समूह की स्थिति में मैप किया जाना चाहिए""
security.ldap.groupMapping.enabledTrueसे विशेषता का मान समूहमानचित्रण.सक्षम जो सक्षम के लिए खड़ा है""
security.ldap.roleMapping.baseभूमिका प्रविष्टियों के लिए LDAP आधार""
security.ldap.roleMapping.filterभूमिका खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर""
security.ldap.roleMapping.memberविशेषताLDAP विशेषता का नाम जो भूमिका वाले उपयोगकर्ताओं को सूचीबद्ध करता है""
security.ldap.roleMapping.nameLDAP विशेषता का नाम जिसे भूमिका के नाम से मैप किया जाना चाहिए""
security.ldap.roleMapping.descriptionLDAP विशेषता का नाम जिसे भूमिका के वर्णन में मैप किया जाना चाहिए""
security.ldap.roleMapping.enabledLDAP विशेषता का नाम जिसे भूमिका की स्थिति में मैप किया जाना चाहिए""
security.ldap.roleMapping.enabledTrueसे विशेषता का मान roleMapping.enabled जो सक्षम के लिए खड़ा है""

हटाए गए मान - इलम-कोर​

नामकारण
security.ldap.userSearchके साथ बदल दिया security.ldap.userमैपिंग
security.ldap.groupSearchके साथ बदल दिया security.ldap.groupमैपिंग

नाम बदले गए - इलम-कोर​

पुराना नामनया नाम
security.internal.users[*].passwordsecurity.internal.users[*].initialPassword

3. स्पार्कमैजिक डिफ़ॉल्ट कॉन्फ़िगरेशन​

मान बदल गए - स्पार्क सत्र फॉर्म की शुरूआत के कारण इलम-ज्यूपिटर कॉन्फ़िगरेशन पैरामीटर बदल जाते हैं।​

नामपुराना मूल्यनया मूल्य
sparkmagic.config.sessionConfigs.conf'{ "pyRequirements": "पांडस", "क्लस्टर": "डिफ़ॉल्ट", "ऑटोपॉज़": "गलत", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }''{}'

हटाए गए मान - इलम-ज्यूपिटर​

नामकारण
sparkmagic.config.sessionConfigs.executorCoresनए स्पार्क सत्र फॉर्म के कारण अब और जरूरत नहीं है

हटाए गए मान - इलम-ज्यूपिटर​

नामकारण
sparkmagic.config.sessionConfigs.driverMemoryनए स्पार्क सत्र फॉर्म के कारण अब और जरूरत नहीं है

रिलीज 6.3.0​

1. kyuubi की बदली छवि टैग संस्करण​

मान बदल गए - sparkmagic कॉन्फ़िगरेशन पैरामीटर​

नामपुराना मूल्यनया मूल्य
sparkmagic.config.sessionConfigs.conf'{ "pyRequirements": "पांडा", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }''{ "pyRequirements": "पांडस", "क्लस्टर": "डिफ़ॉल्ट", "ऑटोपॉज़": "गलत", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }'

2. ilum-core के लिए kafka पता सेट करने के लिए जोड़ा गया संपत्ति​

लक्षण​

ilum-core pod के लिए kafka पता सेट करने की क्षमता जोड़ा गया, जो स्पार्क जॉब्स और ilum-core pod set दोनों के लिए kafka.address प्रॉपर्टी के माध्यम से वैश्विक kafka address कॉन्फ़िगरेशन से अलग है।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
काफ्का.इलम पताilum-core kafka पता केवल ilum-core POD के लिए, kafka.address को ओवरराइड करता हैपरिभाषित नहीं

3. बदल गया इलम नौकरी स्वास्थ्यसहिष्णुता समय की जांच करें​

मान बदल गए - ilum job healthcheck कॉन्फ़िगरेशन पैरामीटर​

नामपुराना मूल्यनया मूल्य
job.healthcheck.tolerance1203600

4. एम्बेडेड गिट रेपो का परिचय​

लक्षण​

इलम प्लेटफॉर्म के लिए गिट सर्वर में बिल्ड प्रदान करने वाले मॉड्यूल के रूप में गिटिया जोड़ा गया।

मूल्य जोड़े गए - gitea​

नामया क़िस्‍ममूल्य
गीटिया.सक्षमGitea परिनियोजन को सक्षम या अक्षम करेंसच्चा
gitea.image.rootlessगीता को रूटलेस मोड में चलाएंगलत
gitea.gitea.config.database.DB_प्रकारGitea के लिए उपयोग किया जाने वाला डेटाबेस प्रकारपोस्टग्रेज़
gitea.gitea.config.database.HOSTGitea के लिए डेटाबेस होस्ट और पोर्टइलम-पोस्टग्रेएसक्यूएल-एचएल: 5432
gitea.gitea.config.database.NAMEGitea के लिए डेटाबेस नामगीता
gitea.gitea.config.database.USERGitea के लिए डेटाबेस उपयोगकर्ता नामइलम
gitea.gitea.config.database.PASSWDGitea के लिए डेटाबेस पासवर्ड (आवश्यक बदलें)चेंजमीकृपया
gitea.gitea.admin.existingSecretगिटिया सीक्रेट इनिट क्रेडेंशियल्स को स्टोर करने के लिएilum-git-credentials
gitea.gitea.admin.emailGitea व्यवस्थापक ईमेलilum@ilum
gitea.gitea.admin.passwordमोडव्यवस्थापक खाते के लिए पासवर्ड मोडआद्याक्षरOnlyNoReset
gitea.gitea.additionalConfigFromEnvs[0].nameपुश-क्रिएट उपयोगकर्ता सक्षम करेंGITEA__REPOSITORY__ENABLE_PUSH_CREATE_USER
gitea.gitea.additionalConfigFromEnvs[0].valueपुश-क्रिएट उपयोगकर्ता को सक्षम करने के लिए मूल्यसच्चा
gitea.gitea.additionalConfigFromEnvs[1].nameपुश-क्रिएट संगठन सक्षम करेंGITEA__REPOSITORY__ENABLE_PUSH_CREATE_ORG
gitea.gitea.additionalConfigFromEnvs[1].valueपुश-क्रिएट संगठन को सक्षम करने के लिए मूल्यसच्चा
gitea.gitea.additionalConfigFromEnvs[2].nameडिफ़ॉल्ट रिपॉजिटरी शाखाGITEA__REPOSITORY__DEFAULT_BRANCH
gitea.gitea.additionalConfigFromEnvs[2].valueडिफ़ॉल्ट रिपॉजिटरी शाखा के लिए मानगुरू
gitea.gitea.additionalConfigFromEnvs[3].nameGitea सर्वर का रूट URLGITEA__SERVER__ROOT_URL
gitea.gitea.additionalConfigFromEnvs[3].valueGitea सर्वर रूट URL के लिए मानhttp://git.example.com/external/gitea/
gitea.gitea.additionalConfigFromEnvs[4].nameस्टेटिक URL उपसर्गGITEA__SERVER__STATIC_URL_PREFIX
gitea.gitea.additionalConfigFromEnvs[4].valueस्थिर URL उपसर्ग के लिए मान/बाहरी/गीता/
gitea.redis-cluster.enabledरेडिस क्लस्टर को सक्षम या अक्षम करेंगलत
gitea.redis.enabledरेडिस को सक्षम या अक्षम करेंगलत
gitea.postgresql.enabledस्टैंडअलोन PostgreSQL को सक्षम या अक्षम करेंगलत
gitea.postgresql-ha.enabledPostgreSQL HA को सक्षम या अक्षम करेंगलत

मूल्य जोड़े गए - इलम-ज्यूपिटर​

नामया क़िस्‍ममूल्य
ilum-jupyter.git.enabledगिट एकीकरण को सक्षम या अक्षम करेंगलत
ilum-jupyter.git.usernameप्रमाणीकरण के लिए गिट उपयोगकर्ता नामइलम
ilum-jupyter.git.passwordप्रमाणीकरण के लिए गिट पासवर्डइलम
ilum-jupyter.git.emailगिट ईमेल पताilum@ilum
ilum-jupyter.git.repositoryगिट रिपॉजिटरी का नामबृहस्पति
ilum-jupyter.git.addressगिट सर्वर पताएलम-गिटिया-एचटीटीपी:3000
इलम-jupyter.git.init.imageगिट आरंभीकरण छविबिटनामी/गिट:2.48.1

मूल्य जोड़े गए - इलम-एयरफ्लो​

नामया क़िस्‍ममूल्य
airflow.dags.gitSync.enabledDAG के लिए Git सिंक्रनाइज़ेशन सक्षम या अक्षम करेंसच्चा
एयरफ्लो.dags.gitSync.repoDAG के लिए Git रिपॉजिटरी URLhttp://ilum-gitea-http:3000/ilum/airflow.git
एयरफ्लो.dags.gitSync.branchगिट शाखा से सिंक करने के लिएगुरू
एयरफ्लो.dags.gitSync.refसिंक के लिए गिट संदर्भसिर
एयरफ्लो.dags.gitSync.depthगिट क्लोन गहराई1
airflow.dags.gitSync.maxFailuresअधिकतम अनुमत सिंक्रनाइज़ेशन विफलताएँ0
airflow.dags.gitSync.subPathसिंक करने के लिए भंडार के भीतर सबपाथ""
airflow.dags.gitSync.credentialsSecretगिट प्रमाणीकरण के लिए उपयोग किया जाने वाला रहस्यilum-git-credentials

5. इलम एसक्यूएल कॉन्फ़िगरेशन नामकरण परिवर्तन​

Kyuubi के वर्तमान उपयोग को बेहतर ढंग से प्रतिबिंबित करने के लिए Ilum SQL कॉन्फ़िगरेशन का नामकरण बदलें

नाम बदले गए - इलम-कोर​

पुराना नामनया नाम
क्यूबी.*एसक्यूएल.*

नाम बदले गए - इलम-एआईओ​

पुराना नामनया नाम
इलुम-क्यूबी.*इलम-एसक्यूएल.*

⚠️⚠️⚠️ Warnings​

नामकरण में परिवर्तन और SQL इंजन लॉन्चिंग के आंतरिक कामकाज के कारण, और एक के माध्यम से क्या किया जा सकता है, इस पर प्रतिबंध हेल्म अपग्रेड, पुराने स्टेटफुल सेट को मैन्युअल रूप से हटाना आवश्यक है (उदा। Kubectl Delete Sts ilum-SQL) इस संस्करण में अपग्रेड करने से पहले। यह सुनिश्चित करेगा कि अद्यतन के दौरान, सही कॉन्फ़िगरेशन के साथ एक नया स्टेटफुल सेट बनाया गया है। ब्रेकिंग परिवर्तन लेबल और वॉल्यूम माउंट से संबंधित हैं जो ilum-sql stateful सेट द्वारा उपयोग किए जाते हैं।

6. स्पार्क एसक्यूएल इंजन के लिए इलम सबमिट के लिए कॉन्फ़िगरेशन जोड़ें​

Ilum Submit चयनित क्लस्टर के कॉन्फ़िगरेशन को स्वचालित रूप से लागू करके Ilum Web Application और JDBC समापन बिंदु दोनों के माध्यम से Spark SQL इंजन लॉन्च करने की प्रक्रिया को बढ़ाता है। यह सुधार Ilum Core को Kyuubi के Spark कॉन्फ़िगरेशन को मैन्युअल रूप से प्रदान करने की आवश्यकता को समाप्त करता है।

मूल्यवान हटाया गया - इलम-कोर​

नामकारण
sql.sparkConfigपरिवर्तन के बाद अनावश्यक

मूल्य जोड़े गए - ilum-kyuubi​

नामया क़िस्‍ममूल्य
ilumSubmit.enabledilum submit service को सक्षम करने के लिए फ्लैग करेंगलत
ilumSubmit.ilum.hostIlum REST सेवा के मेजबानइलम कोर
इलुमसबमिट.इलम डॉट पोर्टपोर्ट ऑफ इलम आरईएसटी सेवा9888

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
ilum-sql.ilumSubmit.enabledIlum के माध्यम से SQL इंजन निर्माण को सक्षम करने के लिए ध्वजांकित करेंसच्चा

⚠️⚠️⚠️ Warnings​

चूंकि इलम कोर में अब क्यूबी के स्पार्क कॉन्फ़िगरेशन की आवश्यकता नहीं है, डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन को सीधे आपूर्ति की जानी चाहिए ilum-sql.config.spark.defaults वैश्विक मूल्य के बजाय।

लक्षण​

Security‑related configuration (including internal user credentials, LDAP, OAuth2, JWT, and authorities settings) has been moved from the config map to a dedicated Kubernetes Secret. This improves the security of sensitive data by isolating it from non‑sensitive configuration.

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
security.secret.nameName of the secret that holds security‑related configuration. Use this to override the default secret name.इलम सिक्योरिटी

8. परिवर्तित इलम-यूआई सेवा प्रकार​

kubectl पोर्ट-फॉरवर्ड के साथ समस्याओं के कारण हम डिफ़ॉल्ट रूप से एक नोडपोर्ट को उजागर कर रहे हैं।

मान बदल गए - ilum-ui healthcheck कॉन्फ़िगरेशन पैरामीटर​

नामपुराना मूल्यनया मूल्य
सेवा.प्रकारक्लस्टरआईपीनोडपोर्ट
service.nodePort``31777

रिलीज 6.2.1​

1. Kyuubi के url का मान बदलें​

लक्षण​

इलम-कोर में क्यूबी के यूआरएल का मान बदलें। डिफ़ॉल्ट मान अब बॉक्स से बाहर काम करना चाहिए।

मान बदल गए - इलम-कोर​

नामपुराना मूल्यनया मूल्य
क्यूबी.होस्टilum-sql-restilum-sql-headless

रिलीज 6.2.1-RC1​

1. इलम-कोर में स्पार्क जॉब की मेमोरी सेटिंग्स कॉन्फ़िगरेशन​

लक्षण​

इलम-कोर में स्पार्क जॉब की मेमोरी सेटिंग्स कॉन्फ़िगरेशन जोड़ा गया। जब इलम-कोर में डिफ़ॉल्ट क्लस्टर बनाया जा रहा है, तो इसमें उन मानों पर सेट मेमोरी सेटिंग्स पैरामीटर होंगे।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
job.memorysettings.executorsस्पार्क जॉब्स एक्जीक्यूटर काउंट2
job.memorysettings.executorMemoryस्पार्क जॉब्स एक्जीक्यूटर मेमोरी आवंटन1जी
job.memorysettings.driverMemoryस्पार्क जॉब्स ड्राइवर मेमोरी आवंटन1जी
job.memorysettings.executorCoresस्पार्क जॉब्स एक्जीक्यूटर कोर काउंट1
job.memorysettings.driverCoresस्पार्क जॉब्स ड्राइवर कोर काउंट1
job.memorysettings.dynamicAllocationसक्षमस्पार्क जॉब्स डायनामिक आवंटन सक्षम ध्वजगलत
job.memorysettings.minExecutorsस्पार्क नौकरियां निष्पादकों की न्यूनतम संख्या0
job.memorysettings.initialExecutorsस्पार्क नौकरियां निष्पादकों की प्रारंभिक संख्या0
job.memorysettings.maxExecutorsस्पार्क नौकरियां निष्पादकों की अधिकतम संख्या20

2. स्पार्क इतिहास सर्वर प्रतिधारण पैरामीटर जोड़​

लक्षण​

ilum-core में स्पार्क इतिहास सर्वर अवधारण पैरामीटर जोड़ा गया। ये पैरामीटर उपयोगकर्ता स्पार्क इतिहास सर्वर लॉग के अवधारण को कॉन्फ़िगर करने के लिए अनुमति देते हैं।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
historyServer.parameters.spark.history.fs.cleaner.enabledइतिहास सर्वर क्लीनर सक्षम ध्वजसच्चा
इतिहाससर्वर.पैरामीटर.spark.history.fs.cleaner.intervalइतिहास सर्वर क्लीनर अंतराल1डी
इतिहाससर्वर.पैरामीटर.स्पार्क.इतिहास.fs.cleaner.maxAgeइतिहास सर्वर अधिकतम आयु लॉग करता है7डी

3. Kyuubi के url को होस्ट और पोर्ट में विभाजित करें​

लक्षण​

Kyuubi के url को ilum-core में होस्ट और पोर्ट में विभाजित करें। कस्टम इंजन बनाने में सक्षम होने के लिए यह परिवर्तन आवश्यक था।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
क्यूबी.होस्टक्यूउबी होस्टilum-sql-rest
क्यूबी.पोर्टक्यूउबी बंदरगाह10099

हटाए गए मान - इलम-कोर​

नामकारण
क्यूयूबी.यूआरएलपरिवर्तन के बाद अनावश्यक

4. nginx सर्वर कॉन्फ़िगरेशन मैप helm_ui में अतिरिक्त प्रविष्टियाँ​

लक्षण​

इतिहास सर्वर, मिनीओ, इलम-ज्यूपिटर, एयरफ्लो, एमएलफ्लो और वंश के लिए इलम-यूआई के लिए सक्षम झंडे जोड़े गए। ये झंडे उपयोगकर्ता को ilum-ui के माध्यम से इन सेवाओं तक पहुंच को सक्षम या अक्षम करने की अनुमति देते हैं। इन मानों का उपयोग nginx सर्वर कॉन्फ़िगरेशन मैप में किया जाएगा।

जोड़े गए मान - ilum-ui चार्ट​

नामया क़िस्‍ममूल्य
nginx.config.ilum-jupyter.enabledilum-ui nginx config ilum-jupyter सक्षम ध्वजगलत
nginx.config.airflow.enabledilum-ui nginx config एयरफ्लो सक्षम ध्वजगलत
nginx.config.minio.enabledilum-ui nginx config minio सक्षम ध्वजगलत
nginx.config.historyServer.enabledilum-ui nginx config historyServer सक्षम ध्वजगलत
nginx.config.mlflow.enabledilum-ui nginx config MLFLOW सक्षम ध्वजगलत
nginx.config.lineage.enabledilum-ui nginx कॉन्फिग वंश सक्षम ध्वजगलत

5. इलम-एआईओ चार्ट में सुपरसेट​

लक्षण​

इलम एआईओ चार्ट में सुपरसेट। सुपरसेट तेज़, हल्का, सहज और विकल्पों से भरा हुआ है जो सभी कौशल सेटों के उपयोगकर्ताओं के लिए अपने डेटा का पता लगाना और कल्पना करना आसान बनाता है, सरल रेखा चार्ट से लेकर अत्यधिक विस्तृत भू-स्थानिक चार्ट तक। सुपरसेट इलम प्लेटफॉर्म के साथ एकीकृत मॉड्यूल में से एक है।

मान जोड़े गए - ilum-ui​

लॉग एकत्रीकरण कॉन्फ़िगरेशन​
नामया क़िस्‍ममूल्य
runtimeVars.supersetUrlसुपरसेट सेवा URLhttp://ilum-superset:8088/
nginx.config.superset.enabledilum-ui nginx कॉन्फिग सुपरसेट सक्षम ध्वजगलत

4. हेलम मानों से डिफ़ॉल्ट कुबेरनेट्स क्लस्टर कॉन्फ़िगरेशन​

लक्षण​

अब से, डिफ़ॉल्ट ilum क्लस्टर पैरामीटर हेल्म मानों के आधार पर सेट किए जाएंगे।

जोड़े गए मान - इलम-कोर चार्ट​

नामया क़िस्‍ममूल्य
कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िगilum-core default kubernetes cluster configurationकॉन्फ़िगरेशन:
  spark.driver.extraJavaOptions: "-Divy.cache.dir=/tmp -Divy.home=/tmp"
  spark.kubernetes.container.image: "इलम/स्पार्क:3.5.2-डेल्टा"
  spark.databricks.delta.catalog.update.enabled: "सत्य"

रिलीज 6.2.0​

1. kyuubi की बदली छवि टैग संस्करण​

मान बदल गए - ilum-kyuubi चार्ट​

नामपुराना मूल्यनया मूल्य
छवि.टैग1.9.2-चिंगारी1.10.0-चिंगारी

2. ilum-kyuubi चार्ट में परिवर्तित kyuubi स्पार्क कॉन्फ़िगरेशन​

अतिरिक्त स्पार्क.ड्राइवर.मेमोरी = 2 जी में ग्लोबल.kyuubi.sparkConfig

रिलीज 6.2.0-RC2​

1. Minio स्थिति जांच जोड़​

लक्षण​

इलम-कोर में जोड़ा गया स्टेटस जांच जो जांचती है कि मिनीओ स्टोरेज तैयार है या नहीं

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
minio.statusProbe.enabledminio स्थिति जांच सक्षम ध्वजसच्चा
minio.statusProbe.imageminio स्थिति जांच छविकर्लइमेज/कर्ल:8.5.0
minio.statusProbe.baseUrlminio base url"http://ilum-minio:9000"

2. इलम-कोर में क्यूयूबी कॉन्फ़िगरेशन​

लक्षण​

ilum-core helm chart में Kyuubi कॉन्फ़िगरेशन जोड़ा गया। Kyuubi उपयोगकर्ता को ILUM UI का उपयोग करके कई अलग-अलग डेटा स्रोतों पर SQL प्रश्नों को निष्पादित करने की अनुमति देगा।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
क्यूबी.सक्षमKyuubi सक्षम ध्वजसच्चा
क्यूयूबी.यूआरएलKyuubi की आराम सेवा का urlhttp://ilum-sql-rest:10099

⚠️⚠️⚠️ Warnings​

एसक्यूएल इंजन को ठीक से प्रबंधित करने के लिए, हमें क्यूबी के स्पार्क कॉन्फ़िगरेशन को इलम-कोर में पारित करने की आवश्यकता है। यह क्यूबी की चिंगारी को कॉन्फ़िगर करके किया जाता है ग्लोबल.kyuubi.sparkConfig और उपयोगकर्ता को एक कॉन्फ़िगरेशन लिखने की अनुमति देता है जिसे क्यूउबी और इलम-कोर दोनों को पारित किया जा सकता है।

3. इलम-कोर में MongoDb uri कॉन्फ़िगरेशन​

लक्षण​

जिस तरह से mongoDb uri को ilum-core में पास किया जाता है, उसे बदलें। अब इसे एक एकल स्ट्रिंग के रूप में पारित किया जाता है, जो उपयोगकर्ता को अधिक दानेदार कॉन्फ़िगरेशन प्रदान करने में सक्षम बनाता है जैसे कि authSource।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
मोंगो.उरीMongoDb कनेक्शन स्ट्रिंगmongodb://mongo:27017/ilum-default?replicaSet=rs0

हटाए गए मान - इलम-कोर​

नामकारण
मोंगो.इंस्टेंसपरिवर्तन के बाद अनावश्यक
mongo.replicaSetNameपरिवर्तन के बाद अनावश्यक

⚠️⚠️⚠️ Warnings​

वही मोंगो.उरी, यदि गलत तरीके से सेट किया गया है, तो एप्लिकेशन को ठीक से काम नहीं करने का कारण होगा। सही कनेक्शन स्ट्रिंग प्रदान करना सुनिश्चित करें।

पहले प्रारूप था: mongodb://{ mongo.instances }/ilum-{ release_namespace }?replicaSet={ mongo.replicaSetName } डिफ़ॉल्ट रूप से इलम-एआईओ चार्ट में ये मान थे:

  • मोंगो.इंस्टेंस - इलम-मोंगोडीबी-0.इलम-मोंगोडीबी-हेडलेस: 27017, इलम-मोंगोडबी-1.इलम-मोंगोडबी-हेडलेस: 27017
  • mongo.replicaSetName - रु.0
  • release_namespace - चूक

4. इलम-कोर में ऑटोपॉज़िंग कॉन्फ़िगरेशन​

लक्षण​

इलम-कोर में ऑटोपॉज़िंग जोड़ा गया, जो समय-समय पर जांचता है कि क्या कोई समूह निर्दिष्ट समय के लिए निष्क्रिय है और समूह को रोकता है। ऐसा करने के लिए प्रत्येक समूह को ऑटोपॉजिंग को स्पष्ट रूप से चालू करना होगा।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
job.autoPause.enabledऑटो पॉजिंग को सक्षम करने के लिए फ़ीचर फ़्लैगसच्चा
job.autoPause.periodआलस्य समूहों की जांच करने के लिए सेकंड में अंतराल180
job.autoPause.idleTimeसेकंड में समय कि समूह को स्वतः रुके रहने के लिए निष्क्रिय होने की आवश्यकता होती है3600

5. इलम-एआईओ चार्ट में ग्रेफाइट निर्यातक​

लक्षण​

इलम एआईओ चार्ट में ग्रेफाइट निर्यातक और इलम-कोर चार्ट में ग्रेफाइट कॉन्फिगरेशन। ग्रेफाइट निर्यातक ग्रेफाइट प्लेनटेक्स्ट प्रोटोकॉल में निर्यात किए गए मैट्रिक्स के लिए एक प्रोमेथियस निर्यातक है।

मान जोड़े गए - ग्रेफाइट-निर्यातक​

नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जांच करें चार्ट का पेज

6. इलम-कोर में ग्रेफाइट विन्यास​

लक्षण​

इलम-कोर हेल्म चार्ट में ग्रेफाइट कॉन्फ़िगरेशन जोड़ा गया। ग्रेफाइट स्पार्क जॉब्स को अपने मैट्रिक्स को ग्रेफाइट सिंक में भेजने की अनुमति देगा, जिसे प्रोमेथियस द्वारा स्क्रैप किया जाएगा।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
job.graphite.enabledग्रेफाइट सक्षम ध्वजगलत
job.graphite.hostग्रेफाइट मेजबानइलम-ग्रेफाइट-ग्रेफाइट-टीसीपी
नौकरी.ग्रेफाइट.पोर्टग्रेफाइट पोर्ट9109
job.graphite.periodकार्य मीट्रिक भेजने के बीच अंतराल10
नौकरी.ग्रेफाइट.यूनिट्ससमय इकाईसेकंड

रिलीज 6.1.4​

1. ज्यूपिटर डिफ़ॉल्ट स्पार्कमैजिक कॉन्फ़िगरेशन परिवर्तन​

लक्षण​

स्पार्क डिफ़ॉल्ट कॉन्फ़िगरेशन को ज्यूपिटर नोटबुक में पारित करने की बदली हुई विधि, अब इसे जेसन स्ट्रिंग के रूप में पारित किया गया है

मूल्य जोड़े गए - इलम-ज्यूपिटर​

स्पार्कमैजिक कॉन्फ़िगरेशन पैरामीटर​
नामया क़िस्‍ममूल्य
sparkmagic.config.sessionConfigs.confSparkmagic सत्र स्पार्क कॉन्फ़िगरेशन'{ "pyRequirements": "पांडा", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}'
sparkmagic.config.sessionConfigsDefaults.confSparkMagic सत्र डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन'{ "pyRequirements": "पांडा", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}'

2. इलम-एआईओ चार्ट में क्यूउबी​

लक्षण​

इलम एआईओ चार्ट में क्यूबी। Kyuubi एक वितरित बहु-किरायेदार गेटवे है जो डेटा वेयरहाउस और लेकहाउस के लिए SQL क्वेरी सेवाएं प्रदान करता है। यह JDBC और ODBC इंटरफेस दोनों प्रदान करता है, और ग्राहकों के साथ बातचीत करने के लिए एक REST API प्रदान करता है।

मूल्य जोड़े गए - ilum-kyuubi​

नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जांच करें चार्ट का पेज

रिलीज 6.1.3​

1. ज्यूपिटर कॉन्फ़िगरेशन और लगातार भंडारण​

लक्षण​

हेल्म मानों के माध्यम से ज्यूपिटर नोटबुक हेल्म चार्ट का विस्तारित कॉन्फ़िगरेशन जोड़ा गया। इसके अलावा ज्यूपिटर पॉड में पर्सिटेंट स्टोरेज जोड़ा गया। सभी डेटा में सहेजा गया काम ज्यूपिटर रीस्टार्ट/अपडेट के बाद निर्देशिका अब उपलब्ध होगी।

मूल्य जोड़े गए - इलम-ज्यूपिटर​

पीवीसी पैरामीटर​
नामया क़िस्‍ममूल्य
पीवीसी.एनोटेशनलगातार वॉल्यूम दावा एनोटेशन{}
pvc.selectorलगातार वॉल्यूम दावा चयनकर्ता{}
पीवीसी.एक्सेसमोडलगातार वॉल्यूम दावा एक्सेसमोडReadWriteOnce
पीवीसी.स्टोरेजलगातार वॉल्यूम दावा भंडारण अनुरोध4जीआई
pvc.storageClassNameलगातार वॉल्यूम दावा भंडारणClassName``
स्पार्कमैजिक कॉन्फ़िगरेशन पैरामीटर​
नामया क़िस्‍ममूल्य
sparkmagic.config.kernelPythonCredentials.usernameस्पार्कमैजिक पायथन कर्नेल उपयोगकर्ता नाम""
sparkmagic.config.kernelPythonCredentials.passwordस्पार्कमैजिक पायथन कर्नेल पासवर्ड""
sparkmagic.config.kernelPythonCredentials.authस्पार्कमैजिक पायथन कर्नेल ऑथ मोड"कोई नहीं"
sparkmagic.config.kernelScalaCredentials.usernameस्पार्कमैजिक पायथन कर्नेल उपयोगकर्ता नाम""
sparkmagic.config.kernelScalaCredentials.passwordस्पार्कमैजिक स्काला कर्नेल पासवर्ड""
sparkmagic.config.kernelScalaCredentials.authस्पार्कमैजिक स्काला कर्नेल ऑथ मोड"कोई नहीं"
sparkmagic.config.kernelRCredentials.usernameSparkmagic R कर्नेल उपयोगकर्ता नाम""
sparkmagic.config.kernelRCredentials.passwordस्पार्कमैजिक आर कर्नेल पासवर्ड""
sparkmagic.config.waitForIdleTimeoutSecondsस्पार्कमैजिक टाइमआउट निष्क्रिय स्थिति की प्रतीक्षा कर रहा है15
sparkmagic.config.livySessionStartupTimeoutSecondsSparkmagic टाइमआउट सत्र शुरू होने की प्रतीक्षा कर रहा है300
sparkmagic.config.ignoreSslErrorsSparkmagic SSL त्रुटियों ध्वज को अनदेखा करेंगलत
sparkmagic.config.sessionConfigs.confSparkmagic सत्र स्पार्क कॉन्फ़िगरेशन[pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog]
sparkmagic.config.sessionConfigs.driverMemorySparkmagic सत्र ड्राइवर मेमोरी1000 एम
sparkmagic.config.sessionConfigs.executorCoresस्पार्कमैजिक सत्र निष्पादक कोर2
sparkmagic.config.sessionConfigsDefaults.confSparkMagic सत्र डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन[pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog]
sparkmagic.config.sessionConfigsDefaults.driverMemorySparkmagic सत्र डिफ़ॉल्ट ड्राइवर स्मृति1000 एम
sparkmagic.config.sessionConfigsDefaults.executorCoresस्पार्कमैजिक सत्र डिफ़ॉल्ट निष्पादक कोर2
sparkmagic.config.useAutoVizSparkmagic Use Auto VIZ फ्लैगसच्चा
sparkmagic.config.coerceDataframeSparkmagic Coerce Dataframe ध्वजसच्चा
sparkmagic.config.maxResultsSqlस्पार्कमैजिक मैक्स एसक्यूएल परिणाम2500
sparkmagic.config.pysparkDataframeEncodingSparkmagic Pyspark डेटाफ़्रेम एन्कोडिंगयूटीएफ-8
sparkmagic.config.heartbeatRefreshSecondsस्पार्कमैजिक हार्टबीट रिफ्रेश सेकंड30
sparkmagic.config.livyServerHeartbeatTimeoutSecondsSparkmagic लिवी सर्वर दिल की धड़कन टाइमआउट सेकंड0
sparkmagic.config.heartbeatRetrySecondsस्पार्कमैजिक हार्टबीट सेकंड पुनः प्रयास करें10
sparkmagic.config.serverExtensionDefaultKernelNameSparkmagic सर्वर एक्सटेंशन डिफ़ॉल्ट कर्नेल नामpysparkkernel
sparkmagic.config.retryPolicySparkmagic पुनः प्रयास नीतिविन्यास
sparkmagic.config.retrySecondsToSleepListSparkmagic स्लीप लिस्ट के लिए सेकंड पुनः प्रयास करें[0.2, 0.5, 1, 3, 5]
sparkmagic.config.configurableRetryPolicyMaxRetriesSparkmagic पुनः प्रयास नीति अधिकतम पुनः प्रयास करता है8

रिलीज 6.1.2​

1. इलम-एआईओ चार्ट में हाइव मेटास्टोर​

लक्षण​

इलम एआईओ चार्ट में हाइव मेटास्टोर। एचएमएस एक रिलेशनल डेटाबेस में हाइव टेबल और विभाजन के लिए मेटाडेटा का एक केंद्रीय भंडार है, और ग्राहकों (हाइव, इम्पाला और स्पार्क सहित) को मेटास्टोर सेवा एपीआई का उपयोग करके इस जानकारी तक पहुंच प्रदान करता है। इलम एआईओ हेल्म स्टैक में सक्षम हाइव मेटास्टोर के साथ, इलम द्वारा संचालित स्पार्क जॉब्स को ऑटोमैटिक रूप से एक्सेस करने के लिए कॉन्फ़िगर किया जा सकता है।

मान जोड़े गए - ilum-hive-metastore​

नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जाँच करें चार्ट पृष्ठ

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
हाइवमेटास्टोर.सक्षमहाइव मेटास्टोर कॉन्फ़िगरेशन को ilum Spark Jobs फ्लैग में पास करनागलत
हाइवमेटास्टोर.पताहाइव मेटास्टोर पताthrift://ilum-hive-metastore:9083
हाइवमेटास्टोर.वेयरहाउसDirहाइव मेटास्टोर वेयरहाउस निर्देशिकाs3a://ilum-data/

2. पोस्टग्रेज़ एक्सटेंशन जोड़े गए​

लक्षण​

ilum AIO सबचर्स में से कुछ postgresql का उपयोग करते हैं, ताकि उनकी तैनाती को प्रबंधित करना आसान हो सके, हमने ilum sucharts के लिए postgresql डेटाबेस बनाने के लिए postgres एक्सटेंशन संसाधन जोड़ा है।

मान जोड़े गए - ilum-aio​

PostgreSQL एक्सटेंशन पैरामीटर​
नामया क़िस्‍ममूल्य
postgresExtensions.enabledPostgres एक्सटेंशन सक्षम ध्वजसच्चा
पोस्टग्रेसएक्सटेंशन.इमेजमें एक्सटेंशन चलाने के लिए छविबिटनामी/पोस्टग्रेएसक्यूएल:16
postgresExtensions.pullPolicyछवि खींचो नीतिअगरउपस्थित नहीं
पोस्टग्रेसएक्सटेंशन.इमेजपुलसीक्रेट्सछवि खींचो रहस्य[]
पोस्टग्रेसएक्सटेंशन.होस्टPostgreSQL डेटाबेस होस्टilum-postgresql-0.ilum-postgresql-hl
पोस्टग्रेसएक्सटेंशन.पोर्टPostgreSQL डेटाबेस पोर्ट5432
postgresExtensions.databasesToCreateअल्पविराम बनाने के लिए डेटाबेस की अलग सूचीमार्केज़, एयरफ्लो, मेटास्टोर
postgresExtensions.auth.usernamePostgreSQL खाता उपयोगकर्ता नामइलम
पोस्टग्रेसएक्सटेंशन.auth.passwordPostgreSQL खाता पासवर्डचेंजमीकृपया
postgresExtensions.nodeSelectorPostgreSQL एक्सटेंशन पॉड्स नोड चयनकर्ता{}
postgresExtensions.tolerationsPostgreSQL एक्सटेंशन पॉड्स सहिष्णुता[]

3. इलम-एआईओ चार्ट में लोकी और प्रोमटेल​

लक्षण​

लोकी और प्रोमटेल इन इलम एआईओ चार्ट। लोकी एक क्षैतिज रूप से स्केलेबल, अत्यधिक उपलब्ध, बहु-किरायेदार लॉग एकत्रीकरण प्रणाली है जो प्रोमेथियस से प्रेरित है। प्रोमटेल एक एजेंट है जो स्थानीय लॉग की सामग्री को ग्राफाना लोकी उदाहरण में भेजता है। इलम अब स्पार्क जॉब पॉड्स से लॉग एकत्र करने के लिए लोकी का उपयोग करेगा कार्य पूरा होने के बाद क्लस्टर संसाधनों को साफ करने में सक्षम होने के लिए। लोकी और प्रोमटेल को केवल इलम द्वारा चलाए जा रहे स्पार्क पॉड्स से स्क्रैप लॉग के लिए पूर्व-कॉन्फ़िगर किया गया है ताकि उनके खत्म होने के बाद जॉब लॉग लाया जा सके।

मूल्य जोड़े गए - इलम-कोर​

लॉग एकत्रीकरण कॉन्फ़िगरेशन​
नामया क़िस्‍ममूल्य
global.logAggregation.enabledइलम लॉग एकत्रीकरण ध्वज, यदि सक्षम है तो इलम लोकी से तैयार कुबेरनेट्स स्पार्क पॉड्स के लॉग लाएगागलत
Global.logAggregation.loki.urlलॉग एक्सेस करने के लिए लोकी गेटवे एड्रेसhttp://ilum-loki-gateway

मान जोड़े गए - ilum-aio​

लॉग एकत्रीकरण - लोकी कॉन्फ़िगरेशन​
नामया क़िस्‍ममूल्य
loki.nameOverrideसबचार्ट नाम ओवरराइडइलम-लोकी
loki.monitoring.selfMonitoring.enabledस्व निगरानी सक्षम ध्वजगलत
loki.monitoring.selfMonitoring.grafanaAgent.installOperatorस्वयं निगरानी Grafana एजेंट ऑपरेटर ध्वज स्थापित करेंगलत
loki.monitoring.selfMonitoring.lokiCanary.enabledस्व निगरानी कैनरी सक्षम ध्वजगलत
loki.test.enabledपरीक्षण सक्षम ध्वजगलत
loki.loki.auth_enabledप्रमाणीकरण सक्षम ध्वजगलत
loki.loki.storage.bucketNames.chunksभंडारण विखंडू बाल्टीइलम फ़ाइलें
loki.loki.storage.bucketNames.शासकभंडारण शासक बाल्टीइलम फ़ाइलें
loki.loki.storage.bucketNames.adminभंडारण व्यवस्थापक बाल्टीइलम फ़ाइलें
लोकी.लोकी.स्टोरेज.टाइपभंडारण प्रकारएस 3
loki.loki.s3.समापन बिंदुS3 संग्रहण समापन बिंदुhttp://ilum-minio:9000
लोकी.लोकी.एस3.क्षेत्रS3 संग्रहण समापन बिंदुUS-East-1 (अमेरिका पूर्व -1)
loki.loki.s3.secretAccessKeyS3 स्टोरेज सीक्रेट एक्सेस कीमिनीएडमिन
loki.loki.s3.accessKeyIdS3 स्टोरेज एक्सेस कुंजी आईडीमिनीएडमिन
loki.loki.s3.s3ForcePathStyleS3 भंडारण पथ शैली पहुँच ध्वजसच्चा
loki.loki.s3.insecureS3 भंडारण असुरक्षित ध्वजसच्चा
loki.loki.compactor.retention_enabledलॉग प्रतिधारण सक्षम ध्वजसच्चा
loki.loki.compactor.deletion_modeहटाने का मोडफ़िल्टर करें और हटाएं
loki.loki.compactor.shared_storeसाझा किया गया स्टोरएस 3
loki.loki.limits_config.allow_deletesलॉग हटाने की अनुमति दें ध्वजसच्चा
लॉग एकत्रीकरण - लोकी कॉन्फ़िगरेशन​
नामया क़िस्‍ममूल्य
promtail.config.clients[0].urlपहला क्लाइंट URLhttp://ilum-loki-write:3100/loki/api/v1/push
promtail.snippets.pipelineStages[0].match.selectorगैर इलम लॉग चयनकर्ता को छोड़ने के लिए पाइपलाइन चरण{ilum_logAggregation!="true"}
promtail.snippets.pipelineStages[0].match.actionगैर इलम लॉग कार्रवाई को छोड़ने के लिए पाइपलाइन चरणऔषधि
promtail.snippets.pipelineStages[0].match.drop_counter_reasonगैर इलम लॉग ड्रॉप करने के लिए पाइपलाइन चरण drop_counter_reasonnon_ilum_log
promtail.snippets.extraRelabelConfigs[0].actionRelabel Config ilum Pod लेबल को क्रिया बनाए रखने के लिएलेबलमैप
promtail.snippets.extraRelabelConfigs[0].regexRelabel Config ilum POD लेबल Regex रखने के लिए__meta_kubernetes_pod_label_ilum(.*)
promtail.snippets.extraRelabelConfigs[0].replacementRelabel Config ilum POD लेबल प्रतिस्थापन रखने के लिएइलम ${1}
promtail.snippets.extraRelabelConfigs[1].actionस्पार्क पॉड लेबल को क्रिया बनाए रखने के लिए कॉन्फ़िगरेशन को रीलेबल करेंलेबलमैप
promtail.snippets.extraRelabelConfigs[1].regexRelabel Config स्पार्क पॉड लेबल रेगेक्स रखने के लिए__meta_kubernetes_pod_label_spark(.*)
promtail.snippets.extraRelabelConfigs[1].replacementस्पार्क पॉड लेबल प्रतिस्थापन रखने के लिए कॉन्फ़िगरेशन को फिर से लेबल करेंचिंगारी${1}

रिलीज: 6.1.1​

1. ilum इंटरैक्टिव नौकरियों के लिए जोड़ा गया स्वास्थ्य जांच​

लक्षण​

इलम समूहों के अप्रत्याशित क्रश के साथ स्थितियों को रोकने के लिए हमने यह सुनिश्चित करने के लिए स्वास्थ्य जांच को जोड़ा कि वे काम करते हैं जैसा कि उन्हें करना चाहिए।

मूल्य जोड़े गए - इलम-कोर​

इलम-जॉब पैरामीटर​
नामया क़िस्‍ममूल्य
job.healthcheck.enabledस्पार्क इंटरएक्टिव जॉब्स हेल्थचेक सक्षम फ्लैगसच्चा
job.healthcheck.intervalस्पार्क इंटरएक्टिव जॉब्स हेल्थसेकंड में अंतराल की जांच करें300
job.healthcheck.toleranceस्पार्क इंटरएक्टिव जॉब्स हेल्थसेकंड में प्रतिक्रिया समय सहिष्णुता की जांच करें120

2. ilum स्केलेबल सेवाओं के लिए पैरामीटराइज्ड प्रतिकृति स्केल​

लक्षण​

इलम स्केलेबल सेवाओं के लिए प्रतिकृतियों की संख्या का विन्यास मूल्यों को पतवार करने के लिए निकाला गया था।

मूल्य जोड़े गए - इलम-कोर​

इलम-कोर कॉमन पैरामीटर​
नामया क़िस्‍ममूल्य
प्रतिकृति गणनाइलम-कोर प्रतिकृतियों की संख्या1

मान जोड़े गए - ilum-ui​

इलम-यूआई कॉमन पैरामीटर​
नामया क़िस्‍ममूल्य
प्रतिकृति गणनाइलम यूआई प्रतिकृतियों की संख्या1

रिलीज 6.1.0​

1. ilum क्लस्टर wasbs भंडारण से अनावश्यक मापदंडों को हटा दिया​

लक्षण​

WASBS स्टोरेज कंटेनरों को अब पतवार मूल्यों में sas टोकन डालने की आवश्यकता नहीं है क्योंकि यह अनावश्यक निकला

हटाए गए मान - इलम-कोर​

WASBS भंडारण पैरामीटर​
नामकारण
kubernetes.wasbs.sparkContainer.nameकरने के लिए ले जाया गया कुबेरनेट्स.wasbs.sparkकंटेनर मूल्य
कुबेरनेट्स.wasbs.sparkContainer.sasTokenअनावश्यक निकला
kubernetes.wasbs.dataContainer.nameकरने के लिए ले जाया गया कुबेरनेट्स.wasbs.dataकंटेनर मूल्य
कुबेरनेट्स.wasbs.dataContainer.sasTokenअनावश्यक निकला

मूल्य जोड़े गए - इलम-कोर​

WASBS भंडारण पैरामीटर​
नामया क़िस्‍ममूल्य
कुबेरनेट्स.wasbs.sparkकंटेनरडिफ़ॉल्ट kubernetes cluster WASBS भंडारण कंटेनर नाम स्पार्क संसाधनों को संग्रहीत करने के लिएइलम फ़ाइलें
कुबेरनेट्स.wasbs.dataकंटेनरडिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर का नाम ilum टेबल स्टोर करने के लिएइलम टेबल्स

2. सेवा उपलब्धता की जांच करने के लिए init कंटेनर जोड़ा गया​

लक्षण​

इलम परिनियोजन को और अधिक सुंदर बनाने के लिए, अब से इलम कंटेनरों में कंटेनर हैं जो उन सेवाओं की उपलब्धता की प्रतीक्षा कर रहे हैं जिन पर वे निर्भर हैं।

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
mongo.statusProbe.enabledमोंगो स्टेटस प्रोब सक्षम ध्वजसच्चा
mongo.statusProbe.imageInit कंटेनर जो MongoDB के उपलब्ध होने की प्रतीक्षा करता है छविमोंगो:7.0.5
kafka.statusProbe.enabledकाफ्का स्थिति जांच सक्षम ध्वजसच्चा
काफ्का.स्टेटसप्रोब.इमेजInit कंटेनर जो काफ्का के उपलब्ध होने की प्रतीक्षा करता है छविबिटनामी/काफ्का:3.4.1
historyServer.statusProbe.enabledILUM इतिहास सर्वर ILUM-Core स्थिति प्रोब सक्षम ध्वजसच्चा
इतिहाससर्वर.statusProbe.imageइलम इतिहास सर्वर इनिट कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छविकर्लइमेज/कर्ल:8.5.0

मान जोड़े गए - ilum-livy-proxy​

नामया क़िस्‍ममूल्य
statusProbe.enabledILUM-Core स्थिति जांच सक्षम ध्वजसच्चा
statusProbe.imageInit कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छविकर्लइमेज/कर्ल:8.5.0

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
statusProbe.enabledILUM-Core स्थिति जांच सक्षम ध्वजसच्चा
statusProbe.imageInit कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छविकर्लइमेज/कर्ल:8.5.0

3. इलम-कोर चार्ट में पैरामीटर काफ्का उत्पादक​

लक्षण​

काफ्का संचार मोड में काफ्का उत्पादकों का उपयोग करके इंटरैक्टिव नौकरी के उदाहरणों के लिए इंटरैक्टिव नौकरियों की प्रतिक्रियाएं। नए जोड़े गए पतवार मूल्यों के साथ, काफ्का निर्माता को उपयोगकर्ता की जरूरतों से मेल खाने के लिए अनुकूलित किया जा सकता है।

मूल्य जोड़े गए - इलम-कोर​

काफ्का पैरामीटर्स​
नामया क़िस्‍ममूल्य
काफ्का.मैक्सपोल रिकॉर्ड्सकाफ्का मैक्स.पोल.रिकॉर्ड्स पैरामीटर इलम जॉब्स काफ्का उपभोक्ता के लिए, यह निर्धारित करता है कि प्रत्येक पोल के साथ इलम-जॉब काफ्का उपभोक्ता कितना अनुरोध प्राप्त करेगा500
kafka.maxPollIntervalकाफ्का max.poll.interval.ms इलम नौकरियों के लिए पैरामीटर काफ्का उपभोक्ता, यह मतदान के आह्वान के बीच अधिकतम देरी निर्धारित करता है, जो कि आईएलएम-नौकरी के संदर्भ में मतदान में प्राप्त अनुरोधों को संसाधित करने के लिए समय सीमा का मतलब है60000

रिलीज 6.1.0-RC1​

1. सेवा एनोटेशन के लिए जोड़ा गया समर्थन​

लक्षण​

Ilum helm चार्ट सेवाओं एनोटेशन अब helm मूल्यों के माध्यम से कॉन्फ़िगर किया जा सकता है

मूल्य जोड़े गए - इलम-कोर​

सेवा पैरामीटर​
नामया क़िस्‍ममूल्य
सेवा.एनोटेशनसेवा एनोटेशन{}
grpc.service.annotationsGRPC सेवा एनोटेशन{}
historyServer.service.annotationsइतिहास सर्वर सेवा एनोटेशन{}

मूल्य जोड़े गए - इलम-ज्यूपिटर​

सेवा पैरामीटर​
नामया क़िस्‍ममूल्य
सेवा.एनोटेशनसेवा एनोटेशन{}

मान जोड़े गए - ilum-livy-proxy​

सेवा पैरामीटर​
नामया क़िस्‍ममूल्य
सेवा.एनोटेशनसेवा एनोटेशन{}

मान जोड़े गए - ilum-ui​

सेवा पैरामीटर​
नामया क़िस्‍ममूल्य
सेवा.एनोटेशनसेवा एनोटेशन{}

मूल्य जोड़े गए - इलम-टसेपेल्लिन​

सेवा पैरामीटर​
नामया क़िस्‍ममूल्य
सेवा.एनोटेशनसेवा एनोटेशन{}

2. वैश्विक मूल्यों के लिए सुरक्षा oauth2 मापदंडों को बाहर निकाला​

लक्षण​

Ilum सुरक्षा oauth2 कॉन्फ़िगरेशन अब वैश्विक मूल्यों के माध्यम से सेट किया जा रहा है

मान जोड़े गए - ilum-aio​

सुरक्षा मापदंड​
नामया क़िस्‍ममूल्य
global.security.oauth2.clientIdoauth2 क्लाइंट आईडी``
global.security.oauth2.issuerUrioauth2 URI जो या तो OpenID कनेक्ट खोज समापन बिंदु या OAuth 2.0 प्राधिकरण सर्वर मेटाडेटा समापन बिंदु RFC 8414 द्वारा परिभाषित हो सकता है``
Global.security.oAuth2.ऑडियंसOAUTH2 ऑडियंस``
global.security.oauth2.clientSecretOAUTH2 क्लाइंट सीक्रेट``

हटाए गए मान - इलम-कोर​

सुरक्षा मापदंड​
नामकारणमूल्य
security.oauth2.clientIdOAUTH2 सुरक्षा पैरामीटर अब वैश्विक मानों के माध्यम से कॉन्फ़िगर किए गए हैं``
security.oauth2.issuerUriOAUTH2 सुरक्षा पैरामीटर अब वैश्विक मानों के माध्यम से कॉन्फ़िगर किए गए हैं``

3. दृश्यपटल के लिए रनटाइम पर्यावरण चर​

लक्षण​

फ्रंटएंड पर्यावरण चर के लिए कॉन्फ़िगरेशन जो कि helm ui मानों के माध्यम से होता है।

मान जोड़े गए - ilum-ui​

रनटाइम चर​
नामया क़िस्‍ममूल्य
runtimeVars.defaultConfigMap.enabledडिफ़ॉल्ट कॉन्फ़िगरेशन मैप फ़्रंटएंड रनटाइम पर्यावरण चर के लिएसच्चा
runtimeVars.debugडीबग लॉगिंग ध्वजगलत
runtimeVars.backenUrlilum-core बैकएंड URLhttp://ilum-core:9888
runtimeVars.historyServerUrlइतिहास सर्वर UI का URLhttp://ilum-history-server:9666
runtimeVars.jupyterUrlजुपिटर यूआई का यूआरएलhttp://ilum-jupyter:8888
रनटाइमVars.airflowUrlएयरफ्लो UI का URLhttp://ilum-webserver:8080
runtimeVars.minioUrlminio ui का URLhttp://ilum-minio:9001
runtimeVars.mlflowUrlMLFLOW UI का URLhttp://mlflow:5000
runtimeVars.historyServerPathilum-UI प्रॉक्सी पथ इतिहास सर्वर UI के लिए/बाहरी/इतिहास-सर्वर/
runtimeVars.jupyterPathilum-ui प्रॉक्सी पथ से Jupyter UI/बाहरी/बृहस्पति/प्रयोगशाला/पेड़/काम/IlumIntro.ipynb
रनटाइमVars.airflowपथilum-ui प्रॉक्सी पथ से एयरफ्लो UI/बाहरी/वायु प्रवाह/
runtimeVars.dataPathilum-ui प्रॉक्सी पथ से minio UI/बाहरी/मिनी/
runtimeVars.mlflowPathilum-ui प्रॉक्सी पथ से MLflow UI/बाहरी/mlflow/

हटाए गए मान - ilum-ui​

नामकारण
डीबगरनटाइमवर्स अनुभाग में ले जाया गया
backenUrlरनटाइमवर्स अनुभाग में ले जाया गया
इतिहाससर्वरयूआरएलरनटाइमवर्स अनुभाग में ले जाया गया
jupyterयूआरएलरनटाइमवर्स अनुभाग में ले जाया गया
एयरफ्लोयूआरएलरनटाइमवर्स अनुभाग में ले जाया गया

4. क्यूब-प्रोमेथियस-स्टैक इलम-एआईओ चार्ट में​

लक्षण​

क्यूब प्रोमेथियस स्टैक इलम एआईओ चार्ट में। इलम पॉड्स के मैट्रिक्स को इकट्ठा करने के लिए इलम पॉड्स और स्पार्क जॉब्स द्वारा संचालित स्वचालित रूप से इलम परिनियोजन के साथ काम करने के लिए पूर्व-कॉन्फ़िगर किया गया। इलम प्रोमेथियस सेवा मॉनिटर प्रदान करता है जो इलम और इलम बैकएंड सेवाओं द्वारा संचालित स्पार्क ड्राइवर पॉड्स से स्वचालित रूप से मैट्रिक्स को परिमार्जन करता है। इसके अतिरिक्त, ilum_aio चार्ट अंतर्निहित ग्राफाना डैशबोर्ड प्रदान करता है जो इसमें पाया जा सकता है इलम फ़ोल्डर।

मान जोड़े गए - ilum-aio​

kube-prometheus-stack चर - विस्तारित कॉन्फ़िगरेशन जाँच के लिए क्यूब-प्रोमेथियस स्टैक हेल्म चार्ट​
नामया क़िस्‍ममूल्य
kube-prometheus-stack.enabledkube-prometheus-stack सक्षम ध्वजगलत
kube-prometheus-stack.releaseLabelक्यूब-प्रोमेथियस-स्टैक ध्वज केवल ilum_aio रिलीज से संसाधन देखने के लिएसच्चा
kube-prometheus-stack.kubeStateMetrics.enabledkube-prometheus-stack घटक स्क्रैपिंग kube state metrics सक्षम ध्वजगलत
kube-prometheus-stack.nodeExporter.enabledkube-prometheus-stack node exporter Daemon Set परिनियोजन ध्वजगलत
kube-prometheus-stack.alertmanager.enabledkube-prometheus-stack चेतावनी प्रबंधक ध्वजगलत
kube-prometheus-stack.grafana.sidecar.dashboards.folderएनोटेशनkube-prometheus-stack, यदि निर्दिष्ट है, तो साइडकार फ़ोल्डर बनाने और यहां ग्राफ डालने के लिए इस नाम के साथ एनोटेशन की तलाश करेगाgrafana_folder
kube-prometheus-stack.grafana.sidecar.dashboards.provider.foldersFromFilesStructurekube-prometheus-stack, Grafana को फाइल सिस्टम से डैशबोर्ड संरचना को दोहराने की अनुमति देता हैसच्चा

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
job.prometheus.enabledप्रोमेथियस सक्षम ध्वज, यदि इलम द्वारा संचालित सच्ची स्पार्क नौकरियां प्रोमेथियस प्रारूप में मैट्रिक्स साझा करेंगीसच्चा

5. इलम-एआईओ चार्ट में मार्केज़ ओपनलाइनेज​

लक्षण​

मार्केज ओपनलाइनेज इलम एआईओ चार्ट में। मार्केज़ एक संगठन से OpenLineage मेटाडेटा का उपभोग, भंडारण और कल्पना करने में सक्षम बनाता है, डेटा गवर्नेंस, डेटा गुणवत्ता निगरानी और प्रदर्शन विश्लेषण सहित उपयोग के मामलों की सेवा करना। इलम एआईओ हेल्म स्टैक स्पार्क जॉब में सक्षम मार्केज़ के साथ, इलम द्वारा संचालित वंशावली की जानकारी मार्केज़ बैकएंड के साथ साझा करेगा। मार्केज़ वेब इंटरफ़ेस स्पार्क नौकरियों से एकत्र किए गए डेटा लीनेज जानकारी की कल्पना करता है और यह आईफ्रेम के रूप में इलम यूआई के माध्यम से स्वीकार्य है।

मान जोड़े गए - ilum-aio​

नामया क़िस्‍ममूल्य
global.lineage.enabledमार्केज़ सक्षम ध्वजगलत

मूल्य जोड़े गए - इलम-कोर​

नामया क़िस्‍ममूल्य
job.openLineage.transport.typeमार्केज़ संचार प्रकारएचटीटीपी
job.openLineage.transport.serverUrlमार्केज़ बैकएंड URLhttp://ilum-marquez:9555/
job.openLineage.transport.endpointमार्केज़ बैकएंड एंडपॉइंट/बाहरी/वंश/API/v1/वंश

मूल्य जोड़े गए - इलम-मार्केज़​

नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जाँच करें चार्ट पृष्ठ

मान जोड़े गए - ilum-ui​

नामया क़िस्‍ममूल्य
runtimeVars.lineageUrlurl marquez openlineage UI iframe प्रदान करने के लिएhttp://ilum-marquez-web:9444
runtimeVars.lineagePathilum-ui proxy path to marquez openlineage UI/बाहरी/वंश/

रिलीज 6.0.3​

1. ilum-core chart में parameterized kafka producers max.request.size पैरामीटर​

लक्षण​

काफ्का संचार मोड में काफ्का उत्पादकों का उपयोग करके इंटरैक्टिव नौकरी के उदाहरणों के लिए इंटरैक्टिव नौकरियों की प्रतिक्रियाएं। नए जोड़े गए हेल्म वैल्यू के साथ, max.request.size kafka निर्माता पैरामीटर को प्रतिक्रियाओं के आकार की जरूरतों से मेल खाने के लिए अनुकूलित किया जा सकता है।

मूल्य जोड़े गए - इलम-कोर​

काफ्का पैरामीटर्स​
नामया क़िस्‍ममूल्य
काफ्का.अनुरोधआकारकाफ्का Max.request.size पैरामीटर ilum jobs kafka उत्पादकों के लिए20000000

रिलीज 6.0.2​

1. ilum-core chart में HDFS, GCS और Azure ब्लॉब स्टोरेज के लिए सपोर्ट​

लक्षण​

इलम क्लस्टर को अब s3 स्टोरेज से अटैच नहीं करना है, अब से डिफ़ॉल्ट क्लस्टर को hdfs, gcs या azure blob को स्टोरेज के रूप में भी उपयोग करने के लिए कॉन्फ़िगर किया जा सकता है। यह इलम-कोर हेल्म चार्ट में नए जोड़े गए मूल्यों का उपयोग करके प्राप्त किया जा सकता है।

हटाए गए मान - इलम-कोर​

नामकारण
कुबेरनेट्स.s3.बकेटअब से दो अलग-अलग बकेट को नए मानों के साथ सेट किया जाना चाहिए: कुबेरनेट्स.s3.स्पार्कबकेट, कुबेरनेट्स.s3.डेटाबकेट

मूल्य जोड़े गए - इलम-कोर​

कुबेरनेट्स भंडारण पैरामीटर​
नामया क़िस्‍ममूल्य
kubernetes.upgradeClusterOnStartupडिफ़ॉल्ट कुबेरनेट्स क्लस्टर कॉन्फ़िगरेशन मैप ध्वज में मानों से अपग्रेड करेंगलत
कुबेरनेट्स.स्टोरेज.टाइपडिफ़ॉल्ट कुबेरनेट्स क्लस्टर संग्रहण प्रकार, उपलब्ध विकल्प: एस 3, जीसीएस, डब्ल्यूएएसबीएस, एचडीएफएसएस 3
S3 कुबेरनेट्स स्टोरेज पैरामीटर​
नामया क़िस्‍ममूल्य
कुबेरनेट्स.s3.होस्टडिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज होस्ट स्पार्क संसाधनों को स्टोर करने के लिएएस 3
कुबेरनेट्स.s3.पोर्टडिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज पोर्ट स्पार्क संसाधनों को स्टोर करने के लिए7000
कुबेरनेट्स.s3.स्पार्कबकेटडिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज बकेट स्पार्क संसाधनों को स्टोर करने के लिएइलम फ़ाइलें
कुबेरनेट्स.s3.डेटाबकेटडिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज बकेट इलम टेबल स्टोर करने के लिएइलम टेबल्स
कुबेरनेट्स.s3.accessKeyडिफ़ॉल्ट kubernetes cluster S3 स्टोरेज एक्सेस कुंजी स्पार्क संसाधनों को स्टोर करने के लिए""
कुबेरनेट्स.s3.secretKeyडिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज सीक्रेट की स्पार्क संसाधनों को स्टोर करने के लिए""
GCS कुबेरनेट्स स्टोरेज पैरामीटर​
नामया क़िस्‍ममूल्य
kubernetes.gcs.clientईमेलडिफ़ॉल्ट kubernetes cluster GCS संग्रहण क्लाइंट ईमेल""
कुबेरनेट्स.gcs.sparkBucketडिफ़ॉल्ट kubernetes cluster GCS स्टोरेज बकेट स्पार्क संसाधनों को स्टोर करने के लिए"इलम फाइलें"
कुबेरनेट्स.gcs.dataबकेटडिफ़ॉल्ट कुबेरनेट्स क्लस्टर जीसीएस स्टोरेज बकेट इलम टेबल स्टोर करने के लिए"इलम-टेबल्स"
कुबेरनेट्स.जीसीएस.प्राइवेटकीडिफ़ॉल्ट कुबेरनेट्स क्लस्टर जीसीएस भंडारण स्पार्क संसाधनों को स्टोर करने के लिए निजी कुंजी""
कुबेरनेट्स.gcs.privateKeyIdडिफ़ॉल्ट kubernetes cluster GCS संग्रहण निजी कुंजी आईडी स्पार्क संसाधनों को संग्रहीत करने के लिए""
WASBS कुबेरनेट्स भंडारण पैरामीटर​
नामया क़िस्‍ममूल्य
कुबेरनेट्स.wasbs.accountNameडिफ़ॉल्ट kubernetes cluster WASBS संग्रहण खाता नाम""
कुबेरनेट्स.wasbs.accessKeyडिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज एक्सेस कुंजी स्पार्क संसाधनों को स्टोर करने के लिए""
kubernetes.wasbs.sparkContainer.nameडिफ़ॉल्ट kubernetes cluster WASBS भंडारण कंटेनर नाम स्पार्क संसाधनों को संग्रहीत करने के लिए"इलम फाइलें"
कुबेरनेट्स.wasbs.sparkContainer.sasTokenडिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर sas टोकन स्पार्क संसाधनों को स्टोर करने के लिए""
kubernetes.wasbs.dataContainer.nameडिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर का नाम ilum टेबल स्टोर करने के लिए"इलम-टेबल्स"
कुबेरनेट्स.wasbs.dataContainer.sasTokenडिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर sas टोकन ilum टेबल स्टोर करने के लिए""
HDFS कुबेरनेट्स स्टोरेज पैरामीटर​
नामया क़िस्‍ममूल्य
kubernetes.hdfs.hadoopUsernameडिफ़ॉल्ट kubernetes cluster HDFS storage hadoop username""
कुबेरनेट्स.एचडीएफएस.कॉन्फिगडिफ़ॉल्ट कुबेरनेट्स क्लस्टर एचडीएफएस स्टोरेज डिक्ट कॉन्फ़िगरेशन फ़ाइलों का नाम कुंजी के रूप में और बेस 64 एन्कोडेड सामग्री मान के रूप में""
kubernetes.hdfs.sparkकैटलॉगडिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कैटलॉग स्पार्क संसाधनों को स्टोर करने के लिए"इलम फाइलें"
kubernetes.hdfs.dataकैटलॉगडिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कैटलॉग इलम-टेबल स्टोर करने के लिए"इलम-टेबल्स"
कुबेरनेट्स.एचडीएफएस.कीटैबडिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कीटैब फ़ाइल base64 एन्कोडेड सामग्री""
कुबेरनेट्स.एचडीएफएस.प्रिंसिपलडिफ़ॉल्ट kubernetes cluster HDFS भण्डारण प्रमुख नाम""
कुबेरनेट्स.एचडीएफएस.केआरबी5डिफ़ॉल्ट kubernetes cluster HDFS storage krb5 file base64 एन्कोडेड सामग्री""
kubernetes.hdfs.trustस्टोरडिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज ट्रस्टस्टोर फ़ाइल base64 एन्कोडेड सामग्री""
कुबेरनेट्स.hdfs.logनिर्देशिकाडिफ़ॉल्ट kubernetes cluster HDFS भंडारण निर्देशिका पूर्ण पथ इतिहास सर्वर के लिए eventLog स्टोर करने के लिए""

महत्वपूर्ण! सुनिश्चित करें कि S3/GCS बाल्टी या WASBS कंटेनर पहले से ही बनाए गए हैं और उपलब्ध हैं!

2. इलम-कोर हेल्म चार्ट में स्पार्क इतिहास सर्वर जोड़ा गया​

लक्षण​

स्पार्क इतिहास सर्वर को अब से इलम-कोर के साथ तैनात किया जा सकता है। इतिहास सर्वर कॉन्फ़िगरेशन को हर स्पार्क जॉब इलम रन में पास किया जा रहा है। इतिहास सर्वर UI को अब ilum UI द्वारा एक्सेस किया जा सकता है। यदि सक्षम है तो यह कुबेरनेट्स के साथ कॉन्फ़िगर किए गए डिफ़ॉल्ट कुबेरनेट्स क्लस्टर स्टोरेज का उपयोग करेगा। [STORAGE_TYPE]। [पैरामीटर] मान eventLog संग्रहण के रूप में।

मूल्य जोड़े गए - इलम-कोर​

इतिहास सर्वर पैरामीटर​
नामया क़िस्‍ममूल्य
historyServer.enabledस्पार्क इतिहास सर्वर ध्वजसच्चा
इतिहाससर्वर.इमेजस्पार्क इतिहास सर्वर छविइलम / स्पार्क-लॉन्चर: स्पार्क-3.5.3
इतिहाससर्वर.पतास्पार्क इतिहास सर्वर पताhttp://ilum-history-server:9666
इतिहाससर्वर.पुलपॉलिसीस्पार्क इतिहास सर्वर छवि पुल नीतिअगरउपस्थित नहीं
इतिहाससर्वर.इमेजपुलसीक्रेट्सस्पार्क इतिहास सर्वर छवि रहस्य खींचो[]
इतिहाससर्वर.पैरामीटरस्पार्क इतिहास सर्वर कस्टम स्पार्क पैरामीटर[]
इतिहाससर्वर.संसाधनस्पार्क इतिहास सर्वर पॉड संसाधन
सीमा:
  मेमोरी: "500Mi"
अनुरोध:
  मेमोरी: "300Mi"
इतिहाससर्वर.service.typeस्पार्क इतिहास सर्वर सेवा प्रकारक्लस्टरआईपी
इतिहाससर्वर.service.portस्पार्क इतिहास सर्वर सेवा पोर्ट9666
इतिहाससर्वर.service.nodePortस्पार्क इतिहास सर्वर सेवा नोडपोर्ट""
historyServer.service.clusterIPस्पार्क इतिहास सर्वर सेवा clusterIP""
इतिहाससर्वर.service.loadBalancerIPस्पार्क इतिहास सर्वर सेवा loadbalancerIP""
इतिहाससर्वर.ingress.enabledस्पार्क हिस्ट्री सर्वर ध्वज में प्रवेश करता हैगलत
इतिहाससर्वर.ingress.versionस्पार्क इतिहास सर्वर प्रवेश संस्करण"वी 1"
इतिहाससर्वर.ingress.classNameस्पार्क इतिहास सर्वर प्रवेश className""
इतिहाससर्वर.ingress.होस्टस्पार्क इतिहास सर्वर प्रवेश होस्ट"मेजबान"
इतिहाससर्वर.ingress.pathस्पार्क इतिहास सर्वर प्रवेश पथ"/(.*)"
इतिहाससर्वर.ingress.pathTypeस्पार्क इतिहास सर्वर प्रवेश पथ प्रकारपूर्वसर्ग
historyServer.ingress.annotationsस्पार्क इतिहास सर्वर एनोटेशनnginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 मीटर"
nginx.org/client-max-body-size: "600 मीटर"

चेतावनियाँ​

  1. सुनिश्चित करें कि HDFS logDirectory (हेल्म वैल्यू kubernetes.hdfs.logDirectory) /ilum/logs प्रत्यय के साथ कॉन्फ़िगर किए गए sparkCatalog का पूर्ण पथ है! जैसे kubernetes.hdfs.sparkCatalog=spark-catalog put hdfs://name-node/user/username/spark-catalog/ilum/logs

3. इलम-कोर चार्ट में नौकरी प्रतिधारण​

लक्षण​

कॉन्फ़िगर की गई अवधारण अवधि समाप्त होने के बाद Ilum कार्य हटा दिए जाएँगे

मूल्य जोड़े गए - इलम-कोर​

नौकरी प्रतिधारण पैरामीटर​
नामया क़िस्‍ममूल्य
job.retain.hoursस्पार्क नौकरी प्रतिधारण घंटे सीमा168
Last updated on