नोट्स अपग्रेड करें
अगली रिलीज
टेम्पलेट नोट करें
1. बदलें
लक्षण:
फ़ीचर विवरण
हटाए गए मान - चार्ट का नाम
| नाम | कारण |
|---|
हेल्म.वैल्यू | हेल्म वैल्यू डिलीट करने का कारण |
जोड़े गए मान - चार्ट का नाम
मान अनुभाग विवरण
| नाम | या क़िस्म | मूल्य |
|---|
हेल्म.वैल्यू | हेल्म मूल्य विवरण | डिफ़ॉल्ट मान |
बदले गए नाम - चार्ट का नाम
| पुराना नाम | नया नाम |
|---|
पुराना नाम | नया नाम |
⚠️⚠️⚠️ Warnings
परिवर्तित मान - चार्ट नाम
| नाम | पुराना मूल्य | नया मूल्य |
|---|
हेल्म.वैल्यू | पुराना मूल्य | नया मूल्य |
RELEASE 6.7.3
1. UI internationalization (i18n) + RTL
लक्षण:
The web UI can now switch language and text direction at runtime from
Settings (persisted to localStorage). The set of available languages is
config-driven: add or remove a language with no frontend rebuild. Ships
English + Persian (RTL) + Arabic (RTL) + Portuguese + Spanish + Chinese
- Hindi; direction follows the language.
Values added - helm_ui (mirrored under ilum-ui.runtimeVars in helm_aio)
UI language configuration (rendered into the इलम यूआई ConfigMap)
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.defaultLanguage | Default UI language code (ILUM_DEFAULT_LANGUAGE) | en |
runtimeVars.availableLanguages | Languages in the selector + i18next supportedLngs (ILUM_AVAILABLE_LANGUAGES); array of {code,label,dir,font?} | [en, fa(rtl), ar(rtl), pt, es, zh, hi] |
i18n.extraLocaleConfigMaps | Optional ConfigMaps mounted over /usr/share/nginx/html/locales/<lang>/ to add or override catalogs at runtime (no rebuild) | [] |
Per-language font (the font field of each availableLanguages entry): Persian
(fa) uses IRANSans, Arabic (ar) uses Vazirmatn. Both are self-hosted and the
binaries are NOT shipped in the image; fa uses the free IRANSansWeb build. To render
Persian in IRANSans, place the IRANSansWeb woff2 files in a custom UI image (public/fonts/)
or mount them; otherwise the UI falls back to the system Persian font. Vazirmatn is SIL-OFL —
confirm IRANSansWeb's terms fit your deployment, or set fa's font तक "Vazirmatn".
⚠️⚠️⚠️ Warnings
None. New keys are additive with safe defaults; existing installs default to
English with no behavior change. To add a brand-new language at runtime,
append an availableLanguages entry AND mount its catalog JSON via
i18n.extraLocaleConfigMaps (or bake it into a custom UI image under
public/locales/<code>/).
2. RustFS object-storage provider (opt-in)
लक्षण:
RustFS (Apache-2.0) is now bundled as an opt-in S3-compatible object
storage provider alongside MinIO, which remains the default in the 6.7.x
line. RustFS is planned to become the default in 6.8.0. Switching is a
single Helm flag (rustfs.enabled=true, minio.enabled=false). A
pre-upgrade hook refuses हेल्म अपग्रेड when an existing MinIO PVC would
be orphaned without explicit acknowledgement.
For step-by-step instructions, refer to Migrate Between Object Storage Providers. For the broader storage decision and provider reference pages, refer to the Object Storage section.
3. Object-storage credentials consolidation
लक्षण:
All object-storage consumers now read S3 credentials from a single shared
Secret, ilum-objectstorage-credentials, instead of per-consumer literal
values in मान.yaml. The Secret holds six aliased keys: access-key,
secret-key, root-user, root-password, RUSTFS_ACCESS_KEY,
RUSTFS_SECRET_KEY. Consumers wired to this Secret include इलम कोर,
ilum-jupyter, ilum-history-server, ilum-hive-metastore, airflow,
kestra, ट्रिनो, langfuse, loki, मीनोऔर rustfs.
Default credentials for net-new installs are शासन/शासन. On upgrade,
the credentials-secret template's lookup preserves the live Secret
values, so existing deployments keep their current credentials.
Per-consumer accessKey/secretKey literals in Helm values are now
ignored when an existingSecret reference is set, which is the default in
helm_aio.
The chart resolves the S3 Service + credentials Secret via templates/_storage.tpl helpers. Defaults to MinIO (ilum-minio, keys root-user/root-password); a live lookup for Service ilum-objectstorage switches it to the rustfs alias (ilum-objectstorage-credentials, keys access-key/secret-key) automatically. objectStorage.useAlias: true forces the alias path for CI helm template (no cluster lookup). Rotation is performed by editing the shared Secret and restarting the affected Pods. For the full procedure, refer to Rotate Object Storage Credentials.
लक्षण:
Ilum now ships an optional OpenMetadata data-catalog and governance layer,
fed by OpenLineage events from Airflow and Spark. The whole stack is
disabled by default and is safe on upgrade: an existing deployment that
does not set the new flags brings up zero OpenMetadata resources and
behaves exactly as before.
The integration is gated by five flags, all defaulting to गलत: openmetadata.enabled, openmetadata-dependencies.enabled, openmetadataBootstrap.enabled, fixHmsDeltaColumns.enabledऔर ilum-core.job.openLineage.openmetadata.enabled. Enabling the first four plus the OpenLineage transport leg brings up the OpenMetadata server (a small Ilum fork of the 1.12.5 image), its OpenSearch + पोस्टग्रेएसक्यूएल dependencies, the bootstrap Job, and the OL→OM backfill CronJob. Spark and Airflow lineage then flows into OpenMetadata via a composite OpenLineage transport that fans out to both Marquez and OpenMetadata.
Iceberg-via-Nessie catalog ingestion ships in preview status. For configuration, the governance model, and operational details, refer to OpenMetadata.
5. OM bootstrap Job + bot tokens
- Bootstrap is a regular Job (
<release>-om-bootstrap-<revision>), not a hook —
helm install returns immediately. Watch: kubectl logs -f job/<release>-om-bootstrap-<revision>;
final line is BOOTSTRAP_SUMMARY: {...}. Completed Jobs GC after 24h.
- Bot tokens default-on (
openmetadataBootstrap.botTokens.enabled: true): OM
clients use the ingestion-bot/lineage-bot JWTs in the ilum-om-bot-tokens
Secret; consumers fall back to admin login while the Secret holds placeholders.
- ilum-core blocks startup on the bot token (
job.openLineage.openmetadata.auth.waitForBotToken: true)
via a wait-for-om-bot-token initContainer, so OpenLineage never falls back to
the 1h-expiring admin login (which 401s long-lived Kyuubi engines). Set
waitForBotToken: false for an external OM with no bootstrap-published token.
- Bot-token attribution is self-healing but lags: pods that boot before the JWTs
are published attribute OM writes to the
इलम admin until their next restart.
To switch immediately, roll Airflow + ilum-core once after BOOTSTRAP_SUMMARY.
Cosmetic only (audit attribution) — both paths have identical permissions.
ilum-om-bot-tokens carries helm.sh/resource-policy: keep and holds
never-expiring JWTs. On a shared cluster, after teardown delete it explicitly
(kubectl delete secret ilum-om-bot-tokens -n <ns>) or rotate the bots in OM.
The bootstrap Job registers Hive/Superset/MinIO/Delta services and runs polish ops:
sets openMetadataBaseUrlConfiguration, triggers SearchIndexing + DataInsights,
seeds Table custom properties (sourceSystem, slaHours), bumps certification
duration to P365D, and seeds two demo users. All ops are idempotent + non-fatal,
and re-runs preserve operator overrides (GET-before-PUT on the base URL, service
connections carrying ssl/kerberos/sasl/jaas/auth keys, and existing custom
properties). The Hive service routes through Kyuubi (ilum-sql-thrift-binary:10009)
— no separate Kyuubi service is registered.
| नाम | या क़िस्म | मूल्य |
|---|
openmetadataBootstrap.publicBaseUrl | OM base URL for alert mails / deep-links. Override in production. | http://localhost:9777/external/openmetadata |
openmetadataBootstrap.demoUsersEnabled | Seed analyst/steward demo users. Set गलत in production. | सच्चा |
openmetadataBootstrap.certificationDurationISO8601 | Default certification validity. | "P365D" |
openmetadataBootstrap.omUser | OM admin user (Secret <release>-openmetadata-admin). | [ईमेल संरक्षित] |
openmetadataBootstrap.omPassword | OM admin password. Change for production. | शासन |
openmetadataBootstrap.botTokens.enabled | Publish bot JWTs to ilum-om-bot-tokens. | सच्चा |
The OM admin password lives only in the <release>-openmetadata-admin Secret
(consumed by the bootstrap Job, Airflow, and ilum-core via secretKeyRef); rotate
by editing openmetadataBootstrap.omPassword. Two more Secrets render with the
release: ilum-superset-admin और ilum-hms-db-creds (account for them if you
mirror manifests externally).
7. OM ingestion CronJobs are OM-owned
OM creates 7 om-cronjob-* ingestion CronJobs server-side (label
managed-by=openmetadata, no ownerReferences). Edit schedules/pipelines through a
re-bootstrap PATCH, not the CronJob directly (reverted on next bootstrap). The
helm uninstall pre-delete hook reaps them. Scheduled Hive ingestion runs with
overrideMetadata: false so it preserves DAG-set Tier/Certification governance.
8. Delta + lineage helpers (opt-in flags, default on)
| नाम | या क़िस्म | मूल्य |
|---|
openmetadataBootstrap.deltaEnricher.enabled | CronJob PATCHing Delta facets onto OM tables (Rust deltalake, ~80MB). | सच्चा |
openmetadataBootstrap.deltaEnricher.schedule | Delta property refresh cron. | 0 */6 * * * |
openmetadataBootstrap.olBackfill.enabled | CronJob replaying Marquez OL events to OM (idempotent gap-fill). | सच्चा |
openmetadataBootstrap.olBackfill.schedule | OL replay scan cron. | 0 2 * * * |
fixHmsDeltaColumns.enabled | Post-install/upgrade Job repairing Delta col array<string> HMS schemas. | गलत |
OM's native DeltaLake-S3 connector stays paused (>4Gi peak); the enricher CronJob
fills Delta facets instead.
9. OpenLineage namespace
Airflow OL events use airflow.config.openlineage.namespace (default ilum-airflow,
single source of truth). Bootstrap's namespaceToServiceMapping attaches
s3://ilum-data, spark://ilum-sql-thrift-binary:10009और ilum-airflow to the
right OM services. Override the namespace only to match events already in Marquez/OM.
10. Production overrides checklist
| Key | चूक | For production |
|---|
openmetadataBootstrap.publicBaseUrl | http://localhost:9777/external/openmetadata | actual ingress URL |
openmetadataBootstrap.demoUsersEnabled | सच्चा | गलत (use LDAP/OIDC) |
openmetadataBootstrap.omPassword | शासन | a real password |
gitea.gitea.config.server.ROOT_URL | http://localhost:9777/external/gitea/ | public host (path must match STATIC_URL_PREFIX) |
The chart installs into any namespace (bare service DNS names, no
.svc.cluster.local). If you carry extraValues overrides with FQDN metastore
addresses, drop .ilum.svc.cluster.local or Spark lineage silently fails to map.
11. Iceberg via Project Nessie (opt-in, OFF by default)
A stock install runs Hive-only with no Nessie pod. Enable Iceberg cataloging
(starts a Nessie pod + Postgres DB) with BOTH flags — the gate ANDs them:
helm upgrade ilum ./helm_aio \
--set nessie.enabled=true \
--set openmetadataBootstrap.services.iceberg.enabled=true
| नाम | या क़िस्म | मूल्य |
|---|
openmetadataBootstrap.services.iceberg.enabled | Register OM Iceberg service (needs nessie.enabled). | गलत |
openmetadataBootstrap.services.iceberg.restUri | Nessie Iceberg-REST URI (no ref in path). | http://ilum-nessie:19120/iceberg |
openmetadataBootstrap.services.iceberg.warehouse / .catalogName | Symbolic warehouse name. | nessie_catalog |
openmetadataBootstrap.services.iceberg.{endpoint,accessKey,secretKey,region} | S3-reader overrides (empty = objectStorage Secret). | "" / US-East-1 (अमेरिका पूर्व -1) |
nessie.catalog.enabled | Nessie Iceberg-REST endpoint. | सच्चा |
Gotchas:
- Do NOT disable Hive to go "Iceberg-first": the bundled example tables are
Delta/Parquet via HMS, and bootstrap gates SUCCESS on Hive producing ≥10 tables
(
openmetadataBootstrap.examplesIngest.expectedMinTables).
Iceberg-only also needs openmetadataBootstrap.examplesIngest.enabled=false.
- The OM ingestion reader reads Iceberg
metadata.json/manifests directly from S3,
so it MUST hold creds that read s3://ilum-data/nessie_catalog/. A credential
mismatch registers fine but ingests 0 tables.
- On rustfs/non-default backends, override
nessie.catalog.storage.s3.defaultOptions.accessKeySecret (static YAML, defaults
to the minio Secret) so Nessie and the OM reader resolve the SAME identity.
- To catalog a ref other than
मुख्य, pin it via a Nessie warehouse, not the URI
path (putting the ref in the path → HTTP 404). OM ingests one ref; no history.
12. Hive 4 support (opt-in)
Set ilum-hive-metastore.majorVersion: 4 के लिए apache/hive:standalone-metastore-4.x
images (default 3). A v3 Postgres DB cannot be reused for v4 (incompatible
schemas). Running v3 + v4 side-by-side: give v4 its own database
(--set ilum-hive-metastore.postgresql.database=metastore_v4) and add it to
postgresExtensions.databasesToCreate. Spark against a v4 metastore needs Hive 4
client jars — use ilum/spark:4.0.2-delta-hive4 as the cluster image.
13. Airflow pools
airflowExtensions.pools pre-creates the listed Airflow pools (name + slots) via an
init container on the Airflow api-server/scheduler. Default is empty ([]); add your
own DAGs' pools here.
14. Cross-stack observability + cost attribution
लक्षण
A new cross-stack observability stack (off by default) bundles an OpenTelemetry
Collector (helm_otel_collector sub-chart), a Tempo trace backend
(ilum-tempo, S3-backed), and Loki/Promtail log correlation, adding a Pipeline
Trace tab spanning Airflow → ilum-service → Spark. A separate daily
cost-attribution rollup (off by default) writes cost landing files from an
in-driver Spark plugin and folds them in-core into per-job and per-table Cost
tabs. Hostnames are release-name portable via _helpers.tpl, so the stack works
under any release name. The settings entity (sampling ratio, listener policy,
rate card) is seeded from helm_core's observabilityDefaults on first boot
only — UI/dev-API edits win afterward. The previously-unprotected
/api/dev/reactive/lineage/* और /cost/* endpoints now require permissions.
Values added - helm_aio
| नाम | या क़िस्म | मूल्य |
|---|
global.observability.otel.enabled | Enable the OTel collector + Tempo trace backend + log correlation | गलत |
global.observability.monitoring.enabled | Render the ServiceMonitor + PrometheusRule alert set for Tempo/collector | गलत |
global.costAggregator.enabled | Enable the daily cost-attribution rollup | गलत |
global.costAggregator.retentionDays | Clamp the cost reader window to this many days | 90 |
global.observability.otel.tempoAuth.mode | Tempo query auth (none | bearer | basic) | none |
global.logAggregation.loki.auth.mode | Loki query auth (none | bearer | basic) | none |
global.observability.otel.tenant.id | Tenant filter for a shared Tempo (empty = single-tenant) | "" |
Values changed - ilum-tempo
| नाम | पुराना मूल्य | New value |
|---|
ilum-tempo.tempo.resources.limits.memory | 2Gi | 4जीआई |
⚠️ Warnings
The observability stack hostnames are now derived at render time by helpers in
helm_aio/templates/_helpers.tpl (ilum-aio.tempoHost,
ilum-aio.lokiReadHost, ilum-aio.otelCollectorHost,
ilum-aio.lokiQueryUrl). An overlay carrying an explicit hostname override
copied from a previous release still takes precedence but couples the install to
the इलम release name — drop it to let the helpers pick the correct hostname.
RELEASE 6.7.2
1. Default Java options for ilum-core
लक्षण:
Added default JVM options to ilum-core for optimized memory and performance. The javaOpts value is now appended to security-related Java options (trustStore/keyStore) instead of replacing them, allowing both to coexist.
Values changed - helm_core
| नाम | पुराना मूल्य | नया मूल्य |
|---|
javaOpts | "" | "-XX:-UsePerfData -XX:+UseStringDeduplication -Xms256m -XX:MaxMetaspaceSize=256m -XX:MaxDirectMemorySize=256m -XX:CICompilerCount=2 -XX:G1ConcRefinementThreads=2 -XX:ReservedCodeCacheSize=128m" |
2. Unity Catalog init container for ilum-core
लक्षण:
Added a wait-for-unity-catalog init container to the ilum-core deployment, matching the existing pattern for Hive and Nessie. When metastore.type करने के लिए सेट किया गया है unity, the init container waits for the Unity Catalog server to become reachable before starting ilum-core, preventing startup failures due to race conditions.
Values added - helm_aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.metastore.unity.statusProbe.enabled | Enable init container to wait for Unity Catalog | सच्चा |
3. PostgreSQL support for ilum-core
लक्षण:
Added PostgreSQL as an alternative persistence backend to MongoDB. The backend is selected via storage.type (mongo नहीं तो पोस्टग्रेज़). When set to पोस्टग्रेज़, Mongock migrations and the MongoDB status probe are skipped, and PostgreSQL connection details are injected instead. The MongoDB URI (मोंगो.उरी) is always present in the configmap regardless of storage.type, so that the built-in MongoToPostgresMigration tool can read from MongoDB during migration. Flyway migrations run automatically on startup — no manual schema setup is needed. Existing deployments using MongoDB are unaffected; the default remains mongo.
Values added - helm_core
Storage type selection and migration
| नाम | या क़िस्म | मूल्य |
|---|
storage.type | Persistence backend: mongo नहीं तो पोस्टग्रेज़ | mongo |
storage.migration.mongoToPostgres | Enable one-time data migration from MongoDB to PostgreSQL. Set to सच्चा together with storage.type=postgres and a valid मोंगो.उरी to migrate all data on startup. Disable after migration completes. | गलत |
PostgreSQL connection settings
| नाम | या क़िस्म | मूल्य |
|---|
postgres.host | PostgreSQL hostname | ilum-postgresql |
postgres.port | PostgreSQL port | 5432 |
postgres.database | Database name | इलम |
postgres.username | Database username | इलम |
postgres.password | Database password | चेंजमीकृपया |
postgres.createSecret | Create a K8s Secret with postgres credentials | सच्चा |
postgres.existingSecret | Use an existing K8s Secret (must have keys: POSTGRES_USERNAME, POSTGRES_PASSWORD) | "" |
postgres.statusProbe.enabled | Enable init container that waits for PostgreSQL readiness | सच्चा |
postgres.statusProbe.image | Image used for the PostgreSQL readiness probe | busybox:1.36 |
⚠️⚠️⚠️ Warnings
Migrating from MongoDB to PostgreSQL:
- Set
storage.type=postgres and configure postgres.* connection values
- Ensure
मोंगो.उरी still points to the existing MongoDB instance
- Set
storage.migration.mongoToPostgres=true
- Run
हेल्म अपग्रेड — the backend will migrate all data from MongoDB to PostgreSQL on startup
- After successful migration, set
storage.migration.mongoToPostgres=false and run हेल्म अपग्रेड again
4. Slimmed down ilum-core bundled configuration
लक्षण:
The bundled application.yml in ilum-core has been significantly slimmed down.
Hardcoded defaults that are now managed by the application itself
(Spring multipart config, Kafka admin settings, codec size, task scheduling pool, leader election tuning, third-party logging levels, license validation details)
have been removed from the Helm-generated config.
This reduces the surface area of the ConfigMap and avoids conflicts with application-managed defaults.
⚠️⚠️⚠️ Warnings
If you relied on any of the removed hardcoded values (e.g., custom spring.servlet.multipart limits, spring.kafka.admin.fail-fast, logging levels for org.apache.kafka नहीं तो org.mongodb.driver),
you must now set them via the new customConfig नहीं तो overrideConfig mechanisms described below.
5. Config override and custom config for ilum-core
लक्षण:
Added two new mechanisms for advanced configuration of ilum-core:
overrideConfig: Replaces the bundled application.yml entirely with a user-managed ConfigMap (mounted at /etc/ilum/override).
customConfig: Mounts an additional ConfigMap at /etc/ilum/custom for partial overrides that layer on top of the bundled config.
Values added - helm_core
Full config override
| नाम | या क़िस्म | मूल्य |
|---|
overrideConfig.enabled | Enable full config override (replaces bundled application.yml entirely) | गलत |
overrideConfig.configMapName | Name of a user-managed ConfigMap containing a complete application.yml replacement | "" |
Custom config escape hatch
| नाम | या क़िस्म | मूल्य |
|---|
customConfig.enabled | Enable custom config escape hatch (mounts an additional ConfigMap at /etc/ilum/custom) | गलत |
customConfig.configMapName | Name of a user-managed ConfigMap containing application.yml overrides | "" |
⚠️⚠️⚠️ Warnings
The config mount path has changed from /config तक /etc/ilum/config. If you have scripts or tooling that references the old path, update them accordingly.
6. Default communication mode changed to gRPC
लक्षण:
The default communication mode in ilum-core has changed from काफ्का तक जीआरपीसी.
Values changed - helm_core
| नाम | पुराना मूल्य | नया मूल्य |
|---|
संचार.प्रकार | काफ्का | जीआरपीसी |
⚠️⚠️⚠️ Warnings
If your deployment depends on Kafka-based communication between ilum components, explicitly set communication.type: kafka in your values.
7. New configurable parameters in ilum-core
लक्षण:
Spring actuator endpoint exposure and job instance result timeout are now configurable via values instead of being hardcoded.
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
management.endpoints.web.exposure.include | Spring actuator endpoints to expose | "info,configprops,env,metrics,mappings,beans,prometheus,health" |
job.instance.result.timeout.ms | Job instance result timeout in milliseconds | 120000 |
8. Schema and nullability fixes
लक्षण:
Fixed sql.url तक sql.host in the ilum-core configmap to match the actual values key.
Names changed - helm_core (configmap only)
| पुराना नाम | नया नाम |
|---|
sql.url | sql.host |
9. rustfs added as an opt-in object storage provider
लक्षण
rustfs (Apache-2.0) is now bundled in helm_aio as an opt-in S3-compatible object storage provider (rustfs.enabled=false by default). मीनो remains the default provider (minio.enabled=true); rustfs is planned to become the default in 6.8.0. A stable Service alias ilum-objectstorage routes to whichever provider is enabled; all downstream consumers (Trino, Nessie, Jupyter, MLflow, Airflow, Kestra, Langfuse, the helm_core readiness probe) target this alias instead of provider-specific names.
⚠️⚠️⚠️ Warnings
- rustfs is currently published as
1.0.0-alpha.99; distributed mode is marked "under testing" upstream. helm_aio defaults rustfs to standalone mode with a single 50Gi PVC.
- A pre-upgrade hook detects orphan minio PVCs and refuses the upgrade unless the operator has chosen one of the paths below.
Choose one path on upgrade
Path A: keep using minio (zero-touch)
helm upgrade ilum ./helm_aio --set minio.enabled=true --set rustfs.enabled=false
Existing data is untouched; consumers continue talking to ilum-objectstorage which now selects minio pods.
Path B: migrate from minio to rustfs
Single credential source. Every consumer (ilum-core, jupyter, airflow,
trino, kestra, langfuse, loki, hive-metastore, minio, rustfs) now reads
S3 credentials from the shared ilum-objectstorage-credentials Secret.
Net-new installs default to व्यवस्थापक/व्यवस्थापक; rotate with:
kubectl edit secret ilum-objectstorage-credentials
kubectl rollout restart deploy,statefulset -l 'app.kubernetes.io/part-of=ilum'
When upgrading from a MinIO-only deployment with non-default credentials,
seed the new Secret with the live minio root creds before running the
upgrade so consumers don't lose access:
EXISTING_USER=$(kubectl get secret ilum-minio -o jsonpath='{.data.root-user}' | base64 -d)
EXISTING_PASS=$(kubectl get secret ilum-minio -o jsonpath='{.data.root-password}' | base64 -d)
kubectl create secret generic ilum-objectstorage-credentials \
--from-literal=access-key=$EXISTING_USER \
--from-literal=secret-key=$EXISTING_PASS \
--from-literal=root-user=$EXISTING_USER \
--from-literal=root-password=$EXISTING_PASS \
--from-literal=RUSTFS_ACCESS_KEY=$EXISTING_USER \
--from-literal=RUSTFS_SECRET_KEY=$EXISTING_PASS
# the credentials-secret template's preserveExisting lookup will keep these
# values intact across helm upgrades.
# 1. Run both providers side by side. Acknowledge the cutover so the
# pre-upgrade hook accepts the upgrade.
helm upgrade ilum ./helm_aio \
--set minio.enabled=true \
--set rustfs.enabled=true \
--set rustfs.migrationAcknowledged=true
# 2. Dry-run the migration Job to preview what would be copied.
helm upgrade ilum ./helm_aio \
--set minio.enabled=true \
--set rustfs.enabled=true \
--set rustfs.migrationAcknowledged=true \
--set migration.minioToRustfs.enabled=true \
--set migration.minioToRustfs.dryRun=true
kubectl logs job/ilum-minio-to-rustfs-migration-<rev>
# 3. Run the real migration.
helm upgrade ilum ./helm_aio \
--set minio.enabled=true \
--set rustfs.enabled=true \
--set rustfs.migrationAcknowledged=true \
--set migration.minioToRustfs.enabled=true
kubectl -n ilum wait job -l app.kubernetes.io/component=migration --for=condition=complete --timeout=600s
# 4. Verify (e.g. mc diff against both providers), then disable minio.
helm upgrade ilum ./helm_aio --set rustfs.migrationAcknowledged=true
For per-bucket manual procedures (no Job), see the documentation site: documentation/docs/operations/migrate-minio-to-rustfs.md.
Path C: net-new install
Nothing to do. minio is the default; the alias Service is created automatically. To start on rustfs instead, set rustfs.enabled=true और minio.enabled=false.
Values added - helm_aio
| नाम | या क़िस्म | मूल्य |
|---|
global.s3.host | Stable Service name targeted by S3 consumers | ilum-objectstorage |
global.s3.port | S3 API port | 9000 |
global.s3.consolePort | Web console port | 9001 |
global.s3.region | Default S3 region | US-East-1 (अमेरिका पूर्व -1) |
global.s3.pathStyle | Path-style addressing flag for S3 clients | सच्चा |
global.s3.ssl | SSL flag for S3 clients | गलत |
rustfs.enabled | Enable bundled rustfs chart | सच्चा |
rustfs.mode | rustfs deployment mode | standalone |
rustfs.persistence.size | rustfs PVC size | 50Gi |
rustfs.migrationAcknowledged | Operator acknowledgement that disabling minio is intentional (read by the pre-upgrade hook) | गलत |
rustfsExtensions.enabled | Enable bucket/policy bootstrap on rustfs | सच्चा |
objectStorage.service.enabled | Render the ilum-objectstorage Service alias | सच्चा |
objectStorage.credentials.create | Create the shared credentials Secret | सच्चा |
objectStorage.credentials.name | Name of the shared credentials Secret | ilum-objectstorage-credentials |
objectStorage.credentials.accessKey | Default access key (only used to bootstrap the Secret; rotated values survive upgrades via lookup) | शासन |
objectStorage.credentials.secretKey | Default secret key | शासन |
rustfs.secret.rustfs.access_key | Root access key the rustfs Pod is launched with (must match objectStorage.credentials.accessKey) | शासन |
rustfs.secret.rustfs.secret_key | Root secret key the rustfs Pod is launched with | शासन |
objectStorage.defaultBuckets | Default buckets created by the rustfs init Job and migrated by the migration Job | [ilum-files, ilum-data, ...] |
migration.minioToRustfs.enabled | Render the one-shot migration Job | गलत |
migration.minioToRustfs.dryRun | Pass --fake to mc mirror (preview only) | गलत |
migration.minioToRustfs.deleteAfter | After successful mirror, remove source data with mc mirror --remove | गलत |
migration.minioToRustfs.ttlSecondsAfterFinished | Keep Job logs around for inspection | 86400 |
preUpgradeChecks.enabled | Render the pre-upgrade safety hook (disable in CI) | सच्चा |
Values changed - helm_aio
| नाम | पुराना मूल्य | New value |
|---|
minio.enabled | सच्चा | गलत |
ilum-core.kubernetes.s3.host | ilum-minio | ilum-objectstorage |
ilum-core.metastore.nessie.s3Endpoint | http://ilum-minio:9000/ | http://ilum-objectstorage:9000/ |
ilum-core.minio.statusProbe.baseUrl | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
trino.catalogs.ilum-delta (s3.endpoint=...) | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
mlflow.externalS3.host | ilum-minio | ilum-objectstorage |
mlflow.externalS3.existingSecret | ilum-minio | ilum-objectstorage-credentials |
mlflow.externalS3.existingSecretAccessKeyIDKey | root-user | access-key |
mlflow.externalS3.existingSecretKeySecretKey | root-password | secret-key |
kestra.configuration.kestra.storage.minio.endpoint | ilum-minio | ilum-objectstorage |
langfuse.langfuse.s3.endpoint | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
ilum-jupyter.extraEnv (S3_ENDPOINT) | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
airflow.extraEnv (MINIO_ENDPOINT, AWS_ENDPOINT_URL, AIRFLOW_CONN_ILUM-MINIO) | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
ilum-ui.runtimeVars.minioUrl | http://ilum-minio:9001 | http://ilum-objectstorage:9001 |
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
objectStorage.statusProbe.enabled | Enable readiness probe init container for object storage | सच्चा |
objectStorage.statusProbe.baseUrl | Base URL probed for readiness | http://ilum-objectstorage:9000 |
objectStorage.statusProbe.image | Probe init-container image | कर्लइमेज/कर्ल:8.5.0 |
objectStorage.statusProbe.healthPath | HTTP path probed (root works for both rustfs and minio) | / |
Values changed - helm_core
| नाम | पुराना मूल्य | New value |
|---|
minio.statusProbe.baseUrl | http://ilum-minio:9000 | http://ilum-objectstorage:9000 |
The legacy minio.statusProbe block is retained as a deprecated alias; templates prefer objectStorage.statusProbe and fall back to it when the new key is unset.
Values added - helm_ui
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.objectStorageUrl | Console URL for the object-storage view | http://ilum-objectstorage:9001 |
runtimeVars.objectStoragePath | UI iframe path | /external/object-storage/ |
nginx.config.objectStorage.enabled | Render the /external/object-storage/ proxy block | गलत |
nginx.config.http_cookie.objectStorage.enabled | Cookie gate for the new path | सच्चा |
10. Kestra chart 1.0.x upgrade (breaking)
लक्षण:
Bumped the bundled kestra chart from ^0.22.x तक ^1.0.x (Kestra app ~v0.20 → v1.3.x).
The Kestra Helm chart was rewritten in 1.0.0 — top-level deployment fields moved under a new common: block,
the configuration: map was renamed to configurations.application, serviceAccountName was replaced by a structured serviceAccount block,
the dind sidecar gained a mode: rootless|insecure selector,
and the bundled पोस्टग्रेज़/मीनो/काफ्का/elasticsearch subchart dependencies were dropped (operators bring their own).
The umbrella kestra: block has been restructured accordingly; existing Ilum integrations (PostgreSQL backend, MinIO storage,
Nginx context path, root-mode dind, post-install example flow Job) are preserved.
Names changed - kestra
| पुराना नाम | नया नाम |
|---|
kestra.configuration | kestra.configurations.application |
kestra.serviceAccountName | kestra.serviceAccount.name (with kestra.serviceAccount.create: false) |
kestra.securityContext | kestra.common.securityContext |
kestra.initContainers | kestra.common.initContainers |
kestra.dind.image.tag | kestra.dind.base.insecure.image.tag (with kestra.dind.mode: insecure) |
kestra.dind.args | kestra.dind.base.insecure.args |
kestra.dind.securityContext | kestra.dind.base.insecure.securityContext |
Values changed - kestra
| नाम | Old Value | नया मूल्य |
|---|
kestra.exampleFlow.kestraService | kestra-service | kestra |
ilum-ui.runtimeVars.kestraUrl | http://ilum-kestra-service:8080 | http://ilum-kestra:8080 |
Values deleted - kestra
| नाम | कारण |
|---|
kestra.postgresql.enabled | Subchart dependency removed in 1.0.0; operators provide their own PostgreSQL. |
kestra.minio.enabled | Subchart dependency removed in 1.0.0; operators provide their own object storage. |
kestra.startupProbe.path | Replaced by the structured kestra.common.startupProbe (full Kubernetes probe spec). Path stays /external/kestra/health because Micronaut propagates server.contextPath to the management server (8081) too. |
kestra.livenessProbe.path | Replaced by kestra.common.livenessProbe; path stays /external/kestra/health/liveness. |
kestra.readinessProbe.path | Replaced by kestra.common.readinessProbe; path stays /external/kestra/health/readiness. |
Values added - kestra
| नाम | या क़िस्म | मूल्य |
|---|
kestra.deployments.standalone.enabled | Enables the standalone Kestra deployment in the new split-deployment model. | सच्चा |
kestra.deployments.standalone.dind.enabled | Enables the dind sidecar for the standalone deployment. | सच्चा |
kestra.dind.mode | Selects the dind sidecar mode (rootless नहीं तो insecure); Ilum defaults to insecure to preserve prior root-mode behaviour. | insecure |
kestra.serviceAccount.create | Controls whether the chart creates the ServiceAccount; Ilum sets it to गलत and reuses the Spark SA. | गलत |
⚠️⚠️⚠️ Warnings
- The Kestra application itself was bumped from the 0.x line to v1.3.x. Verify any custom flow definitions against the Kestra 1.0.0 migration guide — reserved Flow IDs, the
purgeAuditLogs.permissions → resources rename, removal of the Singer plugin, dynamic rendering of input defaults, and custom-plugin package structure changes can break existing flows.
kestra.dind.mode: insecure runs the dind sidecar privileged with elevated capabilities. On hardened clusters switch to kestra.dind.mode: rootless and drop the kestra.common.securityContext.runAsUser/runAsGroup overrides.
- The Kestra Service object is now named
<release>-kestra (chart fullname) instead of <release>-kestra-service. The bundled helm_ui kestraUrl runtimeVar (consumed by the Nginx proxy via ILUM_KESTRA_URL) and the exampleFlow post-install Job have been updated to the new name. Any external references to ilum-kestra-service must be updated manually.
- Kestra 1.0+ moved the flow API under a tenant path (
/api/v1/{tenant}/flows). The bundled exampleFlow Job now POSTs to /api/v1/main/flows (the OSS implicit tenant). Operators with custom छल्ला/SDK calls against the Kestra API must add the tenant segment.
11. Kyuubi server image bumped to 1.11.1-spark-trino
लक्षण
The default इलम-एसक्यूएल (Kyuubi) server image is bumped to ilum/kyuubi:1.11.1-spark-trino. Existing हेल्म अपग्रेड users will pick up the new image automatically.
Values changed - helm_kyuubi
| नाम | Old Value | नया मूल्य |
|---|
छवि.टैग | 1.10.2-spark-trino | 1.11.1-spark-trino |
12. JupyterLab Pipeline Exporter ↔ Airflow integration (helm_jupyter)
लक्षण
The bundled JupyterLab now ships jupyterlab-pipeline-exporter (JPE),
which generates Airflow DAGs from notebooks and can auto-trigger them
against the in-cluster Airflow REST API. The helm_jupyter Deployment
mounts a new jupyter-pipeline-exporter-cm.yaml ConfigMap and renders
the env vars JPE needs to mint bearer tokens (AIRFLOW_JWT_SECRET,
AIRFLOW_API_URL), push DAGs into Gitea (GITEA_USERNAME,
GITEA_PASSWORD), and build clickable deep-links (ILUM_UI_URL).
git.enabled is split into two orthogonal flags so a slim deploy
without the gitea subchart can keep JPE's Gitea creds without forcing
the init-container seed loop to run. The init loop (curl healthz
wait + git init/commit/push) is now gated on
git.initialCommit.enabled; the GITEA_* env vars are gated on
git.existingSecret alone. git.enabled is retained as a deprecated
back-compat alias for git.initialCommit.enabled.
Operator impact (zero by default)
On AIO (airflow.enabled=true, gitea subchart present) the chart
defaults render the full integration automatically on हेल्म अपग्रेड —
no action required. On a slim deploy without Airflow, set
airflowIntegration.enabled=false to suppress the JWT env block; on a
slim deploy without the gitea subchart, set
git.initialCommit.enabled=false (instead of the old
git.enabled=false) so the init container no longer hangs while still
mounting JPE's Gitea creds via git.existingSecret.
Values added - helm_jupyter
| नाम | या क़िस्म | मूल्य |
|---|
airflowIntegration.enabled | Render the AIRFLOW_JWT_SECRET / AIRFLOW_API_URL block for JPE's DAG auto-trigger | सच्चा |
git.initialCommit.enabled | Run the init-container that seeds the work dir into Gitea | गलत |
ilumUiUrl | Browser-facing Ilum UI base URL surfaced as ILUM_UI_URL for JPE deep-links | http://localhost:9777 |
Values changed - helm_jupyter
| नाम | Pre-upgrade | Post-upgrade |
|---|
git.enabled | gated init loop और GITEA_* env vars | deprecated alias for git.initialCommit.enabled; GITEA_* env vars now gate on git.existingSecret |
13. Preset feature
लक्षण
New first-class Preset entity. A preset is a named bag of Spark / runtime
properties that can be attached by id to clusters, services (groups),
schedules, and jobs. At job-launch time the preset's properties merge into
the resulting Spark config so users can pin a bundle (Delta / Iceberg / Hudi)
once and reuse it instead of re-typing the same 5+ keys.
CRUD is exposed at POST/GET/PUT/DELETE /api/v1/preset (public) and at
/api/dev/reactive/preset (internal). New PRESET_READ, PRESET_CREATE,
PRESET_EDIT, PRESET_DELETE permissions are added.
Postgres V1 schema gains a preset table and preset_ids text[] columns
on गुच्छा, समूहों, schedule. Mongo gains the same field lazily — no
migration required.
Operator-controllable defaults (helm)
helm_core/values.yaml ships a new top-level presets: block. Each entry
(नाम, या क़िस्म, properties) is auto-seeded at first boot by the
backend's DefaultPresetInitializer. The chart defaults ship a डेल्टा and
an हिमशैल entry; remove or override them to taste, or set presets: []
to disable defaults entirely.
The default cluster's attached presets are also helm-controlled via
kubernetes.defaultCluster.presetNames (defaults to [delta]). Each entry
is resolved to a preset id at boot time via a deterministic v3 UUID derived
from the name (same hash as the initializer uses), so the linkage is
stable across restarts.
Values added — helm_core
| नाम | या क़िस्म | मूल्य |
|---|
presets | Spark/runtime property bundles auto-seeded on first boot | List of डेल्टा + हिमशैल |
kubernetes.defaultCluster.presetNames | Names (declared under presets:) attached to the default cluster on first boot | [delta] |
Values removed — helm_core
| नाम | कारण |
|---|
kubernetes.defaultCluster.config.spark.kubernetes.container.image | Moved into the डेल्टा preset entry under top-level presets: |
kubernetes.defaultCluster.config.spark.databricks.delta.catalog.update.enabled | Same |
kubernetes.defaultCluster.config.spark.sql.extensions | Same |
kubernetes.defaultCluster.config.spark.sql.catalog.spark_catalog | Same |
Operator impact
Zero on a default upgrade. The bundled डेल्टा preset reproduces exactly
the Delta keys that previously lived inline in the default cluster's
defaultApplicationConfig. Existing user-created clusters keep their own
config unchanged.
If you customised कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग with non-Delta
overrides, those entries are preserved as-is — only the four Delta-specific
keys were lifted into the preset.
Operators wanting to add their own preset (e.g. a tuned नेस्सी bundle)
extend presets: in their values override:
इलम कोर:
presets:
- नाम: नेस्सी
या क़िस्म: Iceberg + Nessie wiring
properties:
स्पार्क.कुबेरनेट्स.कंटेनर.इमेज: my-registry/spark:नेस्सी
spark.sql.एक्सटेंशन: org.projectnessie.spark.extensions.NessieSparkSessionExtensions
kubernetes:
defaultCluster:
presetNames:
- डेल्टा
- नेस्सी
Renaming a preset detaches any cluster / group / schedule that referenced
the old id (the id is derived from the name). Detach in the UI first, or
use the API to update presetIds to the new id before removing the old
entry.
Merge precedence at job launch (last wins): cluster's effective config
(including its attached presets via ClusterConfigurer) → system providers
(memory, metastore, packages) → entity presets → entity jobConfig. The
symmetric "plain spark args you typed at the entity level win" rule still
applies. Follow-up #202 will extract प्रतिबिंब और Namespace to first-class
cluster fields so presets layer cleanly without the current "plain wins"
caveat on the cluster scope.
14. Airflow secret backend + base image bump
लक्षण
The bundled Airflow image (ilum/airflow) now ships an
IlumS3SecretsBackend that resolves the conn-id aliases ilum-minio,
ilum-s3और ilum-objectstorage (plus their _-separated and
case variants) to a single canonical AIRFLOW_CONN_ILUM_S3 env var.
Activating the backend (AIRFLOW__SECRETS__BACKEND=ilum_secrets_backend.IlumS3SecretsBackend)
is already wired in helm_aio/values.yaml.
This replaces the broken AIRFLOW_CONN_ILUM-MINIO_CMD /
AIRFLOW_CONN_ILUM-S3_CMD printf-based env-var pattern. Airflow 3
silently dropped _CMD resolution for connection env vars — the suffix
now resolves only for config keys like SQL_ALCHEMY_CONN_CMD — which
caused worker pods to surface RuntimeError: generator didn't yield
from the remote-logging path and InvalidAccessKeyId from user S3Hook
calls.
The same change bumps the base image from apache/airflow:3.1.6 तक
apache/airflow:3.2.1 across all four ops/docker/ilum-airflow/
variants (डॉकरफ़ाइल, Dockerfile-plain, Dockerfile-spark,
Dockerfile-spark-4.x), and switches the bake-in install location for
the backend to /opt/ilum_secrets/ with a PYTHONPATH prepend so the
module path no longer depends on the base image's Python minor.
Operator impact (zero by default)
The Helm values flip is opt-in via the chart-default airflow.enabled
flag — operators with airflow.enabled=true pick up the new env
configuration automatically on हेल्म अपग्रेड. No DAG changes are
required: BaseHook.get_connection("ilum-minio") और
S3Hook(aws_conn_id="ilum-s3") continue to work, but now resolve to a
storage-backend-agnostic connection.
| Key | Pre-upgrade | Post-upgrade |
|---|
airflow.airflowVersion | 3.1.6 | 3.2.1 |
airflow.images.airflow.tag | 3.1.6 | 3.2.1 |
airflow.extraEnv AIRFLOW_CONN_ILUM-MINIO_CMD | (broken printf pattern) | removed |
airflow.extraEnv AIRFLOW_CONN_ILUM-S3_CMD | (broken printf pattern) | removed |
airflow.extraEnv AIRFLOW__SECRETS__BACKEND | (unset) | ilum_secrets_backend.IlumS3SecretsBackend |
airflow.extraEnv AIRFLOW_CONN_ILUM_S3 | (unset) | JSON literal with $(AWS_*) downward expansion |
DAG-level changes from Airflow 3.1.6 to 3.2.1 are minor; full changelog
at https://airflow.apache.org/docs/apache-airflow/3.2.1/release_notes.html.
Failure modes (now caught at chart-render time)
- If an operator overrides
airflow.images.airflow.tag to an
ilum/airflow tag that does not contain /opt/ilum_secrets/
(e.g. an older custom build), the secrets backend resolves to
ModuleNotFoundError: ilum_secrets_backend at scheduler start. Fix
by upgrading the image or unsetting AIRFLOW__SECRETS__BACKEND.
15. Object storage console wiring is now data-driven
लक्षण
The active object-storage provider, the Object Storage iframe path, and the
/external/object-storage/ nginx redirect target are now derived from a
single source of truth in helm_aio/templates/_helpers.tpl. The
previously hand-rolled three-way conditional in ui-cm.yaml has been
replaced with helper calls; the objectstorage-svc.yaml inline resolution
has been collapsed into the same helper.
A new objectStorage.providers registry maps provider names to their
console paths and routing modes. To enable a third S3-compatible backend
(e.g. SeaweedFS) for benchmarking or migration:
- Add the chart dependency under
helm_aio/Chart.yaml.
- Add an entry under
objectStorage.providers.<name> के साथ consolePath
और consoleMode (same-origin नहीं तो nginx-rewrite).
- Set
objectStorage.activeProvider: <name> to flip user-facing traffic.
Operator impact (zero by default)
Existing RC2 overlays that only set rustfs.enabled / minio.enabled /
rustfs.migrationAcknowledged continue to work unchanged. The chart reads
the legacy flags as back-compat shims.
The registry intentionally does NOT set a default सक्षम field for
rustfs और मीनो; the chart-level flags (.Values.rustfs.enabled /
.Values.minio.enabled) remain the single source of truth for those two
providers. This avoids the silent override that would occur if the new
chart-default registry flipped objectStorage.providers.rustfs.enabled=true
on a user who had rustfs.enabled=false in their overlay.
Verified upgrade paths (zero operator action required):
| Pre-upgrade overlay | Post-upgrade resolved provider | Risk |
|---|
minio.enabled=true, rustfs.enabled=false (default) | मीनो | none |
minio.enabled=false, rustfs.enabled=true (opt-in) | rustfs | none |
minio.enabled=true, rustfs.enabled=true, rustfs.migrationAcknowledged=false | minio (data-bearing side) | none |
minio.enabled=true, rustfs.enabled=true, rustfs.migrationAcknowledged=true | rustfs (post-cutover) | none |
objectStorage.activeProvider=<name> explicit override | <name> verbatim | only if <name> has no pods, ilum-core readiness fails loudly |
| Pre-RC2 install (no rustfs key, only minio.enabled=true) | मीनो | none |
Misconfiguration scenarios that fail loudly (not silently):
- 3+ providers enabled with
activeProvider=auto: render-time error names the enabled providers and asks for an explicit choice.
- Explicit
activeProvider=<name> where <name> has no running pods: Service alias has no endpoints; ilum-core readiness probe fails with a clear log message.
New values to know about
| Key | चूक | Meaning |
|---|
objectStorage.previousProvider | "minio" | Required when two providers are enabled and activeProvider=auto. Names the side that holds the data; the alias targets it until cutover is acknowledged. |
objectStorage.cutoverAcknowledged | गलत | Generalizes the previous rustfs.migrationAcknowledged. Flips the alias from previousProvider to the other enabled provider. The legacy flag is still honored as an alias. |
objectStorage.providers.<name>.enabled | per-provider | Mirror of .Values.<name>.enabled for new providers without their own chart-level flag. |
objectStorage.providers.<name>.consolePath | /rustfs/console/, /बाहरी/मिनी/ | UI iframe path for that provider's console. |
objectStorage.providers.<name>.consoleMode | same-origin (rustfs), nginx-rewrite (minio) | Controls whether nginx redirects /external/object-storage/ to the provider's path (nginx-rewrite, for consoles pinned to a single URL) or keeps the proxy body (same-origin). |
Failure modes (now loud)
- Three or more providers enabled with
activeProvider=auto: the chart
fails at render time with a message naming the enabled providers and
asking the operator to set activeProvider=<name> explicitly.
- Two providers enabled with
previousProvider empty: chart fails at
render time asking the operator to set previousProvider to the
data-bearing side, or to set activeProvider explicitly.
activeProvider set to a name with no matching pods: the chart renders
but the alias Service has no Endpoints, and इलम कोर's readiness probe
surfaces the misconfiguration in pod logs.
16. Rook-Ceph S3 Storage Backend (BYO)
लक्षण:
A pre-deployed (BYO) rook-ceph cluster can now be used as the sole S3-compatible
storage backend, in place of the default minio (or opt-in rustfs). The rook-ceph
operator and CephCluster must be deployed separately; see the
Rook-Ceph user guide for end-to-end setup.
Values added - ilum (AIO)
| नाम | या क़िस्म | मूल्य |
|---|
rookCeph.enabled | Enable rook-ceph S3 storage integration (requires pre-deployed rook-ceph) | गलत |
rookCeph.s3.host | RGW service hostname (e.g., rook-ceph-rgw-my-store.rook-ceph.svc.cluster.local) | "" |
rookCeph.s3.serviceName | RGW Service name for Endpoints lookup; falls back to first segment of मेज़बान | "" |
rookCeph.s3.namespace | Namespace containing the RGW Service; falls back to second segment of मेज़बान | "" |
rookCeph.s3.port | RGW service port | 80 |
rookCeph.s3.scheme | URL scheme (एचटीटीपी नहीं तो एचटीटीपीएस); set to एचटीटीपीएस for TLS-terminating RGW Services | एचटीटीपी |
rookCeph.s3.insecureSkipVerify | Skip TLS certificate verification (opt-in for self-signed Rook-managed RGW) | गलत |
rookCeph.s3.region | S3 region | US-East-1 (अमेरिका पूर्व -1) |
rookCeph.s3.accessKey | S3 access key from CephObjectStoreUser | चेंजमीकृपया |
rookCeph.s3.secretKey | S3 secret key from CephObjectStoreUser | चेंजमीकृपया |
rookCeph.bucketInit.enabled | Create S3 buckets on the RGW endpoint (reuses objectStorage.defaultBuckets) | सच्चा |
rookCeph.bucketInit.image | aws-cli image for bucket creation | amazon/aws-cli:2.27.31 |
rookCeph.statusProbe.enabled | Enable RGW health check in the bucket init Job | सच्चा |
rookCeph.statusProbe.image | Health check image | कर्लइमेज/कर्ल:8.5.0 |
⚠️⚠️⚠️ Warnings
minio.enabled=true is the chart default in the 6.7.x line (rustfs is opt-in until it becomes the default in 6.8.0). When switching to rook-ceph, the values overlay must set both minio.enabled=false और rustfs.enabled=false. The rustfsExtensions और minioExtensions bootstrap Jobs are already gated on their parent providers, so a separate *Extensions.enabled=false flag is not required. A chart validation now fails the install when rookCeph.enabled is combined with either bundled provider.
- वही
ilum-objectstorage Service alias is rendered as a selector-less Service backed by a manual Endpoints object that mirrors the live RGW Pod IPs from the rook-ceph namespace (a label-selector alias cannot cross namespaces, and an ExternalName CNAME is black-holed by kube-proxy because it cannot DNAT a packet twice). RGW Pod restarts rotate the Pod IPs and stale the mirrored Endpoints; re-run helm upgrade ilum ./helm_aio -f ilum-rook-ceph-values.yaml after any RGW Pod restart to refresh the addresses.
- The shared
ilum-objectstorage-credentials Secret is now seeded from rookCeph.s3.{accessKey,secretKey} in rook-ceph-only mode; an install fails fast when either is left at the चेंजमीकृपया placeholder.
- The bucket init Job no longer swallows aws-cli errors. Network/credential/endpoint misconfigurations now fail the Job loudly instead of completing 1/1 with no buckets created.
To perform the rollout:
# 1. Deploy the rook-ceph operator and CephCluster in the rook-ceph namespace
# (operator chart, CephCluster CR, CephObjectStore, CephObjectStoreUser).
# Wait for the RGW Service and Pods to become Ready in the rook-ceph
# namespace; ilum-objectstorage Endpoints are mirrored from this Service
# at chart install/upgrade time.
# 2. Extract S3 credentials from the CephObjectStoreUser Secret.
ACCESS_KEY=$(kubectl -n rook-ceph get secret \
rook-ceph-object-user-<store-name>-<user-name> \
-o jsonpath='{.data.AccessKey}' | base64 -d)
SECRET_KEY=$(kubectl -n rook-ceph get secret \
rook-ceph-object-user-<store-name>-<user-name> \
-o jsonpath='{.data.SecretKey}' | base64 -d)
# 3. Render the overlay (the doc ships a complete template).
cat > ilum-rook-ceph-values.yaml <<EOF
rustfs:
enabled: false
minio:
enabled: false
rookCeph:
enabled: true
s3:
host: rook-ceph-rgw-<store-name>.rook-ceph.svc.cluster.local
port: 80
accessKey: $ACCESS_KEY
secretKey: $SECRET_KEY
ईओएफ
# 4. Install or upgrade.
helm upgrade --install ilum ./helm_aio -f ilum-rook-ceph-values.yaml
# 5. After RGW Pod restarts (Ceph cluster upgrades, rook-ceph operator
# rollouts, node maintenance), refresh the mirrored Endpoints:
helm upgrade ilum ./helm_aio -f ilum-rook-ceph-values.yaml
17. Legacy activities audit feature removed (helm_core)
लक्षण:
The backend dropped the legacy "activities" audit trail; the structured EventLog now backs all audit and user/group operation statistics. The corresponding backend config key was removed, so its Helm value is dead.
Values deleted - helm_core
| नाम | कारण |
|---|
security.activities.timeToLive | Backend security.activities.timeToLive property no longer exists |
RELEASE 6.7.1
1. Cluster-scoped RBAC for the management API
लक्षण:
The management API (helm_api, which backs the Ilum CLI and the in-UI Module Marketplace) can now be granted a cluster-scoped role so it can install and manage modules that require cluster-scoped resources — CRDs, ClusterRoles/ClusterRoleBindings, admission webhooks, and Prometheus Operator custom resources (for example, kube-prometheus-stack). When rbac.clusterScope is enabled, the chart renders a क्लस्टररोल और क्लस्टररोलबाइंडिंग bound to the API service account; with it disabled, the API keeps only its namespace-scoped permissions.
Values added - helm_api
| नाम | या क़िस्म | मूल्य |
|---|
rbac.clusterScope | Render a cluster-scoped क्लस्टररोल/क्लस्टररोलबाइंडिंग for the management API | सच्चा |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-api.rbac.create | Create RBAC resources for the management API | सच्चा |
ilum-api.rbac.clusterScope | Grant the management API cluster-scoped RBAC | सच्चा |
2. Probe and startup hardening
लक्षण:
Liveness, readiness, and startup probe timings were relaxed across इलम कोर, इलम यूआईऔर ilum-api (longer initial delays, periods, and failure thresholds, with startup probes enabled) so the stack comes up cleanly in slower or resource-constrained environments. The bundled default cluster also gained a spark.kubernetes.memoryOverheadFactor का 0.5 and a higher default driver memory. No operator action is required.
RELEASE 6.7.0
1. Airflow version update
लक्षण:
Updated Airflow from version 3.1.1 to 3.1.6.
Values changed - helm_aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
airflow.airflowVersion | 3.1.1 | 3.1.6 |
airflow.images.airflow.tag | 3.1.1 | 3.1.6 |
airflow.apiServer.extraInitContainers[0].image | `ilum/airflow:3.1.1 | ilum/airflow:3.1.6 |
2. Added ClickHouse and Langfuse to ilum-aio
लक्षण:
Added ClickHouse and Langfuse to ilum-aio as new modules. ClickHouse is a fast open-source OLAP database management system. Langfuse is an open source LLM engineering platform.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
clickhouse.enabled | Flag to enable ClickHouse deployment in ilum-aio | गलत |
langfuse.enabled | Flag to enable Langfuse deployment in ilum-aio | गलत |
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.langfuseUrl | URL of the Langfuse instance | http://ilum-langfuse-web:3000 |
runtimeVars.langfusePath | Proxy path for Langfuse | /external/langfuse/ |
nginx.config.langfuse.enabled | Enable proxy for Langfuse | गलत |
nginx.config.http_cookie.langfuse.enabled | Enables cookie mapping for Langfuse | सच्चा |
3. Configurable Scala version for default cluster
लक्षण:
अतिरिक्त scalaVersion configuration option to the default cluster settings. This allows users to specify which Scala version their Spark jobs are run with, supporting both Scala 2.12 for spark 3.x and 2.13 for spark 4.x
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.defaultCluster.scalaVersion | Scala version for Spark jobs (SCALA_2_12 or SCALA_2_13) | SCALA_2_13 |
4. API token authentication system
लक्षण:
Added "API token authentication system for internal and external service authentication."
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
security.api-token.enabled | Flag to enable API token authentication | गलत |
security.api-token.tokens | List of initial tokens | [] |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.security.api-token.enabled | Flag to enable API token authentication | गलत |
ilum-core.security.api-token.tokens | List of initial tokens | [{name: "superset", token: "initial-superset-token-for-engine-creation", permissions: ["SQLENGINE_CREATE"]}] |
5. Startup probe for Ilum-core
लक्षण:
Added startup probe to the Ilum-core deployment. This allows the application to have sufficient time to start in constrained environments while maintaining quick readiness and liveness checks once started. The startup probe delays readiness and liveness probes until the application starts successfully.
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
startupProbe | Startup probe configuration for ilum-core container | See values.yaml for full structure |
startupProbe.failureThreshold | Number of failures before giving up (300 × 2s = 10 minutes max) | 300 |
startupProbe.periodSeconds | How often to perform the probe | 2 |
startupProbe.timeoutSeconds | Timeout for each probe request | 1 |
startupProbe.httpGet.path | HTTP path for startup probe | /actuator/health/liveness |
Values changed - helm_core
| नाम | पुराना मूल्य | नया मूल्य |
|---|
livenessProbe.initialDelaySeconds | 120 | 10 |
readinessProbe.initialDelaySeconds | 120 | 10 |
6. Disabled SASL in Kafka configuration
लक्षण:
Disabled SASL authentication in the default Kafka configuration. This change simplifies the setup for users who do not require SASL authentication for their Kafka clusters. Users who need SASL can still enable it through custom configuration.
Values added - helm_aio
| नाम | या क़िस्म | मूल्य |
|---|
kafka.listeners.interbroker.protocol | Interbroker protocol | PLAINTEXT |
kafka.listeners.controller.protocol | Controller protocol | PLAINTEXT |
kafka.kraft.clusterId | Kraft clusterId to prevent Bitnami chart upgrade failures | aWx1bS1kZWZhdWx0LWlkMQ |
7. Management API and Ilum CLI
लक्षण:
Added the helm_api chart (ilum-api), a Management API sidecar that exposes the Ilum CLI's operations over HTTP and powers the in-UI Module Marketplace for point-and-click module deployment. It is deployed by default in ilum-aio.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-api.enabled | Deploy the Management API sidecar (CLI over HTTP) | सच्चा |
RELEASE 6.6.2
1. Spark 4.x Upgrade - Scala 2.13 Migration
लक्षण:
Updated default Spark images to ilum/spark:4.0.1-delta and ilum-spark-launcher to spark-4.1.0. Spark 4.x exclusively uses Scala 2.13 and has dropped support for Scala 2.12.
Values changed - helm_core
| नाम | पुराना मूल्य | नया मूल्य |
|---|
kubernetes.defaultCluster.dockerImage | ilum/spark:3.5.7-delta | ilum/spark:4.0.1-delta |
इतिहाससर्वर.इमेज | spark-3.5.7 | spark-4.1.0 |
externalSparkSubmit.image.tag | spark-3.5.7 | spark-4.1.0 |
⚠️⚠️⚠️ CRITICAL WARNING - BREAKING CHANGE ⚠️⚠️⚠️
Spark 4.x uses Scala 2.13 exclusively. Scala 2.12 is NO LONGER SUPPORTED.
This is a BREAKING CHANGE that may affect your existing Spark jobs:
-
JAR Compatibility: Any Spark applications, libraries, or dependencies compiled with Scala 2.12 WILL NOT WORK with Spark 4.x. You must recompile all custom JARs with Scala 2.13.
-
Affected Components:
- Custom Spark applications (Scala-based)
- Third-party libraries compiled for Scala 2.12
- UDFs written in Scala
- कोई
.jar files built with scalaVersion := "2.12.x"
-
How to Identify Affected JARs:
- Check your
बिल्ड.एसबीटी नहीं तो pom.xml के लिए scalaVersion settings
- JAR names often contain the Scala version suffix (e.g.,
myapp_2.12-1.0.jar)
- JARs with
_2.12 suffix need to be rebuilt with _2.13
-
Required Actions Before Upgrade:
- Inventory all custom Spark JARs in use
- Recompile all Scala-based applications with Scala 2.13
- Update all third-party dependencies to Scala 2.13 versions
- Test all jobs thoroughly in a staging environment
-
No Backwards Compatibility:
- Starting from this version, Ilum's Spark job wrapper uses Scala 2.13 exclusively
- Running Spark 3.x jobs compiled with Scala 2.12 is no longer supported
- तुम MUST recompile all your Scala-based Spark jobs with Scala 2.13 before upgrading
-
PySpark Users: PySpark jobs are generally unaffected unless they use Scala-based UDFs or custom Scala libraries.
RECOMMENDATION: Test your workloads in a non-production environment before upgrading to this release.
2. Added environment variables support to default cluster configuration
लक्षण:
Added support for configuring environment variables in the default cluster configuration. This allows users to set environment variables that will be applied to Spark jobs running on the default cluster. The SPARK_SUBMIT_OPTS environment variable is now configurable through Helm values instead of being hardcoded, providing better flexibility for JVM tuning and other environment-specific configurations.
Values added - helm_core
Default cluster environment variables configuration
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.defaultCluster.environmentVariables | Environment variables for default cluster | {} |
kubernetes.defaultCluster.environmentVariables.SPARK_SUBMIT_OPTS | JVM options for Spark submit process | "-XX:MaxHeapSize=64m -XX:MaxMetaspaceSize=64m -Xss256k" |
3. Added Unity Catalog integration
लक्षण:
अतिरिक्त helm_unity_catalog chart to provide Unity Catalog support as an optional catalog backend (similar to Hive Metastore and Nessie). Unity Catalog is disabled by default and can be enabled to provide unified governance for data and AI assets. The chart is integrated with the existing PostgreSQL database and MinIO S3 storage, with automatic JWT keypair generation for authentication.
Values added - helm_unity_catalog
| नाम | या क़िस्म | मूल्य |
|---|
ilum-unity-catalog.enabled | Enables Unity Catalog deployment | गलत |
ilum-unity-catalog.server.enabled | Enables the Unity Catalog server | सच्चा |
ilum-unity-catalog.server.db.type | Database backend type (file or postgresql) | postgresql |
ilum-unity-catalog.server.db.postgresqlConfig.host | PostgreSQL host | ilum-postgresql-hl |
ilum-unity-catalog.server.db.postgresqlConfig.port | PostgreSQL port | 5432 |
ilum-unity-catalog.server.db.postgresqlConfig.dbName | PostgreSQL database name | unitycatalog |
ilum-unity-catalog.server.db.postgresqlConfig.user | PostgreSQL username | इलम |
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretName | Secret containing PostgreSQL password | ilum-postgres-credentials |
ilum-unity-catalog.server.db.postgresqlConfig.passwordSecretKey | Key in secret for password | पासवर्ड |
ilum-unity-catalog.server.jwtKeypairSecret.create | Auto-generate JWT keypair for authentication | सच्चा |
ilum-unity-catalog.storage.modelStorageRoot | S3 path for Unity Catalog model storage | s3a://ilum-data/unity-catalog/ |
ilum-unity-catalog.storage.credentials.s3[0].bucketPath | S3 bucket path | s3://ilum-data |
ilum-unity-catalog.storage.credentials.s3[0].region | S3 region | US-East-1 (अमेरिका पूर्व -1) |
ilum-unity-catalog.storage.credentials.s3[0].credentialsSecretName | Secret containing S3 credentials | ilum-minio |
ilum-unity-catalog.storage.credentials.s3[0].accessKeySecretKey | Key name for S3 access key in secret | root-user |
ilum-unity-catalog.storage.credentials.s3[0].secretKeySecretKey | Key name for S3 secret key in secret | root-password |
ilum-unity-catalog.ui.enabled | Enables Unity Catalog UI | गलत |
Values added - helm_core
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.metastore.type | करने के लिए सेट करें unity to use Unity Catalog as metastore | छत्ता |
ilum-core.metastore.unity.address | Unity Catalog server endpoint | http://unity-catalog-ilum-unity-catalog-server:8080 |
ilum-core.metastore.unity.warehouseDir | Unity Catalog warehouse directory | s3a://ilum-data/unity-catalog/ |
ilum-core.metastore.unity.s3Endpoint | S3 endpoint for Unity Catalog | http://ilum-minio:9000/ |
ilum-core.metastore.unity.s3PathStyleAccess | Enable S3 path-style access | सच्चा |
ilum-core.metastore.unity.catalogName | Unity Catalog name in Spark | unity_catalog |
ilum-core.metastore.unity.config | Spark configuration for Unity Catalog integration | See values.yaml |
Values added - postgresExtensions
| नाम | या क़िस्म | मूल्य |
|---|
postgresExtensions.databasesToCreate | अतिरिक्त unitycatalog database for Unity Catalog metadata | ...,nessie,unitycatalog |
⚠️⚠️⚠️ Warnings
- Unity Catalog requires PostgreSQL and S3-compatible storage to be enabled
- JWT keypairs are auto-generated on first deployment and stored in Kubernetes secrets
- When using Unity Catalog, set
ilum-core.metastore.type: unity to configure Spark integration
4. Added DuckDb and DuckLake to Ilum Core
लक्षण:
Added DuckDb as an SQL executor and DuckLake as a metastore option in Ilum Core.
DuckDb is a fast and lightweight SQL engine that supports a wide range of data types and SQL features.
DuckLake is a distributed metastore for DuckDb, which provides options for multi-user access and data versioning.
Values added - ilum_core
| नाम | या क़िस्म | मूल्य |
|---|
sql.duckdb.idleTimeout | Determines the time DuckDb connections are kept alive without activity | 1h |
sql.duckdb.ducklake.enabled | Enables DuckLake | सच्चा |
sql.duckdb.ducklake.location | Location of the data in for the DuckLake | s3://ilum-ducklake/ |
sql.duckdb.ducklake.postgres.host | Host for the metastore postgres connection | `` |
sql.duckdb.ducklake.postgres.port | Port for the metastore postgres connection | 5432 |
sql.duckdb.ducklake.postgres.database | Database name for the metastore postgres connection | ducklake |
sql.duckdb.ducklake.postgres.user | Username for the metastore postgres connection | `` |
sql.duckdb.ducklake.postgres.password | Password for the metastore postgres connection | `` |
sql.duckdb.ducklake.s3.endpoint | S3 endpoint for the metastore data | `` |
sql.duckdb.ducklake.s3.region | S3 region for the metastore data | US-East-1 (अमेरिका पूर्व -1) |
sql.duckdb.ducklake.s3.keyId | S3 key id for the metastore data | `` |
sql.duckdb.ducklake.s3.secret | S3 secret for the metastore data | `` |
sql.duckdb.ducklake.s3.urlStyle | Url style to use for S3. Either पथ नहीं तो vhost | पथ |
sql.duckdb.ducklake.s3.ssl | Whether to use SSL for the S3 connection | गलत |
RELEASE 6.6.1
1. Ugraded JupyterHub experience
लक्षण:
Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins fullnameOverride, and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.
Values added - helm_aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-jupyterhub.enabled | Enables the curated Ilum JupyterHub chart | गलत |
Values added - helm_jupyterhub
| नाम | या क़िस्म | मूल्य |
|---|
fullnameOverride | Override for the full resource name | ilum-jupyterhub |
सक्षम | Chart enabled flag | गलत |
SSH configuration
| नाम | या क़िस्म | मूल्य |
|---|
ssh.enabled | Enables the bundled SSH operator, service, and shared key workflow | गलत |
ssh.keysSecret | Secret that provides the stable host and authorized keys | ilum-jupyter-ssh-keys |
ssh.mode | SSH authentication mode: गुरू (shared authorized_keys from keysSecret) or per-user (individual secrets per user) | गुरू |
ssh.perUserSecretNameTemplate | Template for per-user secret names when using per-user mode | ssh-keys-{username} |
ssh.perUserAuthorizedKeysKey | Key name in per-user secrets containing authorized_keys | authorized_keys |
ssh.service.type | Type of service fronting port 2222 | नोडपोर्ट |
ssh.service.port | Port exposed for SSH traffic | 2222 |
ssh.service.targetPort | Target port for SSH traffic | 2222 |
ssh.service.nodePort | NodePort number (empty for auto-assignment) | "" |
ssh.service.clusterIP | ClusterIP address (empty for auto-assignment) | "" |
ssh.service.loadBalancerIP | LoadBalancer IP address | "" |
ssh.service.annotations | Annotations for the SSH service | {} |
ssh.service.prefix | Prefix for SSH service resources | ilum-jupyter-ssh |
ssh.sshdConfig.customConfig | Custom sshd_config lines | [] |
ssh.operatorImage.name | SSH operator image repository | docker.ilum.cloud/ilum-jupyterhub |
ssh.operatorImage.tag | SSH operator image tag | ssh-operator-4.3.1 |
ssh.extraEnv | Extra environment variables for SSH operator | [] |
Git configuration
| नाम | या क़िस्म | मूल्य |
|---|
git.existingSecret | Credentials that allow the Git init job to seed the notebooks repository | ilum-git-credentials |
git.email | Git email for commits | ilum@ilum |
git.repository | गिट रिपॉजिटरी का नाम | बृहस्पति |
git.address | Gitea server address | एलम-गिटिया-एचटीटीपी:3000 |
git.url | Gitea endpoint URL used to seed the ilum-jupyterhub org | http://ilum-gitea-http:3000 |
git.orgName | Organization managed by the git-init job | ilum-jupyterhub |
git.operatorImage.name | Git operator image repository | docker.ilum.cloud/ilum-jupyterhub |
git.operatorImage.tag | Git operator image tag | gitea-operator-4.3.1 |
git.secret.name | Secret containing credentials referenced by the operator | ilum-git-credentials |
git.secret.usernameKey | Key for username in the secret | उपयोगकर्ता नाम |
git.secret.passwordKey | Key for password in the secret | पासवर्ड |
LDAP configuration
| नाम | या क़िस्म | मूल्य |
|---|
ldap.enabled | Keeps the LDAP authenticator wired into Ilum JupyterHub | सच्चा |
ldap.urls | LDAP server endpoints that front the Ilum directory | ["ldap://ilum-openldap:389"] |
ldap.base | Search base for Ilum users and groups | "dc=ilum,dc=cloud" |
ldap.username | Bind DN used for authentication | "cn=admin,dc=ilum,dc=cloud" |
ldap.password | Password for the bind DN | Not@SecurePassw0rd |
ldap.adminUsers | LDAP accounts with admin privileges in JupyterHub | ["ilumadmin","admin"] |
ldap.userSearchBase | Base DN where user entries live | "ou=people,dc=ilum,dc=cloud" |
ldap.userSearchFilter | Filter for user lookups | "यूआईडी = {0}" |
ldap.groupSearchBase | Base DN where group entries live | "ou=groups,dc=ilum,dc=cloud" |
ldap.groupSearchFilter | Filter that matches members | "(सदस्य = {0})" |
ldap.allowedGroups | Empty list allows all groups unless specified | [] |
ldap.userAttribute | User attribute for username | "यूआईडी" |
ldap.fullnameAttribute | Attribute for user's full name | "सीएन" |
ldap.emailAttribute | Attribute for user's email | "मेल" |
ldap.groupNameAttribute | Attribute for group name | "सीएन" |
ldap.groupMemberAttribute | Attribute for group membership | "member" |
ldap.useSsl | Use SSL for LDAP connection | गलत |
ldap.startTls | Use STARTTLS for LDAP connection | गलत |
ldap.lookupDn | Lookup DN before binding | सच्चा |
Hub configuration
| नाम | या क़िस्म | मूल्य |
|---|
hub.image.name | Hub image repository | docker.ilum.cloud/ilum-jupyterhub |
hub.image.tag | Hub image tag | jupyterhub-4.3.1 |
hub.contentSecurityPolicy.enabled | Turns the managed CSP header injection on/off | सच्चा |
hub.contentSecurityPolicy.frameAncestors | Origins allowed to embed JupyterHub in an iframe | ["'self'","http://localhost:9777"] |
hub.gitInit.enabled | Runs the job that ensures the ilum-jupyterhub organization/repo exist | सच्चा |
Singleuser runtime defaults
| नाम | या क़िस्म | मूल्य |
|---|
singleuser.startupArgs.iopubDataRateLimit | Raised output bandwidth ceiling for Ilum workloads | 1000000000 |
singleuser.startupArgs.extraArgs | Additional CLI arguments forwarded to the user server | [] |
singleuser.nodeSelector | Architecture-agnostic placement (empty by default) | {} |
singleuser.tolerations | Allows scheduling on tainted nodes when needed | [] |
Image pull credentials
| नाम | या क़िस्म | मूल्य |
|---|
imagePullSecret.create | Create the pull secret in-cluster | गलत |
imagePullSecret.automaticReferenceInjection | Auto-inject the created secret into JupyterHub workloads | सच्चा |
imagePullSecret.registry | Registry host for the pull secret | "" |
imagePullSecret.username | Registry username for the pull secret | "" |
imagePullSecret.password | Registry password for the pull secret | "" |
imagePullSecret.email | Registry email for the pull secret | "" |
imagePullSecret.name | Existing secret name to reference instead of the autogenerated pull secret | "" |
इमेजपुलसीक्रेट्स | Additional pull secrets injected into all hub-managed pods | [] |
Values changed - helm_jupyterhub
| नाम | पुराना मूल्य | नया मूल्य |
|---|
singleuser.networkPolicy.allowedIngressPorts | [] | [2222] |
Instructions
- Keep
ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
- Ensure
ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
- To refresh the curated notebooks, update
helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.
⚠️⚠️⚠️ Warnings
-
Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.
-
Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.
2. Upgraded Livy compatible API to version 0.8.0
लक्षण:
Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.
मूल्य जोड़े गए - इलम-कोर
Livy Compression Configuration
| नाम | या क़िस्म | मूल्य |
|---|
livy.compression.enabled | Enable response compression for Livy endpoints | गलत |
Livy Server Configuration
| नाम | या क़िस्म | मूल्य |
|---|
livy.server.version | Livy server version identifier | 0.8.0 |
livy.server.sendServerVersion | Send server version in response headers | गलत |
livy.server.allowCustomClasspath | Allow custom classpath in session creation | गलत |
Livy TTL Session Cleanup Configuration
| नाम | या क़िस्म | मूल्य |
|---|
livy.ttl.checkPeriod | Background sweep period in milliseconds for checking expired sessions | 300000 |
livy.ttl.checkInitialDelay | Initial delay in milliseconds before first TTL background check | 60000 |
मान जोड़े गए - ilum-aio
Same values as इलम कोर but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).
⚠️⚠️⚠️ Important Notes
For most users: ✅ No action required. All new configuration options have safe defaults and are backward compatible.
Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.
सत्र प्रबंधन: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.
3. Updated default Spark version and added autopause configuration
लक्षण:
Updated default Spark version to 3.5.7-delta में कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग.
Added spark.ilum.autopause: "true" तक कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग to set the default behavior of the autopause feature.
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
kubernetes.defaultCluster.config.spark.kubernetes.container.image | ilum/spark:3.5.6-delta | ilum/spark:3.5.7-delta |
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.defaultCluster.config.spark.ilum.autopause | Sets the default behavior of autopause feature | "सच" |
1. HTTP cookie-based access control now disabled by default
लक्षण:
Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).
What Changed?
- External services are now open by default - no cookie requirements
- All users can access services without any special configuration
- System works out-of-the-box
What This Means for You
- ✅ Your services will become more accessible
- ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
- ✅ No action required for most deployments
If you need to restrict access:
- Use the built-in OAuth2/Hydra authentication (recommended for production)
- Or manually enable cookie-based access control per service (see below)
When to Use Cookie-Based Access Control?
This is an advanced feature for specific use cases:
- ✅ Temporary access restrictions for specific users/sessions
- ✅ Custom access control integrated with your frontend application
To enable for a specific service:
nginx:
कॉन्फिग:
http_cookie:
सक्षम: सच्चा
ilum-jupyter:
सक्षम: सच्चा
Values changed - ilum-ui
| नाम | पुराना मूल्य | नया मूल्य |
|---|
nginx.config.http_cookie.enabled | सच्चा | गलत |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
ilum-ui.nginx.config.http_cookie.enabled | सच्चा | गलत |
⚠️⚠️⚠️ Important Notes
For most users: ✅ No action required. This change makes services more accessible.
If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.
RELEASE 6.6.0
1. Upgraded Apache Airflow to 3.1.1
लक्षण:
Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
airflow.airflowVersion | 3.0.5 | 3.1.1 |
airflow.images.airflow.tag | 3.0.5 | 3.1.1 |
airflow.apiServer.extraInitContainers[0].image | ilum/airflow:3.0.5 | ilum/airflow:3.1.1 |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
airflow.migrateDatabaseJob.useHelmHooks | Disable Helm hooks for database migration job | गलत |
airflow.apiServer.extraInitContainers[0] | Modified create admin user init container | See below |
airflow.apiServer.apiServerConfigConfigMapName | Custom webserver_config.py configmap | ilum-api-server-config |
Init Container Volume Mount Configuration
- नाम: create-शासन-उपभोक्ता
प्रतिबिंब: ilum/airflow:3.1.1
command: ["/bin/bash", "/scripts/init.sh"]
वॉल्यूममाउंट्स:
- नाम: इलम-airflow-create-उपभोक्ता-रहस्य
माउंटपाथ: /scripts
- नाम: कॉन्फिग
माउंटपाथ: /opt/airflow/airflow.cfg
उपपथ: airflow.cfg
- नाम: औथ-रहस्य-volume
माउंटपाथ: /opt/airflow/client-रहस्य
readOnly: सच्चा
- नाम: webserver-कॉन्फिग-volume
माउंटपाथ: /opt/airflow/webserver_config.py
उपपथ: webserver_config.py
readOnly: सच्चा
⚠️⚠️⚠️ Warnings
Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config.
But the name of this configMap must follow pattern <release-name>-api-server-config to be properly mounted as it is Airflow's chart requirement.
So if your release name is different from इलम, please change this value accordingly. For example use:
airflow:
apiServer:
apiServerConfigConfigMapName: < आपका-release-नाम>-एपीआई-सर्वर-कॉन्फिग
extraVolumes:
- नाम: औथ-रहस्य-volume
रहस्य:
गुप्त नाम: इलम-हाइड्रा-ग्राहक-रहस्य
- नाम: इलम-airflow-create-उपभोक्ता-रहस्य
रहस्य:
गुप्त नाम: इलम-airflow-create-उपभोक्ता-रहस्य
- नाम: webserver-कॉन्फिग-volume
कॉन्फ़िग मैप:
नाम: < आपका-release-नाम>-एपीआई-सर्वर-कॉन्फिग
2. Enhanced Jupyter startup configuration
लक्षण:
Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.
मूल्य जोड़े गए - इलम-ज्यूपिटर
Startup and environment configuration
| नाम | या क़िस्म | मूल्य |
|---|
token | Jupyter notebook authentication token | "" |
startupArgs.baseUrl | Jupyter base URL path for reverse proxy configurations | /external/jupyter/ |
startupArgs.iopubDataRateLimit | IOPub data rate limit in bytes/sec (controls output bandwidth) | 1000000000 |
startupArgs.extraArgs | Additional command-line arguments to pass to Jupyter server | [] |
extraEnv | Additional environment variables for Jupyter container as string template | "" |
⚠️⚠️⚠️ Warnings
- All startup arguments configured via
startupArgs.* can be completely overridden by setting the आर्ग्स parameter in values.yaml. When आर्ग्स is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
- वही
extraEnv parameter accepts a string template (multiline YAML using |). Example usage:
extraEnv: |
- name: MY_VAR
value: value
3. Added Apache NiFi module
लक्षण:
Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
nifi.enabled | Flag to enable NiFi deployment in ilum-aio | गलत |
nifi.fullnameOverride | Full name override for NiFi | ilum-nifi |
nifi.image.tag | Tag of the source NiFi image | 2.5.0 |
nifi.properties.safetyValve | Additional properties passed to nifi.properties | देखना मान.yaml |
nifi.persistence.enabled | Enables PVC for the data directory | सच्चा |
nifi.persistence.subpath.enabled | Enabled one PVC instead of many | सच्चा |
nifi.persistence.subpath.size | Size of the data directory | 10Gi |
nifi.zookeeper.enabled | Enables bundled Zookeeper deployment | गलत |
nifi.registry.enabled | Enables bundled NiFi registry deployment | गलत |
nifi.ca.enabled | Enables bundled CA deployment | गलत |
nifi.openldap.enabled | Enables bundled openLDAP deployment | गलत |
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.nifiUrl | URL of the NiFi instance | http://ilum-nifi:8443/nifi/ |
runtimeVars.nifiPath | Proxy path of NiFi | /external/nifi/ |
nginx.config.nifi.enabled | Enable proxy for NiFi | गलत |
nginx.config.http_cookie.nifi.enabled | Enables cookie mapping for NiFi | सच्चा |
लक्षण:
Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
metastore.type | Indicates the default metastore | छत्ता |
metastore.nessie.address | The address of the default Nessie metastore | http://ilum-nessie:19120/api/v2 |
metastore.nessie.warehouseDir | The location of the warehouse of the default Nessie metastore | s3a://ilum-data/nessie_catalog |
metastore.nessie.s3Endpoint | The S3 API endpoint to use for the default Nessie metastore | http://ilum-minio:9000 |
metastore.nessie.s3PathStyleAccess | Whether to use path style access for the S3 Nessie connection | सच्चा |
metastore.nessie.authType | Auth type of the default Nessie metastore | NONE |
metastore.nessie.ref | The branch to use for the default Nessie metastore | मुख्य |
metastore.nessie.cacheEnabled | Enables caching in the default Nessie metastore | गलत |
metastore.nessie.catalog_name | The name of the catalog for the default Nessie metastore | nessie_catalog |
metastore.nessie.config | Additional config to add for the Spark job | देखना मान.yaml |
metastore.nessie.statusProbe | Status probe for the Nessie metastore, so Ilum-core does not launch too quickly | देखना मान.yaml |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
nessie.enabled | Enables or disables bundled Nessie deployment | गलत |
nessie.fullnameOverride | Full name override for Nessie | ilum-nessie |
nessie.versionStoreType | Type of persistent metadata storage | JDBC2 |
nessie.extraInitContainers | Adds init containers to Nessie (waiting for database) | देखना मान.yaml |
nessie.jdbc.jdbcUrl | Url for DB connection | jdbc:postgresql://ilum-postgresql-hl:5432/nessie |
nessie.jdbc.secret.name | Secret containing DB credentials | ilum-postgres-credentals |
nessie.jdbc.secret.username | Key of username in the secret | उपयोगकर्ता नाम |
nessie.jdbc.secret.password | Key of password in the secret | पासवर्ड |
नाम बदले गए - इलम-कोर
| पुराना नाम | नया नाम |
|---|
हाइवमेटास्टोर.सक्षम | metastore.enabled |
hiveMetastore.* | metastore.hive.* |
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग | देखना मान.yaml | देखना मान.yaml |
⚠️⚠️⚠️ Warnings
This is an important change that will need to be addressed if any custom changes to the default configuration were made.
Please carefully review the changes and make sure they will not break your deployment.
5. Livy API now fully served by ilum-core (embedded)
लक्षण:
Livy API is implemented and served directly by इलम कोर (embedded).
The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.livy.enabled | Enables embedded Livy integration in AIO via इलम कोर | सच्चा |
ilum-core.livy.ilumUI.publicEndpoint | Public endpoint of ilum-ui used for Livy links/integration | http://localhost:9777 |
ilum-livy-proxy.legacy.enabled | Turns on the legacy Livy proxy resources (ConfigMap/Deployment/etc.) | गलत |
⚠️⚠️⚠️ Warnings
- वही compat Service (
ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
- वही legacy proxy is also deprecated and will be removed after the transition period.
- Mode matrix (AIO):
ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call इलम कोर directly.
ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new इलम कोर Livy API.
ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
- When legacy is enabled, update client endpoints to use the legacy Service:
ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
- Airflow connection:
AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
- Some resources (e.g., ConfigMap/Ingress) are rendered based on
ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled).
6. Added cronjob cleaning after uninstalling
लक्षण:
A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
cronjob.cleanup.enabled | Enable cronjob cleanup after uninstalling the chart | सच्चा |
cronjob.cleanup.image | Image used for the cleanup job | alpine/kubectl:1.34.1 |
RELEASE 6.5.2
1. SSH mode implementation for helm_jupyter
लक्षण:
SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.
Values added - helm_jupyter
SSH access configuration
| नाम | या क़िस्म | मूल्य |
|---|
ssh.enabled | Enable SSH access in the Jupyter container | सच्चा |
ssh.keysSecret | Name of the secret containing SSH keys | ilum-jupyter-ssh-keys |
ssh.service.type | SSH service type | नोडपोर्ट |
ssh.service.port | SSH service port | 2222 |
ssh.service.nodePort | SSH service node port (when service type is NodePort) | "" |
ssh.service.clusterIP | SSH service cluster IP | "" |
ssh.service.loadBalancerIP | SSH service load balancer IP | "" |
ssh.service.annotations | SSH service annotations | {} |
ssh.sshdConfig.customConfig | Custom SSH server configuration | [] |
⚠️⚠️⚠️ Warnings
- SSH server runs directly in the main Jupyter container on port 2222 internally
- SSH keys must be provided via a Kubernetes Secret referenced by
ssh.keysSecret parameter
- The secret should contain both SSH host keys and authorized_keys for authentication
- SSH access provides direct access to the
/home/jovyan/work directory (same as web interface)
- Custom SSH server configuration can be provided via
ssh.sshdConfig.customConfig array
2. Address Bitnami’s move to bitnamilegacy + bitnamisecure
लक्षण:
Bitnami has moved to bitnamilegacy + bitnamisecure for their images after the 18th of August 2025.
This change moves used images to the new repositories.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
global.security.allowInsecureImages | Allows images from outside of bitnami repository in Bitnami's charts | सच्चा |
kafka.image.repository | Repository for Kafka's image | bitnamilegacy/kafka |
minio.image.repository | Repository for Minio's image | bitnamilegacy/minio |
mlflow.image.repository | Repository for MlFlow's image | bitnamilegacy/mlflow |
postgresql.image.repository | Repository for Postgresql's image | bitnamilegacy/postgresql |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
airflowExtensions.git.image | बिटनामी/गिट:2.48.1 | bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546 |
पोस्टग्रेसएक्सटेंशन.इमेज | बिटनामी/पोस्टग्रेएसक्यूएल:16 | bitnamilegacy/postgresql:16 |
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
काफ्का.स्टेटसप्रोब.इमेज | बिटनामी/काफ्का:3.4.1 | bitnamilegacy/kafka:3.4.1 |
| नाम | पुराना मूल्य | नया मूल्य |
|---|
postgresql.image | बिटनामी/पोस्टग्रेएसक्यूएल:16 | bitnamilegacy/postgresql:16 |
Values changed - ilum-jupyter
| नाम | पुराना मूल्य | नया मूल्य |
|---|
git.init.image | बिटनामी/गिट:2.48.1 | bitnamisecure/git@sha256:72ae5bd9715fc81446becc0418011883479c593bac427911aa62ecf27ef96546 |
Values changed - ilum-marquez
| नाम | पुराना मूल्य | नया मूल्य |
|---|
marquez.db.image | बिटनामी/पोस्टग्रेएसक्यूएल:16 | bitnamilegacy/postgresql:16 |
1. Updated Airflow defaults in ilum-aio
लक्षण:
Bumped Airflow to 3.0.5 and streamlined default connection/env configuration.
Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
airflow.enableBuiltInSecretEnvVars.AIRFLOW__CORE__FERNET_KEY | Enable default fernet key generation | गलत |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
airflow.extraEnv | देखना मान.yaml | देखना मान.yaml |
airflow.airflowVersion | 3.0.3 | 3.0.5 |
airflow.images.airflow.tag | 3.0.3 | 3.0.5 |
airflow.apiServer.extraInitContainers[0].image | ilum/airflow:3.0.3 | ilum/airflow:3.0.5 |
Values deleted - ilum-aio
| नाम | कारण |
|---|
airflow.scheduler.args | Revert to chart default scheduler command as we manage connections via env variables now |
airflow.cleanup.enabled | Use executor's instant cleanup |
airflow.config.kubernetes_executor.delete_worker_pods | Use chart defaults |
airflow.config.kubernetes_executor.delete_worker_pods_on_failure | Use chart defaults |
⚠️⚠️⚠️ Warnings
As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default.
To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.
3. Added configurable HTTP cookie mappings in ilum-ui
लक्षण:
Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.
मान जोड़े गए - ilum-ui
HTTP cookie mapping configuration
| नाम | या क़िस्म | मूल्य |
|---|
nginx.config.http_cookie.enabled | Global flag to enable HTTP cookie mappings | सच्चा |
nginx.config.http_cookie.historyServer.enabled | Enable cookie mapping for history server access | सच्चा |
nginx.config.http_cookie.mlflow.enabled | Enable cookie mapping for MLflow access | सच्चा |
nginx.config.http_cookie.ilum-jupyter.enabled | Enable cookie mapping for Jupyter notebook access | सच्चा |
nginx.config.http_cookie.gitea.enabled | Enable cookie mapping for Gitea access | सच्चा |
nginx.config.http_cookie.n8n.enabled | Enable cookie mapping for n8n access | सच्चा |
nginx.config.http_cookie.minio.enabled | Enable cookie mapping for MinIO access | सच्चा |
nginx.config.http_cookie.airflow.enabled | Enable cookie mapping for Airflow access | सच्चा |
nginx.config.http_cookie.superset.enabled | Enable cookie mapping for Superset access | सच्चा |
nginx.config.http_cookie.grafana.enabled | Enable cookie mapping for Grafana access | सच्चा |
nginx.config.http_cookie.kestra.enabled | Enable cookie mapping for Kestra access | सच्चा |
nginx.config.http_cookie.mageai.enabled | Enable cookie mapping for Mage AI access | सच्चा |
4. PostgreSQL Max Connections Configuration
लक्षण:
Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.
मान जोड़े गए - ilum-aio
PostgreSQL configuration
| नाम | या क़िस्म | मूल्य |
|---|
postgresql.primary.extendedConfiguration | Extended PostgreSQL configuration to set max_connections parameter | max_connections = 1000 |
RELEASE 6.4.3
1. Added Mage to ilum-aio
लक्षण:
Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
mageai.enabled | Flag to enable Mage OSS deployment in ilum-aio | गलत |
mageai.fullnameOverride | Overrides the full name of the Mage deployment | ilum-mageai |
mageai.image.repository | Repository of the source Mage image | ilum/mageai |
mageai.image.tag | Tag of the source Mage image | 0.9.76 |
mageai.rootPath | The root path for the Mage web server | external/mageai |
mageai.service.type | Type of Mage's kubernetes service | क्लस्टरआईपी |
mageai.redis.enabled | Enables Redis for the Mage deployment | गलत |
mageai.postgresql.enabled | Enables external Postgres for Mage | सच्चा |
mageai.postgresql.deploy | Deploys external Postgres for Mage | गलत |
mageai.postgresql.fullnameOverride | The name of the Postgres service | ilum-postgresql-hl |
mageai.postgresql.auth.username | Username of the Postgres user | इलम |
mageai.postgresql.auth.password | Password of the Postgres user | चेंजमीकृपया |
mageai.postgresql.auth.database | The database Mage should use | mageai |
mageai.persistence.enabled | Enables PVC for the main data directory | सच्चा |
2. Updated Airflow’s chart and values to support Airflow 3.0
लक्षण:
Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
airflow.airflowVersion | Sets chart compatibility for given Airflow version | 3.0.3 |
airflow.apiServer.* | apiServer replaces webserver settings | देखना मान.yaml |
airflow.config.core.auth_manager | Class of auth manager used in Airflow | airflow.providers.fab.auth_manager.fab_auth_manager.FabAuthManager |
airflow.config.api.base_url | The base path of the Airflow web app | http://localhost:9777/external/airflow |
airflow.config.api.enable_xcom_deserialize_support | Enables XCom deserialization in Airflow API | सच्चा |
airflow.config.logging.colored_console_log | Enables colored console log in Airflow | सच्चा |
airflow.config.kubernetes_executor.delete_worker_pods | Enables instant deletion of worker pods | False |
airflow.config.kubernetes_executor.delete_worker_pods_on_failure | Enables instant deletion of failed worker pods | False |
airflow.cleanup.enabled | Enables periodic deletion of worker pods | सच्चा |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
airflow.images.airflow.tag | 2.9.3 | 3.0.3 |
airflow.executor | LocalKubernetesExecutor | KubernetesExecutor |
airflow.extraEnv | देखना मान.yaml | देखना मान.yaml |
airflow.webserver.extraInitContainers | देखना मान.yaml | देखना मान.yaml |
Values deleted - ilum-aio
| नाम | कारण |
|---|
airflow.migrateDatabaseJob.useHelmHooks | Revert to chart default |
Values changed - ilum-ui
| नाम | पुराना मूल्य | नया मूल्य |
|---|
रनटाइमVars.airflowUrl | http://ilum-airflow-webserver:8080 | http://ilum-airflow-api-server:8080 |
⚠️⚠️⚠️ Warnings
Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment.
Please review the new values and adjust your configuration accordingly.
If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration,
as Helm is likely to not be able to automatically migrate the values.
3. Added securityContext configuration for ilum charts
लक्षण:
Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
securityContext.pod.runAsNonRoot | Run container as non-root user | सच्चा |
securityContext.pod.runAsUser | User ID to run the container | 1001 |
securityContext.pod.runAsGroup | Group ID to run the container | 1001 |
securityContext.pod.fsGroup | File system group ID | 1001 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | गलत |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | गलत |
securityContext.container.runAsNonRoot | Run container as non-root user | सच्चा |
securityContext.container.runAsUser | User ID to run the container | 1001 |
securityContext.container.runAsGroup | Group ID to run the container | 1001 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
securityContext.pod.runAsNonRoot | Run pod as non-root user | सच्चा |
securityContext.pod.runAsUser | User ID to run the pod | 101 |
securityContext.pod.runAsGroup | Group ID to run the pod | 101 |
securityContext.pod.fsGroup | File system group ID | 101 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | गलत |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | गलत |
securityContext.container.runAsNonRoot | Run container as non-root user | सच्चा |
securityContext.container.runAsUser | User ID to run the container | 101 |
securityContext.container.runAsGroup | Group ID to run the container | 101 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
मूल्य जोड़े गए - इलम-ज्यूपिटर
| नाम | या क़िस्म | मूल्य |
|---|
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | गलत |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | गलत |
securityContext.container.runAsNonRoot | Run container as non-root user | सच्चा |
securityContext.container.runAsUser | User ID to run the container | 1000 |
securityContext.container.runAsGroup | Group ID to run the container | 100 |
securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.initContainer.allowPrivilegeEscalation | Allow privilege escalation for init container | गलत |
securityContext.initContainer.readOnlyRootFilesystem | Read-only root filesystem for init container | गलत |
securityContext.initContainer.runAsNonRoot | Run init container as non-root user | गलत |
securityContext.initContainer.runAsUser | User ID to run the init container | 0 |
securityContext.initContainer.runAsGroup | Group ID to run the init container | 0 |
securityContext.initContainer.capabilities.drop | Capabilities to drop for init container | ["ALL"] |
securityContext.initContainer.seccompProfile.type | Seccomp profile type for init container | Unconfined |
मान जोड़े गए - ilum-livy-proxy
| नाम | या क़िस्म | मूल्य |
|---|
securityContext.pod.runAsNonRoot | Run pod as non-root user | सच्चा |
securityContext.pod.runAsUser | User ID to run the pod | 1001 |
securityContext.pod.runAsGroup | Group ID to run the pod | 1001 |
securityContext.pod.fsGroup | File system group ID | 1001 |
securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | गलत |
securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | गलत |
securityContext.container.runAsNonRoot | Run container as non-root user | सच्चा |
securityContext.container.runAsUser | User ID to run the container | 1001 |
securityContext.container.runAsGroup | Group ID to run the container | 1001 |
securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
मान जोड़े गए - ilum-aio
Added securityContext configuration for postgresExtensions
| नाम | या क़िस्म | मूल्य |
|---|
postgresExtensions.securityContext.pod.runAsNonRoot | Run pod as non-root user | सच्चा |
postgresExtensions.securityContext.pod.runAsUser | User ID to run the pod | 999 |
postgresExtensions.securityContext.pod.runAsGroup | Group ID to run the pod | 999 |
postgresExtensions.securityContext.pod.fsGroup | File system group ID | 999 |
postgresExtensions.securityContext.pod.seccompProfile.type | Seccomp profile type | Unconfined |
postgresExtensions.securityContext.container.allowPrivilegeEscalation | Allow privilege escalation | गलत |
postgresExtensions.securityContext.container.readOnlyRootFilesystem | Read-only root filesystem | गलत |
postgresExtensions.securityContext.container.runAsNonRoot | Run container as non-root user | सच्चा |
postgresExtensions.securityContext.container.runAsUser | User ID to run the container | 999 |
postgresExtensions.securityContext.container.runAsGroup | Group ID to run the container | 999 |
postgresExtensions.securityContext.container.capabilities.drop | Capabilities to drop | ["ALL"] |
postgresExtensions.securityContext.container.seccompProfile.type | Seccomp profile type | Unconfined |
RELEASE 6.4.2
1. changed openldap chart provider to jp-gouin's
लक्षण:
Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS.
Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
security.ldap.userMapping.enabled | एसएन | employeeType |
security.ldap.userMapping.enabledValue | ~ | active |
security.ldap.password | शासन | Not@SecurePassw0rd |
मान जोड़े गए - ilum-aio
Added new values for openldap configuration
| नाम | या क़िस्म | मूल्य |
|---|
global.ldapDomain | Domain of the LDAP configuration | ilum.cloud |
openldap.replicaCount | Replica count of openLDAP | 1 |
openldap.replication.enabled | Enable HA for openLDAP | गलत |
openldap.ltb-passwd.enabled | Enable ltb-passwd service | गलत |
openldap.phpldapadmin.enabled | Enable PhpLdapAdmin | गलत |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
openldap.env.LDAP_BACKEND | hdb | mdb |
openldap.customLdifFiles | see मान.yaml | see मान.yaml |
Values deleted - ilum-aio
| नाम | कारण |
|---|
openldap.env.LDAP_ORGANISATION | Managed by the chart |
openldap.env.LDAP_DOMAIN | Managed by the chart |
openldap.env.LDAP_TLS | Managed by the chart |
openldap.env.LDAP_TLS_ENFORCE | Managed by the chart |
RELEASE 6.4.1
1. Adapt hydra to https
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
global.security.hydra.uiDomain | Domain where ilum-ui can be accessed from browser | `` |
global.security.hydra.uiProtocol | Protocol used to access ilum-ui: एचटीटीपी नहीं तो एचटीटीपीएस | एचटीटीपी |
Values deleted - ilum-aio
| नाम | कारण |
|---|
वैश्विक.सुरक्षा.hydra.uiUrl | के साथ बदल दिया uiDomain और uiProtocol |
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
hydra.cookies.same_site_mode | SameSite value for hydra cookies in set-cookie header | Lax |
2. Added openldap to helm chart and ilum-to-ldap synchronization
मान जोड़े गए - ilum-aio
Added openldap configuration values
| नाम | या क़िस्म | मूल्य |
|---|
openldap.enabled | Flag used to enable openldap | गलत |
openldap.adminPassword | Password of admin ldap user | शासन |
openldap.fullnameOverride | Name of Openldap helm chart resources | ilum-openldap |
openldap.persistence.enabled | Flag to enable persistence by openldap | सच्चा |
openldap.persistence.size | Memory used by openldap for storage | 1Gi |
openldap.env.LDAP_ORGANIZATION | Organization name of main ldap domain | इलम |
openldap.env.LDAP_DOMAIN | Main domain used in ldap by admin | ilum.cloud |
openldap.env.LDAP_BACKEND | Type of ldap backend | hdb |
openldap.env.LDAP_TLS | Flag used to enable TLS in ldap | गलत |
openldap.env.LDAP_TLS_ENFORCE | Flag used to enforce TLS in ldap | गलत |
openldap.env.LDAP_REMOVE_CONFIG_AFTER_SETUP | Flag used to update config | सच्चा |
openldap.customLdifFiles.schemas.ldif | File with custom schem applied at the startup | <initial-schema.ldif> |
मूल्य जोड़े गए - इलम-कोर
Added configurations for synchronization of ldap with ilum
| नाम | या क़िस्म | मूल्य |
|---|
security.ldap.ilumToLdapSync | Flag used to enable ilum to ldap sync | गलत |
security.ldap.userMapping.oc | OC values used during insertion of ilum users into ldap | <default-oc-list> |
security.ldap.groupMapping.oc | OC values used during insertion of ilum groups into ldap | <default-oc-list> |
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
security.ldap.urls | [] | [ "ldap://ilum-openldap:389" ] |
security.ldap.base | "" | dc=ilum,dc=cloud |
security.ldap.username | "" | cn=admin,dc=ilum,dc=cloud |
security.ldap.password | "" | शासन |
security.ldap.adminUsers | [ "admin" ] | [ "admin", "ilumadmin" ] |
security.ldap.userMapping.base | "" | ou=लोग |
security.ldap.userMapping.fullname | "" | सीएन |
security.ldap.userMapping.description | "" | या क़िस्म |
security.ldap.userMapping.email | "" | डाक |
security.ldap.userMapping.enabled | "" | एसएन |
security.ldap.userMapping.base | "" | ou=groups |
security.ldap.userMapping.description | "" | या क़िस्म |
3. Restricted RBAC Mode for ilum-core service
लक्षण:
Introduced a new rbac.restricted.enabled flag in the इलम कोर chart. When set to सच्चा, this option applies a more restrictive set of RBAC permissions for the service account.
This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.
मूल्य जोड़े गए - इलम-कोर
Added a flag to enable a more restrictive RBAC configuration.
| नाम | या क़िस्म | मूल्य |
|---|
rbac.restricted.enabled | If true, applies a more restrictive, non-cluster-wide set of RBAC permissions for Spark applications. | गलत |
4. Added सक्षम flag to Trino in ilum-sql
लक्षण:
अतिरिक्त सक्षम flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it.
This also will help ilum-ui with the configuration of Trino.
Values added - ilum-sql
| नाम | या क़िस्म | मूल्य |
|---|
config.trino.enabled | Flag to enable Trino in ilum-sql | गलत |
⚠️⚠️⚠️ Warnings
Trino was enabled by default, so if you wish to enable it after the version upgrade,
you need to set ilum-sql.config.trino.enabled तक सच्चा अपने पतवार मूल्यों में।
RELEASE 6.4.0
1. Addition of OAuth Provider and its integration with Services
लक्षण:
Added Hydra deployment to helm chart and fields to configure it
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
वैश्विक.सुरक्षा.हाइड्रा.सक्षम | Flag to enable hydra | गलत |
वैश्विक.सुरक्षा.hydra.uiUrl | Ilum UI url required to configure OpenID connect | `` |
global.security.hydra.clientId | Client Id of OpenID client created in hydra | इलम ग्राहक |
global.security.hydra.cliendSecret | Client Secret of OpenId Client created in hydra | रहस्य |
hydra.dsn | DSN for database used by hydra | postgres://ilum:CHANGEMEPLEASE@ilum-postgresql:5432/hydra?sslmode=disable |
hydra.secretsSystem | Secret used by hydra to securily store data | चेंजमीकृपया |
hydra.recreateClient | Boolean flag for OpenId client recreation during hydra startup | सच्चा |
hydra.resources.requests | Memory and CPU limits and requests used by hydra deployment | शून्य |
hydra.imagePullPolicy | Hydra container image pull policy | अगरउपस्थित नहीं |
hydra.service.domain | Domain used by hydra service | ilum-hydra |
hydra.service.publicPort | Port that exposes public api of hydra | 4444 |
hydra.service.adminPort | Port that exposes admin api of hydra | 4445 |
hydra.service.type | Hydra service type | क्लस्टरआईपी |
hydra.service.publicNodePort | Hydra service node port assigned to public port | `` |
hydra.service.publicNodePort | Hydra service node port assigned to admin port | `` |
hydra.service.clusterIP | Hydra service cluster IP | `` |
hydra.service.loadBalancerIP | Hydra service load balancer IP | `` |
hydra.service.annotations | Annotations used by hydra service | {} |
hydra.separateDeployment | Flag to launch hydra in a separate deployment or in ilum-core | सच्चा |
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.hydraUrl | Url of Hydra Public API | http://ilum-hydra:4444 |
runtimeVars.hydraPath | ilum-ui proxy-path to hydra public api | /external/hydra |
लक्षण
Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
hydra.rewriteMapping | Boolean flag for recreation of ilum-to-services roles config after ilum-core restart | सच्चा |
hydra.mapping.minioMinAccessRole | Default role assigned to ilum users with access to minio | केवलपन |
hydra.mapping.airflowMinAccessRole | Default role assigned to ilum users with access to airflow | Viewer |
hydra.mapping.supersetMinAccessRole | Default role assigned to ilum users with access to superset | Gamma |
hydra.mapping.grafanaMinAccessRole | Default role assigned to ilum users with access to grafana | Viewer |
hydra.mapping.giteaMinAccessRole | Default role assigned to ilum users with access to gitea | `` |
hydra.mapping.groupsToMinio | Map of ilum groups to a list of minio policies | शून्य |
hydra.mapping.groupsToSuperset | Map of ilum groups to a list of superset roles | शून्य |
hydra.mapping.groupsToAirflow | Map of ilum groups to a list of airflow roles | शून्य |
hydra.mapping.groupsToGrafana | Map of ilum groups to a list of grafana roles | शून्य |
hydra.mapping.groupsToGitea | Map of ilum groups to a list of gitea roles | शून्य |
hydra.mapping.groupsToMinio[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToMinio[*].serviceObjs | List of minio policies that the ilum group is mapped to | `` |
hydra.mapping.groupsToSuperset[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToSuperset[*].serviceObjs | List of superset roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToAirflow[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToAirflow[*].serviceObjs | List of airflow roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToGrafana[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToGrafana[*].serviceObjs | List of grafana roles that the ilum group is mapped to | `` |
hydra.mapping.groupsToGitea[*].ilumObj | Name of ilum group to be mapped | `` |
hydra.mapping.groupsToGitea[*].serviceObjs | List of gitea roles that the ilum group is mapped to | `` |
hydra.mapping.rolesToGitea | Map of ilum roles to a list of gitea roles | शून्य |
hydra.mapping.rolesToMinio[0].ilumObj | Name of ilum role to be mapped | शासन |
hydra.mapping.rolesToMinio[0].serviceObjs | List of minio policies that the ilum role is mapped to | [ consoleAdmin ] |
hydra.mapping.rolesToMinio[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToMinio[1].serviceObjs | List of minio policies that the ilum role is mapped to | [ readonly, writeonly, diagnostics ] |
hydra.mapping.rolesToSuperset[0].ilumObj | Name of ilum role to be mapped | शासन |
hydra.mapping.rolesToSuperset[0].serviceObjs | List of superset roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToSuperset[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToSuperset[1].serviceObjs | List of superset roles that the ilum role is mapped to | [ Alpha ] |
hydra.mapping.rolesToAirflow[0].ilumObj | Name of ilum role to be mapped | शासन |
hydra.mapping.rolesToAirflow[0].serviceObjs | List of airflow roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToAirflow[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToAirflow[1].serviceObjs | List of airflow roles that the ilum role is mapped to | [ User ] |
hydra.mapping.rolesToGrafana[0].ilumObj | Name of ilum role to be mapped | शासन |
hydra.mapping.rolesToGrafana[0].serviceObjs | List of grafana roles that the ilum role is mapped to | [ Admin ] |
hydra.mapping.rolesToGrafana[1].ilumObj | Name of ilum role to be mapped | DATA_ENGINEER |
hydra.mapping.rolesToGrafana[1].serviceObjs | List of grafana roles that the ilum role is mapped to | [ Editor ] |
hydra.mapping.rolesToMinio[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToMinio[*].serviceObjs | List of minio policies that the ilum role is mapped to | `` |
hydra.mapping.rolesToSuperset[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToSuperset[*].serviceObjs | List of superset roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToAirflow[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToAirflow[*].serviceObjs | List of airflow roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToGrafana[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToGrafana[*].serviceObjs | List of grafana roles that the ilum role is mapped to | `` |
hydra.mapping.rolesToGitea[*].ilumObj | Name of ilum role to be mapped | `` |
hydra.mapping.rolesToGitea[*].serviceObjs | List of gitea roles that the ilum role is mapped to | `` |
लक्षण
Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra
Values added - minio
| minio.extraEnvVars | | |
| नाम | पुराना मूल्य | नया मूल्य |
|---|
minio.extraEnvVars | ... | ... |
लक्षण
Integrated airflow with Hydra OIDC in values.yaml
Values added - airflow
| नाम | या क़िस्म | मूल्य |
|---|
airflow.webserver.extraVolumes[0].name | Name of additional airflow volume with oidc config | oauth-secret-volume |
airflow.webserver.extraVolumes[0].secret.secretName | Airflow secret with hydra oidc client config | ilum-hydra-client-secret |
airflow.webserver.extraVolumeMounts[0].name | Name of volume-mount of secret with oidc config | oauth-secret-volume |
airflow.webserver.extraVolumeMounts[0].mountPath | Path for volume-mount of secret with oidc config | /opt/airflow/client-secret |
airflow.webserver.extraVolumeMounts[0].readOnly | readonly flag of volume mount with oidc config | सच्चा |
लक्षण
Integrated grafana with Hydra OIDC in values.yaml
Values added - grafana
| नाम | या क़िस्म | मूल्य |
|---|
grafana.grafana.ini.auth.generic_oauth.enabled | Flag to enable oauth in grafana, taken from वैश्विक.सुरक्षा.हाइड्रा.सक्षम by default | गलत |
grafana.grafana.ini.auth.generic_oauth.name | Name of oauth client | इलम |
grafana.grafana.ini.auth.generic_oauth.allow_sign_up | Flag to enable user creation when signing in with oauth | सच्चा |
grafana.grafana.ini.auth.generic_oauth.client_id | Id of oauth client, taken from global.security.hydra.clientId by default | इलम ग्राहक |
grafana.grafana.ini.auth.generic_oauth.client_secret | Secret of oauth client, taken from global.security.hydra.clientSecret by default | रहस्य |
grafana.grafana.ini.auth.generic_oauth.scopes | Scopes requested from oauth | openid profile email offline_access |
grafana.grafana.ini.auth.generic_oauth.auth_url | Url used to initiate oauth authentication, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default | /external/hydra/oauth2/auth |
grafana.grafana.ini.auth.generic_oauth.token_url | Url used for tokens exchange in oauth workflow, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default | /external/hydra/oauth2/token |
grafana.grafana.ini.auth.generic_oauth.api_url | Url used to access user info, uses वैश्विक.सुरक्षा.hydra.uiUrl as base by default | /external/hydra/userinfo |
grafana.grafana.ini.auth.generic_oauth.login_attribute_path | Id token claim used to distinguish different users | userId |
grafana.grafana.ini.auth.generic_oauth.email_attribute_name | Id token claim with email | ईमेल |
grafana.grafana.ini.auth.generic_oauth.role_attribute_path | Expression used to map roles from id_token to grafana | ... |
grafana.grafana.ini.auth.generic_oauth.role_attribute_strict | Flag to require the role during sign up | सच्चा |
लक्षण
Integrated superset with Hydra OIDC in values.yaml
Values added - superset
| नाम | या क़िस्म | मूल्य |
|---|
superset.configOverrides.ilum_oauth_security | Code added to superset config in order to enable oidc | ... |
superset.extraVolumes[0].name | Name of extra volume with a secret for oidc connection | oauth-secret-volume |
superset.extraVolumes[0].secret.secretName | Name of secret used in extra volume for oidc connection | ilum-hydra-client-secret |
superset.extraVolumes[1].name | Name of extra volume with superset plugin used to enable oidc | oauth-plugin-volume |
superset.extraVolumes[1].secret.secretName | Secret with superset plugin used to enable oidc | ilum-superset-oidc-plugin-secret |
superset.extraVolumeMounts[0].name | Name of volume mount with oidc secret data | oauth-secret-volume |
superset.extraVolumeMounts[0].mountPath | Path of volume mount with oidc secret data | /app/pythonpath/oauth |
superset.extraVolumeMounts[1].name | Name of volume mount with a superset plugin as a python file | oauth-plugin-volume |
superset.extraVolumeMounts[1].mountPath | Path of volume mound with a superset plugin | /app/pythonpath/security |
2. Addition of examples for ilum-core and superset
लक्षण:
Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
examples.job | Enables creating single job example | सच्चा |
examples.schedule | Enables creating schedule example | सच्चा |
examples.sqlNotebook | Enables creating sql notebook example | सच्चा |
examples.sqlQuery | Enables creating sql query example | सच्चा |
examples.database | Enables creating database example | सच्चा |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.examples.job | Enables creating single job example | सच्चा |
ilum-core.examples.schedule | Enables creating schedule example | सच्चा |
ilum-core.examples.sqlNotebook | Enables creating sql notebook example | सच्चा |
ilum-core.examples.sqlQuery | Enables creating sql query example | सच्चा |
ilum-core.examples.database | Enables creating database example | सच्चा |
superset.extraEnv.IMPORT_DASHBOARD | Enables creating superset dashboard example | सच्चा |
superset.extraVolumes[2].name | Volume name for dashboard import | example-dashboard |
superset.extraVolumes[2].configMap.name | ConfigMap that contains base64-encoded dashboard | ilum-superset-example-dashboard |
superset.extraVolumeMounts[2].name | Mount name for example dashboard config | example-dashboard |
superset.extraVolumeMounts[2].mountPath | Path in container to mount the dashboard config | /config |
superset.extraVolumeMounts[2].readOnly | Mount config as read-only | सच्चा |
superset.init.initscript | Custom init script to conditionally import dashboard | See script in ilum-aio values file |
3. Internal users upgrade credentials flag
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.security.internal.upgradeCredentials | Enables overriding user password with helm configuration | गलत |
4. Tighter integration of Marquez with Ilum
लक्षण:
Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore.
This way, having a customized Marquez build is not necessary anymore.
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
job.openLineage.transport.endpoint | /बाहरी/वंश/API/v1/वंश | /API/v1/वंश |
5. Changed superset load example variable name
Values deleted - ilum-aio
| नाम | कारण |
|---|
superset.extraEnv.IMPORT_DASHBOARD | Changed to other variable name |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
superset.init.loadExamples | Enables creating superset dashboard example | सच्चा |
RELEASE 6.3.2
1. Addition of frequently used values to ilum-sql
लक्षण:
Added frequently used values to ilum-sql chart, so that their configuration is easier.
Values added - ilum-sql
| नाम | या क़िस्म | मूल्य |
|---|
config.kyuubi.logLevel | Base log-level of the log4j framework | INFO |
config.kyuubi.idleEngineTimeout | Auto-shutdown time of Kyuubi engines | 30M |
config.kyuubi.idleSessionTimeout | Auto-shutdown time of Kyuubi sessions | 30M |
config.kyuubi.engineAliveProbe | Whether to create a probe, which will check engine liveness | सच्चा |
config.kyuubi.cleanupTerminatedSparkDriverPods | Determines which of the terminated Spark engine pods will get deleted. Available: NONE, COMPLETED, ALL | ALL |
Values changed - ilum-aio
| नाम | पुराना मूल्य | नया मूल्य |
|---|
ilum-sql.config.kyuubi.defaults | see मान.yaml | ~ |
⚠️⚠️⚠️ Warnings
Because these values were already present in the ilum-aio chart,
the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.
2. Support of Trino in ilum-sql
लक्षण:
Introduced support for Trino as an SQL engine in ilum-sql chart.
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
trino.enabled | Enables built-in Trino | गलत |
trino.nameOverride | Sets the name override | ilum-trino |
trino.coordinatorNameOverride | Sets the name override for the coordinator | ilum-trino-coordinator |
trino.workerNameOverride | Sets the name override for the worker nodes | ilum-trino-worker |
trino.server.workers | Sets the number of workers | 1 |
trino.catalogs.ilum-delta | Configures the 'ilum-delta' catalog | देखना मान.yaml |
ilum-sql.config.trino.catalog | The catalog of choice for Trino | इलम-डेल्टा |
Values added - ilum-sql
| नाम | या क़िस्म | मूल्य |
|---|
config.trino.url | Url pointing to Trino coordinator | http://ilum-trino:8080 |
config.trino.catalog | The catalog of choice for Trino | प्रणाली |
config.trino.defaults | Additional settings of Trino engines. All properties must be prefixed with trino. | ~ |
3. Enhanced Oauth2
लक्षण
Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core.
Added ability to assign Admin role to oauth2 users.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
security.oauth2.mapping.id | JWT claim that should be mapped to user`s id | "" |
security.oauth2.mapping.name | JWT claim that should be mapped to user`s name | उप |
security.oauth2.mapping.email | JWT claim that should be mapped to user`s email | ईमेल |
security.oauth2.mapping.fullname | JWT claim that should be mapped to user`s fullname | पूरा नाम |
security.oauth2.mapping.description | JWT claim that should be mapped to user`s description | "" |
security.oauth2.mapping.department | JWT claim that should be mapped to user`s department | "" |
security.oauth2.mapping.groups | JWT claim with a list of groups that user is a part of represented by strings | "समूह" |
security.oauth2.mapping.roles | JWT claim with a list of roles that user uses represented by strings | "भूमिकाएँ" |
security.oauth2.mapping.enabled | JWT claim that should be mapped to user`s state | "" |
security.oauth2.mapping.enabledTrue | Value of JWT claim with the name of mapping.enabled जो सक्षम के लिए खड़ा है | "" |
security.oauth2.mapping.singleGroup | JWT claim that contains a string with name of group that the user is part of | "" |
security.oauth2.mapping.singleRole | JWT claim that contains a string with name of role that the user has | "" |
4. Addition of kubernetes s3 region to ilum-core and ilum-aio
लक्षण:
Added the ability to set the S3 region in ilum-core.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.s3.region | default kubernetes cluster S3 storage region to store spark resources | US-East-1 (अमेरिका पूर्व -1) |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-core.kubernetes.s3.region | default kubernetes cluster S3 storage region to store spark resources | US-East-1 (अमेरिका पूर्व -1) |
ilum-core.kubernetes.defaultCluster.config.spark.hadoop.fs.s3a.bucket.ilum-data.region | default kubernetes cluster S3 storage region to store spark resources | US-East-1 (अमेरिका पूर्व -1) |
5. Protocol in superset
लक्षण:
Added the ability to set the protocol in superset.
Values added - superset
| नाम | या क़िस्म | मूल्य |
|---|
प्रोटोकॉल | superset protocol | एचटीटीपी |
लक्षण:
Added possibility to enable status probe for hive metastore.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
hiveMetastore.statusProbe.enabled | Hive metastore status probe enabled flag | गलत |
hiveMetastore.statusProbe.image | Hive metastore status probe image | कर्लइमेज/कर्ल:8.5.0 |
hiveMetastore.statusProbe.host | Hive metastore status probe host | ilum-hive-metastore |
hiveMetastore.statusProbe.port | Hive metastore status probe port | 9083 |
रिलीज 6.3.1
लक्षण
इलम क्लस्टर स्पार्क स्टोरेज कॉन्फ़िगरेशन में अतिरिक्त बाल्टी शामिल करने की क्षमता जोड़ी गई।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
कुबेरनेट्स.s3.extraBuckets | ilum-core default kubernetes cluster S3 स्टोरेज अतिरिक्त बकेट शामिल करने के लिए | [] |
कुबेरनेट्स.जीसीएस.एक्स्ट्राबकेट | ilum-core default kubernetes cluster GCS स्टोरेज अतिरिक्त बकेट समाविष्ट करण्यासाठी | [] |
कुबेरनेट्स.wasbs.extraकंटेनर | ilum-core default kubernetes cluster WASBS स्टोरेज अतिरिक्त कंटेनर शामिल करने के लिए | [] |
kubernetes.hdfs.extraकैटलॉग | ilum-core default kubernetes cluster HDFS स्टोरेज अतिरिक्त कैटलॉग शामिल करने के लिए | [] |
2. उन्नत एलडीएपी
Added the ability to map users, groups, and roles — along with their properties and relationships — from an LDAP server to Ilum Core based on mapping configurations in Helm.
Enabled the option to assign Admin role to LDAP users.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
security.ldap.userMapping.base | उपयोगकर्ता प्रविष्टियों का LDAP आधार | "" |
security.ldap.userMapping.filter | उपयोगकर्ता खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर | "यूआईडी = {0}" |
security.ldap.userMapping.username | LDAP विशेषता का नाम जिसे उपयोगकर्ता के उपयोगकर्ता नाम पर मैप किया जाना चाहिए | यूआईडी |
security.ldap.userMapping.password | LDAP विशेषता का नाम जिसे उपयोगकर्ता के पासवर्ड पर मैप किया जाना चाहिए | उपयोगकर्ता पासवर्ड |
security.ldap.userMapping.description | LDAP विशेषता का नाम जिसे उपयोगकर्ता के वर्णन में मैप किया जाना चाहिए | "" |
security.ldap.userMapping.fullname | LDAP विशेषता का नाम जिसे उपयोगकर्ता के पूर्णनाम पर मैप किया जाना चाहिए | "" |
security.ldap.userMapping.department | LDAP विशेषता का नाम जिसे उपयोगकर्ता के विभाग में मैप किया जाना चाहिए | "" |
security.ldap.userMapping.email | LDAP विशेषता का नाम जिसे उपयोगकर्ता के ईमेल में मैप किया जाना चाहिए | "" |
security.ldap.userMapping.enabled | LDAP विशेषता का नाम जिसे उपयोगकर्ता की स्थिति में मैप किया जाना चाहिए | "" |
security.ldap.userMapping.enabledValue | के नाम के साथ विशेषता का मान उपयोगकर्ता मैपिंग.सक्षम जो सक्षम के लिए खड़ा है | "" |
security.ldap.groupMapping.base | समूह प्रविष्टियों के लिए LDAP आधार | "" |
security.ldap.groupMapping.filter | समूह खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर | (सदस्य = {0}) |
security.ldap.groupMapping.name | LDAP विशेषता का नाम जिसे समूह के नाम से मैप किया जाना चाहिए | सीएन |
security.ldap.groupMapping.description | LDAP विशेषता का नाम जिसे समूह के वर्णन में मैप किया जाना चाहिए | "" |
security.ldap.groupMapping.memberविशेषता | LDAP विशेषता का नाम जो समूह वाले उपयोगकर्ताओं को सूचीबद्ध करता है | यूआईडी |
security.ldap.groupMapping.roles | LDAP विशेषता जो समूह में शामिल भूमिकाओं को सूचीबद्ध करती है | "" |
security.ldap.groupMapping.roleFilterAttribute | LDAP भूमिकाओं की विशेषता जो भूमिका का प्रतिनिधित्व करती है समूहमैपिंग.रोल्स लक्षण | "" |
security.ldap.groupMapping.enabled | LDAP विशेषता का नाम जिसे समूह की स्थिति में मैप किया जाना चाहिए | "" |
security.ldap.groupMapping.enabledTrue | से विशेषता का मान समूहमानचित्रण.सक्षम जो सक्षम के लिए खड़ा है | "" |
security.ldap.roleMapping.base | भूमिका प्रविष्टियों के लिए LDAP आधार | "" |
security.ldap.roleMapping.filter | भूमिका खोज के लिए उपयोग किया जाने वाला LDAP फ़िल्टर | "" |
security.ldap.roleMapping.memberविशेषता | LDAP विशेषता का नाम जो भूमिका वाले उपयोगकर्ताओं को सूचीबद्ध करता है | "" |
security.ldap.roleMapping.name | LDAP विशेषता का नाम जिसे भूमिका के नाम से मैप किया जाना चाहिए | "" |
security.ldap.roleMapping.description | LDAP विशेषता का नाम जिसे भूमिका के वर्णन में मैप किया जाना चाहिए | "" |
security.ldap.roleMapping.enabled | LDAP विशेषता का नाम जिसे भूमिका की स्थिति में मैप किया जाना चाहिए | "" |
security.ldap.roleMapping.enabledTrue | से विशेषता का मान roleMapping.enabled जो सक्षम के लिए खड़ा है | "" |
हटाए गए मान - इलम-कोर
| नाम | कारण |
|---|
security.ldap.userSearch | के साथ बदल दिया security.ldap.userमैपिंग |
security.ldap.groupSearch | के साथ बदल दिया security.ldap.groupमैपिंग |
नाम बदले गए - इलम-कोर
| पुराना नाम | नया नाम |
|---|
security.internal.users[*].password | security.internal.users[*].initialPassword |
3. स्पार्कमैजिक डिफ़ॉल्ट कॉन्फ़िगरेशन
| नाम | पुराना मूल्य | नया मूल्य |
|---|
sparkmagic.config.sessionConfigs.conf | '{ "pyRequirements": "पांडस", "क्लस्टर": "डिफ़ॉल्ट", "ऑटोपॉज़": "गलत", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }' | '{}' |
हटाए गए मान - इलम-ज्यूपिटर
| नाम | कारण |
|---|
sparkmagic.config.sessionConfigs.executorCores | नए स्पार्क सत्र फॉर्म के कारण अब और जरूरत नहीं है |
हटाए गए मान - इलम-ज्यूपिटर
| नाम | कारण |
|---|
sparkmagic.config.sessionConfigs.driverMemory | नए स्पार्क सत्र फॉर्म के कारण अब और जरूरत नहीं है |
रिलीज 6.3.0
1. kyuubi की बदली छवि टैग संस्करण
मान बदल गए - sparkmagic कॉन्फ़िगरेशन पैरामीटर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
sparkmagic.config.sessionConfigs.conf | '{ "pyRequirements": "पांडा", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }' | '{ "pyRequirements": "पांडस", "क्लस्टर": "डिफ़ॉल्ट", "ऑटोपॉज़": "गलत", "spark.example.config": "आप ilum-jupyter-config k8s configmap में डिफ़ॉल्ट कॉन्फ़िगरेशन बदल सकते हैं" }' |
2. ilum-core के लिए kafka पता सेट करने के लिए जोड़ा गया संपत्ति
लक्षण
ilum-core pod के लिए kafka पता सेट करने की क्षमता जोड़ा गया, जो स्पार्क जॉब्स और ilum-core pod set दोनों के लिए kafka.address प्रॉपर्टी के माध्यम से वैश्विक kafka address कॉन्फ़िगरेशन से अलग है।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
काफ्का.इलम पता | ilum-core kafka पता केवल ilum-core POD के लिए, kafka.address को ओवरराइड करता है | परिभाषित नहीं |
3. बदल गया इलम नौकरी स्वास्थ्यसहिष्णुता समय की जांच करें
मान बदल गए - ilum job healthcheck कॉन्फ़िगरेशन पैरामीटर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
job.healthcheck.tolerance | 120 | 3600 |
4. एम्बेडेड गिट रेपो का परिचय
लक्षण
इलम प्लेटफॉर्म के लिए गिट सर्वर में बिल्ड प्रदान करने वाले मॉड्यूल के रूप में गिटिया जोड़ा गया।
मूल्य जोड़े गए - gitea
| नाम | या क़िस्म | मूल्य |
|---|
गीटिया.सक्षम | Gitea परिनियोजन को सक्षम या अक्षम करें | सच्चा |
gitea.image.rootless | गीता को रूटलेस मोड में चलाएं | गलत |
gitea.gitea.config.database.DB_प्रकार | Gitea के लिए उपयोग किया जाने वाला डेटाबेस प्रकार | पोस्टग्रेज़ |
gitea.gitea.config.database.HOST | Gitea के लिए डेटाबेस होस्ट और पोर्ट | इलम-पोस्टग्रेएसक्यूएल-एचएल: 5432 |
gitea.gitea.config.database.NAME | Gitea के लिए डेटाबेस नाम | गीता |
gitea.gitea.config.database.USER | Gitea के लिए डेटाबेस उपयोगकर्ता नाम | इलम |
gitea.gitea.config.database.PASSWD | Gitea के लिए डेटाबेस पासवर्ड (आवश्यक बदलें) | चेंजमीकृपया |
gitea.gitea.admin.existingSecret | गिटिया सीक्रेट इनिट क्रेडेंशियल्स को स्टोर करने के लिए | ilum-git-credentials |
gitea.gitea.admin.email | Gitea व्यवस्थापक ईमेल | ilum@ilum |
gitea.gitea.admin.passwordमोड | व्यवस्थापक खाते के लिए पासवर्ड मोड | आद्याक्षरOnlyNoReset |
gitea.gitea.additionalConfigFromEnvs[0].name | पुश-क्रिएट उपयोगकर्ता सक्षम करें | GITEA__REPOSITORY__ENABLE_PUSH_CREATE_USER |
gitea.gitea.additionalConfigFromEnvs[0].value | पुश-क्रिएट उपयोगकर्ता को सक्षम करने के लिए मूल्य | सच्चा |
gitea.gitea.additionalConfigFromEnvs[1].name | पुश-क्रिएट संगठन सक्षम करें | GITEA__REPOSITORY__ENABLE_PUSH_CREATE_ORG |
gitea.gitea.additionalConfigFromEnvs[1].value | पुश-क्रिएट संगठन को सक्षम करने के लिए मूल्य | सच्चा |
gitea.gitea.additionalConfigFromEnvs[2].name | डिफ़ॉल्ट रिपॉजिटरी शाखा | GITEA__REPOSITORY__DEFAULT_BRANCH |
gitea.gitea.additionalConfigFromEnvs[2].value | डिफ़ॉल्ट रिपॉजिटरी शाखा के लिए मान | गुरू |
gitea.gitea.additionalConfigFromEnvs[3].name | Gitea सर्वर का रूट URL | GITEA__SERVER__ROOT_URL |
gitea.gitea.additionalConfigFromEnvs[3].value | Gitea सर्वर रूट URL के लिए मान | http://git.example.com/external/gitea/ |
gitea.gitea.additionalConfigFromEnvs[4].name | स्टेटिक URL उपसर्ग | GITEA__SERVER__STATIC_URL_PREFIX |
gitea.gitea.additionalConfigFromEnvs[4].value | स्थिर URL उपसर्ग के लिए मान | /बाहरी/गीता/ |
gitea.redis-cluster.enabled | रेडिस क्लस्टर को सक्षम या अक्षम करें | गलत |
gitea.redis.enabled | रेडिस को सक्षम या अक्षम करें | गलत |
gitea.postgresql.enabled | स्टैंडअलोन PostgreSQL को सक्षम या अक्षम करें | गलत |
gitea.postgresql-ha.enabled | PostgreSQL HA को सक्षम या अक्षम करें | गलत |
मूल्य जोड़े गए - इलम-ज्यूपिटर
| नाम | या क़िस्म | मूल्य |
|---|
ilum-jupyter.git.enabled | गिट एकीकरण को सक्षम या अक्षम करें | गलत |
ilum-jupyter.git.username | प्रमाणीकरण के लिए गिट उपयोगकर्ता नाम | इलम |
ilum-jupyter.git.password | प्रमाणीकरण के लिए गिट पासवर्ड | इलम |
ilum-jupyter.git.email | गिट ईमेल पता | ilum@ilum |
ilum-jupyter.git.repository | गिट रिपॉजिटरी का नाम | बृहस्पति |
ilum-jupyter.git.address | गिट सर्वर पता | एलम-गिटिया-एचटीटीपी:3000 |
इलम-jupyter.git.init.image | गिट आरंभीकरण छवि | बिटनामी/गिट:2.48.1 |
मूल्य जोड़े गए - इलम-एयरफ्लो
| नाम | या क़िस्म | मूल्य |
|---|
airflow.dags.gitSync.enabled | DAG के लिए Git सिंक्रनाइज़ेशन सक्षम या अक्षम करें | सच्चा |
एयरफ्लो.dags.gitSync.repo | DAG के लिए Git रिपॉजिटरी URL | http://ilum-gitea-http:3000/ilum/airflow.git |
एयरफ्लो.dags.gitSync.branch | गिट शाखा से सिंक करने के लिए | गुरू |
एयरफ्लो.dags.gitSync.ref | सिंक के लिए गिट संदर्भ | सिर |
एयरफ्लो.dags.gitSync.depth | गिट क्लोन गहराई | 1 |
airflow.dags.gitSync.maxFailures | अधिकतम अनुमत सिंक्रनाइज़ेशन विफलताएँ | 0 |
airflow.dags.gitSync.subPath | सिंक करने के लिए भंडार के भीतर सबपाथ | "" |
airflow.dags.gitSync.credentialsSecret | गिट प्रमाणीकरण के लिए उपयोग किया जाने वाला रहस्य | ilum-git-credentials |
5. इलम एसक्यूएल कॉन्फ़िगरेशन नामकरण परिवर्तन
Kyuubi के वर्तमान उपयोग को बेहतर ढंग से प्रतिबिंबित करने के लिए Ilum SQL कॉन्फ़िगरेशन का नामकरण बदलें
नाम बदले गए - इलम-कोर
| पुराना नाम | नया नाम |
|---|
क्यूबी.* | एसक्यूएल.* |
नाम बदले गए - इलम-एआईओ
| पुराना नाम | नया नाम |
|---|
इलुम-क्यूबी.* | इलम-एसक्यूएल.* |
⚠️⚠️⚠️ Warnings
नामकरण में परिवर्तन और SQL इंजन लॉन्चिंग के आंतरिक कामकाज के कारण, और एक के माध्यम से क्या किया जा सकता है, इस पर प्रतिबंध हेल्म अपग्रेड,
पुराने स्टेटफुल सेट को मैन्युअल रूप से हटाना आवश्यक है (उदा। Kubectl Delete Sts ilum-SQL) इस संस्करण में अपग्रेड करने से पहले।
यह सुनिश्चित करेगा कि अद्यतन के दौरान, सही कॉन्फ़िगरेशन के साथ एक नया स्टेटफुल सेट बनाया गया है।
ब्रेकिंग परिवर्तन लेबल और वॉल्यूम माउंट से संबंधित हैं जो ilum-sql stateful सेट द्वारा उपयोग किए जाते हैं।
6. स्पार्क एसक्यूएल इंजन के लिए इलम सबमिट के लिए कॉन्फ़िगरेशन जोड़ें
Ilum Submit चयनित क्लस्टर के कॉन्फ़िगरेशन को स्वचालित रूप से लागू करके Ilum Web Application और JDBC समापन बिंदु दोनों के माध्यम से Spark SQL इंजन लॉन्च करने की प्रक्रिया को बढ़ाता है। यह सुधार Ilum Core को Kyuubi के Spark कॉन्फ़िगरेशन को मैन्युअल रूप से प्रदान करने की आवश्यकता को समाप्त करता है।
मूल्यवान हटाया गया - इलम-कोर
| नाम | कारण |
|---|
sql.sparkConfig | परिवर्तन के बाद अनावश्यक |
मूल्य जोड़े गए - ilum-kyuubi
| नाम | या क़िस्म | मूल्य |
|---|
ilumSubmit.enabled | ilum submit service को सक्षम करने के लिए फ्लैग करें | गलत |
ilumSubmit.ilum.host | Ilum REST सेवा के मेजबान | इलम कोर |
इलुमसबमिट.इलम डॉट पोर्ट | पोर्ट ऑफ इलम आरईएसटी सेवा | 9888 |
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
ilum-sql.ilumSubmit.enabled | Ilum के माध्यम से SQL इंजन निर्माण को सक्षम करने के लिए ध्वजांकित करें | सच्चा |
⚠️⚠️⚠️ Warnings
चूंकि इलम कोर में अब क्यूबी के स्पार्क कॉन्फ़िगरेशन की आवश्यकता नहीं है,
डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन को सीधे आपूर्ति की जानी चाहिए ilum-sql.config.spark.defaults वैश्विक मूल्य के बजाय।
लक्षण
Security‑related configuration (including internal user credentials, LDAP, OAuth2, JWT, and authorities settings) has been moved from the config map to a dedicated Kubernetes Secret. This improves the security of sensitive data by isolating it from non‑sensitive configuration.
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
security.secret.name | Name of the secret that holds security‑related configuration. Use this to override the default secret name. | इलम सिक्योरिटी |
8. परिवर्तित इलम-यूआई सेवा प्रकार
kubectl पोर्ट-फॉरवर्ड के साथ समस्याओं के कारण हम डिफ़ॉल्ट रूप से एक नोडपोर्ट को उजागर कर रहे हैं।
मान बदल गए - ilum-ui healthcheck कॉन्फ़िगरेशन पैरामीटर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
सेवा.प्रकार | क्लस्टरआईपी | नोडपोर्ट |
service.nodePort | `` | 31777 |
रिलीज 6.2.1
1. Kyuubi के url का मान बदलें
लक्षण
इलम-कोर में क्यूबी के यूआरएल का मान बदलें। डिफ़ॉल्ट मान अब बॉक्स से बाहर काम करना चाहिए।
मान बदल गए - इलम-कोर
| नाम | पुराना मूल्य | नया मूल्य |
|---|
क्यूबी.होस्ट | ilum-sql-rest | ilum-sql-headless |
रिलीज 6.2.1-RC1
1. इलम-कोर में स्पार्क जॉब की मेमोरी सेटिंग्स कॉन्फ़िगरेशन
लक्षण
इलम-कोर में स्पार्क जॉब की मेमोरी सेटिंग्स कॉन्फ़िगरेशन जोड़ा गया। जब इलम-कोर में डिफ़ॉल्ट क्लस्टर बनाया जा रहा है, तो इसमें उन मानों पर सेट मेमोरी सेटिंग्स पैरामीटर होंगे।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
job.memorysettings.executors | स्पार्क जॉब्स एक्जीक्यूटर काउंट | 2 |
job.memorysettings.executorMemory | स्पार्क जॉब्स एक्जीक्यूटर मेमोरी आवंटन | 1जी |
job.memorysettings.driverMemory | स्पार्क जॉब्स ड्राइवर मेमोरी आवंटन | 1जी |
job.memorysettings.executorCores | स्पार्क जॉब्स एक्जीक्यूटर कोर काउंट | 1 |
job.memorysettings.driverCores | स्पार्क जॉब्स ड्राइवर कोर काउंट | 1 |
job.memorysettings.dynamicAllocationसक्षम | स्पार्क जॉब्स डायनामिक आवंटन सक्षम ध्वज | गलत |
job.memorysettings.minExecutors | स्पार्क नौकरियां निष्पादकों की न्यूनतम संख्या | 0 |
job.memorysettings.initialExecutors | स्पार्क नौकरियां निष्पादकों की प्रारंभिक संख्या | 0 |
job.memorysettings.maxExecutors | स्पार्क नौकरियां निष्पादकों की अधिकतम संख्या | 20 |
2. स्पार्क इतिहास सर्वर प्रतिधारण पैरामीटर जोड़
लक्षण
ilum-core में स्पार्क इतिहास सर्वर अवधारण पैरामीटर जोड़ा गया। ये पैरामीटर उपयोगकर्ता स्पार्क इतिहास सर्वर लॉग के अवधारण को कॉन्फ़िगर करने के लिए अनुमति देते हैं।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
historyServer.parameters.spark.history.fs.cleaner.enabled | इतिहास सर्वर क्लीनर सक्षम ध्वज | सच्चा |
इतिहाससर्वर.पैरामीटर.spark.history.fs.cleaner.interval | इतिहास सर्वर क्लीनर अंतराल | 1डी |
इतिहाससर्वर.पैरामीटर.स्पार्क.इतिहास.fs.cleaner.maxAge | इतिहास सर्वर अधिकतम आयु लॉग करता है | 7डी |
3. Kyuubi के url को होस्ट और पोर्ट में विभाजित करें
लक्षण
Kyuubi के url को ilum-core में होस्ट और पोर्ट में विभाजित करें। कस्टम इंजन बनाने में सक्षम होने के लिए यह परिवर्तन आवश्यक था।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
क्यूबी.होस्ट | क्यूउबी होस्ट | ilum-sql-rest |
क्यूबी.पोर्ट | क्यूउबी बंदरगाह | 10099 |
हटाए गए मान - इलम-कोर
| नाम | कारण |
|---|
क्यूयूबी.यूआरएल | परिवर्तन के बाद अनावश्यक |
लक्षण
इतिहास सर्वर, मिनीओ, इलम-ज्यूपिटर, एयरफ्लो, एमएलफ्लो और वंश के लिए इलम-यूआई के लिए सक्षम झंडे जोड़े गए। ये झंडे उपयोगकर्ता को ilum-ui के माध्यम से इन सेवाओं तक पहुंच को सक्षम या अक्षम करने की अनुमति देते हैं। इन मानों का उपयोग nginx सर्वर कॉन्फ़िगरेशन मैप में किया जाएगा।
जोड़े गए मान - ilum-ui चार्ट
| नाम | या क़िस्म | मूल्य |
|---|
nginx.config.ilum-jupyter.enabled | ilum-ui nginx config ilum-jupyter सक्षम ध्वज | गलत |
nginx.config.airflow.enabled | ilum-ui nginx config एयरफ्लो सक्षम ध्वज | गलत |
nginx.config.minio.enabled | ilum-ui nginx config minio सक्षम ध्वज | गलत |
nginx.config.historyServer.enabled | ilum-ui nginx config historyServer सक्षम ध्वज | गलत |
nginx.config.mlflow.enabled | ilum-ui nginx config MLFLOW सक्षम ध्वज | गलत |
nginx.config.lineage.enabled | ilum-ui nginx कॉन्फिग वंश सक्षम ध्वज | गलत |
5. इलम-एआईओ चार्ट में सुपरसेट
लक्षण
इलम एआईओ चार्ट में सुपरसेट। सुपरसेट तेज़, हल्का, सहज और विकल्पों से भरा हुआ है जो सभी कौशल सेटों के उपयोगकर्ताओं के लिए अपने डेटा का पता लगाना और कल्पना करना आसान बनाता है,
सरल रेखा चार्ट से लेकर अत्यधिक विस्तृत भू-स्थानिक चार्ट तक। सुपरसेट इलम प्लेटफॉर्म के साथ एकीकृत मॉड्यूल में से एक है।
मान जोड़े गए - ilum-ui
लॉग एकत्रीकरण कॉन्फ़िगरेशन
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.supersetUrl | सुपरसेट सेवा URL | http://ilum-superset:8088/ |
nginx.config.superset.enabled | ilum-ui nginx कॉन्फिग सुपरसेट सक्षम ध्वज | गलत |
4. हेलम मानों से डिफ़ॉल्ट कुबेरनेट्स क्लस्टर कॉन्फ़िगरेशन
लक्षण
अब से, डिफ़ॉल्ट ilum क्लस्टर पैरामीटर हेल्म मानों के आधार पर सेट किए जाएंगे।
जोड़े गए मान - इलम-कोर चार्ट
| नाम | या क़िस्म | मूल्य |
|---|
कुबेरनेट्स.डिफ़ॉल्टक्लस्टर.कॉन्फ़िग | ilum-core default kubernetes cluster configuration | कॉन्फ़िगरेशन: spark.driver.extraJavaOptions: "-Divy.cache.dir=/tmp -Divy.home=/tmp" spark.kubernetes.container.image: "इलम/स्पार्क:3.5.2-डेल्टा" spark.databricks.delta.catalog.update.enabled: "सत्य" |
रिलीज 6.2.0
1. kyuubi की बदली छवि टैग संस्करण
मान बदल गए - ilum-kyuubi चार्ट
| नाम | पुराना मूल्य | नया मूल्य |
|---|
छवि.टैग | 1.9.2-चिंगारी | 1.10.0-चिंगारी |
2. ilum-kyuubi चार्ट में परिवर्तित kyuubi स्पार्क कॉन्फ़िगरेशन
अतिरिक्त स्पार्क.ड्राइवर.मेमोरी = 2 जी में ग्लोबल.kyuubi.sparkConfig
रिलीज 6.2.0-RC2
1. Minio स्थिति जांच जोड़
लक्षण
इलम-कोर में जोड़ा गया स्टेटस जांच जो जांचती है कि मिनीओ स्टोरेज तैयार है या नहीं
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
minio.statusProbe.enabled | minio स्थिति जांच सक्षम ध्वज | सच्चा |
minio.statusProbe.image | minio स्थिति जांच छवि | कर्लइमेज/कर्ल:8.5.0 |
minio.statusProbe.baseUrl | minio base url | "http://ilum-minio:9000" |
2. इलम-कोर में क्यूयूबी कॉन्फ़िगरेशन
लक्षण
ilum-core helm chart में Kyuubi कॉन्फ़िगरेशन जोड़ा गया। Kyuubi उपयोगकर्ता को ILUM UI का उपयोग करके कई अलग-अलग डेटा स्रोतों पर SQL प्रश्नों को निष्पादित करने की अनुमति देगा।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
क्यूबी.सक्षम | Kyuubi सक्षम ध्वज | सच्चा |
क्यूयूबी.यूआरएल | Kyuubi की आराम सेवा का url | http://ilum-sql-rest:10099 |
⚠️⚠️⚠️ Warnings
एसक्यूएल इंजन को ठीक से प्रबंधित करने के लिए, हमें क्यूबी के स्पार्क कॉन्फ़िगरेशन को इलम-कोर में पारित करने की आवश्यकता है।
यह क्यूबी की चिंगारी को कॉन्फ़िगर करके किया जाता है ग्लोबल.kyuubi.sparkConfig और उपयोगकर्ता को एक कॉन्फ़िगरेशन लिखने की अनुमति देता है जिसे क्यूउबी और इलम-कोर दोनों को पारित किया जा सकता है।
3. इलम-कोर में MongoDb uri कॉन्फ़िगरेशन
लक्षण
जिस तरह से mongoDb uri को ilum-core में पास किया जाता है, उसे बदलें। अब इसे एक एकल स्ट्रिंग के रूप में पारित किया जाता है, जो उपयोगकर्ता को अधिक दानेदार कॉन्फ़िगरेशन प्रदान करने में सक्षम बनाता है जैसे कि authSource।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
मोंगो.उरी | MongoDb कनेक्शन स्ट्रिंग | mongodb://mongo:27017/ilum-default?replicaSet=rs0 |
हटाए गए मान - इलम-कोर
| नाम | कारण |
|---|
मोंगो.इंस्टेंस | परिवर्तन के बाद अनावश्यक |
mongo.replicaSetName | परिवर्तन के बाद अनावश्यक |
⚠️⚠️⚠️ Warnings
वही मोंगो.उरी, यदि गलत तरीके से सेट किया गया है, तो एप्लिकेशन को ठीक से काम नहीं करने का कारण होगा। सही कनेक्शन स्ट्रिंग प्रदान करना सुनिश्चित करें।
पहले प्रारूप था: mongodb://{ mongo.instances }/ilum-{ release_namespace }?replicaSet={ mongo.replicaSetName }
डिफ़ॉल्ट रूप से इलम-एआईओ चार्ट में ये मान थे:
मोंगो.इंस्टेंस - इलम-मोंगोडीबी-0.इलम-मोंगोडीबी-हेडलेस: 27017, इलम-मोंगोडबी-1.इलम-मोंगोडबी-हेडलेस: 27017
mongo.replicaSetName - रु.0
release_namespace - चूक
4. इलम-कोर में ऑटोपॉज़िंग कॉन्फ़िगरेशन
लक्षण
इलम-कोर में ऑटोपॉज़िंग जोड़ा गया, जो समय-समय पर जांचता है कि क्या कोई समूह निर्दिष्ट समय के लिए निष्क्रिय है और समूह को रोकता है। ऐसा करने के लिए प्रत्येक समूह को ऑटोपॉजिंग को स्पष्ट रूप से चालू करना होगा।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
job.autoPause.enabled | ऑटो पॉजिंग को सक्षम करने के लिए फ़ीचर फ़्लैग | सच्चा |
job.autoPause.period | आलस्य समूहों की जांच करने के लिए सेकंड में अंतराल | 180 |
job.autoPause.idleTime | सेकंड में समय कि समूह को स्वतः रुके रहने के लिए निष्क्रिय होने की आवश्यकता होती है | 3600 |
5. इलम-एआईओ चार्ट में ग्रेफाइट निर्यातक
लक्षण
इलम एआईओ चार्ट में ग्रेफाइट निर्यातक और इलम-कोर चार्ट में ग्रेफाइट कॉन्फिगरेशन। ग्रेफाइट निर्यातक ग्रेफाइट प्लेनटेक्स्ट प्रोटोकॉल में निर्यात किए गए मैट्रिक्स के लिए एक प्रोमेथियस निर्यातक है।
मान जोड़े गए - ग्रेफाइट-निर्यातक
नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जांच करें चार्ट का पेज
6. इलम-कोर में ग्रेफाइट विन्यास
लक्षण
इलम-कोर हेल्म चार्ट में ग्रेफाइट कॉन्फ़िगरेशन जोड़ा गया। ग्रेफाइट स्पार्क जॉब्स को अपने मैट्रिक्स को ग्रेफाइट सिंक में भेजने की अनुमति देगा, जिसे प्रोमेथियस द्वारा स्क्रैप किया जाएगा।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
job.graphite.enabled | ग्रेफाइट सक्षम ध्वज | गलत |
job.graphite.host | ग्रेफाइट मेजबान | इलम-ग्रेफाइट-ग्रेफाइट-टीसीपी |
नौकरी.ग्रेफाइट.पोर्ट | ग्रेफाइट पोर्ट | 9109 |
job.graphite.period | कार्य मीट्रिक भेजने के बीच अंतराल | 10 |
नौकरी.ग्रेफाइट.यूनिट्स | समय इकाई | सेकंड |
रिलीज 6.1.4
1. ज्यूपिटर डिफ़ॉल्ट स्पार्कमैजिक कॉन्फ़िगरेशन परिवर्तन
लक्षण
स्पार्क डिफ़ॉल्ट कॉन्फ़िगरेशन को ज्यूपिटर नोटबुक में पारित करने की बदली हुई विधि, अब इसे जेसन स्ट्रिंग के रूप में पारित किया गया है
मूल्य जोड़े गए - इलम-ज्यूपिटर
स्पार्कमैजिक कॉन्फ़िगरेशन पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
sparkmagic.config.sessionConfigs.conf | Sparkmagic सत्र स्पार्क कॉन्फ़िगरेशन | '{ "pyRequirements": "पांडा", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}' |
sparkmagic.config.sessionConfigsDefaults.conf | SparkMagic सत्र डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन | '{ "pyRequirements": "पांडा", "spark.jars.packages": "io.delta:delta-core_2.12:2.4.0", "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"}' |
2. इलम-एआईओ चार्ट में क्यूउबी
लक्षण
इलम एआईओ चार्ट में क्यूबी। Kyuubi एक वितरित बहु-किरायेदार गेटवे है जो डेटा वेयरहाउस और लेकहाउस के लिए SQL क्वेरी सेवाएं प्रदान करता है। यह JDBC और ODBC इंटरफेस दोनों प्रदान करता है, और ग्राहकों के साथ बातचीत करने के लिए एक REST API प्रदान करता है।
मूल्य जोड़े गए - ilum-kyuubi
नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जांच करें चार्ट का पेज
रिलीज 6.1.3
1. ज्यूपिटर कॉन्फ़िगरेशन और लगातार भंडारण
लक्षण
हेल्म मानों के माध्यम से ज्यूपिटर नोटबुक हेल्म चार्ट का विस्तारित कॉन्फ़िगरेशन जोड़ा गया। इसके अलावा ज्यूपिटर पॉड में पर्सिटेंट स्टोरेज जोड़ा गया।
सभी डेटा में सहेजा गया काम ज्यूपिटर रीस्टार्ट/अपडेट के बाद निर्देशिका अब उपलब्ध होगी।
मूल्य जोड़े गए - इलम-ज्यूपिटर
पीवीसी पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
पीवीसी.एनोटेशन | लगातार वॉल्यूम दावा एनोटेशन | {} |
pvc.selector | लगातार वॉल्यूम दावा चयनकर्ता | {} |
पीवीसी.एक्सेसमोड | लगातार वॉल्यूम दावा एक्सेसमोड | ReadWriteOnce |
पीवीसी.स्टोरेज | लगातार वॉल्यूम दावा भंडारण अनुरोध | 4जीआई |
pvc.storageClassName | लगातार वॉल्यूम दावा भंडारणClassName | `` |
स्पार्कमैजिक कॉन्फ़िगरेशन पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
sparkmagic.config.kernelPythonCredentials.username | स्पार्कमैजिक पायथन कर्नेल उपयोगकर्ता नाम | "" |
sparkmagic.config.kernelPythonCredentials.password | स्पार्कमैजिक पायथन कर्नेल पासवर्ड | "" |
sparkmagic.config.kernelPythonCredentials.auth | स्पार्कमैजिक पायथन कर्नेल ऑथ मोड | "कोई नहीं" |
sparkmagic.config.kernelScalaCredentials.username | स्पार्कमैजिक पायथन कर्नेल उपयोगकर्ता नाम | "" |
sparkmagic.config.kernelScalaCredentials.password | स्पार्कमैजिक स्काला कर्नेल पासवर्ड | "" |
sparkmagic.config.kernelScalaCredentials.auth | स्पार्कमैजिक स्काला कर्नेल ऑथ मोड | "कोई नहीं" |
sparkmagic.config.kernelRCredentials.username | Sparkmagic R कर्नेल उपयोगकर्ता नाम | "" |
sparkmagic.config.kernelRCredentials.password | स्पार्कमैजिक आर कर्नेल पासवर्ड | "" |
sparkmagic.config.waitForIdleTimeoutSeconds | स्पार्कमैजिक टाइमआउट निष्क्रिय स्थिति की प्रतीक्षा कर रहा है | 15 |
sparkmagic.config.livySessionStartupTimeoutSeconds | Sparkmagic टाइमआउट सत्र शुरू होने की प्रतीक्षा कर रहा है | 300 |
sparkmagic.config.ignoreSslErrors | Sparkmagic SSL त्रुटियों ध्वज को अनदेखा करें | गलत |
sparkmagic.config.sessionConfigs.conf | Sparkmagic सत्र स्पार्क कॉन्फ़िगरेशन | [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog] |
sparkmagic.config.sessionConfigs.driverMemory | Sparkmagic सत्र ड्राइवर मेमोरी | 1000 एम |
sparkmagic.config.sessionConfigs.executorCores | स्पार्कमैजिक सत्र निष्पादक कोर | 2 |
sparkmagic.config.sessionConfigsDefaults.conf | SparkMagic सत्र डिफ़ॉल्ट स्पार्क कॉन्फ़िगरेशन | [pyRequirements: pandas, spark.jars.packages: io.delta:delta-core_2.12:2.4.0, spark.sql.extensions: io.delta.sql.DeltaSparkSessionExtension,spark.sql.catalog.spark_catalog: org.apache.spark.sql.delta.catalog.DeltaCatalog] |
sparkmagic.config.sessionConfigsDefaults.driverMemory | Sparkmagic सत्र डिफ़ॉल्ट ड्राइवर स्मृति | 1000 एम |
sparkmagic.config.sessionConfigsDefaults.executorCores | स्पार्कमैजिक सत्र डिफ़ॉल्ट निष्पादक कोर | 2 |
sparkmagic.config.useAutoViz | Sparkmagic Use Auto VIZ फ्लैग | सच्चा |
sparkmagic.config.coerceDataframe | Sparkmagic Coerce Dataframe ध्वज | सच्चा |
sparkmagic.config.maxResultsSql | स्पार्कमैजिक मैक्स एसक्यूएल परिणाम | 2500 |
sparkmagic.config.pysparkDataframeEncoding | Sparkmagic Pyspark डेटाफ़्रेम एन्कोडिंग | यूटीएफ-8 |
sparkmagic.config.heartbeatRefreshSeconds | स्पार्कमैजिक हार्टबीट रिफ्रेश सेकंड | 30 |
sparkmagic.config.livyServerHeartbeatTimeoutSeconds | Sparkmagic लिवी सर्वर दिल की धड़कन टाइमआउट सेकंड | 0 |
sparkmagic.config.heartbeatRetrySeconds | स्पार्कमैजिक हार्टबीट सेकंड पुनः प्रयास करें | 10 |
sparkmagic.config.serverExtensionDefaultKernelName | Sparkmagic सर्वर एक्सटेंशन डिफ़ॉल्ट कर्नेल नाम | pysparkkernel |
sparkmagic.config.retryPolicy | Sparkmagic पुनः प्रयास नीति | विन्यास |
sparkmagic.config.retrySecondsToSleepList | Sparkmagic स्लीप लिस्ट के लिए सेकंड पुनः प्रयास करें | [0.2, 0.5, 1, 3, 5] |
sparkmagic.config.configurableRetryPolicyMaxRetries | Sparkmagic पुनः प्रयास नीति अधिकतम पुनः प्रयास करता है | 8 |
रिलीज 6.1.2
लक्षण
इलम एआईओ चार्ट में हाइव मेटास्टोर। एचएमएस एक रिलेशनल डेटाबेस में हाइव टेबल और विभाजन के लिए मेटाडेटा का एक केंद्रीय भंडार है,
और ग्राहकों (हाइव, इम्पाला और स्पार्क सहित) को मेटास्टोर सेवा एपीआई का उपयोग करके इस जानकारी तक पहुंच प्रदान करता है।
इलम एआईओ हेल्म स्टैक में सक्षम हाइव मेटास्टोर के साथ, इलम द्वारा संचालित स्पार्क जॉब्स को ऑटोमैटिक रूप से एक्सेस करने के लिए कॉन्फ़िगर किया जा सकता है।
नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जाँच करें चार्ट पृष्ठ
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
हाइवमेटास्टोर.सक्षम | हाइव मेटास्टोर कॉन्फ़िगरेशन को ilum Spark Jobs फ्लैग में पास करना | गलत |
हाइवमेटास्टोर.पता | हाइव मेटास्टोर पता | thrift://ilum-hive-metastore:9083 |
हाइवमेटास्टोर.वेयरहाउसDir | हाइव मेटास्टोर वेयरहाउस निर्देशिका | s3a://ilum-data/ |
2. पोस्टग्रेज़ एक्सटेंशन जोड़े गए
लक्षण
ilum AIO सबचर्स में से कुछ postgresql का उपयोग करते हैं, ताकि उनकी तैनाती को प्रबंधित करना आसान हो सके, हमने ilum sucharts के लिए postgresql डेटाबेस बनाने के लिए postgres एक्सटेंशन संसाधन जोड़ा है।
मान जोड़े गए - ilum-aio
PostgreSQL एक्सटेंशन पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
postgresExtensions.enabled | Postgres एक्सटेंशन सक्षम ध्वज | सच्चा |
पोस्टग्रेसएक्सटेंशन.इमेज | में एक्सटेंशन चलाने के लिए छवि | बिटनामी/पोस्टग्रेएसक्यूएल:16 |
postgresExtensions.pullPolicy | छवि खींचो नीति | अगरउपस्थित नहीं |
पोस्टग्रेसएक्सटेंशन.इमेजपुलसीक्रेट्स | छवि खींचो रहस्य | [] |
पोस्टग्रेसएक्सटेंशन.होस्ट | PostgreSQL डेटाबेस होस्ट | ilum-postgresql-0.ilum-postgresql-hl |
पोस्टग्रेसएक्सटेंशन.पोर्ट | PostgreSQL डेटाबेस पोर्ट | 5432 |
postgresExtensions.databasesToCreate | अल्पविराम बनाने के लिए डेटाबेस की अलग सूची | मार्केज़, एयरफ्लो, मेटास्टोर |
postgresExtensions.auth.username | PostgreSQL खाता उपयोगकर्ता नाम | इलम |
पोस्टग्रेसएक्सटेंशन.auth.password | PostgreSQL खाता पासवर्ड | चेंजमीकृपया |
postgresExtensions.nodeSelector | PostgreSQL एक्सटेंशन पॉड्स नोड चयनकर्ता | {} |
postgresExtensions.tolerations | PostgreSQL एक्सटेंशन पॉड्स सहिष्णुता | [] |
3. इलम-एआईओ चार्ट में लोकी और प्रोमटेल
लक्षण
लोकी और प्रोमटेल इन इलम एआईओ चार्ट। लोकी एक क्षैतिज रूप से स्केलेबल, अत्यधिक उपलब्ध, बहु-किरायेदार लॉग एकत्रीकरण प्रणाली है जो प्रोमेथियस से प्रेरित है।
प्रोमटेल एक एजेंट है जो स्थानीय लॉग की सामग्री को ग्राफाना लोकी उदाहरण में भेजता है। इलम अब स्पार्क जॉब पॉड्स से लॉग एकत्र करने के लिए लोकी का उपयोग करेगा
कार्य पूरा होने के बाद क्लस्टर संसाधनों को साफ करने में सक्षम होने के लिए। लोकी और प्रोमटेल को केवल इलम द्वारा चलाए जा रहे स्पार्क पॉड्स से स्क्रैप लॉग के लिए पूर्व-कॉन्फ़िगर किया गया है ताकि उनके खत्म होने के बाद जॉब लॉग लाया जा सके।
मूल्य जोड़े गए - इलम-कोर
लॉग एकत्रीकरण कॉन्फ़िगरेशन
| नाम | या क़िस्म | मूल्य |
|---|
global.logAggregation.enabled | इलम लॉग एकत्रीकरण ध्वज, यदि सक्षम है तो इलम लोकी से तैयार कुबेरनेट्स स्पार्क पॉड्स के लॉग लाएगा | गलत |
Global.logAggregation.loki.url | लॉग एक्सेस करने के लिए लोकी गेटवे एड्रेस | http://ilum-loki-gateway |
मान जोड़े गए - ilum-aio
लॉग एकत्रीकरण - लोकी कॉन्फ़िगरेशन
| नाम | या क़िस्म | मूल्य |
|---|
loki.nameOverride | सबचार्ट नाम ओवरराइड | इलम-लोकी |
loki.monitoring.selfMonitoring.enabled | स्व निगरानी सक्षम ध्वज | गलत |
loki.monitoring.selfMonitoring.grafanaAgent.installOperator | स्वयं निगरानी Grafana एजेंट ऑपरेटर ध्वज स्थापित करें | गलत |
loki.monitoring.selfMonitoring.lokiCanary.enabled | स्व निगरानी कैनरी सक्षम ध्वज | गलत |
loki.test.enabled | परीक्षण सक्षम ध्वज | गलत |
loki.loki.auth_enabled | प्रमाणीकरण सक्षम ध्वज | गलत |
loki.loki.storage.bucketNames.chunks | भंडारण विखंडू बाल्टी | इलम फ़ाइलें |
loki.loki.storage.bucketNames.शासक | भंडारण शासक बाल्टी | इलम फ़ाइलें |
loki.loki.storage.bucketNames.admin | भंडारण व्यवस्थापक बाल्टी | इलम फ़ाइलें |
लोकी.लोकी.स्टोरेज.टाइप | भंडारण प्रकार | एस 3 |
loki.loki.s3.समापन बिंदु | S3 संग्रहण समापन बिंदु | http://ilum-minio:9000 |
लोकी.लोकी.एस3.क्षेत्र | S3 संग्रहण समापन बिंदु | US-East-1 (अमेरिका पूर्व -1) |
loki.loki.s3.secretAccessKey | S3 स्टोरेज सीक्रेट एक्सेस की | मिनीएडमिन |
loki.loki.s3.accessKeyId | S3 स्टोरेज एक्सेस कुंजी आईडी | मिनीएडमिन |
loki.loki.s3.s3ForcePathStyle | S3 भंडारण पथ शैली पहुँच ध्वज | सच्चा |
loki.loki.s3.insecure | S3 भंडारण असुरक्षित ध्वज | सच्चा |
loki.loki.compactor.retention_enabled | लॉग प्रतिधारण सक्षम ध्वज | सच्चा |
loki.loki.compactor.deletion_mode | हटाने का मोड | फ़िल्टर करें और हटाएं |
loki.loki.compactor.shared_store | साझा किया गया स्टोर | एस 3 |
loki.loki.limits_config.allow_deletes | लॉग हटाने की अनुमति दें ध्वज | सच्चा |
लॉग एकत्रीकरण - लोकी कॉन्फ़िगरेशन
| नाम | या क़िस्म | मूल्य |
|---|
promtail.config.clients[0].url | पहला क्लाइंट URL | http://ilum-loki-write:3100/loki/api/v1/push |
promtail.snippets.pipelineStages[0].match.selector | गैर इलम लॉग चयनकर्ता को छोड़ने के लिए पाइपलाइन चरण | {ilum_logAggregation!="true"} |
promtail.snippets.pipelineStages[0].match.action | गैर इलम लॉग कार्रवाई को छोड़ने के लिए पाइपलाइन चरण | औषधि |
promtail.snippets.pipelineStages[0].match.drop_counter_reason | गैर इलम लॉग ड्रॉप करने के लिए पाइपलाइन चरण drop_counter_reason | non_ilum_log |
promtail.snippets.extraRelabelConfigs[0].action | Relabel Config ilum Pod लेबल को क्रिया बनाए रखने के लिए | लेबलमैप |
promtail.snippets.extraRelabelConfigs[0].regex | Relabel Config ilum POD लेबल Regex रखने के लिए | __meta_kubernetes_pod_label_ilum(.*) |
promtail.snippets.extraRelabelConfigs[0].replacement | Relabel Config ilum POD लेबल प्रतिस्थापन रखने के लिए | इलम ${1} |
promtail.snippets.extraRelabelConfigs[1].action | स्पार्क पॉड लेबल को क्रिया बनाए रखने के लिए कॉन्फ़िगरेशन को रीलेबल करें | लेबलमैप |
promtail.snippets.extraRelabelConfigs[1].regex | Relabel Config स्पार्क पॉड लेबल रेगेक्स रखने के लिए | __meta_kubernetes_pod_label_spark(.*) |
promtail.snippets.extraRelabelConfigs[1].replacement | स्पार्क पॉड लेबल प्रतिस्थापन रखने के लिए कॉन्फ़िगरेशन को फिर से लेबल करें | चिंगारी${1} |
रिलीज: 6.1.1
1. ilum इंटरैक्टिव नौकरियों के लिए जोड़ा गया स्वास्थ्य जांच
लक्षण
इलम समूहों के अप्रत्याशित क्रश के साथ स्थितियों को रोकने के लिए हमने यह सुनिश्चित करने के लिए स्वास्थ्य जांच को जोड़ा कि वे काम करते हैं जैसा कि उन्हें करना चाहिए।
मूल्य जोड़े गए - इलम-कोर
इलम-जॉब पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
job.healthcheck.enabled | स्पार्क इंटरएक्टिव जॉब्स हेल्थचेक सक्षम फ्लैग | सच्चा |
job.healthcheck.interval | स्पार्क इंटरएक्टिव जॉब्स हेल्थसेकंड में अंतराल की जांच करें | 300 |
job.healthcheck.tolerance | स्पार्क इंटरएक्टिव जॉब्स हेल्थसेकंड में प्रतिक्रिया समय सहिष्णुता की जांच करें | 120 |
2. ilum स्केलेबल सेवाओं के लिए पैरामीटराइज्ड प्रतिकृति स्केल
लक्षण
इलम स्केलेबल सेवाओं के लिए प्रतिकृतियों की संख्या का विन्यास मूल्यों को पतवार करने के लिए निकाला गया था।
मूल्य जोड़े गए - इलम-कोर
इलम-कोर कॉमन पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
प्रतिकृति गणना | इलम-कोर प्रतिकृतियों की संख्या | 1 |
मान जोड़े गए - ilum-ui
इलम-यूआई कॉमन पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
प्रतिकृति गणना | इलम यूआई प्रतिकृतियों की संख्या | 1 |
रिलीज 6.1.0
1. ilum क्लस्टर wasbs भंडारण से अनावश्यक मापदंडों को हटा दिया
लक्षण
WASBS स्टोरेज कंटेनरों को अब पतवार मूल्यों में sas टोकन डालने की आवश्यकता नहीं है क्योंकि यह अनावश्यक निकला
हटाए गए मान - इलम-कोर
WASBS भंडारण पैरामीटर
| नाम | कारण |
|---|
kubernetes.wasbs.sparkContainer.name | करने के लिए ले जाया गया कुबेरनेट्स.wasbs.sparkकंटेनर मूल्य |
कुबेरनेट्स.wasbs.sparkContainer.sasToken | अनावश्यक निकला |
kubernetes.wasbs.dataContainer.name | करने के लिए ले जाया गया कुबेरनेट्स.wasbs.dataकंटेनर मूल्य |
कुबेरनेट्स.wasbs.dataContainer.sasToken | अनावश्यक निकला |
मूल्य जोड़े गए - इलम-कोर
WASBS भंडारण पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
कुबेरनेट्स.wasbs.sparkकंटेनर | डिफ़ॉल्ट kubernetes cluster WASBS भंडारण कंटेनर नाम स्पार्क संसाधनों को संग्रहीत करने के लिए | इलम फ़ाइलें |
कुबेरनेट्स.wasbs.dataकंटेनर | डिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर का नाम ilum टेबल स्टोर करने के लिए | इलम टेबल्स |
2. सेवा उपलब्धता की जांच करने के लिए init कंटेनर जोड़ा गया
लक्षण
इलम परिनियोजन को और अधिक सुंदर बनाने के लिए, अब से इलम कंटेनरों में कंटेनर हैं जो उन सेवाओं की उपलब्धता की प्रतीक्षा कर रहे हैं जिन पर वे निर्भर हैं।
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
mongo.statusProbe.enabled | मोंगो स्टेटस प्रोब सक्षम ध्वज | सच्चा |
mongo.statusProbe.image | Init कंटेनर जो MongoDB के उपलब्ध होने की प्रतीक्षा करता है छवि | मोंगो:7.0.5 |
kafka.statusProbe.enabled | काफ्का स्थिति जांच सक्षम ध्वज | सच्चा |
काफ्का.स्टेटसप्रोब.इमेज | Init कंटेनर जो काफ्का के उपलब्ध होने की प्रतीक्षा करता है छवि | बिटनामी/काफ्का:3.4.1 |
historyServer.statusProbe.enabled | ILUM इतिहास सर्वर ILUM-Core स्थिति प्रोब सक्षम ध्वज | सच्चा |
इतिहाससर्वर.statusProbe.image | इलम इतिहास सर्वर इनिट कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छवि | कर्लइमेज/कर्ल:8.5.0 |
मान जोड़े गए - ilum-livy-proxy
| नाम | या क़िस्म | मूल्य |
|---|
statusProbe.enabled | ILUM-Core स्थिति जांच सक्षम ध्वज | सच्चा |
statusProbe.image | Init कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छवि | कर्लइमेज/कर्ल:8.5.0 |
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
statusProbe.enabled | ILUM-Core स्थिति जांच सक्षम ध्वज | सच्चा |
statusProbe.image | Init कंटेनर जो इलम-कोर के उपलब्ध होने की प्रतीक्षा करता है छवि | कर्लइमेज/कर्ल:8.5.0 |
3. इलम-कोर चार्ट में पैरामीटर काफ्का उत्पादक
लक्षण
काफ्का संचार मोड में काफ्का उत्पादकों का उपयोग करके इंटरैक्टिव नौकरी के उदाहरणों के लिए इंटरैक्टिव नौकरियों की प्रतिक्रियाएं। नए जोड़े गए पतवार मूल्यों के साथ, काफ्का निर्माता को उपयोगकर्ता की जरूरतों से मेल खाने के लिए अनुकूलित किया जा सकता है।
मूल्य जोड़े गए - इलम-कोर
काफ्का पैरामीटर्स
| नाम | या क़िस्म | मूल्य |
|---|
काफ्का.मैक्सपोल रिकॉर्ड्स | काफ्का मैक्स.पोल.रिकॉर्ड्स पैरामीटर इलम जॉब्स काफ्का उपभोक्ता के लिए, यह निर्धारित करता है कि प्रत्येक पोल के साथ इलम-जॉब काफ्का उपभोक्ता कितना अनुरोध प्राप्त करेगा | 500 |
kafka.maxPollInterval | काफ्का max.poll.interval.ms इलम नौकरियों के लिए पैरामीटर काफ्का उपभोक्ता, यह मतदान के आह्वान के बीच अधिकतम देरी निर्धारित करता है, जो कि आईएलएम-नौकरी के संदर्भ में मतदान में प्राप्त अनुरोधों को संसाधित करने के लिए समय सीमा का मतलब है | 60000 |
रिलीज 6.1.0-RC1
1. सेवा एनोटेशन के लिए जोड़ा गया समर्थन
लक्षण
Ilum helm चार्ट सेवाओं एनोटेशन अब helm मूल्यों के माध्यम से कॉन्फ़िगर किया जा सकता है
मूल्य जोड़े गए - इलम-कोर
सेवा पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
सेवा.एनोटेशन | सेवा एनोटेशन | {} |
grpc.service.annotations | GRPC सेवा एनोटेशन | {} |
historyServer.service.annotations | इतिहास सर्वर सेवा एनोटेशन | {} |
मूल्य जोड़े गए - इलम-ज्यूपिटर
सेवा पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
सेवा.एनोटेशन | सेवा एनोटेशन | {} |
मान जोड़े गए - ilum-livy-proxy
सेवा पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
सेवा.एनोटेशन | सेवा एनोटेशन | {} |
मान जोड़े गए - ilum-ui
सेवा पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
सेवा.एनोटेशन | सेवा एनोटेशन | {} |
मूल्य जोड़े गए - इलम-टसेपेल्लिन
सेवा पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
सेवा.एनोटेशन | सेवा एनोटेशन | {} |
2. वैश्विक मूल्यों के लिए सुरक्षा oauth2 मापदंडों को बाहर निकाला
लक्षण
Ilum सुरक्षा oauth2 कॉन्फ़िगरेशन अब वैश्विक मूल्यों के माध्यम से सेट किया जा रहा है
मान जोड़े गए - ilum-aio
सुरक्षा मापदंड
| नाम | या क़िस्म | मूल्य |
|---|
global.security.oauth2.clientId | oauth2 क्लाइंट आईडी | `` |
global.security.oauth2.issuerUri | oauth2 URI जो या तो OpenID कनेक्ट खोज समापन बिंदु या OAuth 2.0 प्राधिकरण सर्वर मेटाडेटा समापन बिंदु RFC 8414 द्वारा परिभाषित हो सकता है | `` |
Global.security.oAuth2.ऑडियंस | OAUTH2 ऑडियंस | `` |
global.security.oauth2.clientSecret | OAUTH2 क्लाइंट सीक्रेट | `` |
हटाए गए मान - इलम-कोर
सुरक्षा मापदंड
| नाम | कारण | मूल्य |
|---|
security.oauth2.clientId | OAUTH2 सुरक्षा पैरामीटर अब वैश्विक मानों के माध्यम से कॉन्फ़िगर किए गए हैं | `` |
security.oauth2.issuerUri | OAUTH2 सुरक्षा पैरामीटर अब वैश्विक मानों के माध्यम से कॉन्फ़िगर किए गए हैं | `` |
3. दृश्यपटल के लिए रनटाइम पर्यावरण चर
लक्षण
फ्रंटएंड पर्यावरण चर के लिए कॉन्फ़िगरेशन जो कि helm ui मानों के माध्यम से होता है।
मान जोड़े गए - ilum-ui
रनटाइम चर
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.defaultConfigMap.enabled | डिफ़ॉल्ट कॉन्फ़िगरेशन मैप फ़्रंटएंड रनटाइम पर्यावरण चर के लिए | सच्चा |
runtimeVars.debug | डीबग लॉगिंग ध्वज | गलत |
runtimeVars.backenUrl | ilum-core बैकएंड URL | http://ilum-core:9888 |
runtimeVars.historyServerUrl | इतिहास सर्वर UI का URL | http://ilum-history-server:9666 |
runtimeVars.jupyterUrl | जुपिटर यूआई का यूआरएल | http://ilum-jupyter:8888 |
रनटाइमVars.airflowUrl | एयरफ्लो UI का URL | http://ilum-webserver:8080 |
runtimeVars.minioUrl | minio ui का URL | http://ilum-minio:9001 |
runtimeVars.mlflowUrl | MLFLOW UI का URL | http://mlflow:5000 |
runtimeVars.historyServerPath | ilum-UI प्रॉक्सी पथ इतिहास सर्वर UI के लिए | /बाहरी/इतिहास-सर्वर/ |
runtimeVars.jupyterPath | ilum-ui प्रॉक्सी पथ से Jupyter UI | /बाहरी/बृहस्पति/प्रयोगशाला/पेड़/काम/IlumIntro.ipynb |
रनटाइमVars.airflowपथ | ilum-ui प्रॉक्सी पथ से एयरफ्लो UI | /बाहरी/वायु प्रवाह/ |
runtimeVars.dataPath | ilum-ui प्रॉक्सी पथ से minio UI | /बाहरी/मिनी/ |
runtimeVars.mlflowPath | ilum-ui प्रॉक्सी पथ से MLflow UI | /बाहरी/mlflow/ |
हटाए गए मान - ilum-ui
| नाम | कारण |
|---|
डीबग | रनटाइमवर्स अनुभाग में ले जाया गया |
backenUrl | रनटाइमवर्स अनुभाग में ले जाया गया |
इतिहाससर्वरयूआरएल | रनटाइमवर्स अनुभाग में ले जाया गया |
jupyterयूआरएल | रनटाइमवर्स अनुभाग में ले जाया गया |
एयरफ्लोयूआरएल | रनटाइमवर्स अनुभाग में ले जाया गया |
4. क्यूब-प्रोमेथियस-स्टैक इलम-एआईओ चार्ट में
लक्षण
क्यूब प्रोमेथियस स्टैक इलम एआईओ चार्ट में। इलम पॉड्स के मैट्रिक्स को इकट्ठा करने के लिए इलम पॉड्स और स्पार्क जॉब्स द्वारा संचालित स्वचालित रूप से इलम परिनियोजन के साथ काम करने के लिए पूर्व-कॉन्फ़िगर किया गया।
इलम प्रोमेथियस सेवा मॉनिटर प्रदान करता है जो इलम और इलम बैकएंड सेवाओं द्वारा संचालित स्पार्क ड्राइवर पॉड्स से स्वचालित रूप से मैट्रिक्स को परिमार्जन करता है।
इसके अतिरिक्त, ilum_aio चार्ट अंतर्निहित ग्राफाना डैशबोर्ड प्रदान करता है जो इसमें पाया जा सकता है इलम फ़ोल्डर।
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
kube-prometheus-stack.enabled | kube-prometheus-stack सक्षम ध्वज | गलत |
kube-prometheus-stack.releaseLabel | क्यूब-प्रोमेथियस-स्टैक ध्वज केवल ilum_aio रिलीज से संसाधन देखने के लिए | सच्चा |
kube-prometheus-stack.kubeStateMetrics.enabled | kube-prometheus-stack घटक स्क्रैपिंग kube state metrics सक्षम ध्वज | गलत |
kube-prometheus-stack.nodeExporter.enabled | kube-prometheus-stack node exporter Daemon Set परिनियोजन ध्वज | गलत |
kube-prometheus-stack.alertmanager.enabled | kube-prometheus-stack चेतावनी प्रबंधक ध्वज | गलत |
kube-prometheus-stack.grafana.sidecar.dashboards.folderएनोटेशन | kube-prometheus-stack, यदि निर्दिष्ट है, तो साइडकार फ़ोल्डर बनाने और यहां ग्राफ डालने के लिए इस नाम के साथ एनोटेशन की तलाश करेगा | grafana_folder |
kube-prometheus-stack.grafana.sidecar.dashboards.provider.foldersFromFilesStructure | kube-prometheus-stack, Grafana को फाइल सिस्टम से डैशबोर्ड संरचना को दोहराने की अनुमति देता है | सच्चा |
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
job.prometheus.enabled | प्रोमेथियस सक्षम ध्वज, यदि इलम द्वारा संचालित सच्ची स्पार्क नौकरियां प्रोमेथियस प्रारूप में मैट्रिक्स साझा करेंगी | सच्चा |
5. इलम-एआईओ चार्ट में मार्केज़ ओपनलाइनेज
लक्षण
मार्केज ओपनलाइनेज इलम एआईओ चार्ट में। मार्केज़ एक संगठन से OpenLineage मेटाडेटा का उपभोग, भंडारण और कल्पना करने में सक्षम बनाता है,
डेटा गवर्नेंस, डेटा गुणवत्ता निगरानी और प्रदर्शन विश्लेषण सहित उपयोग के मामलों की सेवा करना। इलम एआईओ हेल्म स्टैक स्पार्क जॉब में सक्षम मार्केज़ के साथ, इलम द्वारा संचालित वंशावली की जानकारी मार्केज़ बैकएंड के साथ साझा करेगा।
मार्केज़ वेब इंटरफ़ेस स्पार्क नौकरियों से एकत्र किए गए डेटा लीनेज जानकारी की कल्पना करता है और यह आईफ्रेम के रूप में इलम यूआई के माध्यम से स्वीकार्य है।
मान जोड़े गए - ilum-aio
| नाम | या क़िस्म | मूल्य |
|---|
global.lineage.enabled | मार्केज़ सक्षम ध्वज | गलत |
मूल्य जोड़े गए - इलम-कोर
| नाम | या क़िस्म | मूल्य |
|---|
job.openLineage.transport.type | मार्केज़ संचार प्रकार | एचटीटीपी |
job.openLineage.transport.serverUrl | मार्केज़ बैकएंड URL | http://ilum-marquez:9555/ |
job.openLineage.transport.endpoint | मार्केज़ बैकएंड एंडपॉइंट | /बाहरी/वंश/API/v1/वंश |
मूल्य जोड़े गए - इलम-मार्केज़
नया जोड़ा गया पूरा चार्ट, इसके मूल्यों की जाँच करें चार्ट पृष्ठ
मान जोड़े गए - ilum-ui
| नाम | या क़िस्म | मूल्य |
|---|
runtimeVars.lineageUrl | url marquez openlineage UI iframe प्रदान करने के लिए | http://ilum-marquez-web:9444 |
runtimeVars.lineagePath | ilum-ui proxy path to marquez openlineage UI | /बाहरी/वंश/ |
रिलीज 6.0.3
1. ilum-core chart में parameterized kafka producers max.request.size पैरामीटर
लक्षण
काफ्का संचार मोड में काफ्का उत्पादकों का उपयोग करके इंटरैक्टिव नौकरी के उदाहरणों के लिए इंटरैक्टिव नौकरियों की प्रतिक्रियाएं। नए जोड़े गए हेल्म वैल्यू के साथ, max.request.size kafka निर्माता पैरामीटर को प्रतिक्रियाओं के आकार की जरूरतों से मेल खाने के लिए अनुकूलित किया जा सकता है।
मूल्य जोड़े गए - इलम-कोर
काफ्का पैरामीटर्स
| नाम | या क़िस्म | मूल्य |
|---|
काफ्का.अनुरोधआकार | काफ्का Max.request.size पैरामीटर ilum jobs kafka उत्पादकों के लिए | 20000000 |
रिलीज 6.0.2
1. ilum-core chart में HDFS, GCS और Azure ब्लॉब स्टोरेज के लिए सपोर्ट
लक्षण
इलम क्लस्टर को अब s3 स्टोरेज से अटैच नहीं करना है, अब से डिफ़ॉल्ट क्लस्टर को hdfs, gcs या azure blob को स्टोरेज के रूप में भी उपयोग करने के लिए कॉन्फ़िगर किया जा सकता है। यह इलम-कोर हेल्म चार्ट में नए जोड़े गए मूल्यों का उपयोग करके प्राप्त किया जा सकता है।
हटाए गए मान - इलम-कोर
| नाम | कारण |
|---|
कुबेरनेट्स.s3.बकेट | अब से दो अलग-अलग बकेट को नए मानों के साथ सेट किया जाना चाहिए: कुबेरनेट्स.s3.स्पार्कबकेट, कुबेरनेट्स.s3.डेटाबकेट |
मूल्य जोड़े गए - इलम-कोर
कुबेरनेट्स भंडारण पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.upgradeClusterOnStartup | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर कॉन्फ़िगरेशन मैप ध्वज में मानों से अपग्रेड करें | गलत |
कुबेरनेट्स.स्टोरेज.टाइप | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर संग्रहण प्रकार, उपलब्ध विकल्प: एस 3, जीसीएस, डब्ल्यूएएसबीएस, एचडीएफएस | एस 3 |
S3 कुबेरनेट्स स्टोरेज पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
कुबेरनेट्स.s3.होस्ट | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज होस्ट स्पार्क संसाधनों को स्टोर करने के लिए | एस 3 |
कुबेरनेट्स.s3.पोर्ट | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज पोर्ट स्पार्क संसाधनों को स्टोर करने के लिए | 7000 |
कुबेरनेट्स.s3.स्पार्कबकेट | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज बकेट स्पार्क संसाधनों को स्टोर करने के लिए | इलम फ़ाइलें |
कुबेरनेट्स.s3.डेटाबकेट | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज बकेट इलम टेबल स्टोर करने के लिए | इलम टेबल्स |
कुबेरनेट्स.s3.accessKey | डिफ़ॉल्ट kubernetes cluster S3 स्टोरेज एक्सेस कुंजी स्पार्क संसाधनों को स्टोर करने के लिए | "" |
कुबेरनेट्स.s3.secretKey | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर S3 स्टोरेज सीक्रेट की स्पार्क संसाधनों को स्टोर करने के लिए | "" |
GCS कुबेरनेट्स स्टोरेज पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.gcs.clientईमेल | डिफ़ॉल्ट kubernetes cluster GCS संग्रहण क्लाइंट ईमेल | "" |
कुबेरनेट्स.gcs.sparkBucket | डिफ़ॉल्ट kubernetes cluster GCS स्टोरेज बकेट स्पार्क संसाधनों को स्टोर करने के लिए | "इलम फाइलें" |
कुबेरनेट्स.gcs.dataबकेट | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर जीसीएस स्टोरेज बकेट इलम टेबल स्टोर करने के लिए | "इलम-टेबल्स" |
कुबेरनेट्स.जीसीएस.प्राइवेटकी | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर जीसीएस भंडारण स्पार्क संसाधनों को स्टोर करने के लिए निजी कुंजी | "" |
कुबेरनेट्स.gcs.privateKeyId | डिफ़ॉल्ट kubernetes cluster GCS संग्रहण निजी कुंजी आईडी स्पार्क संसाधनों को संग्रहीत करने के लिए | "" |
WASBS कुबेरनेट्स भंडारण पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
कुबेरनेट्स.wasbs.accountName | डिफ़ॉल्ट kubernetes cluster WASBS संग्रहण खाता नाम | "" |
कुबेरनेट्स.wasbs.accessKey | डिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज एक्सेस कुंजी स्पार्क संसाधनों को स्टोर करने के लिए | "" |
kubernetes.wasbs.sparkContainer.name | डिफ़ॉल्ट kubernetes cluster WASBS भंडारण कंटेनर नाम स्पार्क संसाधनों को संग्रहीत करने के लिए | "इलम फाइलें" |
कुबेरनेट्स.wasbs.sparkContainer.sasToken | डिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर sas टोकन स्पार्क संसाधनों को स्टोर करने के लिए | "" |
kubernetes.wasbs.dataContainer.name | डिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर का नाम ilum टेबल स्टोर करने के लिए | "इलम-टेबल्स" |
कुबेरनेट्स.wasbs.dataContainer.sasToken | डिफ़ॉल्ट kubernetes cluster WASBS स्टोरेज कंटेनर sas टोकन ilum टेबल स्टोर करने के लिए | "" |
HDFS कुबेरनेट्स स्टोरेज पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
kubernetes.hdfs.hadoopUsername | डिफ़ॉल्ट kubernetes cluster HDFS storage hadoop username | "" |
कुबेरनेट्स.एचडीएफएस.कॉन्फिग | डिफ़ॉल्ट कुबेरनेट्स क्लस्टर एचडीएफएस स्टोरेज डिक्ट कॉन्फ़िगरेशन फ़ाइलों का नाम कुंजी के रूप में और बेस 64 एन्कोडेड सामग्री मान के रूप में | "" |
kubernetes.hdfs.sparkकैटलॉग | डिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कैटलॉग स्पार्क संसाधनों को स्टोर करने के लिए | "इलम फाइलें" |
kubernetes.hdfs.dataकैटलॉग | डिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कैटलॉग इलम-टेबल स्टोर करने के लिए | "इलम-टेबल्स" |
कुबेरनेट्स.एचडीएफएस.कीटैब | डिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज कीटैब फ़ाइल base64 एन्कोडेड सामग्री | "" |
कुबेरनेट्स.एचडीएफएस.प्रिंसिपल | डिफ़ॉल्ट kubernetes cluster HDFS भण्डारण प्रमुख नाम | "" |
कुबेरनेट्स.एचडीएफएस.केआरबी5 | डिफ़ॉल्ट kubernetes cluster HDFS storage krb5 file base64 एन्कोडेड सामग्री | "" |
kubernetes.hdfs.trustस्टोर | डिफ़ॉल्ट kubernetes cluster HDFS स्टोरेज ट्रस्टस्टोर फ़ाइल base64 एन्कोडेड सामग्री | "" |
कुबेरनेट्स.hdfs.logनिर्देशिका | डिफ़ॉल्ट kubernetes cluster HDFS भंडारण निर्देशिका पूर्ण पथ इतिहास सर्वर के लिए eventLog स्टोर करने के लिए | "" |
महत्वपूर्ण! सुनिश्चित करें कि S3/GCS बाल्टी या WASBS कंटेनर पहले से ही बनाए गए हैं और उपलब्ध हैं!
2. इलम-कोर हेल्म चार्ट में स्पार्क इतिहास सर्वर जोड़ा गया
लक्षण
स्पार्क इतिहास सर्वर को अब से इलम-कोर के साथ तैनात किया जा सकता है। इतिहास सर्वर कॉन्फ़िगरेशन को हर स्पार्क जॉब इलम रन में पास किया जा रहा है।
इतिहास सर्वर UI को अब ilum UI द्वारा एक्सेस किया जा सकता है। यदि सक्षम है तो यह कुबेरनेट्स के साथ कॉन्फ़िगर किए गए डिफ़ॉल्ट कुबेरनेट्स क्लस्टर स्टोरेज का उपयोग करेगा। [STORAGE_TYPE]। [पैरामीटर] मान eventLog संग्रहण के रूप में।
मूल्य जोड़े गए - इलम-कोर
इतिहास सर्वर पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
historyServer.enabled | स्पार्क इतिहास सर्वर ध्वज | सच्चा |
इतिहाससर्वर.इमेज | स्पार्क इतिहास सर्वर छवि | इलम / स्पार्क-लॉन्चर: स्पार्क-3.5.3 |
इतिहाससर्वर.पता | स्पार्क इतिहास सर्वर पता | http://ilum-history-server:9666 |
इतिहाससर्वर.पुलपॉलिसी | स्पार्क इतिहास सर्वर छवि पुल नीति | अगरउपस्थित नहीं |
इतिहाससर्वर.इमेजपुलसीक्रेट्स | स्पार्क इतिहास सर्वर छवि रहस्य खींचो | [] |
इतिहाससर्वर.पैरामीटर | स्पार्क इतिहास सर्वर कस्टम स्पार्क पैरामीटर | [] |
इतिहाससर्वर.संसाधन | स्पार्क इतिहास सर्वर पॉड संसाधन | सीमा: मेमोरी: "500Mi" अनुरोध: मेमोरी: "300Mi" |
इतिहाससर्वर.service.type | स्पार्क इतिहास सर्वर सेवा प्रकार | क्लस्टरआईपी |
इतिहाससर्वर.service.port | स्पार्क इतिहास सर्वर सेवा पोर्ट | 9666 |
इतिहाससर्वर.service.nodePort | स्पार्क इतिहास सर्वर सेवा नोडपोर्ट | "" |
historyServer.service.clusterIP | स्पार्क इतिहास सर्वर सेवा clusterIP | "" |
इतिहाससर्वर.service.loadBalancerIP | स्पार्क इतिहास सर्वर सेवा loadbalancerIP | "" |
इतिहाससर्वर.ingress.enabled | स्पार्क हिस्ट्री सर्वर ध्वज में प्रवेश करता है | गलत |
इतिहाससर्वर.ingress.version | स्पार्क इतिहास सर्वर प्रवेश संस्करण | "वी 1" |
इतिहाससर्वर.ingress.className | स्पार्क इतिहास सर्वर प्रवेश className | "" |
इतिहाससर्वर.ingress.होस्ट | स्पार्क इतिहास सर्वर प्रवेश होस्ट | "मेजबान" |
इतिहाससर्वर.ingress.path | स्पार्क इतिहास सर्वर प्रवेश पथ | "/(.*)" |
इतिहाससर्वर.ingress.pathType | स्पार्क इतिहास सर्वर प्रवेश पथ प्रकार | पूर्वसर्ग |
historyServer.ingress.annotations | स्पार्क इतिहास सर्वर एनोटेशन | nginx.ingress.kubernetes.io/rewrite-target: /$1
nginx.ingress.kubernetes.io/proxy-body-size: "600 मीटर"
nginx.org/client-max-body-size: "600 मीटर" |
चेतावनियाँ
- सुनिश्चित करें कि HDFS logDirectory (हेल्म वैल्यू kubernetes.hdfs.logDirectory) /ilum/logs प्रत्यय के साथ कॉन्फ़िगर किए गए sparkCatalog का पूर्ण पथ है! जैसे kubernetes.hdfs.sparkCatalog=spark-catalog put hdfs://name-node/user/username/spark-catalog/ilum/logs
3. इलम-कोर चार्ट में नौकरी प्रतिधारण
लक्षण
कॉन्फ़िगर की गई अवधारण अवधि समाप्त होने के बाद Ilum कार्य हटा दिए जाएँगे
मूल्य जोड़े गए - इलम-कोर
नौकरी प्रतिधारण पैरामीटर
| नाम | या क़िस्म | मूल्य |
|---|
job.retain.hours | स्पार्क नौकरी प्रतिधारण घंटे सीमा | 168 |