मुख्य विषयवस्तु में जाएं

प्रवासन

Running a large Hadoop or Cloudera CDP migration?

For the business overview (drivers, cost models, case studies, ROI), see the Ilum Hadoop & Cloudera Migration Platform page. For the implementation reference once a migration is in flight, see the migration toolkit documentation, which covers discovery, phased execution, data validation, and rollback.

The rest of this page describes a high-level, self-directed migration path and covers product-version migration notes for Ilum itself, including the MongoDB to PostgreSQL metadata-store transition and the Konvert library pilot for data-conversion workloads.

See also

For migrating the bundled object storage between providers (the MinIO to RustFS path; RustFS is planned to become the default in 6.8.0), refer to the Object Storage section, and in particular Migrate Between Providers.

Apache Hadoop से Ilum में माइग्रेशन में कई चरण शामिल होते हैं, आमतौर पर नए वातावरण के सेटअप से शुरू होते हैं, इसके बाद डेटा और एप्लिकेशन का माइग्रेशन होता है, और अंत में परीक्षण और अनुकूलन होता है। यहाँ प्रक्रिया की एक सामान्य रूपरेखा है:

  1. तैयारी: अपने वर्तमान Hadoop परिनियोजन को समझें, जिसमें डेटा, एप्लिकेशन और निर्भरताएँ शामिल हैं। यह सुनिश्चित करने के लिए सभी प्रासंगिक विवरणों का दस्तावेजीकरण करें कि संक्रमण में कुछ भी नहीं खोया है।

  2. कुबेरनेट्स पर्यावरण सेटअप करें: अपनी संगठनात्मक आवश्यकताओं के अनुसार अपने कुबेरनेट्स क्लस्टर को स्थापित और कॉन्फ़िगर करें। यह आपके इलम-प्रबंधित स्पार्क समूहों की नींव के रूप में काम करेगा।

  3. इलम स्थापित करें: कुबेरनेट्स के पैकेज मैनेजर हेल्म का उपयोग करके अपने कुबेरनेट्स क्लस्टर पर इलम को तैनात करें। सुनिश्चित करें कि इलम आपके स्पार्क समूहों को प्रबंधित करने के लिए ठीक से कॉन्फ़िगर किया गया है।

  4. डेटा माइग्रेशन: अपने Hadoop क्लस्टर से अपने नए परिवेश में डेटा माइग्रेट करना प्रारंभ करें. इसमें डेटा को आपके कुबेरनेट्स क्लस्टर द्वारा सुलभ वितरित फ़ाइल सिस्टम में या S3 संगत स्टोरेज सिस्टम में ले जाना शामिल हो सकता है यदि यह आपके नए आर्किटेक्चर का हिस्सा है।

  5. अनुप्रयोग माइग्रेशन: अपने स्पार्क एप्लिकेशन को Hadoop वातावरण से नए कुबेरनेट्स वातावरण में माइग्रेट करें। इसमें आपके अनुप्रयोगों में परिवर्तन शामिल हो सकते हैं ताकि उन्हें Hadoop Yarn और Kubernetes के बीच के अंतरों के अनुकूल बनाया जा सके।

  6. निर्भरताएँ अद्यतन करें: आपके अनुप्रयोगों की किसी भी निर्भरताएँ का अद्यतन करें, जैसे डेटा स्रोतों को HDFS से नए संग्रहण स्थान पर परिवर्तित करना.

  7. परीक्षण: यह सुनिश्चित करने के लिए पूरी तरह से परीक्षण करें कि आपके एप्लिकेशन नए वातावरण में ठीक से चल रहे हैं। इसमें कार्यात्मक परीक्षण के साथ-साथ प्रदर्शन परीक्षण भी शामिल होना चाहिए ताकि यह सुनिश्चित किया जा सके कि आपके एप्लिकेशन कम से कम प्रदर्शन कर रहे हैं और साथ ही उन्होंने Hadoop वातावरण में भी किया है।

  8. अनुकूलन: अपने परीक्षण के आधार पर, सर्वोत्तम प्रदर्शन के लिए अपने कुबेरनेट्स और इलम कॉन्फ़िगरेशन को अनुकूलित करें।

  9. निगरानी: एक बार जब सब कुछ माइग्रेट और अनुकूलित हो जाता है, तो यह सुनिश्चित करने के लिए अपने अनुप्रयोगों और बुनियादी ढांचे की निगरानी जारी रखें कि सब कुछ सुचारू रूप से काम कर रहा है। इलम एक वेब इंटरफ़ेस प्रदान करता है जो आपके स्पार्क क्लस्टर और नौकरियों की निगरानी करना आसान बनाता है।

यह एक उच्च-स्तरीय रूपरेखा है और आपके वर्तमान Hadoop सेटअप, आपके विशिष्ट उपयोग के मामलों और आपके नए वातावरण की वास्तुकला के आधार पर विशिष्टताएं अलग-अलग होंगी। यह भी ध्यान देने योग्य है कि प्रवासन एक जटिल प्रक्रिया हो सकती है, और विशेषज्ञों के साथ काम करना या प्रवासन में सहायता के लिए विस्तृत गाइड या संसाधनों की तलाश करना फायदेमंद हो सकता है।

माइग्रेशन समर्थन​

अपाचे हडोप से इलम द्वारा प्रबंधित एक नए वातावरण में संक्रमण चुनौतीपूर्ण लग सकता है, लेकिन आप इस प्रक्रिया में अकेले नहीं हैं। हम समझते हैं कि डेटा और एप्लिकेशन को माइग्रेट करना, एक नया वातावरण स्थापित करना और यह सुनिश्चित करना कि सब कुछ अपेक्षित रूप से काम करता है, एक जटिल कार्य हो सकता है।

इस प्रक्रिया में आपकी सहायता करने के लिए, इलम में हमारी टीम व्यापक सहायता प्रदान करने के लिए तैयार है। यदि आपको इलम स्थापित करने, अपने स्पार्क क्लस्टर को माइग्रेट करने, या संक्रमण प्रक्रिया के किसी अन्य पहलू में सहायता की आवश्यकता है, तो कृपया बेझिझक हमसे संपर्क करें। हम इलम की आसान तैनाती के लिए एक हेल्म चार्ट प्रदान कर सकते हैं, और अपने मौजूदा हडोप क्लस्टर को नए वातावरण में माइग्रेट करने के लिए आवश्यक चरणों के माध्यम से आपका मार्गदर्शन कर सकते हैं।

हम माइग्रेशन प्रक्रिया को आपके लिए यथासंभव आसान बनाने के लिए प्रतिबद्ध हैं। चाहे आपके पास तकनीकी प्रश्न हों, सर्वोत्तम प्रथाओं पर मार्गदर्शन की आवश्यकता हो, या माइग्रेशन के दौरान किसी भी समस्या का सामना करना पड़े, हम यहाँ मदद करने के लिए हैं।

कृपया हमसे संपर्क करें [ईमेल संरक्षित] इलम में आपके प्रवास में सहायता के लिए किसी भी समय। हमारी समर्पित सहायता टीम इलम के साथ कुशल और प्रबंधनीय अपाचे स्पार्क क्लस्टर प्रबंधन की दिशा में आपकी यात्रा में आपकी सहायता करने के लिए तैयार और उत्सुक है।

माइग्रेशन नोट्स​

माइग्रेट करना 5.*.* से 6.0.0​

संस्करण 6.0.0 के रिलीज़ के साथ, हमने नए सुरक्षा कार्यान्वयन प्रस्तुत किए हैं जिन पर माइग्रेशन प्रक्रिया के दौरान ध्यान देने की आवश्यकता होती है. यदि डिफ़ॉल्ट व्यवस्थापक खाते में कोई परिवर्तन किया गया है, तो मौजूदा उपयोगकर्ता खातों को फिर से बनाया जाना चाहिए.

संस्करण 6.0.0 में सफलतापूर्वक माइग्रेट करने के लिए नीचे दिए गए चरणों का पालन करें। एक उदाहरण आदेश दो खाते बनाता है: एक व्यवस्थापक के लिए और दूसरा नियमित उपयोगकर्ता के लिए।

हेल्म अपग्रेड \
    --अस्त हो ilum-core.security.internal.users[0].username=शासन \
	--अस्त हो ilum-core.security.internal.users[0].password=adminPassword \
	--अस्त हो ilum-core.security.internal.users[0].roles[0]=शासन \
	--अस्त हो ilum-core.security.internal.users[1].username=उपभोक्ता \
	--अस्त हो ilum-core.security.internal.users[1].password=उपयोगकर्ता पासवर्ड \
	--अस्त हो ilum-core.security.internal.users[1].roles[0]=उपभोक्ता \
	--पुन: उपयोग-मान इलम इलम /

सभी समर्थित प्रमाणीकरण विधियों और उनके मापदंडों की जांच करने के लिए, इलम-कोर चार्ट में README.md फ़ाइलों पर जाएं।

माइग्रेट करना 6.0.* से 6.1.0​

संस्करण 6.1.0 की रिलीज़ के साथ, हमने एक नया इलम स्पार्क स्टोरेज कार्यान्वयन पेश किया है जिस पर माइग्रेशन प्रक्रिया के दौरान ध्यान देने की आवश्यकता है। मौजूदा बकेट कॉन्फ़िगरेशन को नई स्कीमा से मेल खाने के लिए स्वरूपित किया जाना चाहिए।

इससे पहले s3 बाल्टी स्पार्क संसाधनों के भंडारण के लिए ilum द्वारा उपयोग किया जाता था इलम-कोर.कुबेरनेट्स.s3.बकेट हेल्म वैल्यू। संस्करण 6.1.0 के बाद से इसे दो नए मापदंडों से बदल दिया गया है:

  1. ilum-core.kubernetes.s3.sparkBucket - पिछले पैरामीटर के समान भूमिका निभाता है
  2. ilum-core.kubernetes.s3.dataBucket - इलम-टेबल के भंडारण के लिए बाल्टी को कॉन्फ़िगर करने के लिए उपयोग किया जाता है

Metadata store: MongoDB to PostgreSQL​

Recent Ilum releases promote पोस्टग्रेएसक्यूएल to the primary metadata store के लिए इलम कोर. Access is reactive (R2DBC) with jOOQ-generated SQL DSL. मोंगोडीबी remains supported for legacy deployments and continues to receive bug fixes, but new deployments should default to PostgreSQL.

Why the change​

  • Consistency with the rest of the stack: Marquez, Hive Metastore, Airflow, Superset, MLflow, Hydra, Gitea, n8n, and Kestra already share PostgreSQL. Consolidating इलम कोर removes one stateful system from the deployment surface.
  • Schema-first metadata: jOOQ codegen produces type-safe SQL, replacing the schemaless reads against MongoDB collections that grew brittle as the metadata model expanded.
  • Operational tooling: Standard Postgres backup, replication, and observability tooling applies to Ilum metadata without bespoke MongoDB pipelines.

Default configuration​

PostgreSQL is enabled out of the box in the umbrella Helm chart (postgresql.enabled: true). MongoDB is also enabled by default for backwards compatibility. Operators can disable MongoDB once they have migrated:

mongodb:
  सक्षम: गलत

Migrating an existing MongoDB-backed deployment​

A migration tooling chain ships with Ilum (script set M001 through M009) that reads metadata from MongoDB and writes it to PostgreSQL in the new schema. The migration is run once during the upgrade window:

  1. Stop incoming traffic to इलम कोर (drain or scale to zero).
  2. Verify a PostgreSQL deployment is reachable from the इलम कोर namespace and the इलम database exists.
  3. Run the migration job through the umbrella chart's migration runner. Each step (M001 through M009) runs sequentially; failures roll back to the prior checkpoint.
  4. Update the इलम कोर configuration to point its primary store at PostgreSQL.
  5. Restart इलम कोर. Verify clusters, jobs, schedules, and saved queries are present in the UI.
  6. After a soak period, scale MongoDB down or disable it via mongodb.enabled: false.

For deployment-specific migration assistance, contact [ईमेल संरक्षित].

Both backends in parallel​

इलम कोर supports running with either backend during the transition. The मोंगो.उरी and PostgreSQL connection settings remain configurable independently, allowing operators to validate the PostgreSQL backend on a non-production cluster before promoting it.

Konvert library (pilot)​

Ilum includes an integration with Konvert, a data-conversion library currently in pilot integration. Konvert is intended to streamline conversion of data and code between source formats and Ilum-native targets during migration projects (for example, transforming legacy ETL definitions into Ilum job specifications).

The pilot is opt-in and not yet covered by a stable public API. Teams interested in evaluating Konvert for a migration project should contact [ईमेल संरक्षित] for the current scope and an enablement walkthrough.

For large estate migrations from Hadoop or Cloudera CDP, the recommended starting point remains the Bifrost migration toolkit, which covers discovery, phased execution, data validation, and rollback.

Last updated on