Data unification in Enterprise
Data unification
Proses menerima data dari berbagai sistem operasional dan menggabungkannya menjadi satu sumber dengan melakukan transformasi, integrasi skema, deduplikasi, dan pembersihan umum semua catatan yang ada dan menjadikannya berguna untuk mengembangkan strategi bisnis perusahaan. Data unification merupakan proses yang sangat kompleks dan salah satu tantangan terbesar yang dihadapi banyak organisasi besar saat ini.
Challenges in Data Unification
Kompleksitas dalam data unification didasarkan pada seberapa banyak jumlah data yang ada dan dari berapa banyak sumber yang ingin digabungkan datanya. Dalam memahami tantangan dalam data unification, perusahaan harus memahami program-program yang digunakan di perusahaan karena setiap program menangkap data secara berbeda. Mengelola dan memanfaatkan data adalah tantangan terbesar bagi sejumlah organisasi.
Berikut adalah high-level breakdown dari data unification process berdasarkan Michael Stonebraker’s white paper on The Seven Tenets of Scalable Data Unification:
- Ingesting data
Biasanya dari sistem data operasional di perusahaan.
- Performing data cleaning
Data yang dibersihkan merupakan data yang menampilkan kode untuk “null” dan beberapa sumber data lainnya yang mencatat data lama pelanggan.
- Performing transformasi
Melakukan beberapa perubahan yang bertujuan untuk menyesuaikan data yang diinginkan perusahaan. Misalkan: mengubah mata uang yen ke dolar atau kode stasiun kereta ke kota yang dituju.
- Performing schema integration
Melakukan integrasi untuk menyamakan skema di perusahaan. Misalkan: pada sistem payroll yang digunakan adalah kata “gaji” sedangkan di sistem produksi kata yang digunakan oleh sistem adalah “upah”.
- Performing deduplication
Melakukan konsolidasi entitas. Misalkan: penamaan nama di sumber data. Di satu sumber data ditulis “Alessia Cara” dan di sumber data lainnya ditulis “Mrs. Alessia Cara”.
- Performing classification
Melakukan klasifikasi atau complex analytics. Misalkan: mengklasifikasikan transaksi pembelanjaan yang dilakukan perusahan untuk mengetahui cash flow di bagian mana perusahaan banyak mengeluarkan cash. Proses ini membutuhkan data unification untuk mengetahui spend data, diikuti oleh complex analysis pada hasilnya.
- Exporting
Mengekspor unified data ke satu atau lebih downstream systems.
References:
https://onlinedsa.merrimack.edu/what-is-data-unification-and-why-is-it-important/
https://www.tamr.com/blog/what-is-data-unification/
