School of Information Systems

Mengenal apa itu ETL (Extract, transform, dan load) dan Toolsnya

21 Jul 2021

ETL adalah sekumpulan proses integrasi data yang harus dilalui dalam pembentukan data warehouse. ETL bertujuan untuk mengumpulkan, menyaring, mengolah dan menggabungkan datadata yang relevan dari berbagai sumber untuk disimpan ke dalam data warehouse. Sesuai dari Namanya proses ETL sendiri terdiri dari extracting, transforming, loading (Softbless, n.d.)

  1. Extract

Extract adalah proses memilih dan mengambil data dari satu atau beberapa sumber misalnya Server SQL, XML, atau flat files untuk dibaca atau diakses data yang dipilih tersebut. Sebelum proses extract ini kita lakukan, akan lebih baik dan mempermudah jika user sudah mendefinisikan kebutuhan terhadap sumber data yang akan digunakan terlebih dahulu.

  1. Transformation

Transformation adalah proses dimana data yang telah diambil pada proses extract akan dioalah dan mengubah data dari bentuk asli menjadi bentuk yang sesuai dengan kebutuhan data warehouse. Adapun masalah yang biasanya terjadi pada proses transform adalah sulitnya mengg abungkan data dari beberapa sistem yang berbeda.

Biasanya, ada 5 hal yang dilakukan pada data:

  1. filtering, adalah proses dimana kita menyaring data dengan filter tertentu
  2. cleaning, adalah proses menyesuaikan format penulisan.
  3. joining, adalah proses diamana ketika data yang serupa menjadi satu
  4. splitting, adalah proses memecah data yang berbeda menjadi dua atau lebih
  5. sortingadalah proses mengurutkan data berdasarkan ciri-ciri tertentu.
  6. Load

Load adalah proses terakhir yang berguna untuk memasukkan data ke dalam target akhir, yaitu ke dalam data warehouse. Berikut ini adalah cara untuk memasukkan data adalah:

  1. menjalankan SQL script secara periodic yang akan mengubah data kedalam bentuk Dimensional Data Store agar format data cocok untuk diterapkan pada proses analisis dan telah terintegrasi dengan beberapa sumber data.
  2. Proses Load kedua yaitu akan sampai ke berbagai macam output yang sesuai dengan skemanya, yaitu terdiri dari proses load-up data (lodupd), load-insert data (lodins), dan load bulk data (lodbld).

Adapun sebagai berikuut tools-tools yang biasa digunakan dalam proses ETL (Extract, transform, dan load):

  1. SSIS (SQL Server Integration Services).

SQL Server Integration Services SSIS dapat diakses didalam Microsoft Visual Studio. Software ini merupakan pengembangan dari platform Microsoft SQL Server Business Intelegence BI yang berguna untuk membuat ETL packages. Packages adalah kumpulan task yang dieksekusi dengan urutan tertentu dan merupakan komponen utama SSIS. Package dapat disimpan di SQL Server pada database msdb, ataupun disimpan sebagai sebuah file .dtsx.

  1. Talend

Talend adalah open source yang digunakan untuk integrasi data, Talend biasanya digunakan untuk integrasi antar sistem operasional (ETL). Fitur utama dari talend adalah membantu mengelola semua aspek tahapan yang ada pada ETL secara efisien dan efektif. Talend adalah software yang cukup banyak digunakan karena telah digunakan oleh ratusan ribu pengguna termasuk beberapa perusahaan terbesar di dunia dan bahkan instansi pemerintah. Adapun keuntungan terpenting dari Talend sebagai Integrasi Data adalah menyediakan alat yang dapat mengintegrasikan, membersihkan, dan menyimpan semua data dan memungkinkan anda mengambil dan mengubah data untuk membuat keputusan yang lebih cepat.

  1. Pentaho Data Integration (PDI)

Pentaho Data Integration (PDI) adalah aplikasi memiliki sifat yang sama dengan talend yaitu bersifat free open source software dengan memanfaatkan platform Java.  Pentaho Data Integration (PDI) menyediakan kemampuan Extract, Transform, and Load (ETL) yang memfasilitasi capturing, cleansing, dan storing data menggunakan format yang konsisten dan dapat diakses serta relevan bagi pengguna dan teknologi IoT. Selain open source Pentaho bisa didapatkan dalam bentuk Service Level Agreement (SLA) dan dipaketkan dalam versi Enterprise Edition yang sifatnya annual.

Selain ketiga software yang disebutkan diatas masih banyak lagi software-software yang digunakan dalam proses ETL serta anda dapat menemukan informasi-informasi tersebit dengan mudah diluaran sana, maka dari itu jika anda tertarik lebih lanjut anda dapat mengeksplor lebih banyak lagi pengetahuan mengenai ETL diluar artikel ini.

Referensi:

Softbless. (n.d.). Apa Itu ETL, Manfaat, dan Langkah dalam Prosesnya? – Glints Blog. Retrieved June 25, 2021, from https://glints.com/id/lowongan/etl-adalah/

Devi Puri