Big Data dan Data Warehouse

Teknologi berkembang pada kecepatan yang tidak mungkin diimbangi, dan eksekutif teknologi yang sudah tua akan segera menemukan bahwa semua kelas teknologi sarjana menjadi cepat usang. Jika ada seorang Chief Technology Officer (CTO) di sebuah perusahaan besar, tidak punya banyak waktu untuk belajar tentang teknologi baru karena terlalu sibuk memadamkan api dan memastikan Anda terlihat bagus di rapat dewan dan didepan semua orang lain yang mencoba melakukan hal yang sama.

Setiap profesional teknologi akan terbiasa dengan database. Ini hanyalah kumpulan data yang tumbuh seiring waktu, dan dari sanalah kita belajar hal-hal menarik dengan bertanya. Lalu ada gagasan tentang data warehouse yang sesuai dengan namanya. Jangan terlibat dalam seluruh percakapan “Kimball vs. Inmon” dan kita buat menjadi sesederhana mungkin.

Data Warehouse adalah sejumlah database yang berbeda dalam suatu organisasi yang dapat dihubungkan dengan kata kunci. Misalnya, kita dapat menghubungkan data di beberapa database menggunakan kata kunci yang disebut CUSTOMER_ID. Berikut adalah database di berbagai departemen tempat catatan ada yang mungkin ingin kita tautkan menggunakan CUSTOMER_ID:

Dengan menggunakan CUSTOMER_ID, Kita kemudian dapat dengan mudah mencetak pada satu halaman, daftar semua faktur yang belum dibayar dan daftar 10 permintaan layanan terbaru yang kemudian dapat dibawa oleh bagian penjualan ke rapat penjualan. Itulah data warehouse, kecuali mereka melangkah lebih jauh dan menggunakan data yang terhubung untuk membuat keputusan di tingkat yang lebih tinggi. Saat membangun data warehouse, kita biasanya tahu pertanyaan mana yang mungkin ingin kita jawab karena beberapa orang level-chief meminta Key Performance Indicators (KPI) tertentu untuk diukur.

Hal pertama yang perlu kita definisikan adalah istilah “big data” yang cukup banyak didefinisikan sendiri dari kata big data itu sendiri. Anda mungkin pernah mendengar statistik yang sering dikutip bahwa 98% dari semua data telah dibuat dalam 2 tahun terakhir. Itu big data. Semua kumpulan data besar yang sekarang sedang dihasilkan dapat ditambang untuk mendapatkan informasi. Di dunia teknologi tinggi saat ini, kita mungkin ingin menghasilkan wawasan yang tidak ketahui ada.