PENGGUNAAN KAFKA DALAM MENGHADAPI TANTANGAN BIG DATA

Adanya perkembangan teknologi yang mengalami perkembangan dengan pesat, menyebabkan bayaknya data yang dihasilkan dalam keseharian dalam berbagai sector seperti manufaktur, bisnis, sains, maupun melalui kehidupan pribadi. Melalui adanya pemrosesan data yang tepat dapat diperolehnya pengetahuan baru berhubungan dengan masyarakat, pasar, serta lingkungan. Teknologi konvensional yang sebelumya digunakan menyebabkan keterbatasan pada pemrosesan data, terutama jika data yang dihasilkan besar adanya. Besarnya jumlah data disebut dengan Big Data.

Tantangan yang paling jelas dalam Big Data merupakan volume data, namun tidak ada kesepakatan tentang kuantifikasi besarnya data tersebut. Hal ini menyebabkan Big Data yang tergantung pada factor kompleksitas struktur data, persyaratan target aplikasi. Selain itu, juga dihadapi adanya tantangan kecepatan data yang terus mengalami perbaruan secara terus menerus, membutuhkan adanya penanganan yang cepat dalam pengelolaan data. Data pada kenyataannya tidak hanya berasalkan dari satu sumber. Pengimplementasian data membutuhkan adanya penanganan dari berbagai sumber yang diperoleh dari beragam model dan format. Hal ini menyebabkan beragamnya keragaman data seperti terdapat tiga jenis data yaitu data terstruktur, data semi terstruktur, dan data tidak terstruktur. Adanya perkembangan teknologi bertujuan untuk menyelesaikan penanganan masing-masing tipe data yang berhubungan dengan pencarian informasi serta database.

Adanya perkembangan teknologi yang berperan untuk menyelesaikan dan mempermudah berbagai upaya tantangan dalam menghadapi pemrosesan berbagai acam jenis Big Data memiliki tujuan memudahkan pengelolaan data tersebut. Terutama data diperoleh dari berbagai sumber dan dilakukan pengintegrasian. Hal ini menyebabkan munculnya salah satu teknologi yaitu Apache Kafka. Apache Kafka merupakan alat yang dibangun pada ekosistem Hadoop untuk melakukan penanganan log transaksi serta data dalam waktu nyata atau real-time. Platformnya memiliki aliran dengan sumber terbuka yang dilakukan pengembangan melalui Apache Software Foundation. Dilakukannya penyimpanan dengan menggunakan Kafka yang memproses data secara besar-besar dan dilakukan perancangan pada log transkasi terdistribusi, hal ini membuat penting sebagai proses pengaliran data. Kafka berperan untuk melakukan penguhubungan sistem eksternal melalui Kafka Connect dan memberi Kafka Streams yang merupakan Java stream library untuk melakukan pemrosesan data pada Kafka.

Melalui adanya Apache Kafka dapat memudahkan untuk menghadapi adanya tantangan dalam menghadapi pemrosesan Big Data. Hal ini disebabkan adanya pemrosesan aliran dan sistem pesan yang toleran terhadap kesalahan karena pemrosesan dilakukan secara cepat dan terukur menyebabkannya kerap kali digunakan dalam pengolahan data dan analisis. Perancanga Kafka bertujuan untuk latensi yang rendah dengan throughput yang tinggi. Di dalamnya Kafka membangun adanya jaringan pipa yang bergerak secara real time berhubungan dengan aliran data yang dikelola sehingga dapat diandalkan untuk mendapaktan data antara sistem atau aplikasi. Kemudian, Kafka melakukan penanganan pada ratusan megabyte data dari berbagai kleinnya, hal ini membuat Kafka dapat digunakan sebagai alat untuk menghadapi adanya tantangan pemrosesan Big Data.

Analisis dan pengembangan pada data dapat membantu pengambiln keputusan dalam perusahaan yang melakukan pengelolaan pada Big Data. Hal ini menyebabkan diperlukan adanya perluasan teknologi dengan basis data dalam menghadapi tantanganya dengan tujuan mengambil keputusan yang tepat bagi perusahaan. Tantangan ini dapat diupayakan penyelesaian melalui adanya Apache Kafka yang dapat digunakan untuk mengelola data pada waktu real-time serta dalam jumlah yang besar dengan tujuan untuk mengambil keputusan yang tepat bagi perusahaan berdasarkan pada analisis data yang dilakukan.

Sumber:

Chen, J., Chen, Y., Du, X., Li, C., Lu, J., Zhao, S., & Zhou, X. (2013). Big data challenge: A data management perspective. Frontiers of Computer Science, 7(2), 157–164. https://doi.org/10.1007/s11704-013-3903-7

Shree, R., Choudhury, T., Gupta, S. C., & Kumar, P. (2018). KAFKA: The modern platform for data management and analysis in big data domain. 2nd International Conference on Telecommunication and Networks, TEL-NET 2017, 2018–January, 1–5. https://doi.org/10.1109/TEL-NET.2017.8343593