Mengenal Algoritma Decision Tree

Decision Tree adalah sebuah cara/pemikiran/pembuatan keputusan yang berbentuk sekumpulan simpul seperti pohon yang dapat memberikan suatu jawaban dari beberapa pilihan Tindakan. Biasanya decision tree dimulai dari satu node atau satu simpul. Kemudian node tersebut bercabang untuk memberikan pilihan-pilihan Tindakan yang lain. Selanjutnya node tersebut akan memiliki cabang-cabang baru. Dalam pembuatan node atau cabang baru akan terus di ulang sampai kriteria berhenti dipenuhi. Decision tree biasanya dapat memperoses dataset yang berisi atribut nominal atau numerik. Label attribute harus berbentuk nominal untuk proses klasifikasi dan berbentuk numerik untuk regresi.

Untuk mengenal algoritma decision tree lebih jauh lagi, dibawah ini akan dijelaskan mengenai parameter apa saja yang dapat di konfirugasikan dalam algoritma decision tree :

• Criterion : parameter untuk memisahkan atribut. Untuk masing-masing kriteria yang dapat dipilih harus dapat mengoptimalkan nilai split dari decision tree. Dibawah ini adalah beberapa criteria yang dapat di pilih :
  • Information_gain : criteria ini menghitung entropi dari semua atribut dan yang memiliki nilai entropi paling sedikit dipilih untuk di pisah. Kriteria ini memiliki bias terhadap pemilihan atribut yang memiliki jumlah nilai yang besar.
  • Gain_ratio : criteria ini melakukan penyesuaian informasi untuk setiap atribut untuk memungkinkan luas dan keseragaman atribut.
  • Gini_index : criteria ini mengukur ketidaksetaraan antara distribusi karakteristik label. Pemisahan pada Atribut yang dipilih menghasilkan pengurangan indeks gini rata-rata dari himpunan bagian yang dihasilkan
  • Akurasi : criteria ini memilih atribut yang akan dipisahkan yang dapat memaksimalkan akurasi seluruh tree.
  • Least_square : criteria ini memilih atribut untuk dipecah, yang meminimalkan jarak kuadrat antara rata-rata nilai dalam node sehubungan dengan nilai sebenarnya
• Maximal_depth : Parameter ini digunakan untuk membatasi kedalaman pohon keputusan. Jika nilainya diatur ke ‘-1’, parameter kedalaman maksimal tidak membatasi kedalaman pohon. Dalam hal ini pohon dibangun sampai kriteria penghentian lainnya terpenuhi. Jika nilainya diatur ke ‘1’, sebuah pohon dengan satu simpul dihasilkan
• Apply Pruning : Model pohon keputusan dapat dipangkas setelah generasi. Jika dicentang, beberapa cabang diganti dengan daun sesuai dengan parameter keyakinan.
• Confidence : Parameter ini menentukan tingkat kepercayaan yang digunakan untuk perhitungan kesalahan pesimistis pemangkasan.
• Apply Pre-pruning : Parameter ini menentukan apakah lebih banyak kriteria penghentian daripada kedalaman maksimal yang harus digunakan selama pembuatan model pohon keputusan. Jika dicentang, parameter perolehan minimal, ukuran daun minimal, ukuran minimal untuk membelah dan jumlah alternatif pemangkasan digunakan sebagai kriteria penghentian.
• Minimal_gain : Gain dari sebuah node dihitung sebelum memisahkannya. Node dibagi jika keuntungannya lebih besar dari keuntungan minimal. Nilai gain minimal yang lebih tinggi menghasilkan pemisahan yang lebih sedikit dan dengan demikian pohon yang lebih kecil. Nilai yang terlalu tinggi akan sepenuhnya mencegah pemisahan dan pohon dengan satu simpul dihasilkan.
• Minimal_leaf_size : Ukuran daun adalah jumlah Contoh dalam subsetnya. Tree dibangkitkan sedemikian rupa sehingga setiap daun setidaknya memiliki jumlah ukuran daun minimal.
• Minimal_size_for_split : Ukuran node adalah jumlah Contoh dalam subsetnya. Hanya node yang dipisah yang ukurannya lebih besar atau sama dengan ukuran minimal untuk parameter split.
• Number_of_prepruning_alternatives : Ketika split dicegah dengan melakukan prepruning pada node tertentu, parameter ini akan menyesuaikan jumlah node alternatif yang diuji untuk splitting. Terjadi saat pra-pemangkasan berjalan paralel dengan proses pembuatan pohon. Ini dapat mencegah pemisahan pada node tertentu, ketika pemisahan pada node tersebut tidak menambah daya diskriminatif seluruh pohon. Dalam kasus seperti itu, node alternatif dicoba untuk dipecah.

References : https://glints.com/id/lowongan/decision-tree-adalah/#.Yguni-5BxQI