What is Confusion Matrix?

Saat mendapatkan data, setelah proses data cleaning, pre-processing, dan manipulasi data, langkah pertama adalah membuat model pembelajaran untuk mendapatkan luaran dalam bentuk probabilitas. Bagaimana cara kita mengetahui model yang kita buat ini efektif? Model yang efektif akan semakin baik juga kinerja dari model kita. Jawabannya adalah dengan menggunakan Confusion Matrix. Confusion Matrix merupakan pengukuran kinerja untuk klasifikasi machine learning.

Pengukuran kinerja dari sebuah permasalahan klasifikasi machine learning dapat memiliki dua atau lebih kelas. Berikut adalah Confusion Matrix untuk dua kelas. Confusion matrix sangat berguna untuk menghitung recall, precision, specificity, accuracy, f1-score, dan AUC-ROC curves.

Sumber: https://www.analyticsvidhya.com/blog/2020/04/confusion-matrix-machine-learning/

True Positive (TP)

· Nilai prediksi sesuai dengan nilai aktual, atau kelas prediksi sesuai dengan kelas aktual.

· Nilai aktual positif, dan model memprediksi nilai positif.

True Negative (TN)

· Nilai prediksi sesuai dengan nilai aktual, atau kelas prediksi sesuai dengan kelas aktual.

· Nilai aktual negatif, dan model memprediksi nilai negatif.

False Positive (FP) – Type I Error

· Nilai prediksi salah.

· Nilai aktual negatif, tetapi model memprediksi nilai positif.

· Juga dikenal sebagai kesalahan tipe I.

False Negative (FN) – Type II Error

· Nilai prediksi salah.

· Nilai aktual positif, tetapi model memprediksi nilai negatif.

· Juga dikenal sebagai kesalahan tipe II.

Memahami TP, TN, FP, dan FN dengan analogi kehamilan seperti gambar di bawah ini.

Sumber: https://towardsdatascience.com/understanding-confusion-matrix-a9ad42dcfd62

Accuracy

Berdasarkan Confusion Matrix, kita dapat menghitung accuracy atau jumlah prediksi benar dibagi dengan total jumlah prediksi. Metrik ini menunjukkan seberapa baik model dalam mengklasifikasikan data secara keseluruhan. Akurasi sangat berguna untuk dataset yang seimbang, namun bisa menyesatkan untuk dataset yang tidak seimbang, karena bisa memberikan rasa aman yang salah tentang kinerja model. Accuracy dapat dihitung dengan rumus berikut:

Precision vs Recall

Precision adalah metrik yang mengukur proporsi prediksi positif yang benar dari semua prediksi positif yang dibuat oleh model. Precision dihitung dengan rumus berikut:

Recall, juga dikenal sebagai sensitivitas atau true positive rate, mengukur proporsi kasus positif aktual yang diidentifikasi dengan benar oleh model. Recall dapat dihitung dengan rumus berikut:

Precision dan recall adalah metrik penting dalam evaluasi kinerja model klasifikasi, terutama saat data tidak seimbang.

F1-Score

F1-score atau f-measure adalah metrik evaluasi yang digunakan dalam klasifikasi, terutama ketika data tidak seimbang. F1-score adalah rata-rata harmonis dari precision dan recall,

memberikan ukuran keseimbangan antara kedua metrik tersebut. Precision adalah proporsi prediksi positif yang benar, sementara recall adalah proporsi kasus positif yang diidentifikasi dengan benar. F1-score dapat dihitung dengan rumus:

Sumber: https://towardsdatascience.com/understanding-confusion-matrix-a9ad42dcfd62 https://www.analyticsvidhya.com/blog/2020/04/confusion-matrix-machine-learning