Evaluasi Sentimen Pengguna ChatGPT Menggunakan Naive Bayes: Tinjauan dari Confusion Matrix dan Classification Report

Abstrak

Perkembangan teknologi kecerdasan buatan (AI), khususnya pada pemrosesan bahasa alami (NLP), telah menghasilkan berbagai inovasi, salah satunya adalah ChatGPT. Popularitas yang tinggi mendorong perlunya analisis terhadap sentimen pengguna. Penelitian ini bertujuan mengevaluasi sentimen pengguna terhadap ChatGPT menggunakan algoritma Naive Bayes. Data diperoleh dari platform Kaggle, terdiri dari 500 tweet berbahasa Inggris yang telah diberi label: positif, netral, dan negatif. Tahapan penelitian meliputi preprocessing teks, ekstraksi fitur menggunakan TF-IDF, pembagian data menjadi 80% data latih dan 20% data uji, serta pelatihan model Naive Bayes. Hasil evaluasi menunjukkan akurasi model sebesar 56%, dengan f1-score tertinggi pada kelas negatif (0.67) dan terendah pada kelas netral (0.38). Confusion matrix menunjukkan kesalahan klasifikasi terbanyak terjadi pada kelas netral dan positif. Hal ini mengindikasikan keterbatasan Naive Bayes dalam menangani konteks kata dalam data teks. Untuk peningkatan performa, disarankan penggunaan teknik balancing data, penguatan fitur, serta eksplorasi algoritma klasifikasi lain yang lebih kompleks

Identifier

• DOI: https://doi.org/10.30787/restia.v3i2.1990
• OpenAlex: https://openalex.org/W4412814329