Evaluasi Model BERT Untuk Intent Recognition Pada Chatbot Edukasi Etika Penggunaan AI Dalam Lingkungan Akademik

Abstrak

Perkembangan teknologi Artificial Intelligence (AI) dalam bidang pendidikan memberikan kemudahan dalam proses pembelajaran, namun juga menimbulkan tantangan terkait pemahaman etika penggunaan AI di lingkungan akademik. Penelitian ini bertujuan untuk mengevaluasi kinerja beberapa varian model BERT dalam melakukan intent recognition pada chatbot edukasi etika penggunaan AI khususnya di lingkungan perguruan tinggi. Model yang digunakan yaitu IndoBERT, Multilingual BERT, dan DistilBERT. Dataset terdiri dari 700 data dengan 7 kategori intent yang dikembangkan menggunakan pendekatan Retrieval-Augmented Generation (RAG) berbasis buku pedoman penggunaan Generative AI dari Kemendikbudristek tahun 2024. Model dievaluasi menggunakan metrik accuracy, precision, recall, dan F1-score, serta juga melakukan penanganan pertanyaan diluar cakupan topik atau out-of-scope (OOS) dengan membandingkan metode confidence threshold dan entropy-base detection. Hasil penelitian menunjukkan bahwa IndoBERT memiliki performa terbaik dengan nilai accuracy, precision, recall, dan F1-score sebesar 97%, lebih tinggi dibandingkan Multilingual BERT dan DistilBERT. Selain itu, metode entropy-based detection mencapai akurasi 95% dan lebih baik dalam mendeteksi pertanyaan di luar cakupan dibandingkan confidence threshold. Temuan ini menunjukkan bahwa IndoBERT merupakan model yang efektif untuk intent recognition pada chatbot edukasi etika penggunaan AI di lingkungan akademik.

Identifier

• DOI: https://doi.org/10.33364/algoritma/v.23-1.3463
• OpenAlex: https://openalex.org/W7163201064