PENGEMBANGAN SISTEM PENERJEMAH BAHASA ISYARAT INDONESIA KE DALAM TEKS SECARA REAL-TIME UNTUK KOSAKATA TERBATAS MENGGUNAKAN MEDIAPIPE DAN LONG SHORT-TERM MEMORY (LSTM)

Abstrak

Di tengah masyarakat yang semakin terhubung, kemampuan untuk saling memahami menjadi kunci penting dalam menjembatani perbedaan. Bagi teman Tuli di Indonesia, Bahasa Isyarat Indonesia (BISINDO) adalah jembatan utama untuk mengekspresikan pikiran dan perasaan mereka. Namun, ketika bahasa ini bertemu dengan lingkungan umum yang mayoritas tidak memahaminya, komunikasi kerap terhenti di tengah jalan. Situasi inilah yang menginspirasi penelitian ini. Sistem yang dikembangkan mampu mengenali dan mengubah gestur BISINDO secara langsung menjadi teks. Proses klasifikasi dilakukan menggunakan metode Long Short-Term Memory (LSTM), sedangkan deteksi rangka tangan, wajah, dan tubuh memanfaatkan Mediapipe Holistic. Penelitian ini menggunakan dataset sebanyak 110 video yang melibatkan 10 orang partisipan untuk memperagakan 10 kosakata BISINDO yang sering dipakai dalam percakapan sehari-hari serta 1 gestur diam. Hasil pengujian secara real-time menunjukkan bahwa model dengan 11 kelas, menggunakan arsitektur bidirectional LSTM, 1000 epoch, 64 unit hidden layer, dan batch size 32, mampu mencapai akurasi validasi 91.25%.

Identifier

• OpenAlex: https://openalex.org/W7167906603
• DOI: https://doi.org/10.36341/rabit.v11i2.7748