Sistem Deteksi Simbol Isyarat Pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe Berbasis Android

Abstract

Penyandang disabilitas, khususnya tunarungu, menghadapi tantangan besar dalam berkomunikasi, terutama di perguruan tinggi yang seringkali belum sepenuhnya inklusif. Penelitian ini bertujuan untuk mengembangkan sistem deteksi Bahasa Isyarat Indonesia (SIBI) berbasis Android menggunakan framework MediaPipe dan teknologi deep learning. Dataset penelitian mencakup 24 kelas huruf abjad statis yang diambil menggunakan kamera smartphone dan sumber daring. Proses pengembangan melibatkan ekstraksi fitur menggunakan MediaPipe dan integrasi ke platform Android. Pengujian menunjukkan model mencapai akurasi 90,85%, meskipun terdapat tantangan pada kelas dengan pola isyarat yang mirip. Hasil usability testing dengan 60 pengguna mencatat rata-rata kepuasan 83,51%, menunjukkan respons positif terhadap kemudahan penggunaan dan manfaat aplikasi. Aplikasi ini memungkinkan deteksi isyarat secara akurat dan cepat, serta stabil di berbagai kondisi. Hasil penelitian ini penting untuk meningkatkan apksesibilitas komunikasi penyandang tunarungu melalui solusi teknologi yang mudah diakses dan aplikatif.