Arsitektur Model SSDMobileNet V2 untuk Klasifikasi Bahasa Isyarat BISINDO

Abstract

Dalam penelitian ini, kami menggunakan sebuah algoritma yang umum digunakan untuk deteksi objek untuk mengklasifikasikan gestur bahasa isyarat, yaitu BISINDO atau Bahasa Isyarat Indonesia. Proses pembelajaran bahasa isyarat ini masih terbatas, terutama dengan penggunaan metode tradisional seperti percakapan langsung atau menggunakan kamus. Namun, masih ada kendala dengan pendekatan ini, contohnya beberapa siswa mengalami kesulitan dalam menginterpretasikan apa yang mereka lihat di kamus. Oleh karena itu, penelitian ini bertujuan untuk mengatasi masalah tersebut dengan menggunakan model klasifikasi citra real-time. Dataset yang digunakan dalam penelitian ini dikumpulkan sendiri oleh peneliti, dengan total 520 gambar yang terdiri dari 26 kelas gestur alfabet BISINDO. Kami juga menggunakan transfer learning dalam penelitian ini untuk memanfaatkan arsitektur pra pelatihan SSDMobileNet V2. Dengan menggunakan metrik evaluasi COCO, hasilnya adalah model ini mencapai 94% mean average precision, 91% average precision, dan 85% recall. Model ini juga dapat mengklasifikasikan gestur bahasa isyarat secara real-time.