Deteksi Bahasa Isyarat Berdasarkan SIBI (Sistem Bahasa Isyarat) menggunakan Transfer Learning

Abstract

Bahasa isyarat merupakan suatu bentuk komunikasi yang digunakan oleh individu yang memiliki keterbatasan seperti tunarungu dan tunawicara. Bahasa isyarat merupakan suatu bentuk komunikasi yang digunakan oleh individu yang memiliki keterbatasan seperti tunarungu dan tunawicara. Di Indonesia terdapat dua jenis bahasa isyarat yang digunakan yakni, Sistem Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO). Permasalahan dalam mengidentifikasi simbol dari gestur tangan bahasa isyarat SIBI secara efektif dengan memanfaatkan teknologi artificial intelligence yakni pengolahan citra dan pengenalan pola. Pernulis tertarik untuk mengidentifikasi kombinasi terbaik yang dapat memberikan tingkat akurasi deteksi yang optimal dan dapat memberikan kontribusi dalam memperbaiki dan mengembangkan sistem deteksi bahasa isyarat SIBI. Dengan menggunakan transfer learning, yaitu VGG16 dan MobileNet dengan dua skema tahap preprocessing. Skema pertama menerapkan augmentasi resize, sedangkan skema kedua menerapkan augmentasi resize, flip horizontal dan rotate. Hasil akurasi terbaik diperoleh dengan menggunakan MobileNet dengan nilai akurasi 98%, namun memiliki durasi waktu cukup lama dibanding dengan VGG16. VGG16 mendapatkan hasil nilai akurasi 86%, namun memiliki durasi waktu cukup cepat dibanding dengan Mobilenet. Hasil terbaik didapat dengan menggunakan menerapkan augmentasi hanya dengan resize, serta penelitian ini masih belum membandingkan dengan beberapa transfer learning lainnya.