PEMBANGUNAN APLIKASI PENERJEMAH BAHASA ISYARAT DENGAN METODE CNN BERBASIS ANDROID

Abstract

Tunawicara merupakan keadaan dimana seseorang tidak memiliki kemampuan untuk mendengar ataupun berbicara. Karena adanya permasalahan tersebut, individu dengan penyandang tunawicara menggunakan bahasa isyarat sebagai bahasa yang digunakan untuk melakukan komunikasi dengan individu lainnya. Bahasa isyarat adalah bahasa yang menggunakan gerak bibir, tubuh, dan juga tangan untuk mengekspresikan maksud dalam komunikasi. Sebagian besar masyarakat di Indonesia tidak memahami dan enggan belajar mengenai penggunaan bahasa isyarat, sehingga hal tersebut mengakibatkan adanya batasan dalam melakukan komunikasi jika bertemu dengan individu penyandang tunawicara. Penelitian ini memiliki tujuan agar masyarakat umum dapat melakukan komunikasi dengan individu penyandang tunawicara dengan melakukan proses penerjemahan bahasa isyarat dan belajar mengenai penggunaan bahasa isyarat dengan aplikasi penerjemah bahasa isyarat berbasis Android yang dikembangkan oleh peneliti. Aplikasi penerjemah bahasa isyarat dikembangkan pada platform Android, dengan tujuan agar dapat digunakan oleh masyarakat secara luas. Peneliti mengembangkan model Tensorflow Lite sebagai model penerjemah bahasa isyarat, dengan mengimplementasikan metode Convolutional Neural Network (CNN) dan jumlah total datasets bahasa isyarat sebanyak 1820 data. Jenis bahasa isyarat yang digunakan oleh peneliti pada pengembangan model tersebut adalah berjenis American Sign Language (ASL). Peneliti menggunakan 3 total Epoch ketika melakukan proses training model, diantaranya adalah 100 Epoch, 150 Epoch, dan 200 Epoch. Training model tersebut memiliki hasil akurasi dan Training Loss, dengan hasil akurasi tertinggi didapatkan oleh 200 Epoch. Namun, setelah model penerjemah bahasa isyarat dilakukan deployment pada aplikasi berbasis Android, akurasi turun hingga 73% dengan permasalahan beberapa beberapa bahasa isyarat mengalami salah prediksi. Penerjemahan bahasa isyarat masih dapat dilakukan, walaupun terdapat beberapa bahasa isyarat yang mengalami salah prediksi. Aplikasi penerjemah bahasa isyarat telah dikembangkan oleh peneliti dengan berbagai fitur pendukung yang dapat digunakan oleh users. Beberapa fitur tersebut diantaranya adalah login, register, forgot password, home, translation, dictionary, profile, edit profile, about me, dan yang terakhir adalah bookmarks. Users dapat menggunakan fitur translation untuk melakukan proses penerjemahan bahasa isyarat, dan fitur dictionary untuk belajar menggunakan bahasa isyarat.