Deteksi Objek Bahasa Isyarat Alfabet BISINDO Menggunakan Deep Learning dan Arsitektur YOLO

Abstract

Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja. Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4. Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja. Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4. Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.