APLIKASI PENGIDENTIFIKASI BAHASA ISYARAT BERDASARKAN GERAK TUBUH SECARA REAL TIME MENGGUNAKAN YOLO

Abstract

Bahasa isyarat merupakan bahasa yang umumnya digunakan oleh para tunarungu dan tunawicara untuk berkomunikasi. Bahasa isyarat menggunakan tangan sebagai sarana untuk memberikan informasi kepada lawan bicaranya. Cara berkomunikasi yang berbeda dengan masyarakat pada umumnya membuat masyarakat yang tidak mengerti bahasa isyarat kesulitan untuk mengerti informasi apa yang sedang disampaikan dalam bahasa isyarat. Penelitian ini bertujuan untuk membuat sebuah aplikasi yang dapat mengidentifikasi dan memprediksi arti dari 50 gerakan isyarat dalam Bahasa Isyarat Indonesia (BISINDO) secara langsung dari video yang ditangkap webcam dengan menggunakan metode You Only Look Once (YOLO). Dalam penelitian ini, arsitektur yang akan digunakan adalah arsitektur YOLOv5 dengan model YOLOv5s. Penelitian ini akan melakukan pelatihan dengan jumlah variasi pelatihan sebanyak 3 variasi. Berdasarkan penelitian yang sudah dilakukan, diperoleh akurasi validasi tertinggi sebesar 1. Sedangkan, berdasarkan pengujian yang sudah dilakukan, diperoleh akurasi tertinggi sebesar 67% untuk pengujian pertama dan 51,95% untuk pengujian kedua