PENGEMBANGAN APLIKASI WEB PENGENALAN HURUF BAHASA ISYARAT INDONESIA (BISINDO) REAL-TIME MENGGUNAKAN MOBILENETV2

Nazwah Thalbiatul Ilmi Rahman; Bayyinahtun Dwi Sumatri; Muhammad Rifqi Adityama; Wahyuni Ningsi; Fitrah Rahmawati; Aditya Irawan; Bintang Alnur Ikhsan; Ilham Julian Efendi

doi:10.51876/simtek.v10i2.1588

Authors

Nazwah Thalbiatul Ilmi Rahman Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Bayyinahtun Dwi Sumatri Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Muhammad Rifqi Adityama Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Wahyuni Ningsi Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Fitrah Rahmawati Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Aditya Irawan Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Bintang Alnur Ikhsan Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo
Ilham Julian Efendi Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Halu Oleo

DOI:

https://doi.org/10.51876/simtek.v10i2.1588

Keywords:

Aplikasi Web, Bahasa Isyarat Indonesia, MobileNetV2, Real-Time, Transfer Learning

Abstract

Komunikasi merupakan kebutuhan dasar manusia, namun penyandang tunarungu sering menghadapi kendala karena keterbatasan alat penerjemah bahasa isyarat secara real-time dan rendahnya pemahaman masyarakat. Penelitian ini bertujuan mengembangkan aplikasi web untuk mengenali huruf Bahasa Isyarat Indonesia secara real-time menggunakan arsitektur MobileNetV2 dengan pendekatan transfer learning. Data terdiri dari 2.288 gambar huruf A–Z yang dikumpulkan dari sumber publik dan secara manual. Data telah diproses melalui normalisasi, perubahan ukuran, dan augmentasi untuk meningkatkan generalisasi model. Model dilatih dengan membekukan 100 lapisan awal dari bobot ImageNet dan menyesuaikan lapisan akhir untuk klasifikasi 26 huruf. Hasil evaluasi menunjukkan akurasi pengujian sebesar 99% dengan nilai loss 0,03. Model ini diimplementasikan dalam aplikasi berbasis web dengan arsitektur client-server menggunakan Flask dan Laravel, yang memungkinkan pengenalan bahasa isyarat secara langsung melalui kamera pengguna. Hasil penelitian menunjukkan solusi potensial untuk mendukung komunikasi penyandang tunarungu.