Optimasi Arsitektur DETR dan Augmentasi On-the-Fly untuk Deteksi Alfabet BISINDO

Abstract

Penelitian ini membahas penerapan Detection Transformer (DETR) yang dioptimasi dan dikombinasikan dengan augmentasi data on-the-fly untuk mendeteksi alfabet Bahasa Isyarat Indonesia (BISINDO) pada skenario real-time. Eksperimen dilakukan menggunakan dataset alfabet BISINDO yang terdiri dari 1.300 data dari 26 kelas (A–Z) dengan anotasi bounding box yang dikumpulkan secara mandiri pada lingkungan indoor terkontrol. Optimasi DETR dilakukan dengan menyederhanakan arsitektur dari konfigurasi standar menjadi 1 layer transformer encoder, 1 layer transformer decoder, dan 25 object queries untuk meningkatkan efisiensi inferensi. Augmentasi data on-the-fly diterapkan pada tahap pelatihan untuk memperkaya variasi data. Evaluasi dilakukan menggunakan metrik berbasis COCO menggunakan pustaka PyCOCOtools pada data uji serta pengujian real-time menggunakan input video frame-per-frame dari kamera. Hasil pengujian menunjukkan bahwa model tanpa augmentasi memperoleh nilai AP50 sebesar 0,987 pada data uji, sedangkan model dengan augmentasi on-the-fly memperoleh nilai AP50 sebesar 0,848. Meskipun nilai AP50 pada evaluasi statis menurun, hasil pengujian real-time menunjukkan bahwa model dengan augmentasi data on-the-fly menghasilkan deteksi yang lebih sesuai dibandingkan model tanpa augmentasi. Selain itu, optimasi arsitektur menghasilkan kecepatan inferensi hingga 58 FPS pada GPU dan 8 FPS pada CPU. Hasil ini menunjukkan bahwa penerapan DETR yang dioptimasi dan augmentasi data on-the-fly dapat digunakan untuk mendeteksi alfabet BISINDO pada skenario real-time.