Facial expression recognition pada wajah manusia dengan model You Only Look Once v11

Banyak mahasiswa mengalami kesepian akibat minimnya interaksi sosial, baik di lingkungan keluarga maupun universitas. Kesepian ini berdampak negatif terhadap kesehatan fisik dan psikologis. Salah satu solusi inovatif untuk mengatasi permasalahan ini adalah pengembangan robot sosial yang mampu berinteraksi secara emosional dengan manusia. Untuk mendukung hal tersebut, diperlukan teknologi yang memungkinkan robot mengenali emosi manusia secara real-time, salah satunya melalui implementasi Facial Expression Recognition (FER). Penelitian ini bertujuan untuk mendeteksi ekspresi wajah dan emosi secara akurat dalam gambar yang memuat banyak wajah dan ekspresi berbeda. Empat pendekatan utama diuji: YOLOv11 end-to-end, YOLOv5 + Attention, YOLOv11 + ESRGAN, dan pipeline dua tahap Face Detection + YOLOv11-CLS. Dataset terdiri dari 7003 gambar multiple face yang beranotasi mencakup tujuh emosi dasar. Hasil pengujian menunjukkan bahwa model YOLOv11-L memberikan performa terbaik dengan nilai mAP@50 sebesar 59.49%. Sementara itu, pendekatan dua tahap memberikan akurasi per emosi yang lebih stabil. Teknologi Super-Resolution juga terbukti membantu mendeteksi ekspresi pada wajah kecil, namun menyebabkan peningkatan waktu inferensi yang signifikan. Penelitian ini merupakan langkah awal menuju sistem FER yang dapat diterapkan dalam robot sosial untuk merespons emosi manusia secara adaptif.

ALVIN IQNACIO Liliana (Advisor 1); Gregorius Satiabudhi (Examination Committee 1); Hans Juwiantho, S.Kom., M.Kom. (Examination Committee 2) Universitas Kristen Petra Indonesian Digital Theses Undergraduate Thesis Skripsi/Undergraduate Thesis Skripsi No. 01022742/INF/2025; Alvin Iqnacio (C14210154) FACIAL EXPRESSION; INFORMATION DISPLAY SYSTEMS--PSYCHOLOGICAL ASPECTS; RECOGNITION (PSYCHOLOGY); HUMAN FACE RECOGNITION (COMPUTER SCIENCE)

Files