Penerapan model Video Masked Autoencoder dengan transfer learning untuk deteksi aktivitas mengutil melalui kamera pengawas

Sistem deteksi aktivitas mengutil dibutuhkan karena tingginya jumlah kasus pencurian di toko, dan juga keterbatasan manusia dalam mengawasi setiap individu melalui kamera CCTV. Sudah terdapat beberapa penelitian pada deteksi aktivitas mengutil dengan model berbasis CNN-RNN dan 3D-CNN yang dilatih pada dataset UCF-Crime Shoplifting. Namun, model yang digunakan masih belum efisien, serta jumlah video yang sangat sedikit pada dataset. Penelitian ini menggunakan model Video Masked Autoencoder (VideoMAE) yang telah di pre-trained pada dataset Kinetics-400 dan akan diuji dengan pengaturan hyperparameter serta preprocessing berupa cropping dan masking cropping dengan model You Only Look Once v11 (YOLOv11), augmentasi dataset, serta visualisasi motion vector dari kompresi H.264 pada dataset sebanyak 1000 video. Hasil terbaik diperoleh pada visualisasi RGB dengan cropping dan hasil augmentasi berisi 3000 video yang menghasilkan akurasi 86.35%, F1-score 86.61%, dan AUC-ROC 92.69%. Sedangkan tanpa menggunakan cropping, model hanya memperoleh akurasi terbaik sebesar 80.12%. Penggunaan visualisasi motion vector juga tidak membantu dengan akurasi terbaik hanya 68.27%. Model dengan metode tanpa cropping dapat digunakan untuk deteksi secara langsung menggunakan tiga detik buffer dengan satu detik stride menghasilkan hasil deteksi baru setiap detiknya.

ALEXANDER LOUIS TANADI Liliana (Advisor 1); Hans Juwiantho, S.Kom., M.Kom. (Examination Committee 1); Justinus Andjarwirawan (Examination Committee 2) Universitas Kristen Petra Indonesian Digital Theses Undergraduate Thesis Skripsi/Undergraduate Thesis Skripsi No. 01022668/INF/2025; Alexander Louis Tanadi (C14210135) TRANSFER LEARNING (MACHINE LEARNING); CLOSED-CIRCUIT TELEVISION

Files