Chatbot private assistant mahasiswa UK Petra sebagai recommendation system PRS menggunakan multi-agent hybrid RAG

Luasnya pilihan kurikulum serta perubahan kurikulum yang terus dilakukan Universitas Kristen Petra mengharuskan mahasiswa untuk dapat mengadaptasi pilihan mata kuliah mereka melalui Pendaftaran Rencana Studi (PRS). Dalam menunjang PRS yang lebih efisien, skripsi ini mengambangkan chatbot sistem rekomendasi untuk mahasiswa dengan menggunakan metode Retrieval-Augmented and Generation (RAG) yang menggunakan Large Language Models (LLM) dengan tambahan sumber knowledge eksternal. Metode RAG mengggunakan pendekatan hybrid yang menggabungkan knowledge dalam bentuk vector store dengan knowledge graph. Selain itu akan digunakan arsitektur multi-agent dalam chatbot yang terbagi menjadi agen perencanaan untuk pemberian rekomendasi mata kuliah, agen evaluasi untuk pemberian evaluasi performa akademik mahasiswa, dan agen RAG baik untuk tanya jawab maupun peningkatan kualitas jawaban chatbot. Selain itu penelitian juga akan dilakukan untuk mencari kombinasi hyper-parameter RAG terbaik , yaitu chunk size dan top-k menggunakan dataset sintetis pasangan pertanyaan dan jawaban. Pengujian sistem rekomendasi juga akan dilakukan dengan menggunakan beberapa data mahasiswa anonim. Hasilnya ditemukan bahwa kombinasi hyper-parameter RAG yang terbaik adalah chunk-size 512 dan top-k 6 dan juga sistem rekomendasi memiliki performa konsisten pada angkatan 2021 dengan precision 0.78, recall 0.77, dan F1 score 0.77, serta angkatan 2022 dengan precision 0.76, recall 0.77, dan F1 score 0.77. Chatbot ini juga mencapai tingkat akurasi 76% pada pengujian aplikasi dengan prompting bahasa Indonesia.

CLARISSA Liliana (Advisor 1); Resmana Lim (Advisor 2); Gregorius Satiabudhi (Examination Committee 1); Hans Juwiantho S.Kom., M.Kom (Examination Committee 2) Universitas Kristen Petra Indonesian Digital Theses Undergraduate Thesis Skripsi/Undergraduate Thesis Skripsi No. 01022616/INF/2025; Clarissa (C14210134) RECOMMENDER SYSTEMS (INFORMATION FILTERING); PROGRAMMING (ELECTRONIC COMPUTERS); DATABASE DESIGN; CHATBOTS

Files