Emosi sangat penting dalam memahami kondisi psikologis manusia dan dapat memengaruhi interaksi sosial dan pengambilan keputusan. Integrasi antara pemrosesan emosi dan sistem komputasi memungkinkan terciptanya antarmuka yang lebih alami dan adaptif. Penelitian ini berfokus pada Speech Emotion Recognition (SER), yang bertujuan untuk mengidentifikasi emosi manusia melalui analisis sinyal suara. Banyak penelitian sebelumnya terbatas pada pendekatan unimodal, dan hanya sedikit yang mengeksplorasi pendekatan multimodal yang menggabungkan suara dan teks secara bersamaan. Selain itu, masih sedikit penelitian yang secara langsung mengintegrasikan Automatic Speech Recognition (ASR) untuk teks dan ekstraksi fitur suara dalam satu langkah dan menerapkan augmentasi data untuk meningkatkan generalisasi model. Penelitian ini berkontribusi pada peningkatan akurasi untuk tugas pengenalan emosi dengan menggunakan dataset IEMOCAP dengan total 5797 suara dan teks yang mengandung emosi marah, sedih, senang, dan netral dengan menggabungkan model Wav2Vec sebagai ekstraktor fitur multimodal (suara dan teks), dan dengan menerapkan SpecAugment untuk memperkaya variasi data. Secara struktural, arsitektur yang kami usulkan terdiri dari dua cabang: cabang suara dan cabang teks. Fitur-fitur yang diekstrak dari Wav2Vec dikirim ke cabang suara menggunakan model ECAPA-TDNN, dan ke cabang teks menggunakan model BERT. Kedua cabang ini kemudian digabungkan menggunakan lapisan yang terhubung sepenuhnya untuk klasifikasi akhir. Eksperimen menunjukkan bahwa pendekatan multimodal ini dapat mencapai kinerja yang tinggi, yaitu akurasi tertimbang sebesar 90,28% dan akurasi tidak tertimbang sebesar 90,62%, dengan memerlukan penyempurnaan khusus pada model teks. Hasil ini menunjukkan bahwa integrasi multimodal dengan pendekatan pretrained dan augmentasi data dapat meningkatkan kinerja sistem SER secara signifikan.