Robust Incomplete Multimodal Sentiment Analysis via Iterative Proxy Correction

arXiv:2608.199712026-08-21

텍스트가 빠지거나 망가져도, AI가 그 자리를 대신할 '가짜 텍스트'를 한 번에 만들지 않고 여러 번 고쳐가며 감정을 더 정확히 읽어낸다

실제 환경에서는 음성, 영상, 텍스트 중 일부가 누락되거나 손상된 채로 들어오는 경우가 많아, 감정 분석 AI의 정확도가 떨어진다. 기존 방법들은 텍스트가 부족할 때 이를 대신할 '대리 표현'을 한 번만 만들어 바로 사용했는데, 이 초기 대리 표현이 부정확하면 오류가 뒤로 전파되는 문제가 있었다. 이 논문은 대리 표현을 한 번에 확정 짓지 않고 여러 단계에 걸쳐 점진적으로 고쳐나가는 방식을 제안해, MOSI, MOSEI, SIMS 세 데이터셋에서 기존 최고 성능 모델보다 안정적으로 더 나은 결과를 보였다.

논문 원문 초록 (영문)

Multimodal sentiment analysis aims to infer affective states by integrating language, visual, and acoustic cues. However, real-world multimodal inputs are often incomplete or corrupted, which can weaken cross-modal complementarity and introduce misleading information into downstream fusion. Existing proxy-based methods for incomplete MSA commonly rely on one-shot proxy construction to compensate for degraded language information, but the generated proxy may be coarse or unreliable at initialization. Prematurely injecting such a proxy into multimodal reasoning can propagate initial errors and compromise sentiment prediction. To address this limitation, we propose an iterative proxy correction framework for robust incomplete MSA. Our method constructs a language-oriented proxy from non-language modalities and progressively refines it under multimodal context through gated residual correction. The corrected proxy is then adaptively fused with the observed language representation according to an estimated language reliability score, allowing the model to balance proxy-based compensation and trustworthy linguistic evidence. In addition, we introduce a stage-wise latent correction objective that uses the complete language representation as a training-time semantic anchor to stabilize the proxy refinement trajectory. Extensive experiments on MOSI, MOSEI, and SIMS under diverse missing-modality settings demonstrate that the proposed framework consistently outperforms competitive baselines and achieves robust sentiment prediction under incomplete inputs.

저자 · Zhifa Geng, Subin Huang, Hao Guo, Junjie Chen, Sanmin Liu, Chao Kong

그림 출처: Zhifa Geng et al., arXiv:2608.19971, arxiv-nonexclusive