Generating Diverse Personas for User Simulators to Test Interview Dialogue Systems

arXiv:2608.195492026-08-21

인터뷰형 대화 시스템을 테스트하려면 다양한 가상 사용자가 필요한데, LLM으로 그런 가짜 사용자 성격을 자동으로 만들어냈다

여행 정보나 취향을 묻는 인터뷰 대화 시스템은 사람이 직접 테스트하려면 시간과 비용이 많이 든다. 이 논문은 소수의 예시 페르소나만 주면 LLM이 대화 스타일이 서로 다른 가상 사용자 페르소나를 대량으로 만들어내는 방법을 제안한다. 실험 결과 이렇게 만든 가상 사용자들이 내는 발화가 기존 방식보다 더 다양해졌다.

논문 원문 초록 (영문)

This paper addresses the issue of the significant labor required to test interview dialogue systems. While interview dialogue systems are expected to be useful in various scenarios, like other dialogue systems, testing them with human users requires significant effort and cost. Therefore, testing with user simulators can be beneficial. Since most conventional user simulators have been primarily designed for training task-oriented dialogue systems, little attention has been paid to the personas of the simulated users. During development, testing interview dialogue systems requires simulating a wide range of user behaviors, but manually creating a large number of personas is labor-intensive. We propose a method that automatically generates personas for user simulators using a large language model. Furthermore, by assigning personality traits related to communication styles when generating personas, we aim to increase the diversity of communication styles in the user simulator. Experimental results show that the proposed method enables the user simulator to generate utterances with greater variation.

저자 · Mikio Nakano, Kazunori Komatani, Hironori Takeuchi

그림 출처: Mikio Nakano et al., arXiv:2608.19549, arxiv-nonexclusive