Korean Generation-based Empathetic Chatbot using Reinforcement Learning

Abstract

본 연구는 목적 지향 대화, 생성형 언어 모델, 강화학습을 기반으로 한국어 공감 대화에 특화된 챗봇의 개발을 목적으로 한다. 본 연구는 웰니스 공감 대화 데이터셋과 ChatGPT API를 통해 자체 생성한 데이터셋을 활용하여 언어 모델의 파인튜닝을 진행하였다. 이후 답변 생성과 human feedback을 이용한 Reward 라벨링을 통해 강화학습에 사용할 데이터셋을 생성하였다. 강화학습을 통해 언어 모델의 파라미터 튜닝을 진행하여 챗봇의 성능을 개선하였다. 실험 결과, 강화학습을 통한 언어 모델 파라미터 튜닝은 공감 대화에서 효과적으로 활용될 수 있음을 보여주며, 감정적인 지원이 필요한 사용자에게 공감적인 대화를 제공하는 능력을 갖춘 챗봇의 성능을 향상시킴이 확인되었다.