본 발명은 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법을 개시한다. 본 발명의 일 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스; 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며, 상기 클라이언트 디바이스는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킨다.