본 발명은 CNN 기반의 객체 검출 장치 및 그 방법에 관한 것으로, 3D 라이다 센서를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하고, 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행함으로써, 환경적 요인에 상관없이 객체를 정확도 높게 검출할 수 있는 것은 물론 상기 객체 검출과정에서 요구되는 활성화 맵(Activation Map)을 별도로 생성하지 않아도 되도록 하는 CNN 기반의 객체 검출 장치 및 그 방법을 제공하고자 한다. 이를 위하여, 본 발명은 CNN 기반의 객체 검출 장치에 있어서, 포인트 클라우드를 획득하는 3D 라이다 센서; 상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부; 및 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 CNN(Convolution Neural Network)를 포함한다.