KR102428319B1

KR102428319B1 - Customer information provision method, device and computer program

Info

Publication number: KR102428319B1
Application number: KR1020140188984A
Authority: KR
Inventors: 김광중; 박상민; 권재철
Original assignee: 주식회사 케이티
Priority date: 2014-12-24
Filing date: 2014-12-24
Publication date: 2022-08-02
Anticipated expiration: 2034-12-24
Also published as: KR20160078154A

Abstract

고객 정보 제공 방법은 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 단계, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 단계, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 단계, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 단계, 특징값에 기초하여 얼굴 영역을 추적하는 단계 및 얼굴 영역이 상기 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 단계를 포함한다. The customer information providing method includes the steps of detecting a motion area from an image received from an image input device, detecting a face area from the motion area, and determining whether the detected face area is a falsely detected face based on a face database step, extracting a feature value for the face region and assigning an ID, tracking the face region based on the feature value, and counting entry and exit when the face region goes out of the image or out of a preset region including the steps of

Description

CUSTOMER INFORMATION PROVISION METHOD, DEVICE AND COMPUTER PROGRAM

본 발명은 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a method, apparatus and computer program for providing customer information.

피플 카운터란, 일정 영역에 대해 지나가는 사람을 카운트하는 장치를 의미한다. 과거에는 사람이 일일이 수작업으로 카운트를 하고 통계를 내었으나 인력과 비용, 시간이 많이 드는 문제가 있어서, 적외선 센서나 카메라 등을 이용하여 출입 카운트를 자동화하고 있는 추세이다. The people counter refers to a device that counts people passing by for a predetermined area. In the past, people manually counted and provided statistics, but due to the problems of manpower, cost, and time, there is a trend to automate the access count using an infrared sensor or a camera.

적외선 센서를 이용하는 방법은 출입구 양쪽에 적외선 송신부와 수신부를 설치하여 물체에 의해 적외선이 끊어지면 카운트하는 방법인데, 두 사람 이상 나란히 출입하는 경우나 카트를 끌고 가는 경우 카운트 에러가 발생하기 때문에 정확한 카운트를 할 수 없는 문제가 있었다. The method of using the infrared sensor is to install infrared transmitters and receivers on both sides of the entrance to count when infrared rays are cut off by an object. There was something I couldn't do.

이러한 문제를 해결하기 위해 기존의 피플 카운터에 얼굴 검출(face detection) 기술을 접목시키게 되었다. 얼굴 검출이란, 컴퓨터 비전의 한 분야로 영상(Image)에서 얼굴이 존재하는 위치를 알려주는 기술로서, 다양한 크기의 얼굴을 검출하기 위해 한 픽셀씩 이동하며 특정 크기(예, 20x20 픽셀)의 해당 영역이 얼굴인지 아닌지를 분류한다. In order to solve this problem, a face detection technology has been applied to the existing people counter. Face detection, a field of computer vision, is a technology that informs the location of a face in an image. To detect faces of various sizes, the face detection moves one pixel at a time and the corresponding area of a specific size (e.g., 20x20 pixels). Classify whether this face is or not.

이와 관련하여, 한국등록특허 제 1446143호는 카메라를 통해 입력되는 영상으로부터 인물 이미지를 추출하고, 인물 이미지로부터 얼굴 영역을 검출하고, 얼굴 영역의 특징 데이터를 추출하고, 특징 데이터가 추출되면 그 추출된 특징 데이터를 관제 서버로 전송하고, 관제 서버로부터 추출된 특징 데이터와 기등록된 특징 데이터 간의 유사도 평가에 따른 인식 결과를 수신하는 방법에 대해 개시하고 있다.In this regard, Korean Patent Registration No. 1446143 extracts a person image from an image input through a camera, detects a face area from the person image, extracts feature data of the face area, and when the feature data is extracted, the extracted Disclosed is a method of transmitting feature data to a control server and receiving a recognition result according to evaluation of similarity between feature data extracted from the control server and previously registered feature data.

한국등록특허 제 1446143호Korean Patent No. 1446143

영상 입력 장치로부터 수신한 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 움직임에 기초하여 객체를 카운팅함으로써, 검출된 얼굴 영역으로부터 고객에 대한 정보를 분석할 수 있고, 검출된 얼굴 영역에 고유 식별자를 부여하여 중복 카운트를 방지할 수 있는 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.By detecting the face region from the image received from the image input device and counting the object based on the detected movement of the face region, information about the customer can be analyzed from the detected face region, and a unique identifier is assigned to the detected face region. We aim to provide a method, apparatus and computer program for providing customer information that can prevent duplicate counts by providing However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 단계, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 단계, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 단계, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 단계, 특징값에 기초하여 얼굴 영역을 추적하는 단계 및 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 단계를 포함하는 고객 정보 제공 방법을 제공할 수 있다. As a technical means for achieving the above technical problem, an embodiment of the present invention includes the steps of detecting a region with a motion from an image received from an image input device, detecting a face region from the region with motion, and a face database Determining whether the detected face region is a falsely detected face based on It is possible to provide a method for providing customer information, including counting the access when going out of the image or out of a preset area.

또한, 본 발명의 다른 실시예는, 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 움직임 검출부, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 얼굴 검출부, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 오검출 판단부, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 얼굴 분석부, 특징값에 기초하여 상기 얼굴 영역을 추적하는 얼굴 추적부 및 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 카운트부를 포함하는 고객 정보 제공 장치를 제공할 수 있다. In addition, another embodiment of the present invention provides a motion detector for detecting a region with motion from an image received from an image input device, a face detector for detecting a face region from the region with motion, and a face region detected based on a face database A false detection determination unit that determines whether the face is a falsely detected face, a face analyzer that extracts a feature value for a face region and assigns an ID, a face tracker that tracks the face region based on the feature value, and a face region It is possible to provide an apparatus for providing customer information including a counting unit for counting entry and exit when out of the image frame or out of a preset area.

또한, 본 발명의 또 다른 실시예는, 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하고, 움직임이 있는 구역으로부터 얼굴 영역을 검출하고, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하고, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하고, 특징값에 기초하여 얼굴 영역을 추적하고, 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하도록 하는 명령어들의 시퀀스를 포함하는 컴퓨터 프로그램을 제공할 수 있다.Further, according to another embodiment of the present invention, a region with motion is detected from an image received from an image input device, a face region is detected from a region with motion, and a face region detected based on a face database is erroneously detected. Determining whether the face is a real face, extracting a feature value for the face region, assigning an ID, tracking the face region based on the feature value, and entering when the face region goes out of the image frame or out of the preset region It is possible to provide a computer program comprising a sequence of instructions for counting .

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.

영상 입력 장치로부터 수신한 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 움직임에 기초하여 객체를 카운팅함으로써, 검출된 얼굴 영역으로부터 고객에 대한 정보를 분석할 수 있고, 검출된 얼굴 영역에 고유 식별자를 부여하여 중복 카운트를 방지할 수 있는 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.By detecting the face region from the image received from the image input device and counting the object based on the detected movement of the face region, information about the customer can be analyzed from the detected face region, and a unique identifier is assigned to the detected face region. It is possible to provide a method, apparatus, and computer program for providing customer information that can prevent duplicate counts by providing

도 1은 본 발명의 일 실시예에 따른 고객에 대한 정보를 제공하는 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 고객 정보를 제공하는 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 얼굴 영역을 추적하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 고객 분석 장치의 블록도이다.
도 5는 종래 기술에 따른 객체 검출에 대한 예시적인 도면이다.
도 6은 종래 기술에 따른 객체 검출에 대한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 얼굴 영역을 추적하는 방법을 설명하기 위한 예시적인 도면이다.
도 8는 본 발명의 일 실시예에 따른 영상 입력 장치의 위치를 예시한 도면이다.1 is a block diagram of a system for providing information about a customer according to an embodiment of the present invention.
2 is a flowchart of a method for providing customer information according to an embodiment of the present invention.
3 is a flowchart of a method for tracking a face region according to an embodiment of the present invention.
4 is a block diagram of a customer analysis device according to an embodiment of the present invention.
5 is an exemplary diagram for object detection according to the prior art.
6 is an exemplary diagram for object detection according to the prior art.
7 is an exemplary diagram for explaining a method of tracking a face region according to an embodiment of the present invention.
8 is a diagram illustrating a location of an image input device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the corresponding server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 고객에 대한 정보를 제공하는 시스템의 구성도이다.1 is a block diagram of a system for providing information about a customer according to an embodiment of the present invention.

도 1을 참조하면, 고객 정보 제공 시스템(1)은 고객 분석 장치(100) 및 영상 입력 장치(110)를 포함하며, 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 검출된 얼굴 영역에 기초하여 고객 분석 및 출입을 관리할 수 있다. 도 1에 도시된 고객 분석 장치(100) 및 영상 입력 장치(110)는 고객 정보 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. Referring to FIG. 1 , the customer information providing system 1 includes a customer analysis device 100 and an image input device 110 , and the customer analysis device 100 detects an image received from the image input device 110 . Customer analysis and access can be managed based on the face area. The customer analysis device 100 and the image input device 110 shown in FIG. 1 exemplarily illustrate components that can be controlled by the customer information providing system 1 .

도 1의 고객 정보 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 고객 분석 장치(100)는 네트워크를 통하여 영상 입력 장치(110)와 연결될 수 있다. Each component of the customer information providing system 1 of FIG. 1 is generally connected through a network. For example, as shown in FIG. 1 , the customer analysis apparatus 100 may be connected to the image input apparatus 110 through a network.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE 등이 포함되나 이에 한정되지는 않는다. The network refers to a connection structure in which information exchange is possible between each node, such as terminals and servers, and an example of such a network is Wi-Fi, Bluetooth, Internet, LAN (Local Area). Network), Wireless Local Area Network (LAN), Wide Area Network (WAN), Personal Area Network (PAN), 3G, 4G, LTE, and the like.

고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 검출된 얼굴 영역에 기초하여 고객 분석 및 출입을 관리하도록 구성될 수 있다.The customer analysis apparatus 100 may be configured to manage customer analysis and access based on a face region detected from an image received from the image input device 110 .

구체적으로, 고객 분석 장치(100)는 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하고, 움직임이 있는 구역으로부터 얼굴 영역을 검출하고, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하고, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하고, 특징값에 기초하여 얼굴 영역을 추적하고, 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다.Specifically, the customer analysis apparatus 100 detects a region with motion from an image received from the image input device, detects a face region from a region with motion, and detects a detected face region based on a face database erroneously. Determining whether it is a face, extracting a feature value for the face area, assigning an ID, tracking the face area based on the feature value, and counting the entrance when the face area goes out of the image or out of the preset area can

영상 입력 장치(110)는 고객이 출입하는 입구에 설치되어 고객이 출입하는 영상을 촬영할 수 있고, 촬영된 영상을 고객 분석 장치(100)로 전송하도록 구성될 수 있다. 영상 입력 장치(110)는 웹캠, CCTV, 디지털 카메라, 스마트 폰 카메라 등 일 수 있다.The image input device 110 may be installed at an entrance through which a customer enters and exits, and may take an image of the customer entering and exit, and may be configured to transmit the captured image to the customer analysis device 100 . The image input device 110 may be a webcam, CCTV, digital camera, smart phone camera, or the like.

도 2는 본 발명의 일 실시예에 따른 고객 정보를 제공하는 방법의 순서도이다. 도 2를 참조하면, 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상을 분석하도록 구성될 수 있다.2 is a flowchart of a method for providing customer information according to an embodiment of the present invention. Referring to FIG. 2 , the customer analysis apparatus 100 may be configured to analyze an image received from the image input apparatus 110 .

단계 S200에서 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 움직임이 있는 구역을 검출할 수 있다. 이는 고객 분석 장치(100)가 영상 프레임 전체에서 얼굴을 찾는 경우, 많은 연산량이 요구되므로 움직임이 있는 영역에 대해서만 얼굴 영역을 검출하여 연산량을 감축시키기 위함이다.In step S200 , the customer analysis apparatus 100 may detect a motion area from the image received from the image input device 110 . This is to reduce the amount of computation by detecting the face region only for the region in which there is movement because a large amount of computation is required when the customer analysis apparatus 100 searches for a face in the entire image frame.

예를 들어, 고객 분석 장치(100)는 연속된 영상 프레임 간에 차이 정보에 기초하여, 변화된 픽셀을 검출하고 변화된 픽셀과 변화되지 않은 픽셀로 이진화할 수 있다. 고객 분석 장치(100)는, 이진화된 부분은 1*1 픽셀 단위로 구성되어 있기 때문에, 기설정된 격차 패치(예를 들어, 2*2 ~ N*N)를 이용하여 이진화된 부분을 그룹화할 수 있다. 프레임 전체적으로 그룹화가 끝난다면, 본래의 프레임에 대한 1/N 만큼 축소된 영상 프레임을 얻을 수 있어 이 후 기술될 프로세싱에 대한 처리 속도를 향상시킬 수 있다.For example, the customer analysis apparatus 100 may detect a changed pixel based on difference information between consecutive image frames and binarize the changed pixel into a changed pixel and a non-changed pixel. The customer analysis device 100, since the binarized part is composed of 1*1 pixel units, it is possible to group the binarized parts using a preset gap patch (eg, 2*2 to N*N). have. If the grouping of the entire frame is completed, an image frame reduced by 1/N of the original frame can be obtained, thereby improving the processing speed for processing to be described later.

고객 분석 장치(100)는 그룹화된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링(Labeling)할 수 있다. 고객 분석 장치(100)는, 레이블링 단계가 끝나면, 예를 들어, 움직인 사람 및 움직인 동물 등 오브젝트 단위로 그룹화함으로써 분류할 수 있다.The customer analysis apparatus 100 may label each object by detecting an outline from the grouped pixels. When the labeling step is completed, the customer analysis apparatus 100 may classify by grouping in units of objects, such as moving people and moving animals.

고객 분석 장치(100)는 레이블링된 객체 중 사람의 상반부를 검출할 수 있다. 본원 발명은 종래 기술과 달리 움직임이 있는 구역에서도 상반부만을 검출하여 얼굴을 추출하는데, 이는 얼굴 영역은 확률적으로 움직임이 있는 구역의 상단 부분에만 존재하고, 이후 기술될 프로세싱에 대한 처리 속도를 향상시키기 위함이다.The customer analysis apparatus 100 may detect the upper half of the person among the labeled objects. Unlike the prior art, the present invention extracts a face by detecting only the upper half even in a region with motion, which probabilistically exists only in the upper part of the region with motion, and to improve processing speed for processing to be described later it is for

단계 S210에서 고객 분석 장치(100)는 검출된 움직임이 있는 구역으로부터 얼굴 영역을 검출할 수 있다. 예를 들어, 고객 분석 장치(100)는 신경망(Neural Network), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 추출된 상반부로부터 얼굴 영역을 검출할 수 있다.In step S210, the customer analysis apparatus 100 may detect a face region from the detected motion area. For example, the customer analysis apparatus 100 may detect the face region from the extracted upper half using a neural network, Adaboost, or a support vector machine.

단계 S220에서 고객 분석 장치(100)는 얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단할 수 있다. 이 때, 얼굴 데이터베이스는 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등을 포함할 수 있다. In step S220 , the customer analysis apparatus 100 may determine whether the detected face region is an erroneously detected face based on the face database. In this case, the face database may include an average face size, a skin color histogram, and eye detection.

예를 들어, 고객 분석 장치(100)는 얼굴 데이터베이스에 포함된 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등에 기초하여 검출된 영굴 영역을 오검출된 얼굴인지 판단할 수 있는데, 검출된 얼굴의 크기가 얼굴의 평균 크기의 두배이거나 피부색이 파란색일 경우 오검출된 얼굴일 확률이 크다. For example, the customer analysis apparatus 100 may determine whether the detected gloomy area is a misdetected face based on the average size of the face, the skin color histogram, and eye detection included in the face database, and the size of the detected face If is twice the average size of the face or if the skin color is blue, there is a high probability of a falsely detected face.

고객 분석 장치(100)는 오검출된 얼굴 영역로 판단될 경우 검출된 얼굴 영역에서 제외시킬 수 있다. 이로써, 고객 분석 장치(100)는 오검출된 얼굴 영역에 대한 추적을 방지할 수 있다.When it is determined that the customer analysis apparatus 100 is an erroneously detected face region, the customer analysis apparatus 100 may exclude it from the detected face region. Accordingly, the customer analysis apparatus 100 may prevent tracking of the erroneously detected face region.

단계 S230에서 고객 분석 장치(100)는 오검출된 얼굴 영역이 아니라고 판단된 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여할 수 있다. 예를 들어, 고객 분석 장치(100)는 얼굴 영역에 대한 특징값으로서, 브이엘피비(VLBP(Volume Local Binary Pattern)), 에이치에스브이 컬러 히스토그램(HSV color histogram), 하르 유사 특징(Haar-like feature), 국부 이진 패턴(Local Binary Pattern) 및 모디파이드 센서스 트랜프폼(Modified Census Transform) 등을 추출할 수 있고, 검출된 얼굴 영역 각각 마다 아이디를 부여할 수 있다. 이 때, 부여되는 아이디는 해당 얼굴 영역에 대응하는 고유 아이디일 수 있다.In step S230 , the customer analysis apparatus 100 may extract a feature value for the face region determined not to be the erroneously detected face region, and may assign an ID. For example, the customer analysis apparatus 100 may include, as a feature value for a face region, a Volume Local Binary Pattern (VLBP), an HSV color histogram, and a Haar-like feature. feature), a Local Binary Pattern, and a Modified Census Transform can be extracted, and an ID can be assigned to each detected face region. In this case, the given ID may be a unique ID corresponding to the corresponding face area.

단계 S240에서 고객 분석 장치(100)는 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출할 수 있다. 예를 들어, 고객 분석 장치(100)는 성별을 판단할 경우 모디파이드 센서스 트랜스폼(Modified Census Transform) 및 신경망(Neural network) 등을 사용하고, 연령을 판단할 경우 가버 필터(Gabor filter) 및 서포트 벡터 머신(Support Vector Machine) 등을 이용할 수 있다. 이로써, 고객 분석 장치(100)는 얼굴 검출 기반으로 피플 카운팅을 하는 동시에 성별 및 연령 등의 고객에 대한 성향 또한 분석할 수 있다.In step S240, the customer analysis apparatus 100 may determine the gender and age of the face region and extract the gender and age values. For example, the customer analysis device 100 uses a Modified Census Transform and a Neural network when determining gender, and when determining age, a Gabor filter and support A vector machine (Support Vector Machine) or the like may be used. Accordingly, the customer analysis apparatus 100 may count people based on face detection, and at the same time analyze tendencies toward customers, such as gender and age.

단계 S250에서 고객 분석 장치(100)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다. 예를 들어, 고객 분석 장치(100)는 얼굴 영역이 검출될 때마다 얼굴 영역에 대한 특징값을 업데이트하고, 이전 영상 프레임에서 추출된 특징값과 업데이트된 특징값을 비교하여 얼굴 영역을 추적할 수 있다. 이하 얼굴 영역을 추적하는 방법은 도3에서 상세하게 설명하기로 한다.In step S250, the customer analysis apparatus 100 may track the face region based on the feature value. For example, the customer analysis apparatus 100 may update a feature value for the face region whenever a face region is detected, and track the face region by comparing the feature value extracted from the previous image frame with the updated feature value. have. Hereinafter, a method of tracking the face region will be described in detail with reference to FIG. 3 .

단계 S260에서 고객 분석 장치(100)는 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다. 예를 들어, 고객 분석 장치(100)는 추적 중인 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우, 해당 얼굴 영역에 대한 이동 벡터를 도출하여 이동 방향을 판단하고 출입수를 카운트할 수 있다. In step S260 , the customer analysis apparatus 100 may count entry and exit when the face area is out of the image or out of a preset area. For example, when the face area being tracked goes out of the image or out of the preset area, the customer analysis apparatus 100 may determine a movement direction by deriving a movement vector for the corresponding face area and count the number of entrances and exits.

고객 분석 장치(100)는 출입수를 카운트하기 전 검출된 얼굴 영역에 대해 각각의 고유한 아이디를 부여함으로써, 카운트된 얼굴 영역이 다시 화면에 나타나더라도 미리 부여된 아이디를 이용하여 카운트 여부를 판단할 수 있으므로, 이미 카운트된 얼굴 영역에 대해서는 카운트하지 않을 수 있다. 이로써, 고객 분석 장치(100)는 객체에 대한 중복 카운트를 예방할 수 있다.The customer analysis apparatus 100 gives each unique ID to the detected face area before counting the number of entrances, so that even if the counted face area appears on the screen again, it is possible to determine whether to count using the previously assigned ID. Therefore, the counted face region may not be counted. Accordingly, the customer analysis apparatus 100 may prevent duplicate counting of the object.

상술한 설명에서, 단계 S200 내지 S260은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S200 to S260 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

도 3은 본 발명의 일 실시예에 얼굴 영역을 추적하는 방법의 순서도이다. 도 3을 참조하면, 고객 분석 장치(100)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다.3 is a flowchart of a method for tracking a face region according to an embodiment of the present invention. Referring to FIG. 3 , the customer analysis apparatus 100 may track a face region based on the feature value.

단계 S300에서 고객 분석 장치(100)는 얼굴 영역에 대한 검출 여부를 판단할 수 있다. 단계 S310에서 고객 분석 장치(100)는, 얼굴 영역이 검출된 경우, 얼굴 영역이 검출될 때마다 얼굴 영역에 대한 특징값을 업데이트할 수 있다. 단계 S320에서 고객 분석 장치(100)는 이전 영상 프레임에서 추출된 특징값과 업데이트된 특징값을 비교하여 얼굴 영역을 추적할 수 있다. 이 때, 고객 분석 장치(100)는 추적 방법으로서 캠 시프트(Cam Shift) 추적 방법 등을 사용하여 이전 영상 프레임에서 검출된 얼굴 영역과 근사한 얼굴 영역을 현재 영상 프레임으로부터 찾아 추적할 수 있다.In step S300, the customer analysis apparatus 100 may determine whether the face region is detected. In operation S310 , when a face region is detected, the customer analysis apparatus 100 may update a feature value of the face region whenever the face region is detected. In step S320 , the customer analysis apparatus 100 may track the face region by comparing the feature value extracted from the previous image frame with the updated feature value. In this case, the customer analysis apparatus 100 may use a cam shift tracking method or the like as a tracking method to find and track a face region that is close to the face region detected in the previous image frame from the current image frame.

종래 기술에 의하면 최초에 검출된 얼굴 영역으로부터 추출한 특징값을 이용하여 얼굴 영역을 추적하므로 시간이 경과함에 따라 이후의 영상 프레임과 차이로 인한 오차가 누적되어 잘못된 객체를 추적할 수 있었다. 반면에 본원 발명은 이전 영상 프레임에서 검출되었던 얼굴 영역이라도 이후 영상 프레임에서 다시 검출될 때마다 최신 정보로 특징값을 업데이트함으로써, 시간이 경과하더라도 업데이트된 특징값을 이용하여 얼굴 영역에 대한 추적이 이루어지므로 오추적될 확률을 최소화할 수 있다.According to the prior art, since a face region is tracked using a feature value extracted from the initially detected face region, errors due to differences from subsequent image frames are accumulated over time, so that an incorrect object can be tracked. On the other hand, the present invention updates the feature value with the latest information whenever a face region detected in a previous image frame is detected again in a subsequent image frame, so that the face region is tracked using the updated feature value even if time elapses. Therefore, the probability of being mistracked can be minimized.

단계 S330에서 고객 분석 장치(100)는, 얼굴 영역을 추적하지 못한 경우, 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다. 예를 들어, 고객 분석 장치(100)는 칼만 필터(Kalman Filter) 등을 이용하여 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다. In step S330 , when the customer analysis apparatus 100 fails to track the face region, the customer analysis apparatus 100 may predict a coordinate value for an expected movement path of the disappeared face region. For example, the customer analysis apparatus 100 may use a Kalman filter or the like to predict the coordinate values of the expected movement path of the missing face region.

단계 S340에서 고객 분석 장치(100), 예측된 좌표값에서 얼굴 영역을 발견한 경우, 새로 발견된 얼굴 영역을 기존 얼굴 영역으로서 인정하고, 사라진 얼굴 영역에 대한 특징값과 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 사라진 얼굴 영역을 계속 추적할 수 있다.In step S340, when the customer analysis apparatus 100 finds a face region from the predicted coordinate values, the newly discovered face region is recognized as an existing face region, and the feature values for the disappeared face region and the newly discovered face region are By comparing the feature values, it is possible to keep track of the missing face region.

상술한 설명에서, 단계 S300 내지 S340은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S300 to S340 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

도 4는 본 발명의 일 실시예에 따른 고객 분석 장치의 블록도이다. 4 is a block diagram of a customer analysis device according to an embodiment of the present invention.

도 4를 참조하면, 고객 분석 장치(100)는 움직임 검출부(400), 얼굴 검출부(410), 오검출 판단부(420), 얼굴 분석부(430), 얼굴 추적부(440), 카운트부(450)를 포함할 수 있다.Referring to FIG. 4 , the customer analysis apparatus 100 includes a motion detection unit 400 , a face detection unit 410 , a false detection determination unit 420 , a face analysis unit 430 , a face tracking unit 440 , and a count unit ( 450) may be included.

움직임 검출부(400)는 영상 입력 장치(110)로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하도록 구성될 수 있다. 예를 들어, 움직임 검출부(400)는 연속된 영상 프레임 간에 차이 정보에 기초하여, 변화된 픽셀을 검출하고 변화된 픽셀과 변화되지 않은 픽셀로 이진화하고, 기설정된 격차 패치를 이용하여 그룹화하고, 그룹화된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링하고, 레이블링된 객체 중 사람의 상반부를 검출할 수 있다. 이로써, 움직임 검출부(400)는 프로세싱에 대한 처리 속도를 향상시키기 위하여 움직임이 있는 영역으로서 상반부만을 검출할 수 있다.The motion detector 400 may be configured to detect a region in which there is a motion from the image received from the image input device 110 . For example, the motion detection unit 400 detects a changed pixel based on difference information between successive image frames, binarizes the changed pixel and the non-changed pixel, groups them using a preset gap patch, and groups the grouped pixels. By detecting the outline from , it is possible to label each object, and detect the upper half of a person among the labeled objects. Accordingly, the motion detection unit 400 may detect only the upper half as a region with motion in order to improve the processing speed for processing.

얼굴 검출부(410)는 검출된 움직임이 있는 구역으로부터 얼굴 영역을 검출하도록 구성될 수 있다. 예를 들어, 얼굴 검출부(410)는 신경망, 아다부스트, 서포트 벡터 머신 등의 분류기를 이용하여 얼굴 영역을 검출할 수 있다.The face detection unit 410 may be configured to detect a face region from a region having a detected motion. For example, the face detector 410 may detect the face region using a classifier such as a neural network, Adaboost, or a support vector machine.

오검출 판단부(420)는 얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단할 수 있다. 이 때, 얼굴 데이터베이스는 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등을 포함할 수 있다. The erroneous detection determination unit 420 may determine whether the detected face region is a erroneously detected face based on the face database. In this case, the face database may include an average face size, a skin color histogram, and eye detection.

얼굴 분석부(430)는 오검출된 얼굴 영역이 아니라고 판단된 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여할 수 있다. 또한, 얼굴 분석부(430)는 고객의 성향을 분석하기 위해 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출할 수 있다.The face analyzer 430 may extract a feature value for a face region determined not to be a falsely detected face region and assign an ID. In addition, the face analysis unit 430 may determine the gender and age of the face region in order to analyze the customer's tendency, and extract the gender and age values.

얼굴 추적부(440)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다. 본원 발명은, 얼굴 영역을 추적함에 있어서 얼굴 영역에 대한 검출과 추적을 같이 수행함으로써 추적에 대한 오류를 감소시킬 수 있다. The face tracker 440 may track the face region based on the feature value. The present invention can reduce tracking errors by performing both detection and tracking of the face region in tracking the face region.

또한, 얼굴 추적부(440)는, 얼굴 영역을 추적하지 못한 경우, 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측하고, 예측된 좌표값에서 얼굴 영역을 발견한 경우 새로 발견된 얼굴 영역을 기존의 얼굴 영역으로서 인정하고, 사라진 얼굴 영역에 대한 특징값과 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 사라진 얼굴 영역을 계속 추적할 수 있다.In addition, the face tracking unit 440 predicts a coordinate value for the expected movement path of the missing face region when the face region is not tracked, and when the face region is found from the predicted coordinate value, the face region is newly discovered. It is recognized as an existing face region, and the disappeared face region can be continuously tracked by comparing the feature value of the missing face region with the feature value of the newly discovered face region.

카운트부(450)는 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다. 예를 들어, 카운트부(450)는 추적 중인 해당 얼굴 영역에 대한 이동 벡터를 도출하여 이동 방향을 판단하고 출입수를 카운트할 수 있다. The counting unit 450 may count entry and exit when the face area is out of the image or out of a preset area. For example, the counting unit 450 may determine a movement direction by deriving a movement vector for the corresponding face region being tracked, and count the number of entrances and exits.

종래 기술에 따른 피플 카운터에 의하면, 도 5가 도시하는 바와 같이, 예를 들면, 1) 사람 둘이 겹쳐서 들어올 경우 둘의 몸을 구분하기가 쉽지 않고, 2) 얼굴 분석으로 고객에 대한 추가 정보를 얻기 위해서는 별도의 카메라가 필요하고, 3) 움직임 검출 기반이기 때문에 조명, 그림자, 바람, 곤충 등 이물질의 움직임 및 외부환경에 민감하였다.According to the people counter according to the prior art, as shown in FIG. 5 , for example, 1) when two people come in overlappingly, it is not easy to distinguish the two bodies, and 2) to obtain additional information about the customer through facial analysis This requires a separate camera, and 3) is sensitive to the movement of foreign substances such as lighting, shadows, wind, and insects and the external environment because it is a motion detection base.

또한, 도 6이 도시하는 바와 같이, 예를 들면, 1) 카메라의 방향이 사선이므로 객체 겹침에 의한 에러 가능성이 높으며, 2) 상반신이 카메라의 영상에서 차지하는 비율이 커, 상반신끼리 겹칠 확률이 높기 때문에, 카운트 수가 부정확하고, 3) 얼굴 분석을 위해서는 얼굴 검출기를 독립적으로 실행시켜야 하기 때문에, 높은 사양의 컴퓨팅 리소스가 필요하였다.In addition, as shown in FIG. 6, for example, 1) the camera's direction is oblique, so there is a high possibility of errors due to overlapping objects, 2) the upper body occupies a large proportion of the camera's image, so the probability that the upper body overlaps is high Therefore, the count number is inaccurate, and 3) the face detector needs to be independently executed for face analysis, so a high-spec computing resource is required.

반면에, 본원 발명에 다른 고객 분석 방법에 의하면, 1) 한대의 카메라로 피플카운트와 얼굴 분석을 동시에 할 수 있고, 2) 움직임 검출 및 상반신 검출에 대비하여 얼굴 검출 기반으로서 겹침에 강하고 얼굴만 검출되면 카운트할 수 있어 카운트에 대한 정확도가 높고, 3) 얼굴 검출과 얼굴 추적을 상호보완적으로 사용하여 카운트에 대한 정확도가 높고, 4) 기존의 검출 데이터를 이용하여 얼굴 검출에 대해 피드백을 할 수 있어 오검출을 감축시킬 수 있고, 5) 검출된 얼굴 영역 마다 고유 식별자(아이디 및 특징값 등)을 부여하므로 고유 식별자가 부여된 얼굴 영역이 카운트 후 다시 화면에 등장하더라도 고유 식별자에 대한 부여 여부를 판단하여 중복 카운트를 예방할 수 있는 점에서 종래 기술과 구별되는 우수한 효과를 가지고 있다.On the other hand, according to the customer analysis method according to the present invention, 1) people count and face analysis can be performed simultaneously with one camera, and 2) it is strong in overlapping and only faces are detected as a face detection base in preparation for motion detection and upper body detection. High accuracy for counting because face detection and face tracking are complementary to each other 3) High accuracy for counting by using face detection and face tracking 4) Feedback on face detection using existing detection data 5) Since a unique identifier (ID and feature value, etc.) is assigned to each detected face region, even if the face region to which the unique identifier is assigned appears on the screen again after counting, it is possible to determine whether a unique identifier is assigned or not. It has an excellent effect that is distinguished from the prior art in that it is possible to prevent duplicate counts by judging.

도 7은 본 발명의 일 실시예에 따른 얼굴 영역을 추적하는 방법을 나타낸 예시적인 도면이다. 도 7을 참고하면, 고객 분석 장치(100)는 영상으로부터 두 종류의 얼굴 영역을 검출할 수 있다. 7 is an exemplary diagram illustrating a method for tracking a face region according to an embodiment of the present invention. Referring to FIG. 7 , the customer analysis apparatus 100 may detect two types of face regions from an image.

단계 (a)에서 고객 분석 장치(100)는 검출된 두 종류의 얼굴 영역 각각에 대한 특징값을 추출하고, 각각의 얼굴 영역에 아이디 1(700) 및 아이디 2 (710)를 부여할 수 있다. 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역을 영상 프레임마다 검출하고, 검출된 후의 특징값으로 업데이트시키고, 업데이트 된 특징값을 이전 영상과의 특징값을 비교함으로써 추적할 수 있다.In step (a), the customer analysis apparatus 100 may extract a feature value for each of the two types of detected face regions, and may assign ID 1 700 and ID 2 710 to each of the face regions. The customer analysis device 100 detects the face region corresponding to ID 1 700 for each image frame, updates the detected feature value with the detected feature value, and tracks the updated feature value by comparing the feature value with the previous image. have.

단계 (b)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역의 일부가 다른 객체에 의해 가려져 검출이 안된 경우, 아이디 1(700)에 해당하는 얼굴 영역의 최후 검출 위치에서 검색 영역을 점진적으로 증가시켜 가면서 검색 영역에서의 특징값과 일부가 가려지기 전의 아이디 1(700)에 해당하는 얼굴 영역에 대한 특징값을 비교하며 아이디 1(700)에 해당하는 얼굴 영역을 추적할 수 있다.In step (b), when a part of the face area corresponding to ID 1 700 is not detected because a part of the face area corresponding to ID 1 700 is not detected in step (b), at the last detection position of the face area corresponding to ID 1 700 As the search area is gradually increased, the feature value in the search area is compared with the feature value of the face area corresponding to ID 1 (700) before being partially covered, and the face area corresponding to ID 1 (700) can be tracked. can

단계 (c)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 완전히 다른 객체에 의해 가려져 검출이 안된 경우, 칼만 필터 등을 이용하여 사라진 아이디 1(700)에 해당하는 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다.In step (c), when the face area corresponding to ID 1 700 is not detected because the face area corresponding to ID 1 700 is completely obscured in step (c), the face corresponding to ID 1 700 disappeared using a Kalman filter or the like. It is possible to predict a coordinate value for the expected movement path of the area.

단계 (d)에서 고객 분석 장치(100)는 사라진 아이디 1(700)에 해당하는 얼굴 영역을 다시 검출한 경우, 사라지기 전 특징값을 검출된 후의 특징값으로 업데이트시키고, 사라지기 전 특징값과 검출된 후의 특징값을 비교하여 아이디 1(700)에 해당하는 얼굴 영역을 추적할 수 있다. In step (d), when the customer analysis apparatus 100 detects the face region corresponding to the disappeared ID 1 700 again, it updates the feature value before disappearing to the feature value after the detection, and includes the feature value and the feature value before disappearing. The face region corresponding to ID 1 700 may be tracked by comparing the detected feature values.

단계 (e)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 화면에서 완전히 사라진 경우, 출입수를 카운트할 수 있다. 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 다시 화면에 나타나더라도 아이디를 구분하여 중복 카운트를 방지할 수 있다.In step (e), when the face region corresponding to ID 1 700 completely disappears from the screen, the customer analysis apparatus 100 may count the number of entrances and exits. Even if the face region corresponding to ID 1 700 appears again on the screen, the customer analysis apparatus 100 can prevent duplicate counts by classifying IDs.

도 8는 본 발명의 일 실시예에 따른 영상 입력 장치의 위치를 예시한 도면이다. 도 8을 참조하면, 영상 입력 장치(110)는 천장이나 출입구 위에 사선 방향으로 내려다보는 형태로 설치될 수 있다.8 is a diagram illustrating a location of an image input device according to an embodiment of the present invention. Referring to FIG. 8 , the image input device 110 may be installed on a ceiling or a doorway in an oblique direction looking down.

영상 입력 장치(110)는 출입구를 향하여 오는 객체들에 대한 영상을 촬영할 수 있고, 촬영된 영상을 고객 분석 장치(100)로 전송할 수 있다.The image input device 110 may photograph an image of objects coming toward the doorway, and may transmit the captured image to the customer analysis apparatus 100 .

고객 분석 장치(100)는 수신한 영상을 분석하여 얼굴 영역(800)을 검출할 수 있다. 또한 고객 분석 장치(100)는 검출된 얼굴 영역(800)을 기초하여 고객의 성향(성별 및 나이 등)을 분석할 수 있다.The customer analysis apparatus 100 may detect the face region 800 by analyzing the received image. Also, the customer analysis apparatus 100 may analyze the customer's tendency (eg, gender and age) based on the detected face region 800 .

고객 분석 장치(100)는 검출된 얼굴 영역(800)의 특징값에 기초하여 얼굴 영역(800)의 움직임을 추적하고, 얼굴 영역(800)이 정해진 영역 밖으로 움직이거나 영상 밖으로 나갈 경우, 객체를 카운트할 수 있다. The customer analysis apparatus 100 tracks the movement of the face region 800 based on the detected feature value of the face region 800 , and counts the object when the face region 800 moves outside the predetermined region or out of the image. can do.

도 1 내지 도4, 도 7 및 도 8을 통해 고객 정보 제공 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도4, 도 7 및 도 8을 통해 고객 정보 제공 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The method for providing customer information through FIGS. 1 to 4, 7 and 8 may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. In addition, the method for providing customer information through FIGS. 1 to 4, 7 and 8 may be implemented in the form of a computer program stored in a medium executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media includes other data in a modulated data signal, such as a carrier wave, or other transport mechanism, and includes any information delivery media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The foregoing description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 고객 분석 장치
110: 영상 입력 장치100: customer analysis device
110: video input device

Claims

A method for providing customer information in a customer analysis device, the method comprising:
detecting a region having a motion from an image received from an image input device;
detecting a face region from the movement area;
determining whether the detected face region is a falsely detected face based on a face database;
extracting a feature value for the face region and assigning an ID;
tracking the face region based on the feature value; and
Counting access when the face area is out of the frame of the image or out of a preset area
including,
If the face area cannot be tracked,
predicting a coordinate value for an expected movement path of the disappeared face region; and
tracking the disappeared face region by comparing the feature value of the disappeared face region with the feature value of the newly discovered face region when the face region is found from the predicted coordinate values;
Which will further include, customer information providing method.

The method of claim 1,
The step of tracking the face region comprises:
updating the feature value for the face region whenever the face region is detected; and
Comparing a feature value extracted from a previous image frame with the updated feature value to track the face region
A method of providing customer information that includes.

delete

The method of claim 1,
The step of detecting the area with the movement comprises:
labeling each object by detecting an outline from pixels included in the image; and
detecting the upper half of the person among the labeled objects;
A method of providing customer information that includes.

The method of claim 1,
The step of determining whether the face is falsely detected is,
The method for providing customer information is to determine whether the face detection area detected from the image is a misdetected face based on at least one of an average size of a face, a skin color histogram, and an eye detection.

The method of claim 1,
The step of extracting a feature value for the face region and giving an ID includes:
determining gender and age for the face region and extracting gender and age values
Which will further include, customer information providing method.

The method of claim 1,
The feature values are VLBP (Volume Local Binary Pattern), HSV color histogram, Haar-like feature, Local Binary Pattern, and modified census A method of providing customer information, comprising at least one of a modified Census Transform.

In the device for providing customer information,
a motion detection unit for detecting a motion area from an image received from an image input device;
a face detection unit detecting a face region from the movement area;
an erroneous detection determination unit that determines whether the detected face region is a erroneously detected face based on a face database;
a face analysis unit that extracts a feature value for the face region and assigns an ID;
a face tracking unit that tracks the face region based on the feature value; and
A counting unit for counting entry and exit when the face area is out of the frame of the image or out of a preset area
including,
The face tracking unit,
If the face area cannot be tracked,
Predict the coordinates of the expected movement path of the missing face area,
When a face region is found from the predicted coordinate values, the device for providing customer information is configured to track the disappeared face region by comparing the feature value for the disappeared face region with the feature value for the newly discovered face region. .

9. The method of claim 8,
The face tracking unit,
updating the feature value for the face region whenever the face region is detected;
The apparatus for providing customer information, which is configured to track the face region by comparing a feature value extracted from a previous image frame with the updated feature value.

delete

9. The method of claim 8,
The motion detection unit,
Labeling for each object by detecting an outline from a pixel included in the image,
and is configured to detect the upper half of the person of the labeled object.

9. The method of claim 8,
The erroneous detection determination unit,
and to determine whether the face detection area detected from the image is a misdetected face based on at least one of an average size of a face, a skin color histogram, and an eye detection.

9. The method of claim 8,
The face analysis unit,
which is configured to determine gender and age for the face region and extract a gender value and age value.

9. The method of claim 8,
The feature values are VLBP (Volume Local Binary Pattern), HSV color histogram, Haar-like feature, Local Binary Pattern, and modified census Transform (Modified Census Transform) will include one or more of, customer information providing device.

A computer program stored in a storage medium to provide customer information in combination with a customer analysis device.
When executed by a computer, the customer analysis device comprises:
Detecting a motion area from an image received from an image input device,
Detecting a face region from the movement area,
determining whether the detected face region is a falsely detected face based on a face database;
Extracting a feature value for the face region and giving an ID (ID),
tracking the face region based on the feature value,
When the face area goes out of the frame of the image or out of a preset area, the entrance is counted,
If the face area cannot be tracked,
Predict the coordinate values of the expected movement path of the missing face area,
and a sequence of instructions for tracking the disappeared face region by comparing the feature value for the disappeared face region with the feature value for the newly discovered face region when a face region is found from the predicted coordinate values. A computer program stored on a medium.

16. The method of claim 15,
When tracking the face region,
updating the feature value for the face region whenever the face region is detected;
The computer program stored in the storage medium, further comprising a sequence of instructions for tracking the face region by comparing the feature value extracted from the previous image frame with the updated feature value.

delete

16. The method of claim 15,
When detecting the area with the movement,
Labeling for each object by detecting an outline from a pixel included in the image,
The computer program stored on the storage medium further comprising a sequence of instructions to cause detection of the upper half of the person in the labeled object.

16. The method of claim 15,
When determining whether the face is the falsely detected face,
The computer program stored in the storage medium of claim 1, further comprising: a sequence of instructions for determining whether the face detection area detected from the image is a falsely detected face based on at least one of an average size of a face, a skin color histogram, and an eye detection.

16. The method of claim 15,
The computer program stored in the storage medium further comprising a sequence of instructions for determining the gender and age of the face region and extracting the gender value and the age value.