KR20200126576A

KR20200126576A - 음식량 측정 방법, 장치, 서버 및 프로그램

Info

Publication number: KR20200126576A
Application number: KR1020190050377A
Authority: KR
Inventors: 김대훈
Original assignee: 주식회사 누비랩
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2020-11-09
Also published as: KR102471775B1

Abstract

본 발명은 음식량 측정 방법에 관한 것으로, 본 발명은 음식이 담긴 식판에 형성된 복수의 공간에 대한 크기, 깊이 및 용량에 대한 정보와 촬영수단으로부터 촬영된 이미지를 기반으로 음식양을 산출한다.

Description

음식량 측정 방법, 장치, 서버 및 프로그램 {A method, server, device and program for measuring amount of food}

본 발명은 음식량을 측정하는 방법에 관한 것이다.

최근 들어, 웰빙(Well-Being), 다이어트(Diet) 등과 같이 건강한 식단을 유지하려는 사람들이 많아짐에 따라서 음식량을 측정하는 기술의 수요가 증가하고 있다.

이를 이용하면, 학교, 기업, 군대, 관공서, 병원 등과 같이 복수의 사람들에게 배식을 하는 장소에서도 사람들에게 배식, 급식되는 음식의 양을 측정하여 이를 통해 배식량과 잔반량을 측정함으로써, 수요량과 공급량을 예상하여 효율적인 배식관리를 진행하고, 배식자들의 칼로리를 관리해줄 수 있는 등 많은 장점이 있다.

하지만, 현재 공개된 대부분의 기술들은 카메라를 통해 촬영된 이미지를 단순 이미지 검색하는데 그치고 있기 때문에 그 정확도가 현저하게 떨어지고, 이미지 검색에서 정확도가 떨어지다 보니 칼로리 계산 등과 같은 다음 단계들에서는 더 큰 오차가 발생한다는 문제점이 있다.

이에, 본 출원인은 단순하게 음식을 이미지로 검색하는데 그치지 않고 정확하게 분석하고 산출할 수 있는 발명을 안출하게 되었다.

대한민국 공개특허공보 제10-2005-0083210호 (2005.08.26)

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 스테레오 카메라 또는 깊이 카메라를 통해 촬영된 이미지의 픽셀별 높이 정보를 이용하여 음식의 부피를 산출하는 음식량 측정 방법을 제공할 수 있다.

또한, 본 발명은 배식식판의 정보를 이용하여 산출된 음식의 부피를 보정하는 음식량 측정 방법을 제공할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 음식량 측정 방법은, 분석부가 배식식판(사용자의 배식받은 식판) 이미지를 분석하여, 상기 식판에 수용된 하나 이상의 음식을 인식하는 단계; 산출부가 식판 정보와 상기 배식식판 이미지 내 음식의 이미지를 이용하여 각 음식의 부피를 산출하는 단계; 및 상기 산출부가 음식 정보와 상기 산출된 각 음식의 부피를 이용하여 각 음식의 무게를 산출하는 단계;를 포함하며, 상기 서버는, 기본식판(배식 전 식판) 이미지와 식판에 형성된 복수의 공간에 대한 크기, 깊이 및 용량을 포함하는 식판 정보, 음식별 부피당 무게를 포함하는 음식 정보가 저장된 데이터베이스를 포함한다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 음식량 측정 서버는, 기본식판(배식 전 식판) 이미지와 식판에 형성된 복수의 공간에 대한 크기, 깊이 및 용량을 포함하는 식판 정보, 음식별 부피당 무게를 포함하는 음식 정보가 저장된 데이터베이스; 배식식판(사용자의 배식받은 식판) 이미지를 분석하여, 상기 식판에 수용된 하나 이상의 음식을 인식하는 분석부; 상기 식판 정보와 상기 배식식판 이미지 내 음식의 이미지를 이용하여 각 음식의 부피를 산출하고, 상기 음식 정보와 상기 산출된 각 음식의 부피를 이용하여 각 음식의 무게를 산출하는 산출부;를 포함한다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 음식량 측정 장치는, 기본식판(배식 전 식판) 이미지와 식판에 형성된 복수의 공간에 대한 크기, 깊이 및 용량을 포함하는 식판 정보, 음식별 부피당 무게를 포함하는 음식 정보가 저장된 데이터베이스; 배식식판(사용자의 배식받은 식판) 이미지를 분석하여, 상기 식판에 수용된 하나 이상의 음식을 인식하는 분석부; 상기 식판 정보와 상기 배식식판 이미지 내 음식의 이미지를 이용하여 각 음식의 부피를 산출하고, 상기 음식 정보와 상기 산출된 각 음식의 부피를 이용하여 각 음식의 무게를 산출하는 산출부;를 포함한다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 스테레오 카메라 또는 깊이 카메라를 통해 촬영된 이미지의 픽셀별 높이 정보를 이용하여 음식의 부피를 산출하여, 정확한 음식의 부피를 산출할 수 있는 효과가 있다.

또한, 본 발명은 배식식판 공간들의 크기, 깊이 및 용량에 대한 정보를 통해 산출된 음식의 부피를 보정하여 보다 정확하게 음식의 부피를 산출할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 음식량 측정 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 기본식판 이미지의 예시도이다.
도 3은 본 발명의 실시예에 따른 음식이 수용된 배식식판 이미지의 예시도이다.
도 4는 도 3에서 하나의 공간에 두 개의 음식이 적층된 것을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 음식량 측정 서버의 블록도이다.
도 6은 본 발명의 실시예에 따른 음식량 측정 장치의 블록도이다.
도 7 및 도 8은 본 발명의 실시예에 따른 음식량 측정 장치의 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

배식소: 학교, 회사, 군대와 같이 단체에게 식사를 제공하는 장소를 의미한다.

배식구: 배식소에서 음식을 배식받는 위치를 의미한다.

퇴식구: 배식소에서 식사를 마친 사람(배식대상)들이 식판(500)을 반납하는 위치를 의미한다.

도 1은 본 발명의 실시예에 따른 음식량 측정 방법의 흐름도이고, 도 2는 본 발명의 실시예에 따른 기본식판 이미지의 예시도이며, 도 3은 본 발명의 실시예에 따른 음식이 수용된 배식식판 이미지의 예시도이고, 도 4는 도 3에서 하나의 공간(510)에 두 개의 음식이 적층된 것을 예시한 도면이다.

도 1 내지 도 4를 참조하여, 본 발명의 실시예에 따른 음식량 측정 방법에 대해서 설명하도록 한다.

본 발명의 실시예에 따른 음식량 측정 방법은 컴퓨터에 의해 수행되며, 컴퓨터는 음식량 측정 장치(30), 또는 음식량 측정 서버(10)를 의미한다.

수신부(110)가 촬영부(50)를 통해 촬영된 배식식판 이미지를 수신한다. (S520단계)

이때, 배식식판은 사용자가 식판(500)에 음식을 배식받은 상태의 식판(500)을 의미하고, 기본식판은 음식을 배식받기 전 기본적인 식판(500)을 의미한다.

촬영부(50)는 스테레오 카메라 및 깊이 카메라 중 적어도 하나를 포함하며, 바람직하게는, 일정 거리 이격되어 설치된 제1촬영부(53) 및 제2촬영부(55)를 통해 촬영된 2개의 배식식판 이미지를 수신한다.

촬영부(50)에 스테레오 카메라가 포함되어 있는 경우, 하나의 촬영부(50)는 2개의 촬영수단을 포함하고 있기 때문에 산출부(140)는 스테레오 카메라를 통해 촬영된 차이값을 통해서 이미지 데이터의 깊이를 산출할 수 있게 된다.

깊이 카메라는 3D 스캐너, 3D 센서, ToF(Time of Flight) 카메라, 적외선(IR) 카메라 등과 같이 타겟을 촬영하고 3차원 거리 정보(데이터)를 획득할 수 있는 장치라면 무엇이든 적용이 가능하다.

또한, 제1촬영부(53)와 제2촬영부(55)는 식판(500)을 상측에서 촬영할 수 있는 위치에 일정 거리 이격되어 식판(500)을 서로 다른 각도로 촬영할 수 있게 설치되는 것이 바람직하다.

카메라는 빛을 인식하는 장치이기 때문에, 빛 반사와 같은 환경의 영향을 많이 받게 된다. 따라서 위와 같이 2개 이상의 촬영부(50)를 이용하여 촬영을 함으로써 환경의 영향을 최소화 하도록 하고, 2개 이상의 촬영부(50)를 이용하여 촬영을 하더라도 환경의 영향을 받을 수 있기 때문에 이에 대한 보정이 필요하다.

따라서, 컴퓨터는 배식소의 특성, 환경에 따라 최적화하기 위해서 학습모듈이 촬영되는 이미지들을 통해 현장의 상황을 학습하고, 필터처리, 고정물체 및 Reference 물체를 기준으로 환경상태를 인지하도록 할 수 있다.

S520단계 다음으로, 보정부(150)가 이미지 보정을 수행할 수 있다.

보다 상세하게는, 보정부(150)가 2개의 배식식판 이미지 데이터를 이용하여 노이즈 성분을 제거하고, 배식식판 이미지의 기울기를 인식하여 수평 상태의 이미지로 보정할 수 있다.

상술한 바와 같이, 배식소에서 배식식판을 촬영할 때 배식식판을 특정 위치에 올려놓고 안정적으로 촬영을 할 수도 있지만, 배식소의 사정에 따라서 사용자가 식판(500)을 들고 걸어가는 것을 촬영할 수도 있다.

따라서, 배식식판의 각도가 기울어져 있을 수 있기 때문에 보정부(150)가 배식식판 이미지의 기울기(기울어진 정보)를 인식하고, 배식식판 이미지를 수평상태의 이미지로 보정하여 음식의 부피를 정확하게 산출할 수 있도록 한다.

또한, 수신부(110)를 통해 수신된 2개의 배식식판 이미지 데이터에 현장의 상황(흔들림, 빛 반사 등)에 따라서 노이즈가 발생할 수 있기 때문에 2개의 배식식판 이미지를 비교하여 노이즈를 제거하도록 할 수 있다.

상술한 보정부(150)의 구성과 동작들로 인하여, 본 발명의 실시예에 따른 음식량 측정 방법은, 배식소에서 음식량 측정 장치를 별도로 구비하지 못하고 식판을 소지하고 걸어가는 사용자에 대한 영상을 촬영하여 배식식판 이미지, 식후식판 이미지를 획득하는 경우에도 식판의 각도를 수평상태로 보정함으로써, 차후 단계들이 수행될 때 정확도를 상승시킬 수 있는 효과를 발휘하게 된다.

S520단계 다음으로, 추출부(120)가 배식식판 이미지 데이터에서 식판(500)의 각 공간(510)에 수용된 음식 이미지 데이터를 추출한다. (S530단계)

보다 상세하게는, 배식식판 이미지에는 식판(500)과 음식의 이미지가 함께 포함되어 있기 때문에, 음식 이미지 데이터를 식판(500)으로부터 추출하는 것을 의미한다.

S530단계 다음으로, 판단부(130)가 추출된 음식 이미지 데이터를 통해 각 음식의 종류를 판단한다. (S540단계)

판단부(130)는 촬영부(50)에 포함된 RGB 카메라를 통해 촬영된 데이터, 또는 스테레오 카메라를 통해 촬영된 RGB 데이터를 이용하여 음식 종류를 판단할 수 있다.

이때, 선행되는 단계로, 수신부(110)가 배식소에서 배식중인 음식 리스트 정보를 수신하는 단계(S510단계)가 더 포함될 수 있다.

그리고, 판단 단계(S540단계)에서 판단부(130)는 추출된 음식 이미지 데이터와 음식 리스트 정보를 매칭하여 각 음식의 종류를 판단할 수 있다.

이와 같이, 판단부(130)가 음식 이미지 데이터를 분석하여 음식의 종류를 자체적으로 판단할 수도 있고, 저장되어 있는 음식 리스트 정보와 매칭하여 음식의 종류를 판단할 수도 있다.

S540단계 다음으로, 산출부(140)가 추출된 음식 이미지 데이터의 픽셀별 높이 정보(3차원 거리 데이터)를 이용하여 각 음식의 부피를 산출한다. (S550단계)

위에서 언급한 바와 같이, 배식식판 이미지는 스테레오 카메라 또는 깊이 카메라를 포함하는 촬영부(50)를 통해 촬영되었기 때문에 음식 이미지 데이터에 픽셀별 높이 정보(3차원 거리 데이터)가 포함되어 있고, 이를 이용하여 각 음식의 부피를 산출할 수 있게 된다.

일 실시예로, 제1촬영부(53) 및 제2촬영부(55)를 통해 촬영된 2개의 배식식판 이미지를 보정하여 하나의 배식식판 이미지를 생성하고 취합된 이미지 데이터를 이용하여 부피 산출을 수행할 수도 있다.

일 실시예로, 컴퓨터는 기본식판(배식 전 식판(500)) 이미지와 식판(500)에 형성된 복수의 공간(510)에 대한 크기, 깊이 및 용량을 포함하는 식판 정보가 저장된 데이터베이스(170)를 포함한다.

그리고, 부피 산출 단계(S550단계)는 보정부(150)가 각 음식이 수용된 공간(510)의 크기, 깊이 및 용량 정보를 이용하여 산출된 각 음식의 부피를 보정하는 단계가 더 포함될 수 있다.

보다 상세하게는, 컴퓨터의 데이터베이스(170)에는 배식소에서 이용하는 식판(500)에 대한 데이터가 저장되어 있기 때문에, 이를 이용하여 추출된 각 음식의 크기(부피)를 보다 정확하게 산출할 수 있게 된다.

또한, 식판(500)의 종류에 따라서 각 공간(510)의 깊이가 상이하기 때문에 보정부(150)가 식판 정보를 이용하면 음식이 쌓인 정도를 보다 정확하게 판단할 수 있게 된다.

일 실시예로, 부피 산출 단계(S550단계)는 적층된 음식의 부피를 산출하는 단계(S555단계)를 더 포함할 수 있다.

보다 상세하게는, 식판(500) 내 특정 공간(510)에는 복수의 음식이 적층되어 있을 수 있다. 따라서, 산출부(140)는 식판(500) 내 특정 공간(510)에 서로 다른 음식이 적층된 것으로 인식되는 경우, 상측에 위치한 음식의 이미지 데이터와 산출된 부피 정보, 그리고 해당 공간(510)의 크기, 깊이 및 용량 정보를 이용하여 하측에 위치한 음식의 부피를 산출한다.

도 3 (a)는 배식식판에서 밥이 수용된 공간(510)에 밥 위에 계란 후라이가 적층된 것을 예시한 도면이고, (b)는 생선이 적층된 것을 예시한 도면이다.

도 3을 참조하여 예를 들면, 산출부(140)는 식판 정보와 계란 후라이의 이미지 데이터를 통해 계란 후라이의 크기와 부피를 산출한다.

그리고, 산출부(140)는 계란 후라이의 크기와 부피 정보를 통해서 해당 간(510)에 수용된 밥의 높이를 예측할 수 있게 되며, 이와 함께 식판 정보를 이용하여 해당 간(510)에 수용된 밥의 부피를 산출할 수 있게 된다.

또한, 도 3 (b)도 마찬가지로, 산출부(140)가 식판 정보와 생선의 이미지를 통해 생선의 크기와 부피를 산출하고, 이를 이용하여 해당 간(510)에 수용된 밥의 부피를 산출하게 된다.

일 실시예로, 컴퓨터의 데이터베이스(170)에는 다른 음식의 상측에 적층되는 음식들에 대한 데이터가 미리 저장되어 있을 수 있다. (예를 들어, 계란 후라이, 생선, 김 등)

또한, 산출부(140)는 식판(500) 내 특정 공간(510)에 수용된 음식의 종류가 액체인 것으로 판단되는 경우, 액체와 해당 공간(510)이 맞닿는 위치와 해당 공간(510)의 크기, 깊이 및 용량 정보를 이용하여 액체의 부피를 산출할 수 있다.

특정 공간(510)에 '국'과 같은 액체 형태의 음식이 수용되면 필연적으로 '국'과 해당 공간(510)이 일정 높이에서 맞닿는 부분이 생기게 된다. 산출부(140)는 이를 이용하여 배식식판 이미지에서 액체 형태의 음식물과 해당 공간(510)이 맞닿는 위치를 인식하고, 해당 공간(510)의 공간 정보(크기, 깊이, 용량)을 이용하여 음식물의 부피를 산출하게 된다.

예를 들어, 도 3에 표기된 'A' 영역에 '국'과 공간(510)이 맞닿는 부분이 표시되어 있으며, 산출부(140)는 이미지 데이터 내 A영역과 같은 부분을 통해 액체와 액체가 수용된 공간(510)이 맞닿는 위치를 확인할 수 있게 된다.

한편, 부피 산출 단계(S550단계)는 보정부(150)가 배식식판 이미지 내에 식판과 함께 촬영된 노이즈 성분을 보정하는 단계를 더 포함할 수 있다. 구체적으로, 보정부(150)가 배식식판 이미지 데이터 내에서 음식이 아니면서 부피를 가지는 노이즈 성분을 검출하고, 각 음식의 부피를 산출하는 단계에서 산출된 음식의 부피에서 검출된 노이즈 성분의 부피를 제외하는 보정을 수정하는 단계를 더 포함할 수 있다.

여기서, 노이즈 성분은 음식이 아니면서 부피를 가지는 것으로, 노이즈 성분의 부피로 인해 음식의 부피가 실제보다 더 크게 산출될 수 있다. 따라서 보정부(150)는 음식의 부피를 정확히 산출하기 위해 촬영된 이미지 내에서 노이즈 성분을 인식하고 산출부(140)에 의해 산출된 음식의 부피에서 해당 노이즈 성분의 부피를 제외시키는 보정을 수행할 수 있다.

예를 들어, 손이나 수저가 음식이 아니면서 부피를 가지는 노이즈 성분일 수 있으며, 이 밖에 유제품의 뚜껑 등이 이에 해당할 수 있지만, 이에 제한되지 않는다.

일례로, 노이즈 성분을 보정하는 단계에서 보정부(150)는 사용자의 손에 대한 이미지를 배식식판 이미지에서 인식하고 산출부(140)에 의해 산출된 음식의 부피값에서 손에 대한 부피값을 제외시키는 보정을 수행할 수 있다.

예를 들어, 상술한 바와 같이 배식소의 사정에 따라서 사용자가 식판(500)을 들고 걸어가는 것을 촬영하여 이미지를 획득할 수도 있는데, 식판을 들고 있는 손의 이미지 데이터 때문에 음식의 부피 산출에 오류가 발생할 수도 있기 때문에 보정부가 배식식판 이미지 데이터를 통해 산출된 음식의 부피값에서 손과 같은 신체부위에 대한 부피값을 제외시키는 보정을 실시함으로써, 음식의 부피 산출 단계에서 정확도를 상승시킬 수 있다.

일 실시예로, 보정부(150)는 빈 식판(500)과 수저에 대한 이미지 데이터에 대하여 미리 학습되어 배식식판 이미지 내에 수저가 포함되어 있는 경우 이를 인식하고 수저의 부피값을 제외하는 보정을 수행할 수 있다.

보다 상세하게는, 보정부(150)는 배식식판 이미지 데이터 내 사용자의 손 또는 수저의 존재 여부를 검출한다. 그리고, 배식식판 이미지 내에 사용자의 손 또는 수저가 포함되어 있는 경우 배식식판 이미지 데이터를 통해 산출된 음식의 부피값에서 사용자의 손 또는 수저의 부피값을 제외시킨다.

예를 들어, 보정부(150)는 촬영부를 통해 촬영된 배식식판 이미지, 식후식판 이미지 내에 수저가 포함되어 있는 경우 수저의 부피가 음식의 부피에 포함되어 음식의 부피가 산출될 수 있으므로, 수저의 부피를 배식식판 이미지 데이터를 통해 산출된 음식의 부피에서 제외시키는 보정을 수행할 수 있다.

상술한 보정부(150)의 구성과 동작들로 인하여, 본 발명의 실시예에 따른 음식량 측정 방법은, 차후 단계들이 수행될 때 정확도를 상승시킬 수 있는 효과를 발휘하게 된다.

S550단계 다음으로, 산출부(140)가 S550단계에서 산출된 각 음식의 부피 정보와 음식 정보를 이용하여 각 음식의 무게를 산출한다. (S560단계)

컴퓨터의 데이터베이스(170)는 음식별 부피당 무게를 포함하는 음식 정보가 저장되어 있다.

음식들은 종류에 따라서 부피당 무게가 다르며, 열량(칼로리)도 서로 상이하다. 따라서, 본 발명의 실시예에서는 음식별 부피당 부게를 포함하는 음식 정보가 데이터베이스(170)에 저장되어 있고, 산출부(140)가 이를 이용하여 음식의 부피 정보로부터 음식의 무게를 산출하게 된다.

그리고, 데이터베이스(170)에는 각 음식별 무게당 칼로리 정보가 저장되어 있을 수 있다.

이를 이용하여, 산출부(140)는 무게 산출 단계(S560단계) 다음에, 각 음식의 산출된 무게 정보를 이용하여 사용자의 배식식판에 수용된 음식물의 칼로리를 계산하고, 계산 결과를 담당자 또는 사용자의 단말로 제공할 수 있다.

일 실시예로, 배식소에는 배식식판의 무게를 측정할 수 있는 무게측정장치(미도시)가 마련되어 있을 수 있다.

이를 통해, 수신부(110)가 배식소에 마련된 무게측정장치(미도시)로부터 측정된 매식식판(500)의 무게정보를 수신하는 단계와, 보정부(150)가 S560단계에서 산출된 각 음식들의 무게와 기본식판의 무게의 총합과, 상기 수신된 무게정보를 매칭하여 각 음식의 무게를 보정하는 단계를 더 포함할 수 있다.

상술한 보정 단계는 선택적으로 채용되어 사용될 수 있으며, 무게를 측정하는 과정에서 사용자의 손이나 각종 요인들에 의해서 무게가 실제와 상이하게 측정될 수 있으므로, 무게정보가 임계치를 초과할 정도로 상이하게 측정되는 경우 보정 단계가 수행되지 않을 수도 있다.

본 발명의 실시예에 따른 음식량 측정 방법을 이용하여 컴퓨터가 배식소에서 식사하는 각 배식대상의 배식량, 잔반량을 측정하고 이를 이용하여 식사량을 산출할 수 있다.

그리고, 컴퓨터가 배식소에서 식사하는 배식대상들의 배식량, 잔반량, 식사량을 이용하여 배식소의 운영정보, 배식대상들의 관리정보를 생성할 수 있다. (컴퓨터는 서버, 장치의 구성)

보다 상세하게는, 컴퓨터가 배식구에 마련된 배식구 촬영부(50)를 통해 촬영된 식전식판 데이터(식전식판 이미지 데이터)를 획득하고, 이를 이용하여 배식대상의 배식량을 산출한다.

그리고, 컴퓨터가 퇴식구에 마련된 퇴식구 촬영부(50)를 통해 촬영된 식후식판 데이터(식후식판 이미지 데이터)를 획득하고, 이를 이용하여 배식대상의 잔반량을 산출한다.

다음으로, 컴퓨터가 산출된 배식량과 잔반량을 이용하여 해당 배식대상의 식사량을 산출한다.

그리고, 컴퓨터가 배식소에 등록된 배식대상들의 배식량, 잔반량 및 식사량을 기반으로 배식소의 운영정보를 생성하고, 배식소에 등록된 배식대상들의 배식량, 잔반량 및 식사량을 기반으로 각 배식대상들의 관리정보를 생성한다.

이때, 식전식판은 배식대상이 식판(500)에 음식을 배식받은 상태의 식판(500)을 의미하며, 위에서 언급한 배식식판과 동일한 의미이다.

이와 같이, 본 발명의 실시예에 따른 음식량 측정 방법, 장치(30), 서버(10)를 이용하여 배식받는 사람들의 배식량, 식사량, 잔반량을 산출하여 배식소와 배식대상들에 대한 정보를 가공할 수 있게 된다.

도 5는 본 발명의 실시예에 따른 음식량 측정 서버(10)의 블록도이다.

도 5를 참조하면, 본 발명의 실시예에 따른 음식량 측정 서버(10)는 수신부(110), 추출부(120), 판단부(130), 산출부(140), 보정부(150), 인증모듈(160), 데이터베이스(170), 통신부(190)를 포함한다.

다만, 몇몇 실시예에서 서버(10)는 도 5에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

수신부(110)는 하나 이상의 촬영부(50)를 통해 촬영된 배식식판 이미지를 수신한다.

추출부(120)는 배식식판 이미지 데이터에서 식판(500)의 각 공간(510)에 수용된 음식 이미지 데이터를 추출한다.

판단부(130)는 추출된 음식 이미지 데이터를 통해 각 음식의 종류를 판단한다.

산출부(140)는 추출된 음식 이미지 데이터의 픽셀별 높이 정보를 이용하여 각 음식의 부피를 산출한다.

데이터베이스(170)는 기본식판 이미지와 식판(500)에 형성된 복수의 공간(510)에 대한 크기, 깊이 및 용량을 포함하는 식판 정보와, 음식별 부피당 무게를 포함하는 음식 정보가 저장되어 있다.

통신부(190)는 배식소에 설치되어 있는 촬영부(50)로부터 촬영된 배식식판 이미지를 수신할 수 있도록 통신을 수행하며, 서버(10)에서 산출하여 생성된 각종 정보들을 담당자 또는 사용자의 단말로 전송하는 역할을 담당할 수 있다.

인증모듈(160)은 음식량 측정 장치(30), 키오스트 장치(30)와 같은 장치(30)로부터 수신된 사용자 정보를 인증하여 사용자를 식별하고, 사용자에 대한 각종 정보를 로딩한다.

또한, 서버(10)의 산출부(140)를 통해 산출된 배식식판 내 음식들의 무게, 칼로리 등에 대한 정보를 인증모듈(160)을 통해 인증된 사용자의 단말로 제공하게 된다. 이때, 서버(10) 자체에서 제공하는 서비스 애플리케이션을 통해 정보를 제공할 수 있다.

또한, 본 발명의 실시예에 따른 컴퓨터(서버, 장치)는 음식량 산출의 정확도를 향상시키기 위해서 아래 동작들을 수행할 수 있다.

일 실시예로, 산출부(140)는 상기 단계들을 통해 산출된 배식대상의 식사량과 잔반량의 합이 배식량과 일치하는지 검증을 수행하고, 검증 결과에 따라 불일치하는 경우 산출부(140)는 식사량 또는 잔반량의 합이 배식량과 일치하도록 상기 단계들을 통해 산출된 식사량, 잔반량 및 배식량 중 적어도 하나를 보정할 수 있으며, 이에 따른 결과를 데이터베이스(170)에 기록한다.

또한, 산출부(140)는 상기 단계들을 통해 산출된 배식소 배식대상들의 식사량의 총합과 잔반량의 총합을 합한 것이 배식량의 총합과 일치하는지 검증을 수행하고, 검증 결과에 따라 불일치하는 경우 산출부(140)는 식사량의 총합과 잔반량의 총합을 합한 것이 배식량의 총합과 일치하도록 상기 단계들을 통해 산출된 식사량의 총합, 잔반량의 총합 및 배식량의 총합 중 적어도 하나를 보정할 수 있으며, 이에 따른 결과를 데이터베이스(170)에 기록한다.

보다 상세하게는, 산출부(140)는 배식소에서 식사하는 배식대상들의 배식량의 총합과 잔반량의 총합의 차이값이 식사량의 총합과 일치하는지 여부를 검증한다.

또한, 산출부(140)는 배식소에 준비된 음식량의 총합을 배식소에서 발생한 잔반량의 총량, 배식소에서 발생한 잔식량의 총량 및 해당 배식소 배식대상들의 식사량의 총합을 합한 것과 비교하여 검증을 수행하고, 검증 결과에 따라 차이가 발생하는 경우 산출부(140)는 배식소에 준비된 음식량의 총합이 배식소에서 발생한 잔반량의 총량, 배식소에서 발생한 잔식량의 총량 및 해당 배식소 배식대상들의 식사량의 총합을 합한 것과 일치하도록 잔반량의 총량, 잔식량의 총량 및 식사량의 총합 중 적어도 하나를 보정할 수 있으며, 예컨대 식사량을 보정할 수 있고, 이에 따른 결과를 데이터베이스(170)에 기록할 수 있다.

여기서, 잔반량은 배식대상에게 배식되어 배식대상이 먹고 남은 음식의 양이고, 잔식량은 배식대상에게 배식되지 않고 남은 음식의 양일 수 있고, 잔식량은 상기 단계들을 통해 산출되거나 별도의 방법을 통해 산출될 수 있다.

보다 상세하게는, 데이터베이스(170)에는 배식소에서 매회 배식을 위해 준비한 음식량의 총 부피(무게), 잔식량의 총 부피(무게) 및 잔반량의 총 부피(무게) 측정 결과가 저장될 수 있으며, 산출부(140)는 준비한 음식량의 총 부피(무게)를 잔반량의 총 부피(무게), 잔식량의 총 부피(무게) 및 상기 단계들을 통해 산출된 배식소 배식대상들의 식사량의 총합을 합한 것과 비교하여 검증을 수행하고, 검증 결과에 따라 차이가 발생하는 경우 산출부(140)는 배식소에 준비된 음식량의 총합이 배식소에서 발생한 잔반량의 총량, 배식소에서 발생한 잔식량의 총량 및 해당 배식소 배식대상들의 식사량의 총합을 합한 것과 일치하도록 상기 단계들을 통해 산출된 배식대상들의 식사량의 총합을 보정할 수 있으며, 이에 따른 결과를 데이터베이스(170)에 기록할 수 있다. (예를 들어, 배식소에서 준비한 A 메뉴의 총 부피가 200이고 남은 양이 없이 모두 배식되었다면, 배식대상들에게 배식된 A 메뉴의 부피의 총 합은 200에 근사해야 함)

이와 같이, 산출부(140)가 각종 정보들을 이용하여 검증을 수행하고, 산출/보정으로 인한 정확도를 기록함으로써 문제점을 파악하고 개선해 나갈 수 있게 된다.

일 실시예로, 본 발명의 실시예에 따른 산출부(140)의 인공지능 알고리즘은 부피 인식의 검증 및 신뢰성 증가 방안으로 이미지 학습결과를 이용한 부피 인식 정확도 비교 및 보완 작업이 수행될 수 있다. 예를 들어, 서로 다른 양의 빵에 대한 이미지를 입력시키고 부피가 적고 많음에 대하여 판단을 하게 하고 오차나 노이즈가 발생할 경우 재학습시킴으로써 정확도를 상승시킬 수 있다.

이상으로 설명한 본 발명의 실시예에 따른 음식량 측정 음식량 측정 서버(10)는 도 1 내지 도 4를 통해 설명한 음식량 측정 방법과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.

도 6은 본 발명의 실시예에 따른 음식량 측정 장치(30)의 블록도이고, 도 7 및 도 8은 본 발명의 실시예에 따른 음식량 측정 장치(30)의 예시도이다.

도 6을 참조하면, 본 발명의 실시예에 따른 음식량 측정 장치(30)는 배식이 이루어지는 장소에 마련되는 장치(30)로, 수신부(110), 추출부(120), 판단부(130), 산출부(140), 보정부(150), 인증모듈(160), 데이터베이스(170), 촬영부(50), 통신부(190)를 포함한다.

다만, 몇몇 실시예에서 음식량 측정 장치(30)는 도 6에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

도 7 및 도 8을 참조하면, 음식량 측정 장치(30)는 식판(500)이 놓여지는 플레이트(220)가 마련되어 있다.

도 8을 참조하면, 촬영부(50)는 플레이트(220)에 놓여진 식판(500)을 촬영하며, 도 1 내지 도 4를 통해 설명한 촬영부(50)와 동일한 구성일 수 있다.

또한, 플레이트(220)는 내부에 무게측정장치(미도시)가 형성되어 상면에 놓여진 배식식판의 무게를 측정할 수 있다.

인증모듈(160)은 음식량 측정 장치(30), 키오스트 장치와 같은 장치로부터 수신된 사용자 정보를 인증하여 사용자를 식별하고, 사용자에 대한 각종 정보를 로딩한다.

서버(10)의 산출부(140)를 통해 산출된 배식식판 내 음식들의 무게, 칼로리 등에 대한 정보를 인증모듈(160)을 통해 인증된 사용자의 단말로 제공하게 된다. 이때, 서버(10) 자체에서 제공하는 서비스 애플리케이션을 통해 정보를 제공할 수 있다.

음식량 측정 장치(30)는 디스플레이(240)를 포함하여, 사용자를 인증할 수 있는 사용자 인증정보를 입력받을 수도 있고, 디스플레이를 통해 촬영된 이미지를 표출할 수도 있다.

또한, 도 7과 같은 형태의 음식량 측정 장치(30)가 마련되어 있는 경우 사용자가 측정부(260)에 식판(500)을 위치시키면 측정부(260) 내에 마련된 촬영부(50)가 식판을 촬영하여 배식식판 이미지, 식후식판 이미지를 획득할 수 있다. 그리고, 음식량 측정 장치(30) 자체에 결제모듈(250)이 구비되어 사용자가 음식량 측정과 결제를 동시에 진행할 수도 있다.

이상으로 설명한 본 발명의 실시예에 따른 음식량 측정 음식량 측정 장치(30) 구성들의 세부적인 내용은 도 1 내지 도 4를 통해 설명한 음식량 측정 방법과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.

이상에서 전술한 본 발명의 일 실시예에 따른 음식량 측정 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 음식량 측정 서버 30: 음식량 측정 장치
50: 촬영부 53: 제1촬영부
55: 제2촬영부 110: 수신부
120: 추출부 130: 판단부
140: 산출부 150: 보정부
160: 인증모듈 170: 데이터베이스
190: 통신부 220: 플레이트
240: 디스플레이부 250: 결제모듈
260: 측정부 500: 식판
510: 공간

Claims

컴퓨터에 의해 수행되는 음식량 측정 방법에 있어서,
추출부가 하나 이상의 촬영부를 통해 촬영된 배식식판(사용자의 배식받은 식판) 이미지 데이터에서 식판의 각 공간에 수용된 음식 이미지 데이터를 추출하는 단계;
판단부가 상기 추출된 음식 이미지 데이터를 통해 각 음식의 종류를 판단하는 단계; 및
산출부가 상기 추출된 음식 이미지 데이터의 픽셀별 높이 정보를 이용하여 각 음식의 부피를 산출하는 단계;를 포함하며,
상기 촬영부는, 스테레오 카메라 및 깊이 카메라 중 적어도 하나를 포함하는 것인, 방법.
제1항에 있어서,
상기 추출 단계는,
수신부가 일정 거리 이격되어 설치된 제1촬영부 및 제2촬영부를 통해 촬영된 2개의 배식식판 이미지 데이터를 수신하는 단계;
보정부가 상기 2개의 배식식판 이미지 데이터 중에서 노이즈 성분을 제거하고, 배식식판 이미지의 기울기를 인식하여 수평 상태의 이미지로 보정하는 단계;를 포함하는, 방법.
제1항에 있어서,
보정부가 상기 배식식판 이미지 데이터 내에서 음식이 아니면서 부피를 가지는 노이즈 성분을 검출하고, 각 음식의 부피를 산출하는 단계에서 산출된 음식의 부피에서 검출된 노이즈 성분의 부피를 제외하는 보정을 수정하는 단계;를 더 포함하는, 방법.
제1항에 있어서,
상기 컴퓨터는,
기본식판(배식 전 식판) 이미지와 식판에 형성된 복수의 공간에 대한 크기, 깊이 및 용량을 포함하는 식판 정보가 저장된 데이터베이스를 포함하며,
상기 부피 산출 단계는,
보정부가 각 음식이 수용된 공간의 크기, 깊이 및 용량 정보를 이용하여 산출된 각 음식의 부피를 보정하는 단계;를 더 포함하는, 방법.
제4항에 있어서,
상기 데이터베이스는,
음식별 부피당 무게를 포함하는 음식 정보가 저장되어 있으며,
상기 부피 산출 단계 다음에,
산출부가 상기 산출된 각 음식의 부피 정보와 상기 음식 정보를 이용하여 각 음식의 무게를 산출하는 단계;를 더 포함하는, 방법.
제1항에 있어서,
배식소에서 배식중인 음식 리스트 정보를 수신하는 단계;를 더 포함하며,
상기 판단 단계는,
판단부가 상기 추출된 음식 이미지 데이터와 상기 음식 리스트 정보를 매칭하여 각 음식의 종류를 판단하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 산출 단계는,
상기 식판 내 특정 공간에 서로 다른 음식이 적층된 것으로 인식되는 경우, 상기 산출부가 상측에 위치한 음식의 이미지 데이터와 산출된 부피 정보, 그리고 해당 공간의 크기, 깊이 및 용량 정보를 이용하여 하측에 위치한 음식의 부피를 산출하는 단계;를 더 포함하는, 방법.
제1항에 있어서,
상기 부피 산출 단계는,
상기 식판 내 특정 공간에 수용된 음식이 액체인 것으로 판단되는 경우, 액체와 해당 공간이 맞닿는 위치와 해당 공간의 크기, 깊이 및 용량 정보를 통해 액체의 부피를 산출하는 단계;를 더 포함하는, 방법.
제5항에 있어서,
산출부가 배식소에 마련된 촬영부를 통해 촬영된 식전식판 데이터로부터 배식대상의 식전 음식량을 산출하고, 상기 촬영부를 통해 촬영된 식후식판 데이터로부터 잔반량을 산출하여, 상기 식전 음식량과 식후 음식량을 통해 배식대상의 배식량, 잔반량 및 식사량을 산출하는 단계;를 더 포함하는, 방법.
제9항에 있어서,
산출부가 배식소에 준비된 음식량의 총합을 배식소에서 발생한 잔반량의 총량, 배식소에서 발생한 잔식량의 총량 및 해당 배식소 배식대상들의 식사량의 총합을 합한 것과 비교하여 검증을 수행하고, 검증 결과에 따라 차이가 발생하는 경우 상기 산출부는 배식소에 준비된 음식량의 총합이 배식소에서 발생한 잔반량의 총량, 배식소에서 발생한 잔식량의 총량 및 해당 배식소 배식대상들의 식사량의 총합을 합한 것과 일치하도록 식사량의 총합을 보정하는 단계;를 더 포함하는, 방법.
제10항에 있어서,
상기 산출부가 배식소 배식대상들의 배식량의 총합과 잔반량의 총합의 차이값이 식사량의 총합과 일치하는지 여부를 검증하고, 검증 결과에 따라 차이가 발생하는 경우 상기 산출부는 배식소 배식대상들의 배식량의 총합과 잔반량의 총합의 차이값이 식사량의 총합과 일치하도록 식사량의 총합을 보정하는 단계;를 더 포함하는, 방법.
하나 이상의 촬영부를 통해 촬영된 배식식판(사용자의 배식받은 식판) 이미지 데이터에서 식판의 각 공간에 수용된 음식 이미지 데이터를 추출하는 추출부;
상기 추출된 음식 이미지 데이터를 통해 각 음식의 종류를 판단하는 판단부;
상기 추출된 음식 이미지 데이터의 픽셀별 높이 정보를 이용하여 각 음식의 부피를 산출하는 산출부;를 포함하며,
상기 촬영부는, 스테레오 카메라 및 깊이 카메라 중 적어도 하나를 포함하는 것인, 서버.
하나 이상의 촬영부를 통해 촬영된 배식식판(사용자의 배식받은 식판) 이미지 데이터에서 식판의 각 공간에 수용된 음식 이미지 데이터를 추출하는 추출부;
상기 추출된 음식 이미지 데이터를 통해 각 음식의 종류를 판단하는 판단부;
상기 추출된 음식 이미지 데이터의 픽셀별 높이 정보를 이용하여 각 음식의 부피를 산출하는 산출부;를 포함하며,
상기 촬영부는, 스테레오 카메라 및 깊이 카메라 중 적어도 하나를 포함하는 것인, 장치.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제11항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 프로그램.