[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20240092376A - 차량용 통행자 자세 추정 방법 및 장치 - Google Patents

차량용 통행자 자세 추정 방법 및 장치 Download PDF

Info

Publication number
KR20240092376A
KR20240092376A KR1020220175083A KR20220175083A KR20240092376A KR 20240092376 A KR20240092376 A KR 20240092376A KR 1020220175083 A KR1020220175083 A KR 1020220175083A KR 20220175083 A KR20220175083 A KR 20220175083A KR 20240092376 A KR20240092376 A KR 20240092376A
Authority
KR
South Korea
Prior art keywords
passerby
vehicle
passenger
posture
body part
Prior art date
Application number
KR1020220175083A
Other languages
English (en)
Inventor
조웅래
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020220175083A priority Critical patent/KR20240092376A/ko
Publication of KR20240092376A publication Critical patent/KR20240092376A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/09—Taking automatic action to avoid collision, e.g. braking or steering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 전방의 통행자를 포함하는 이미지를 획득하는 단계; 획득된 이미지로부터 통행자의 통행 포지션을 획득하는 단계; 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하는 단계; 및 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정하는 단계;를 포함하는 차량용 통행자 자세 추정 방법을 구성한다.

Description

차량용 통행자 자세 추정 방법 및 장치{PASSENGER POSTURE ESTIMATION METHOD AND APPARATUS FOR VEHICLES}
본 발명은 차량용 통행자 자세 추정 방법 및 장치에 관한 것으로, 보다 상세하게는 통행자의 자세를 결정하고, 차량의 통행자 보호 시스템이 통행자의 자세에 따라 동작하도록 하기 위한 차량용 통행자 자세 추정 방법 및 장치에 관한 것이다.
차량과 관련한 기술들이 꾸준히 발전함에 따라, 오늘날의 차량에는 기본적인 주행 기능뿐만 아니라 통행자의 안전과 관련된 기능 등 다양한 기능들이 탑재되게 되었다. 또한, 이러한 기능들이 적절하게 적용되어 오작동을 방지하고, 향상된 성능을 제공할 수 있도록 하기 위하여 각 기능의 적용 대상이 되는 차량 전방의 통행자를 감지하거나 분류하는 기술들이 함께 발전하게 되었다.
이러한 보행자 또는 사이클리스트를 감지하거나 분류하는 기술에 대한 일 예로, 통행자 충돌 판단 기술이 있다. 통행자 충돌 판단 기술은 카메라와 레이더의 퓨전 신호에서 주는 상대속도/충돌까지 남은 시간/종방향 상대거리/횡방향 상대거리 를 이용하여 통행자와 사이클리스트의 충돌 가능성을 판단하는 기술이다. 보다 상세하게는 실제 충돌 발생 시 차량에 달린 가속도 센서와 압력 센서를 이용하여 실제 충돌을 판단하게 된다. 그러나, 이러한 방식의 통행자 충돌 판단 기술은 일반적으로 보행자 또는 사이클리스트의 존재 여부만을 감지할 수 있으므로 차량과 충돌시 보행자 또는 사이클리스트의 자세까지 추정할 수 없는 한계가 존재한다.
이에 따라, 보행자 또는 사이클리스트를 보다 정확히 감지하고, 세밀하게 분류할 수 있도록 하는 방안이 제시될 필요가 있다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-1619672 B
본 발명은, 통행자의 자세를 결정하고, 차량의 통행자 보호 시스템이 통행자의 자세에 따라 통행자 보호 정도가 다르게 동작하도록 하기 위한 차량용 통행자 자세 추정 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 방법으로서 본 발명은, 차량 전방의 통행자를 포함하는 이미지를 획득하는 단계; 획득된 이미지로부터 통행자의 통행 포지션을 획득하는 단계; 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하는 단계; 및 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정하는 단계;를 포함하는 차량용 통행자 자세 추정 방법을 구성한다.
예를 들어, 이미지는, 차량 전방을 향하도록 구비되는 카메라에 의해 촬영된 이미지일 수 있다.
예를 들어, 통행자의 통행 포지션을 획득하는 단계는, 획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 통행자의 통행 포지션을 획득하는 단계;를 포함할 수 있다.
예를 들어, 인공 지능 학습 모델은,
인공 지능 알고리즘으로서, 기계학습, 신경망, 딥러닝, 분류 알고리즘 또는 이들의 조합 중 적어도 하나를 포함할 수 있다.
예를 들어, 통행자의 각 신체부위 사이의 거리를 측정하는 단계는, 획득된 통행자의 통행 포지션으로부터 통행자의 신체부위에 포함되는 적어도 하나의 기 설정된 포인트를 검출하는 단계; 및 검출된 포인트에 기반하여 통행자의 각 신체부위 사이의 거리를 측정하는 단계;를 포함할 수 있다.
예를 들어, 각 신체부위 사이의 거리를 측정하는 단계는, 검출된 포인트에 기반하여 통행자의 각 신체부위의 위치 사이의 폭 및 높이를 결정하는 단계;를 포함할 수 있다.
예를 들어, 통행자의 통행 자세를 결정하는 단계는, 결정된 각 신체부위의 위치 사이의 폭 및 높이와 기 설정된 기준값을 비교하고, 비교 결과에 기반하여 통행자의 통행 자세를 결정하는 단계;를 포함할 수 있다.
예를 들어, 결정된 통행자의 통행 자세를 기반으로 통행자 보호 동작을 가동하는 단계;를 더 포함할 수 있다.
예를 들어, 차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계;를 더 포함하고, 통행자 보호 동작을 가동하는 단계는, 차량의 주행 가속도 및 차량의 주행 압력을 추가적으로 고려하여 통행자 보호 동작을 가동하는 단계;를 포함할 수 있다.
예를 들어, 차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계는, 센서로부터 차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계;를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은, 차량 전방을 촬영하는 카메라; 및 카메라를 통해 획득된 차량 전방의 통행자를 포함하는 이미지로부터 통행자의 통행 포지션을 획득하고, 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하고, 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정하는 제어기;를 포함하는 차량용 통행자 자세 추정 장치를 구성한다.
예를 들어, 제어기는, 획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 통행자의 통행 포지션을 획득할 수 있다.
예를 들어, 인공 지능 학습 모델은, 인공 지능 알고리즘으로서, 기계학습, 신경망, 딥러닝, 분류 알고리즘 또는 이들의 조합 중 적어도 하나를 포함할 수 있다.
예를 들어, 제어기는, 획득된 통행자의 통행 포지션으로부터 통행자의 신체부위에 포함되는 적어도 하나의 기 설정된 포인트를 검출하고, 검출된 포인트에 기반하여 통행자의 각 신체부위 사이의 거리를 측정할 수 있다.
예를 들어, 제어기는, 검출된 포인트에 기반하여 통행자의 각 신체부위의 위치 사이의 폭 및 높이를 결정할 수 있다.
본 발명 차량용 통행자 자세 추정 방법 및 장치에 따르면, 통행자의 자세를 결정하고, 차량의 통행자 보호 시스템이 통행자의 자세에 따라 통행자 보호 정도가 다르게 동작하도록 할 수 있게 된다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시형태에 따른 차량용 통행자 자세 추정 장치를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시형태에 따른 통행자의 신체부위에 포함되는 포인트를 나타낸 도면이다.
도 3은 본 발명의 일 실시형태에 따른 도 1의 차량용 통행자 자세 추정 장치가 운용되는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제어기(Controller)는 담당하는 기능의 제어를 위해 다른 제어기나 센서와 통신하는 통신 장치, 운영체제나 로직 명령어와 입출력 정보 등을 저장하는 메모리 및 담당 기능 제어에 필요한 판단, 연산, 결정 등을 수행하는 하나 이상의 프로세서를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 통행자의 자세를 결정하고, 차량의 통행자 보호 시스템이 통행자의 자세에 따라 통행자 보호 정도가 다르게 동작하도록 할 것을 제안한다.
도 1은 본 발명의 일 실시형태에 따른 차량용 통행자 자세 추정 장치를 나타낸 블럭도이다.
도 1을 참조하면, 일 실시예에 따른 차량용 통행자 자세 추정 장치(100)는 카메라(140), 제어기(150)를 포함할 수 있다.
먼저, 카메라(140)는 차량 내부를 촬영하고, 촬영된 이미지를 제어기(150) 등에 전달하는 기능을 수행한다. 통행자 자세 판단의 편의를 위해 통행자를 잘 인식할 수 있도록 카메라(140)는 차량 전면에 구비되어 차량의 전방을 향해 촬영하는 것이 적절하다. 한편, 카메라(140)는 차량 실외에 장착되어 통행자를 실시간으로 확인할 수 있어 실시간으로 제공되는 이미지를 활용하여 차량 전방의 통행자를 지속적으로 모니터링할 수 있게 된다.
또한, 제어기(150)는 카메라(140)로부터 차량 전방의 보행자, 사이클리스트를 포함하는 통행자에 대한 이미지를 획득하고, 이를 통해 통행 포지션을 획득할 수 있다. 또한, 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하고, 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정할 수 있다. 여기서, 제어기(150)의 통행자의 통행 자세는 통행자의 신체부위에 포함되는 기 설정된 포인트를 통해 결정될 수 있다. 제어기(150)에 의한 통행자의 자세 추정 판단에 대한 보다 구체적인 설명은 이하 도 2 및 도 3을 참조하여 설명하도록 한다.
한편, 제어기(150)의 통행자의 통행 포지션 획득은 카메라(140)로부터 획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 수행될 수 있다. 여기서, 인공 지능 학습 모델은 인공 지능 알고리즘으로서, 기계학습, 신경망, 딥러닝, 분류 알고리즘 또는 이들의 조합 중 적어도 하나를 포함할 수 있다.
이때, 결정에는 인공 지능 학습 모델의 Human Pose Estimation가 활용될 수 있다. Human Pose Estimation은 인간의 중요 신체 부위에 대응되는 복수의 키포인트들을 검출하고 이를 통해 대상이 되는 인간의 포즈를 추정하는 것으로, 여기서 검출된 키포인트 중 보행자 또는 사이클리스트의 신체부위에 포함되는 것들을 본 발명의 일 실시예에 있어서의 통행자의 자세를 결정하기 위한 포인트들로 활용할 수 있다.
도 2는 본 발명의 일 실시형태에 따른 통행자의 신체부위에 포함되는 포인트를 나타낸 도면이다.
도 2를 참조하면, 제어기(150)는 Human Pose Estimation를 통해 획득된 통행자의 통행 포지션으로부터 통행자의 신체부위에 포함되는 적어도 하나의 기 설정된 포인트를 검출할 수 있다. 구체적으로, 각각의 포인트는 2D(x,y), 3D(x,y,z) 좌표를 가질 수 있다. 제어기(150)는 검출된 포인트에 기반하여 각각 통행자의 각 신체부위 사이의 거리를 측정할 수 있다.
보다 구체적으로, 제어기(150)는 검출된 포인트에 기반하여 통행자의 각 신체부위의 위치 사이의 폭 및 높이를 결정할 수 있다. 제어기(150)는 각각 2D 또는 3D 좌표로 표현된 포인트에서 x좌표를 서로 차분함으로써 각 신체부위의 폭이 결정되고, y좌표를 서로 차분함으로써 각 신체부위의 높이가 결정될 수 있다. 또한, z좌표를 서로 차분함으로써 각 신체부위의 두께가 결정될 수 있게 된다. 각 신체부위의 위치 사이의 폭, 높이 및 두께 뿐만 아니라 각 신체부위의 위치 사이의 직선거리가 계산될 수도 있다. 이러한 과정을 통해 제어기(150)의 각 신체부위 사이 거리에 대한 측정이 정밀해지고, 정확도가 향상될 수 있다.
또한, 제어기(150)는 결정된 각 신체부위의 위치 사이의 폭 및 높이와 기 설정된 기준값을 비교하고, 비교 결과에 기반하여 통행자의 통행 자세를 결정할 수 있다.이를 통행자의 신체부위를 예로 설명한다.
도 2에서 1번 및 2번은 각각 좌측 어깨, 우측 어깨의 포인트를 나타내고 3번은 가슴 포인트를 나타낸다. 또한, 4번은 복부 중앙의 포인트, 5번 및 6번은 각각 좌측 엉덩이와 우측 엉덩이 포인트를 나타낸다. 또한, 7번 및 8번은 각각 좌측 무릎과 우측 무릎의 포인트를 나타낸다. 마지막으로, 9번 및 10번은 각각 좌측 발목과 우측 발목의 포인트를 나타낸다.
이때, 통행자의 통행 자세는 다음과 같은 조건으로 판단될 수 있다. 예컨대, 제어기(150)는 1번과 3번 사이의 폭이 기준값보다 큰 동시에 4번과 5번 사이의 폭이 기준값보다 크며, 2번과 3번 사이의 폭이 기준값보다 큰 동시에 4번과 6번 사이의 폭이 기준값보다 큰 조건에서 신체부위의 양측(1번, 2번, 5번 내지 10번)이 모두 인식된 경우 통행자가 정면 및 후면을 바라본다고 추정할 수 있다. 또한, 1번과 3번 사이의 폭이 기준값보다 작거나 2번과 3번 사이의 폭이 기준값보다 작은 경우에 통행자가 측면을 바라본다고 추정될 수 있다. 또한, 4번과 5번 사이의 폭이 기준값보다 작거나 4번과 6번 사이의 폭이 기준값보다 작은 조건, 신체부위의 좌측(1번, 5번, 7번, 9번)이 인식되지 않거나 신체부위의 우측(2번, 6번, 8번, 10번)이 인식되지 않는 조건에서 모두 통행자가 측면을 바라본다고 추정될 수 있다.
또한, 3번과 4번 사이의 높이, 1번과 4번 사이의 높이 또는 2번과 4번 사이의 높이가 기준값보다 작은 조건에서 통행자가 몸을 숙인 자세로 추정될 수 있다. 반대로, 3번과 4번 사이의 높이, 1번과 4번 사이의 높이 또는 2번과 4번 사이의 높이가 기준값보다 큰 조건에서 통행자가 몸을 서있는 자세라고 추정될 수 있다. 여기서, 기준값은 기 설정된 값으로서 보행자 또는 사이클리스트의 체형에 따라 다르게 설정될 수 있다.
지금까지 서술한 통행자의 통행 자세 추정을 위한 조건은 본 발명을 이해하기 위한 실시예로서, 상황에 따라 다르게 설정될 수 있음은 당업자에 자명하다.
한편, 제어기(150)는 결정된 통행자의 통행 자세를 기반으로 통행자 보호 동작을 최적으로 가동할 수 있다. 통행자 보호 동작은 차량에 구비된 통행자용 에어백을 포함할 수 있다. 예컨대, 통행자가 정면 또는 후면을 바라보는 경우, 충돌 부위가 통행자의 하반신 혹은 상반신 부위가 되므로 통행자 보호 정도를 최대로 설정하여 통행자용 에어백이 최대로 작동하도록 할 수 있다. 또한, 통행자가 측면을 바라보는 경우, 충돌 부위가 보행자 또는 사이클리스트의 하반신 중 다리 하나일 수 있으므로 통행자 보호 정도를 최대 대비 적게 설정할 수 있다.
또한, 통행자가 몸을 숙이고 있는 자세라고 결정된 경우, 통행자가 차량의 하부에 깔리는 상황이 일어나지 않도록 깔림 방지 시스템이 동작하도록 할 수 있다.
전술한 제어기(150)의 통행자 보호 동작 가동은 제어기(150)에서 결정된 통행자의 통행 자세 뿐만 아니라 차량의 주행 가속도 및 차량의 주행 압력을 추가적으로 고려하여 이루어질 수 있다. 여기서, 차량의 주행 가속도 및 차량의 주행 압력은 센서를 통해 획득될 수 있다. 구체적으로, 차량의 주행 가속도 또는 차량의 주행 압력이 높은 상태라면 통행자 보호 정도를 최대로 설정할 수 있고, 차량의 주행 가속도 및 차량의 주행 압력이 낮은 상태라면 통행자 보호 정도를 적게 설정할 수 있게 된다.
상술한 차량용 통행자 자세 추정 장치(100)를 바탕으로 실시예에 따른 차량용 통행자 자세 추정 방법을 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시형태에 따른 도 1의 차량용 통행자 자세 추정 장치(100)가 운용되는 순서도이다.
도 3을 참조하면, 먼저 카메라(140)는 차량 전방의 통행자를 포함하는 이미지를 획득할 수 있다(S310). 이후, 제어기(150)는 획득된 이미지로부터 통행자의 통행 포지션을 획득할 수 있다(S320). 제어기(150)의 통행자의 통행 포지션 획득은 카메라(140)로부터 획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 수행될 수 있다.
이때, 결정에는 인공 지능 학습 모델의 Human Pose Estimation가 활용될 수 있다. Human Pose Estimation은 인간의 중요 신체 부위에 대응되는 복수의 키포인트들을 검출하고 이를 통해 대상이 되는 인간의 포즈를 추정하는 것으로, 여기서 검출된 키포인트 중 보행자 또는 사이클리스트의 신체부위에 포함되는 것들을 본 발명의 일 실시예에 있어서의 통행자의 자세를 결정하기 위한 포인트들로 활용할 수 있다.
이후, 제어기(150)는 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이 거리를 측정할 수 있다(S330). 또한, 제어기(150)는 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정할 수 있다(S340). 이후, 제어기(150)가 통행자와 충돌 가능성이 존재하는지 판단할 수 있다(S350). 충돌 가능성이 존재하는 경우(S350의 YES), 제어기(150)는 결정된 통행자의 통행 자세를 기반으로 통행자 보호 동작을 최적으로 가동할 수 있다(S360).
지금까지 설명한 본 발명의 실시예들에 의하면, 통행자의 자세를 결정하고, 차량의 통행자 보호 시스템이 통행자의 자세에 따라 통행자 보호 정도가 다르게 동작하도록 할 수 있게 된다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
100 : 차량용 통행자 자세 추정 장치
140 : 카메라
150 : 제어기

Claims (15)

  1. 차량 전방의 통행자를 포함하는 이미지를 획득하는 단계;
    획득된 이미지로부터 통행자의 통행 포지션을 획득하는 단계;
    획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하는 단계; 및
    측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정하는 단계;를 포함하는 차량용 통행자 자세 추정 방법.
  2. 청구항 1에 있어서,
    이미지는,
    차량 전방을 향하도록 구비되는 카메라에 의해 촬영된 이미지인 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  3. 청구항 1에 있어서,
    통행자의 통행 포지션을 획득하는 단계는,
    획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 통행자의 통행 포지션을 획득하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  4. 청구항 3에 있어서,
    인공 지능 학습 모델은,
    인공 지능 알고리즘으로서, 기계학습, 신경망, 딥러닝, 분류 알고리즘 또는 이들의 조합 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  5. 청구항 1에 있어서,
    통행자의 각 신체부위 사이의 거리를 측정하는 단계는,
    획득된 통행자의 통행 포지션으로부터 통행자의 신체부위에 포함되는 적어도 하나의 기 설정된 포인트를 검출하는 단계; 및
    검출된 포인트에 기반하여 통행자의 각 신체부위 사이의 거리를 측정하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  6. 청구항 5에 있어서,
    각 신체부위 사이의 거리를 측정하는 단계는,
    검출된 포인트에 기반하여 통행자의 각 신체부위의 위치 사이의 폭 및 높이를 결정하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  7. 청구항 6에 있어서,
    통행자의 통행 자세를 결정하는 단계는,
    결정된 각 신체부위의 위치 사이의 폭 및 높이와 기 설정된 기준값을 비교하고, 비교 결과에 기반하여 통행자의 통행 자세를 결정하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  8. 청구항 1에 있어서,
    결정된 통행자의 통행 자세를 기반으로 통행자 보호 동작을 가동하는 단계;를 더 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  9. 청구항 8에 있어서,
    차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계;를 더 포함하고,
    통행자 보호 동작을 가동하는 단계는,
    차량의 주행 가속도 및 차량의 주행 압력을 추가적으로 고려하여 통행자 보호 동작을 가동하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  10. 청구항 9에 있어서,
    차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계는,
    센서로부터 차량의 주행 가속도 및 차량의 주행 압력을 획득하는 단계;를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 방법.
  11. 차량 전방을 촬영하는 카메라; 및
    카메라를 통해 획득된 차량 전방의 통행자를 포함하는 이미지로부터 통행자의 통행 포지션을 획득하고, 획득된 통행자의 통행 포지션으로부터 통행자의 각 신체부위 사이의 거리를 측정하고, 측정된 통행자의 각 신체부위 사이의 거리에 기반하여 통행자의 통행 자세를 결정하는 제어기;를 포함하는 차량용 통행자 자세 추정 장치.
  12. 청구항 11에 있어서,
    제어기는,
    획득된 이미지를 소정의 인공 지능 학습 모델에 입력함으로써 통행자의 통행 포지션을 획득하는 것을 특징으로 하는 차량용 통행자 자세 추정 장치.
  13. 청구항 12에 있어서,
    인공 지능 학습 모델은,
    인공 지능 알고리즘으로서, 기계학습, 신경망, 딥러닝, 분류 알고리즘 또는 이들의 조합 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 통행자 자세 추정 장치.
  14. 청구항 11에 있어서,
    제어기는,
    획득된 통행자의 통행 포지션으로부터 통행자의 신체부위에 포함되는 적어도 하나의 기 설정된 포인트를 검출하고, 검출된 포인트에 기반하여 통행자의 각 신체부위 사이의 거리를 측정하는 것을 특징으로 하는 차량용 통행자 자세 추정 장치.
  15. 청구항 14에 있어서,
    제어기는,
    검출된 포인트에 기반하여 통행자의 각 신체부위의 위치 사이의 폭 및 높이를 결정하는 것을 특징으로 하는 차량용 통행자 자세 추정 장치.
KR1020220175083A 2022-12-14 2022-12-14 차량용 통행자 자세 추정 방법 및 장치 KR20240092376A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220175083A KR20240092376A (ko) 2022-12-14 2022-12-14 차량용 통행자 자세 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220175083A KR20240092376A (ko) 2022-12-14 2022-12-14 차량용 통행자 자세 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240092376A true KR20240092376A (ko) 2024-06-24

Family

ID=91712014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220175083A KR20240092376A (ko) 2022-12-14 2022-12-14 차량용 통행자 자세 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240092376A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619672B1 (ko) 2014-12-15 2016-05-10 현대자동차주식회사 이진화 기반 보행자 추적 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619672B1 (ko) 2014-12-15 2016-05-10 현대자동차주식회사 이진화 기반 보행자 추적 방법 및 그 장치

Similar Documents

Publication Publication Date Title
EP1759933B1 (en) Vison-Based occupant classification method and system for controlling airbag deployment in a vehicle restraint system
EP1759932B1 (en) Method of classifying vehicle occupants
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
CN103569112B (zh) 带有似真性模块的碰撞检测系统
EP2919197B1 (en) Object detection device and object detection method
EP1816589B1 (en) Detection device of vehicle interior condition
US9704047B2 (en) Moving object recognition apparatus
WO2014064898A1 (ja) 乗車人数計測装置、方法およびプログラム
KR101604447B1 (ko) 선행차량 추돌 경보 장치 및 방법
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
JP2002059796A (ja) カメラ画像に基づいて道路使用者および障害物を検出し、観察者との距離を求めてクラシフィケーションする方法および装置
JP4469508B2 (ja) シーン内の物体の位置を求めるための方法および装置
CN104512333A (zh) 车外环境识别装置
US8160300B2 (en) Pedestrian detecting apparatus
CN102099842B (zh) 车辆周边监视装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
CN203713802U (zh) 检测行人碰撞的系统
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
CN105320928A (zh) 对象物识别装置
KR101568745B1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
KR20240092376A (ko) 차량용 통행자 자세 추정 방법 및 장치
EP4310799A1 (en) Seat belt wearing determination apparatus
CN109308442B (zh) 车外环境识别装置
KR20160133386A (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법