KR20240071789A - Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator - Google Patents
Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator Download PDFInfo
- Publication number
- KR20240071789A KR20240071789A KR1020220153707A KR20220153707A KR20240071789A KR 20240071789 A KR20240071789 A KR 20240071789A KR 1020220153707 A KR1020220153707 A KR 1020220153707A KR 20220153707 A KR20220153707 A KR 20220153707A KR 20240071789 A KR20240071789 A KR 20240071789A
- Authority
- KR
- South Korea
- Prior art keywords
- walking
- data
- real
- time
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000005021 gait Effects 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 28
- 238000013480 data collection Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 210000002414 leg Anatomy 0.000 description 6
- 210000002683 foot Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 244000309466 calf Species 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013013 elastic material Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003371 toe Anatomy 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/04—Wheeled walking aids for patients or disabled persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/04—Wheeled walking aids for patients or disabled persons
- A61H2003/043—Wheeled walking aids for patients or disabled persons with a drive mechanism
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/12—Driving means
- A61H2201/1207—Driving means with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
- A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5097—Control means thereof wireless
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
일 실시예는, 보행차에 포함된 센서를 이용하여 보행 중인 상기 사용자에 대한 3차원 공간 데이터를 수집하는 단계, 상기 프로세서가 상기 사용자에 대한 3차원 공간 데이터를 기초로 추출한 상기 사용자의 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성하는 단계, 및 상기 프로세서가 상기 실시간 보행 데이터를 상기 3차원 공간 데이터를 통해 추출한 상기 사용자의 신체 데이터에 매칭된 기준 보행 데이터와 비교하고, 상기 실시간 보행 데이터가 상기 기준 보행 데이터와의 차이가 소정의 값 이하가 되도록 상기 보행차의 구동을 제어하는 단계를 포함하는, 보행차의 스마트 주행 방법을 제공할 수 있다.One embodiment includes collecting three-dimensional spatial data about the user while walking using a sensor included in a walking vehicle, and the processor extracting the user's motion information based on the three-dimensional spatial data about the user. Analyzing and generating real-time walking data of the user, and the processor compares the real-time walking data with reference walking data matched to the user's body data extracted through the three-dimensional spatial data, and the real-time walking data is A smart driving method for a walking vehicle can be provided, including the step of controlling the driving of the walking vehicle so that the difference with the reference walking data is less than a predetermined value.
Description
본 발명은 사용자의 보행 데이터에 기초한 스마트 보행 보조를 제공하는 보행차 및 보행차의 스마트 주행 방법에 관한 것이다.The present invention relates to a walking vehicle and a smart driving method for the walking vehicle that provides smart walking assistance based on the user's walking data.
고령자의 지속적 증가는 고령친화제품의 보급이 요구되고, 이러한 요구는 인간공학 및 디자인적 측면에서 고령친화제품에 대한 개발과 평가의 필요성을 증가시키고 있다. 아직까지 고령친화제품은 시장성의 부족으로 인하여 많은 기업들의 관심을 끌지 못하였기 때문에, 폭넓은 제품의 개발과 연구가 제공되지 못하였다. 이것은 고령자 입장에서는 부족한 선택과 부적합한 사용을 강요받는 현상을 초래하게 되었다. The continued increase in the number of elderly people requires the distribution of elderly-friendly products, and this demand is increasing the need for development and evaluation of elderly-friendly products in terms of ergonomics and design. Because senior-friendly products have not yet attracted the attention of many companies due to lack of marketability, extensive product development and research have not been provided. This has resulted in the elderly being forced to make insufficient choices and use inappropriate products.
제품 안전사고의 분석 결과를 보면 60세 이상의 사용자의 사고발생 비율이 60세 미만의 사용자에 비해 훨씬 높은 것을 알 수 있다. 구체적인 분석 결과를 보면, 장소는 가정이 57.2%로 가장 많았고, 공공행정 및 서비스지역이 14.7%, 도로 9.8% 등의 순이었다. 그리고 사고 유형별로는 추락, 넘어짐, 미끄러짐이 55.3%, 충돌, 충격이 7.5%, 물체에 베이거나 찢어지는 사고가 4.5%, 눌림, 끼임이 4.0%의 순이었다. 또한 사고 부위별로는 머리, 얼굴 부위가 26.4%, 다리, 발 부위가 24%, 팔, 손 부위가 18.1%, 목, 배, 등, 허리 부위가 14.7% 순으로 조사되었다(노인안전실태, 소비자시대, 4-5, 2007년 10월호). Analysis of product safety accidents shows that the accident rate for users over 60 years of age is much higher than that of users under 60 years of age. Looking at the detailed analysis results, the most common place was home at 57.2%, followed by public administration and service areas at 14.7%, and roads at 9.8%. And by accident type, falls, falls, and slips accounted for 55.3%, collisions and impacts accounted for 7.5%, accidents involving cuts or tears by objects accounted for 4.5%, and crushing and pinching accounted for 4.0%. Also, by accident area, 26.4% were in the head and face, 24% in the legs and feet, 18.1% in the arms and hands, and 14.7% in the neck, abdomen, back, and waist (Safety Status for the Elderly, Consumer Age). , 4-5, October 2007).
특히 고령자 관련 사고 유형을 보면 알 수 있듯이 낙상 관련 사고가 무려 절반 이상을 차지하고 있다. 낙상을 방지할 수 있는 고령친화제품으로 가장 대표적인 것이 보행차(롤레이터)가 있다. 최근까지 보행차에는 다양한 기능성이 부가되고, 사용의 편의성과 내구성을 높인 다양한 제품이 등장하였으며 관련하여 한국 공개특허공보 제2017-0134394호의 사용에 따라 조절 가능한 핸들 위치를 구비하는 롤레이터-트롤리, 한국 등록특허공보 제1908176호의 보행 보조기를 위한 보행 상태 추정 방법 및 장치, 미국 등록특허공보 제9974708호의 Stroller rollator 및 미국 등록특허공보 제9839571호의 Foldable rollator 등 연구 개발이 꾸준히 이루어지고 있다.In particular, as can be seen when looking at the types of accidents involving the elderly, falls-related accidents account for more than half. The most representative senior-friendly product that can prevent falls is the walking car (rollator). Until recently, various products with various functions added to walking vehicles and improved convenience of use and durability have appeared. In relation to this, a rollator-trolley with an adjustable handle position according to the use of Korean Patent Publication No. 2017-0134394, Korea Research and development is being conducted steadily, including the walking state estimation method and device for walking aids in Registered Patent Publication No. 1908176, the Stroller rollator in US Patent Publication No. 9974708, and the Foldable rollator in US Patent Publication No. 9839571.
한편, 헬스 케어에 대한 사람들의 관심이 높아지고 원격 의료 서비스 기술의 발전에 따라 비대면 재활 치료에 대한 수요가 증가하고 있다. 이에 따라, 환자의 데이터 기반 실시간 비대면 재활 치료를 가능케 하는 헬스 케어 제품들에 대한 연구가 더욱 활발히 이루어져야 할 필요가 있다.Meanwhile, as people's interest in healthcare grows and advances in remote medical service technology, demand for non-face-to-face rehabilitation treatment is increasing. Accordingly, there is a need to more actively research healthcare products that enable real-time, non-face-to-face rehabilitation treatment based on patient data.
본 발명은 스마트 보행 보조가 가능한 보행차 및 보행차의 스마트 주행 방법을 제공할 수 있다.The present invention can provide a walking vehicle capable of smart walking assistance and a smart driving method for the walking vehicle.
또한, 본 발명은 사용자의 보행 데이터를 기반으로 사용자의 보행 레벨에 적합한 보행 속도로 보행차의 주행 속도를 제어함으로써 안정성과 편의성이 향상된 보행차를 제공할 수 있다.In addition, the present invention can provide a walking vehicle with improved stability and convenience by controlling the running speed of the walking vehicle at a walking speed appropriate for the user's walking level based on the user's walking data.
또한, 본 발명은 사용자의 보행 데이터를 활용하여 비대면 재활 치료를 가능케 하는 보행차 및 스마트 주행 방법을 제공할 수 있다.Additionally, the present invention can provide a walking vehicle and a smart driving method that enables non-face-to-face rehabilitation treatment by utilizing the user's walking data.
또한, 본 발명은 장애물 감지 센서를 이용하여 장애물을 회피하도록 보행차를 제어함으로써 안전사고 예방이 가능한 보행차 및 스마트 주행 방법을 제공할 수 있다.In addition, the present invention can provide a walking vehicle and a smart driving method capable of preventing safety accidents by controlling the walking vehicle to avoid obstacles using an obstacle detection sensor.
일 실시예는, 사용자의 보행 데이터를 생성하는 프로세서에 의해 제어되는 보행차의 스마트 주행 방법에 있어서, 상기 보행차에 포함된 센서를 이용하여 보행 중인 상기 사용자에 대한 3차원 공간 데이터를 수집하는 단계, 상기 프로세서가 상기 사용자에 대한 3차원 공간 데이터를 기초로 추출한 상기 사용자의 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성하는 단계, 및 상기 프로세서가 상기 실시간 보행 데이터를 상기 3차원 공간 데이터를 통해 추출한 상기 사용자의 신체 데이터에 매칭된 기준 보행 데이터와 비교하고, 상기 실시간 보행 데이터와 상기 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 구동을 제어하는 단계를 포함하는 보행차의 스마트 주행 방법을 제공할 수 있다.In one embodiment, a smart driving method of a walking vehicle controlled by a processor that generates walking data of the user includes collecting three-dimensional spatial data about the user while walking using a sensor included in the walking vehicle. , the processor generating real-time walking data of the user by analyzing the user's motion information extracted based on the three-dimensional spatial data for the user, and the processor converting the real-time walking data into the three-dimensional spatial data. Comparing the user's body data extracted through reference walking data matched with reference walking data, and controlling the driving of the walking vehicle so that the difference between the real-time walking data and the reference walking data is less than or equal to a predetermined value. It can provide a smart driving method.
다른 측면에서, 상기 보행차의 구동을 제어하는 단계에서는, 상기 프로세서가 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절할 수 있다. In another aspect, in the step of controlling the driving of the walking vehicle, the processor compares first real-time walking data and first reference walking data, and the difference between the first real-time walking data and the first reference walking data is determined by a predetermined amount. The control parameters of the walking vehicle can be adjusted to be below the value of .
다른 측면에서, 상기 보행차의 구동을 제어하는 단계에서는, 상기 프로세서가 상기 보행차의 구동을 제어하여 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 된 이후에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절할 수 있다. In another aspect, in the step of controlling the driving of the walking vehicle, the processor controls the driving of the walking vehicle after the difference between the first real-time walking data and the first reference walking data becomes less than a predetermined value. , Comparing the first real-time walking data, other second real-time walking data, and second reference walking data, and controlling the walking vehicle so that the difference between the second real-time walking data and the second reference walking data is less than a predetermined value. Parameters can be adjusted.
다른 측면에서, 상기 보행차의 구동을 제어하는 단계에서는, 상기 프로세서가 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하고, 이와 동시에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절할 수 있다. In another aspect, in the step of controlling the driving of the walking vehicle, the processor compares first real-time walking data and first reference walking data, and the difference between the first real-time walking data and the first reference walking data is determined by a predetermined amount. Control parameters of the walking vehicle are adjusted to be below the value of, and at the same time, the first real-time walking data and other second real-time walking data and second reference walking data are compared, and the second real-time walking data is compared with the second real-time walking data. The control parameters of the walking vehicle can be adjusted so that the difference between the reference walking data is less than a predetermined value.
다른 측면에서, 상기 사용자의 실시간 보행 데이터를 생성하는 단계에서는, 상기 프로세서가 상기 사용자에 대한 상기 3차원 공간 데이터를 기초로 상기 사용자의 형상을 포함하는 3차원 공간을 모델링하고, 상기 3차원 공간에서의 상기 사용자의 모션 정보를 추출하며, 상기 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성할 수 있다. In another aspect, in the step of generating real-time walking data of the user, the processor models a three-dimensional space including the shape of the user based on the three-dimensional spatial data for the user, and in the three-dimensional space The user's motion information may be extracted, and the motion information may be analyzed to generate real-time walking data of the user.
다른 측면에서, 상기 보행차의 스마트 주행 방법은, 상기 프로세서가 네트워크를 통해 상기 사용자의 실시간 보행 데이터를 외부의 다른 사용자 단말기로 전송하는 단계 및 상기 네트워크를 통해 상기 다른 사용자 단말기로부터의 상기 실시간 보행 데이터와 관련된 분석 데이터를 수신하는 단계; 를 더 포함할 수 있다. In another aspect, the smart driving method of the walking vehicle includes the steps of the processor transmitting the real-time walking data of the user to another external user terminal through a network and the real-time walking data from the other user terminal through the network. Receiving analysis data related to; It may further include.
일 실시예는, 메인 프레임, 상기 메인 프레임에 마련되는 수직 프레임, 상기 수직 프레임에 마련되어 사용자의 신체 일부를 받치는 받침부, 상기 메인 프레임에 마련되고 복수의 휠을 연결하는 휠프레임, 상기 휠의 회전 동력을 제공하는 동력제공부, 상기 수직 프레임과 마주하는 영역에 위치하는 사용자에 대한 3차원 공간 데이터를 센싱하는 공간 데이터 수집 센서 및 명령어를 포함한 하나 이상의 프로그램이 저장된 메모리와 상기 프로그램을 실행하여 상기 3차원 공간 데이터를 기초로 상기 사용자의 실시간 보행 데이터를 생성하고, 상기 사용자의 신체 데이터에 매칭된 기준 보행 데이터와 비교하며, 상기 실시간 보행 데이터와 상기 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 소정의 제어 파라미터를 제어하는, 프로세서를 포함하는 컨트롤러를 포함하는, 스마트 보행 보조가 가능한 보행차를 제공할 수 있다. One embodiment includes a main frame, a vertical frame provided on the main frame, a support provided on the vertical frame to support a part of the user's body, a wheel frame provided on the main frame and connecting a plurality of wheels, and rotation of the wheel. A power supply unit that provides power, a spatial data collection sensor that senses three-dimensional spatial data about a user located in an area facing the vertical frame, and a memory storing one or more programs including commands and executing the program to perform the above 3 Real-time walking data of the user is generated based on dimensional space data, compared with reference walking data matched to the user's body data, and the difference between the real-time walking data and the reference walking data is determined to be less than a predetermined value. It is possible to provide a walking vehicle capable of smart walking assistance, including a controller including a processor that controls control parameters.
다른 측면에서, 상기 프로세서는, 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절할 수 있다. In another aspect, the processor compares first real-time walking data and first reference walking data, and controls the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value. Parameters can be adjusted.
다른 측면에서, 상기 프로세서는, 상기 프로세서가 상기 보행차의 구동을 제어하여 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 된 이후에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절할 수 있다. In another aspect, the processor controls the driving of the walking vehicle, and after the difference between the first real-time walking data and the first reference walking data becomes less than a predetermined value, the processor provides first real-time walking data and Other second real-time walking data and second reference walking data may be compared, and control parameters of the walking vehicle may be adjusted so that the difference between the second real-time walking data and the second reference walking data is less than or equal to a predetermined value.
다른 측면에서, 상기 프로세서는, 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하고, 이와 동시에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절할 수 있다.In another aspect, the processor compares first real-time walking data and first reference walking data, and controls the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value. Adjust the parameters, and at the same time, compare the first real-time walking data, other second real-time walking data, and second reference walking data, and the difference between the second real-time walking data and the second reference walking data is less than or equal to a predetermined value. The control parameters of the walking vehicle can be adjusted so that .
다른 측면에서, 상기 공간 데이터 수집 센서가 센싱하는 상기 3차원 공간 데이터는 상기 사용자에 대한 이미지 데이터와 깊이 데이터를 포함할 수 있다. In another aspect, the 3D spatial data sensed by the spatial data collection sensor may include image data and depth data for the user.
다른 측면에서, 상기 프로세서는, 인공 신경망을 이용하여 상기 사용자에 대한 상기 이미지 데이터와 상기 깊이 데이터를 기초로 상기 사용자의 형상을 포함하는 3차원 공간을 모델링하고, 상기 사용자의 형상의 일부에 대한 적어도 하나의 특징점(key point)을 검출하며, 상기 적어도 하나의 특징점을 기반으로 상기 3차원 공간에서의 상기 사용자의 모션 정보를 추출하고, 상기 사용자의 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성할 수 있다. In another aspect, the processor models a three-dimensional space including the shape of the user based on the image data and the depth data for the user using an artificial neural network, and models at least a portion of the shape of the user. Detecting one key point, extracting motion information of the user in the three-dimensional space based on the at least one key point, and analyzing the motion information of the user to generate real-time walking data of the user. can do.
다른 측면에서, 상기 프로세서는, 네트워크를 통해 상기 사용자의 실시간 보행 데이터를 외부의 다른 사용자 단말기로 전송하고, 상기 네트워크를 통해 상기 다른 사용자 단말기로부터의 상기 실시간 보행 데이터와 관련된 분석 데이터를 수신할 수 있다. In another aspect, the processor transmits the user's real-time walking data to another external user terminal through a network, and receives analysis data related to the real-time walking data from the other user terminal through the network. .
다른 측면에서, 상기 공간 데이터 수집 센서는 라이다 센서와 이미지 센서를 포함할 수 있다. In another aspect, the spatial data collection sensor may include a LiDAR sensor and an image sensor.
다른 측면에서, 상기 보행차는 상기 스마트 보행 보조가 가능한 보행차의 전면에 놓인 장애물을 감지하는 장애물 감지 센서를 더 포함할 수 있다. In another aspect, the walking vehicle may further include an obstacle detection sensor that detects an obstacle placed in front of the walking vehicle capable of smart walking assistance.
다른 측면에서, 상기 보행차는 상기 복수의 휠 중 적어도 일부의 회전 각도를 제어하는 방향제어부를 더 포함할 수 있다. In another aspect, the walking vehicle may further include a direction control unit that controls the rotation angle of at least some of the plurality of wheels.
다른 측면에서, 상기 프로세서는 상기 장애물 감지 센서로부터 수신한 장애물 감지 신호에 따라 상기 방향제어부를 동작시켜 상기 복수의 휠 중 적어도 일부의 회전 각도를 제어할 수 있다. In another aspect, the processor may control the rotation angle of at least some of the plurality of wheels by operating the direction control unit according to an obstacle detection signal received from the obstacle detection sensor.
다른 측면에서, 상기 보행차는 상기 실시간 보행 데이터를 표시하는 디스플레이 장치를 더 포함할 수 있다.In another aspect, the walking vehicle may further include a display device that displays the real-time walking data.
실시예는 보행차의 자율 주행을 통해 보행의 보조가 가능한 보행차 및 스마트 보행 보조를 하는 방법을 제공할 수 있다.The embodiment may provide a walking vehicle capable of assisting walking through autonomous driving of the walking vehicle and a method of providing smart walking assistance.
또한, 본 발명은 공간 데이터 수집 센서를 이용하여 센싱한 사용자의 3차원 공간 데이터(이미지 데이터, 깊이 데이터)를 기초로 인공 신경망(Artificial Neural Network; ANN)을 이용하여 생성한 사용자의 보행 데이터를 기반으로 사용자의 보행 레벨에 적합한 보행 속도로 보행차의 주행 속도를 제어함으로써 안정성과 편의성이 향상된 보행차를 제공할 수 있다.In addition, the present invention is based on the user's gait data generated using an artificial neural network (ANN) based on the user's 3D spatial data (image data, depth data) sensed using a spatial data collection sensor. By controlling the running speed of the walking vehicle at a walking speed appropriate for the user's walking level, a walking vehicle with improved stability and convenience can be provided.
또한, 환자의 보행 데이터를 분석하고, 환자의 보행 데이터에 대한 분석 결과를 기반으로 실시간으로 의사와 환자가 소통하면서 보다 신속하고 정확하게 비대면 재활 치료를 가능케 하는 스마트 보행 보조가 가능한 보행차 및 보행차의 스마트 주행 방법을 제공할 수 있다.In addition, a walking car and walking vehicle capable of smart walking assistance that analyzes the patient's walking data and allows for faster and more accurate non-face-to-face rehabilitation treatment while the doctor and patient communicate in real time based on the analysis results of the patient's walking data. can provide a smart driving method.
또한, 실시간으로 생성되는 환자의 보행 데이터에 따라 보행차의 구동을 제어하여 환자의 재활 치료의 효과를 증가시킬 수 있는 스마트 보행 보조가 가능한 보행차 및 보행차의 스마트 주행 방법을 제공할 수 있다.In addition, it is possible to provide a walking vehicle capable of smart walking assistance and a smart driving method of the walking vehicle that can increase the effect of the patient's rehabilitation treatment by controlling the driving of the walking vehicle according to the patient's walking data generated in real time.
또한, 본 발명은 초음파 센서 등의 장애물 감지 센서를 이용하여 보행 경로 상의 장애물을 감지하고, 장애물을 회피하도록 보행차를 제어함으로써 안전사고 예방이 가능한 보행차 및 스마트 주행 방법을 제공할 수 있다.In addition, the present invention can provide a walking vehicle and a smart driving method capable of preventing safety accidents by detecting obstacles on a walking path using an obstacle detection sensor such as an ultrasonic sensor and controlling the walking vehicle to avoid the obstacles.
도 1은 일 실시예에 따른 스마트 보행 보조 서비스 제공 시스템의 예시적인 구성을 간략하게 도시한 것이다.
도 2는 일 실시예에 따른 스마트 보행 보조가 가능한 보행차의 사시도이다.
도 3은 컨트롤러의 블록도이다.
도 4는 일 실시예에 따른 보행차의 스마트 주행 방법에 대한 흐름도이다.
도 5는 다른 일 실시예에 따른 보행차의 스마트 주행 방법에 대한 흐름도이다.
도 6은 또 다른 일 실시예에 따른 보행차의 스마트 주행 방법에 대한 흐름도이다.
도 7은 일 실시예에 따른 복수의 실시간 보행 데이터 별 처리 순서를 설명하기 위한 것이다.
도 8은 제2 수직 프레임에 대한 받침부의 기울기가 변화하는 모습을 설명하기 위한 것이다.
도 9는 프로세서가 모델링한 3차원 공간을 표시한 것이다.
도 10은 보행 데이터가 디스플레이 장치에 표시된 구성을 간략하게 도시한 것이다.
도 11은 스마트 주행에 따라 보행차가 장애물을 센싱하는 방법을 설명하기 위한 것이다.
도 12는 스마트 주행에 따라 보행차가 오르막길을 센싱하는 방법을 설명하기 위한 것이다.Figure 1 briefly shows an exemplary configuration of a smart walking assistance service providing system according to an embodiment.
Figure 2 is a perspective view of a walking vehicle capable of smart walking assistance according to an embodiment.
Figure 3 is a block diagram of the controller.
Figure 4 is a flowchart of a smart driving method for a walking vehicle according to an embodiment.
Figure 5 is a flowchart of a smart driving method for a walking vehicle according to another embodiment.
Figure 6 is a flowchart of a smart driving method for a walking vehicle according to another embodiment.
Figure 7 is for explaining a processing sequence for a plurality of real-time walking data according to an embodiment.
Figure 8 is for explaining how the tilt of the support portion with respect to the second vertical frame changes.
Figure 9 shows the three-dimensional space modeled by the processor.
Figure 10 briefly shows a configuration in which walking data is displayed on a display device.
Figure 11 is to explain how a walking vehicle senses an obstacle according to smart driving.
Figure 12 is to explain how a walking vehicle senses an uphill road according to smart driving.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first and second are used not in a limiting sense but for the purpose of distinguishing one component from another component. Additionally, singular expressions include plural expressions unless the context clearly dictates otherwise. Additionally, terms such as include or have mean that the features or components described in the specification exist, and do not preclude the possibility of adding one or more other features or components. Additionally, in the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and thickness of each component shown in the drawings are shown arbitrarily for convenience of explanation, so the present invention is not necessarily limited to what is shown.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the drawings, identical or corresponding components will be assigned the same reference numerals and redundant description thereof will be omitted. .
- 스마트 보행 보조 서비스 제공 시스템- Smart walking assistance service provision system
도 1은 일 실시예에 따른 스마트 보행 보조 서비스 제공 시스템(1)의 예시적인 구성을 간략하게 도시한 것이다.Figure 1 briefly shows an example configuration of a smart walking assistance service providing system 1 according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 스마트 보행 보조 서비스 제공 시스템(1)은 스마트 보행 보조 프로세스를 관리하는 중앙 서버(10), 복수의 사용자 단말기(20, 30) 및 스마트 보행 보조가 가능한 보행차(40)를 포함할 수 있다. 중앙 서버(10), 복수의 사용자 단말기(20, 30) 및 보행차(40)는 네트워크를 통해 서로 통신할 수 있다. Referring to FIG. 1, a smart walking assistance service providing system 1 according to an embodiment includes a central server 10 that manages a smart walking assistance process, a plurality of user terminals 20 and 30, and a walking device capable of smart walking assistance. It may include tea (40). The central server 10, the plurality of user terminals 20 and 30, and the walking vehicle 40 may communicate with each other through a network.
자세히, 네트워크는, 중앙 서버(10), 복수의 사용자 단말기(20, 30) 및 스마트 보홍 보조가 가능한 보행차(40) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일례에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.In detail, the network refers to a connection structure that allows information exchange between nodes such as the central server 10, a plurality of user terminals 20, 30, and a walking vehicle 40 capable of smart supplementary assistance. Examples of networks include the 3rd Generation Partnership Project (3GPP) network, Long Term Evolution (LTE) network, World Interoperability for Microwave Access (WIMAX) network, Internet, Local Area Network (LAN), and Wireless Local Area Network (Wireless LAN). ), WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc., but are not limited thereto.
중앙 서버(10)는 보행차(40)가 수집한 사용자의 3차원 공간 데이터를 처리 및 저장할 수 있다. 그러나 이에 한정되는 것은 아니고, 보행차(40)가 사용자의 3차원 공간 데이터를 수집하고 이를 직접 처리하여 사용자의 보행과 관련된 실시간 보행 데이터를 생성할 수도 있다.The central server 10 may process and store the user's 3D spatial data collected by the walking vehicle 40. However, it is not limited to this, and the walking vehicle 40 may collect the user's 3D spatial data and directly process it to generate real-time walking data related to the user's walking.
사용자의 3차원 공간 데이터 및 실시간 보행 데이터를 기초로 한 보행차(40)의 제어 데이터 등은 중앙 서버(10) 및/또는 보행차(40)에 저장될 수 있다. 예를 들어, 실시간 보행 데이터를 기초로 산출한 사용자의 보행 레벨에 적합한 주행 속도 등의 보행차(40)의 제어 데이터가 중앙 서버(10)에 저장되거나 보행차(40)에 포함된 메모리에 저장될 수 있다.Control data of the walking vehicle 40 based on the user's 3D spatial data and real-time walking data may be stored in the central server 10 and/or the walking vehicle 40. For example, control data of the walking vehicle 40, such as a driving speed appropriate for the user's walking level calculated based on real-time walking data, is stored in the central server 10 or stored in a memory included in the walking vehicle 40. It can be.
보행차(40)에 의해 생성된 사용자의 실시간 보행 데이터는 네트워크를 통해 복수의 사용자 단말기(20, 30)에 전달될 수 있다. 복수의 사용자 단말기(20, 30)는 제1 사용자 단말기(20)와 제2 사용자 단말기(30)를 포함할 수 있다. 예를 들어, 제1 사용자 단말기(20)는 보행차(40)의 사용자의 보호자가 사용하는 것일 수 있다. 또한, 제2 사용자 단말기(30)는 사용자의 담당 의사가 사용하는 것일 수 있다. 이 경우, 사용자의 보호자 또는 담당 의사는 제1 및 제2 사용자 단말기(20, 30)를 통해 사용자의 실시간 보행 데이터를 보행차(40)로부터 전달받을 수 있다. 보호자와 담당 의사는 사용자의 보행 습관, 보행 레벨과 관련된 실시간 보행 데이터를 실시간으로 전달받을 수 있다. 담당 의사는 원격으로 전달받은 사용자의 실시간 보행 데이터를 기반으로 재활 치료 프로그램 등을 생성하고, 이를 원격으로 사용자에 제공하는 비대면 재활 치료가 가능할 수 있다.The user's real-time walking data generated by the walking vehicle 40 may be transmitted to a plurality of user terminals 20 and 30 through a network. The plurality of user terminals 20 and 30 may include a first user terminal 20 and a second user terminal 30. For example, the first user terminal 20 may be used by the guardian of the user of the walking vehicle 40. Additionally, the second user terminal 30 may be used by the user's doctor. In this case, the user's guardian or doctor in charge can receive the user's real-time walking data from the walking vehicle 40 through the first and second user terminals 20 and 30. Guardians and doctors can receive real-time walking data related to the user's walking habits and walking level in real time. Non-face-to-face rehabilitation treatment may be possible where the doctor in charge creates a rehabilitation treatment program based on the user's real-time gait data received remotely and provides it to the user remotely.
복수의 사용자 단말기(20, 30)는 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기 등과 같은 다양한 단말기를 포함할 수 있다.The plurality of user terminals 20 and 30 include a smart phone with a communication function, a portable terminal, a mobile terminal, a personal digital assistant (PDA), and a portable portable terminal (PMP). Multimedia Player terminal, Telematics terminal, Navigation terminal, Personal Computer, laptop computer, Slate PC, Tablet PC, ultrabook, wearable device ( It may include a variety of terminals such as wearable devices (e.g., watch-type terminals (Smartwatch), glass-type terminals (Smart Glass), HMD (Head Mounted Display), etc.), Wibro terminals, etc.
- 스마트 보행 보조가 가능한 보행차- Walking vehicle with smart walking assistance
도 2는 일 실시예에 따른 스마트 보행 보조가 가능한 보행차(40)의 사시도이다. Figure 2 is a perspective view of a walking vehicle 40 capable of smart walking assistance according to an embodiment.
도 2를 참조하면, 일 실시예에 따른 스마트 보행 보조가 가능한 보행차(40)는 메인 프레임(110), 수직 프레임(120), 받침부(130), 핸들부(140), 휠프레임(150), 휠(160), 방향제어부(170), 디스플레이 장치(190), 및 센서(200)를 포함할 수 있다.Referring to FIG. 2, the walking vehicle 40 capable of smart walking assistance according to an embodiment includes a main frame 110, a vertical frame 120, a support portion 130, a handle portion 140, and a wheel frame 150. ), wheel 160, direction control unit 170, display device 190, and sensor 200.
메인 프레임(110)은 바(bar) 타입의 형상을 가지고 지면과 가까이 위치하며 수직 프레임(120)과 휠프레임(150)을 고정 및 지지할 수 있다.The main frame 110 has a bar-type shape and is located close to the ground and can fix and support the vertical frame 120 and the wheel frame 150.
수직 프레임(120)은 원통 타입의 형상을 가지고 메인 프레임(110)의 상부 중심 영역에 마련되고 메인 프레임(110)과는 수직하게 위치하며 보행차(40)의 높이를 결정할 수 있다.The vertical frame 120 has a cylindrical shape and is provided in the upper center area of the main frame 110. It is positioned perpendicular to the main frame 110 and can determine the height of the walking vehicle 40.
수직 프레임(120)은 메인 프레임(110)에 연결된 제1 수직 프레임(121)과 제1 수직 프레임(121)에 의해 적어도 일부가 둘러싸이도록 위치한 제2 수직 프레임(122)을 포함할 수 있다. 제2 수직 프레임(122)은 제1 수직 프레임(121) 상에서 메인 프레임(110)으로부터 이격된 거리가 조절되면서 보행차(40)의 전체 높이가 조절될 수 있다. 수직 프레임(120)의 내부에는 가스스프링이 내장되어 제2 수직 프레임(122)의 높이를 조절할 수 있다. 다만, 수직 프레임(120)의 높이 조절 방식이 가스스프링 구조에 의한 것에 한정되는 것은 아니다.The vertical frame 120 may include a first vertical frame 121 connected to the main frame 110 and a second vertical frame 122 located at least partially surrounded by the first vertical frame 121. The overall height of the walking vehicle 40 can be adjusted by adjusting the distance of the second vertical frame 122 from the main frame 110 on the first vertical frame 121. A gas spring is built into the vertical frame 120 to adjust the height of the second vertical frame 122. However, the height adjustment method of the vertical frame 120 is not limited to the gas spring structure.
수직 프레임(120)의 상측에는 받침부(130)가 마련될 수 있다. 받침부(130)는 제2 수직 프레임(122)의 상측 끝단에 연결되어 수직 프레임(120)의 높이 조절에 따라 받침부(130)와 지면 사이의 거리가 조절될 수 있다. A support portion 130 may be provided on the upper side of the vertical frame 120. The support unit 130 is connected to the upper end of the second vertical frame 122, so that the distance between the support unit 130 and the ground can be adjusted according to the height adjustment of the vertical frame 120.
받침부(130)는 사용자가 팔을 거치할 수 있는 평판 형상을 가질 수 있다. 이에 한정되는 것은 아니며, 예를 들어, 받침부(130)는 지면과 평행하게 위치하여 박스 타입의 형상을 가질 수 있다.The support unit 130 may have a flat shape on which the user can rest his/her arm. It is not limited to this, and for example, the support portion 130 may be positioned parallel to the ground and have a box-type shape.
또한, 받침부(130)는 제2 수직 프레임(122)을 중심으로 경사진 형태로 놓이도록 구동될 수 있다. 예를 들어, 받침부(130) 상에 놓이는 사용자의 오른팔과 이어지는 오른쪽 어깨가 왼팔과 이어지는 왼쪽 어깨보다 낮은 지점에 위치하는 경우, 받침부(130)의 오른쪽 영역이 왼쪽 영역보다 높은 지점에 위치하도록 받침부(130)가 제2 수직 프레임(122)을 중심으로 경사진 형태로 놓이도록 구동될 수 있다.Additionally, the support portion 130 may be driven to be placed in an inclined form with the second vertical frame 122 as the center. For example, when the right shoulder connected to the user's right arm placed on the support unit 130 is located at a lower point than the left shoulder connected to the left arm, the right area of the support unit 130 is located at a higher point than the left area. The support unit 130 may be driven to be placed in an inclined form with the second vertical frame 122 as the center.
핸들부(140)는 받침부(130)의 전면 영역 양측 각각으로부터 전방을 향하여 소정의 거리로 연장되고 받침부(130)의 상방으로 연장된 굴곡진 형상을 가지는 제1 핸들바(141)와 제2 핸들바(142)를 포함할 수 있다. 제1 핸들바(141)와 제2 핸들바(142) 각각의 적어도 일부 영역에는 탄성 소재의 쿠션부가 마련될 수 있다.The handle unit 140 includes a first handle bar 141 that extends a predetermined distance forward from each side of the front area of the support unit 130 and has a curved shape extending upward from the support unit 130. 2 May include a handlebar 142. Cushions made of elastic material may be provided in at least some areas of each of the first handle bar 141 and the second handle bar 142.
휠프레임(150)은 지면과 가까이 위치하고 메인 프레임(110)에 연결될 수 있다. 휠프레임(150)은 제1 휠프레임(151) 및 제2 휠프레임(152)을 포함할 수 있다. 제1 휠프레임(151)과 제2 휠프레임(152) 각각은 U자 형상을 가질 수 있다. 예를 들어, 제1 휠프레임(151)은 메인 프레임(110)의 전면 영역을 둘러싸며 메인 프레임(110)의 후면 영역 양측 각각으로부터 멀어지도록 연장 형성되는 U자 형상을 가질 수 있다. 또한, 제2 휠프레임(152)은 메인 프레임(110)의 후면 영역을 둘러싸며 메인 프레임(110)의 전면 영역 양측 각각으로부터 멀어지도록 연장 형성되는 U자 형상을 가질 수 있다. 제1 휠프레임(151)과 제2 휠프레임(152)은 메인 프레임(110)의 양측에서 서로 교차되도록 마련될 수 있다. 메인 프레임(110)의 전면과 후면은 제1 휠프레임(151)과 제2 휠프레임(152)에 의해 둘러싸일 수 있으며, 이에 따라, 제1 휠프레임(151)과 제2 휠프레임(152)이 메인 프레임(110)에 보다 견고하게 고정 및 지지될 수 있다.The wheel frame 150 may be located close to the ground and connected to the main frame 110. The wheel frame 150 may include a first wheel frame 151 and a second wheel frame 152. Each of the first wheel frame 151 and the second wheel frame 152 may have a U-shape. For example, the first wheel frame 151 may have a U-shape that surrounds the front area of the main frame 110 and extends away from both sides of the rear area of the main frame 110. Additionally, the second wheel frame 152 may have a U-shape that surrounds the rear area of the main frame 110 and extends away from both sides of the front area of the main frame 110. The first wheel frame 151 and the second wheel frame 152 may be provided to cross each other on both sides of the main frame 110. The front and rear of the main frame 110 may be surrounded by the first wheel frame 151 and the second wheel frame 152, and accordingly, the first wheel frame 151 and the second wheel frame 152 It can be more firmly fixed and supported on the main frame 110.
휠프레임(150)에는 휠(160)이 설치될 수 있다.A wheel 160 may be installed on the wheel frame 150.
제1 휠프레임(151)의 메인 프레임(110)의 후면 영역 양측 각각으로부터 멀어지도록 연장 형성된 부분의 양 끝단에는 제1 휠(161)과 제2 휠(162)이 각각 설치될 수 있다. 그리고, 제2 휠프레임(152)의 메인 프레임(110)의 전면 영역 양측 각각으로부터 멀어지도록 연장 형성된 부분의 양 끝단에는 제3 휠(163)과 제4 휠(164)이 각각 설치될 수 있다. 휠(160)에는 탄성 소재의 타이어가 설치될 수 있다.A first wheel 161 and a second wheel 162 may be installed at both ends of a portion of the first wheel frame 151 extending away from both sides of the rear area of the main frame 110, respectively. In addition, a third wheel 163 and a fourth wheel 164 may be installed at both ends of the portion of the second wheel frame 152 extending away from both sides of the front area of the main frame 110, respectively. A tire made of an elastic material may be installed on the wheel 160.
제2 휠프레임(152)의 일측에는 방향제어부(170)가 설치될 수 있다. 예를 들어, 제2 휠프레임(152)의 메인 프레임(110)의 전면 영역 양측 각각으로부터 멀어지도록 연장 형성된 부분의 양 끝단 각각에 제1 방향제어부(171)와 제2 방향제어부(172)가 형성될 수 있다.A direction control unit 170 may be installed on one side of the second wheel frame 152. For example, the first direction control unit 171 and the second direction control unit 172 are formed at each end of the portion of the second wheel frame 152 extending away from both sides of the front area of the main frame 110. It can be.
방향제어부(170)는 방향제어 명령 신호의 수신에 기초하여 제3 및 제4 휠(163, 164)을 소정의 각도로 회전시킴으로써 보행차(40)의 이동 방향이 변경되도록 할 수 있다.The direction control unit 170 may change the moving direction of the walking vehicle 40 by rotating the third and fourth wheels 163 and 164 at a predetermined angle based on reception of the direction control command signal.
제1 휠프레임(151)의 일측에는 동력제공부(180)가 설치될 수 있다. 예를 들어, 제1 휠프레임(151)의 메인 프레임(110)의 후면 영역 양측 각각으로부터 멀어지도록 연장 형성된 부분의 양 끝단 각각에 제1 동력제공부(181)와 제2 동력제공부(182)가 형성될 수 있다. 이 경우, 제1 동력제공부(181)와 제2 동력제공부(182) 각각은 제1 휠프레임(151)의 메인 프레임(110)의 후면 영역 양측 각각으로부터 멀어지도록 연장 형성된 부분의 양 끝단 각각의 내부에 마련될 수 있다.A power supply unit 180 may be installed on one side of the first wheel frame 151. For example, a first power supply unit 181 and a second power supply unit 182 are provided at each end of the portion extending away from both sides of the rear area of the main frame 110 of the first wheel frame 151. can be formed. In this case, the first power supply unit 181 and the second power supply unit 182 are each at both ends of a portion extending away from both sides of the rear area of the main frame 110 of the first wheel frame 151. It can be provided inside.
동력제공부(180)는 구동 명령 신호에 기초하여 제1 및 제2 휠(161, 162)의 회전 동력을 제공하여 보행차(40)의 이동 및 이동 속도를 제어할 수 있다.The power provider 180 may control the movement and speed of the walking vehicle 40 by providing rotational power to the first and second wheels 161 and 162 based on the drive command signal.
디스플레이 장치(190)는 받침부(130)의 전면 영역에 마련될 수 있다. 예를 들어, 디스플레이 장치(190)는 받침부(130)의 전면 영역으로부터 상방을 향해 경사지며 연장 형성될 수 있다. The display device 190 may be provided in the front area of the support unit 130. For example, the display device 190 may be formed to be inclined upward and extend from the front area of the support unit 130 .
디스플레이 장치(190)는 후술하는 도 3의 컨트롤러(230)의 프로세서가 생성한 사용자의 실시간 보행 데이터를 표시하여 사용자에게 시각적으로 제공할 수 있다. 사용자는 디스플레이 장치(190)를 통해 자신의 실시간 보행 데이터를 직관적으로 확인할 수 있다. 또한, 디스플레이 장치(190)는 터치 스크린을 포함하여 구현될 수 있으며, 사용자는 터치 스크린을 통해 사용자 입력을 보행차(40)에 입력할 수 있다.The display device 190 may display the user's real-time walking data generated by the processor of the controller 230 of FIG. 3, which will be described later, and visually provide it to the user. The user can intuitively check his or her real-time walking data through the display device 190. Additionally, the display device 190 may be implemented to include a touch screen, and the user may input user input to the walking vehicle 40 through the touch screen.
디스플레이 장치(190)는 유기 발광 표시 장치(OLED), 액정 디스플레이(LCD) 등의 다양한 종류의 장치를 포함할 수 있다.The display device 190 may include various types of devices, such as an organic light emitting display (OLED) and a liquid crystal display (LCD).
센서(200)는 수직 프레임(120)과 마주하는 영역에 위치하는 사용자에 대한 3차원 공간 데이터를 센싱하는 3차원 공간 데이터 수집 센서(210)와 보행차(40)의 전면에 놓인 장애물을 감지하는 장애물 감지 센서(220)를 포함할 수 있다.The sensor 200 includes a 3D spatial data collection sensor 210 that senses 3D spatial data about the user located in the area facing the vertical frame 120, and a 3D spatial data collection sensor 210 that detects obstacles placed in front of the walking vehicle 40. It may include an obstacle detection sensor 220.
3차원 공간 데이터 수집 센서(210)는 예를 들어, 받침부(130)의 하부에 마련될 수 있다. 그러나 이에 한정되는 것은 아니고, 공간 데이터 수집 센서(210)는 수직 프레임(120)의 후면 영역에 마련되거나, 제2 휠프레임(152)에 마련될 수도 있다. For example, the 3D spatial data collection sensor 210 may be provided at the lower part of the support unit 130. However, it is not limited to this, and the spatial data collection sensor 210 may be provided in the rear area of the vertical frame 120 or may be provided in the second wheel frame 152.
3차원 공간 데이터 수집 센서(210)가 센싱하는 3차원 공간 데이터는 이미지 데이터와 깊이 데이터를 포함할 수 있다. 3차원 공간 데이터 수집 센서(210)는 거리 센서와 이미지 센서를 포함할 수 있다.The 3D spatial data sensed by the 3D spatial data collection sensor 210 may include image data and depth data. The 3D spatial data collection sensor 210 may include a distance sensor and an image sensor.
3차원 공간 제이터 수집 센서(210)가 포함하는 거리 센서는, 초음파, 적외선, 레이저 등과 같은 다양한 파형의 검사파를 출력하고, 센싱 대상에 의해 반사된 검사파를 감지함으로써, 관측점으로부터 센싱 대상까지의 거리 및 방향에 관한 거리 정보를 획득할 수 있다. 일 예에서, 거리 센서는 ToF 센서(Time of Flight Sensor), 초음파 센서, 구조형 광 센서(Structured Light Sensor), 적외선 센서 및 라이다(LiDAR) 센서 중 적어도 하나를 포함할 수 있다.The distance sensor included in the 3D spatial data collection sensor 210 outputs inspection waves of various waveforms such as ultrasonic waves, infrared waves, lasers, etc., and detects inspection waves reflected by the sensing target, thereby detecting the inspection wave from the observation point to the sensing target. You can obtain distance information about the distance and direction of . In one example, the distance sensor may include at least one of a time of flight sensor (ToF sensor), an ultrasonic sensor, a structured light sensor, an infrared sensor, and a LiDAR sensor.
3차원 공간 제이터 수집 센서(210)가 포함하는 이미지 센서는 광원으로부터 출력되어 센싱 대상에 의해 반사된 광 신호를 감지함으로써, 센싱 대상의 영상 정보를 획득할 수 있다. 본 명세서에서, 이미지 센서는 컬러 카메라라고 지칭될 수도 있다. 일 예에서, 이미지 센서는 광원, 픽셀 어레이 및 광 감지 회로를 포함할 수 있다. 광원은 특정 대역 파장의 광 신호를 출력하는 복수의 발광 소자들(예를 들어, VCSEL(Vertical Cavity Surface Emitting Laser), LED 등)을 포함할 수 있다. 픽셀 어레이는 복수의 픽셀들을 포함하며, 각각의 픽셀은 복수의 광 감지 소자들(예를 들어, 포토 다이오드 등) 및 컬러 필터(예를 들어, RGB 필터)를 포함할 수 있다.The image sensor included in the 3D spatial data collection sensor 210 can acquire image information of the sensing object by detecting an optical signal output from a light source and reflected by the sensing object. In this specification, the image sensor may be referred to as a color camera. In one example, an image sensor may include a light source, a pixel array, and a light sensing circuit. The light source may include a plurality of light-emitting devices (eg, Vertical Cavity Surface Emitting Laser (VCSEL), LED, etc.) that output optical signals of a specific wavelength. The pixel array includes a plurality of pixels, and each pixel may include a plurality of light sensing elements (eg, photo diodes, etc.) and a color filter (eg, RGB filter).
일 예에서, 3차원 공간 제이터 수집 센서(210)는 단일의 거리 센서 및 단일의 이미지 센서를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 거리 센서 및 이미지 센서는 하나의 모듈로서 통합적으로 구현될 수 있으므로, 센서 설치를 위한 별도의 시험 공간을 확보할 필요가 없고, 컴팩트 폼 팩터(compact form factor)를 달성할 수 있다는 이점이 있다.In one example, the 3D spatial data collection sensor 210 may have a single camera structure including a single distance sensor and a single image sensor. In addition, since the distance sensor and image sensor can be integrated as a single module, there is no need to secure a separate test space for sensor installation, and there is an advantage in achieving a compact form factor. .
장애물 감지 센서(220)는 예를 들어, 제1 휠프레임(151)의 전면 영역에 서로 이격되어 마련된 제1 장애물 감지 센서(221)와 제2 장애물 감지 센서(222)를 포함할 수 있다. 그러나 이에 한정되는 것은 아니고, 제1 장애물 감지 센서(221)와 제2 장애물 감지 센서(222)는 수직 프레임(120)의 전면 영역에 마련될 수도 있다. For example, the obstacle detection sensor 220 may include a first obstacle detection sensor 221 and a second obstacle detection sensor 222 provided in the front area of the first wheel frame 151 and spaced apart from each other. However, the present invention is not limited to this, and the first obstacle detection sensor 221 and the second obstacle detection sensor 222 may be provided in the front area of the vertical frame 120.
장애물 감지 센서(220)는 보행차(40)의 전면에 초음파를 조사하여 장애물의 존재 여부를 감지하는 초음파 센서를 포함할 수 있다. 그러나 이에 한정되는 것은 아니고, 장애물 감지 센서(220)는 다양한 종류의 장애물 감지 장치를 포함할 수 있다.The obstacle detection sensor 220 may include an ultrasonic sensor that detects the presence of an obstacle by irradiating ultrasonic waves to the front of the walking vehicle 40. However, it is not limited to this, and the obstacle detection sensor 220 may include various types of obstacle detection devices.
도 3은 컨트롤러(230)의 블록도이다.Figure 3 is a block diagram of the controller 230.
도 2 및 도 3을 참조하면, 컨트롤러(230)는 메인 프레임(110) 내부에 내장될 수 있다. 컨트롤러(230)는 프로세서(231), 메모리(232), 메인 입력부(233) 및 통신부(234)를 포함할 수 있다.Referring to Figures 2 and 3, the controller 230 may be built into the main frame 110. The controller 230 may include a processor 231, a memory 232, a main input unit 233, and a communication unit 234.
메모리(232)에는 명령어를 포함한 하나 이상의 프로그램이 저장될 수 있다. 하나 이상의 프로그램은 프로세서(231)에 의해 실행될 수 있다.One or more programs including instructions may be stored in the memory 232. One or more programs may be executed by the processor 231.
프로세서(231)는 메인 입력부(233)로부터 입력된 입력 신호에 기초하여 미리 설정된 동작을 수행할 수 있다. 메인 입력부(233)는 메인 프레임(110) 상에 설치될 수 있다. 또한, 메인 입력부(233)는 버튼 타입, 다이얼 타입의 입력 장치가 될 수 있으나 이에 제한되는 것은 아니다. 입력부(233)를 통해 컨트롤러(230)의 전원의 온/오프가 제어될 수 있다.The processor 231 may perform a preset operation based on the input signal input from the main input unit 233. The main input unit 233 may be installed on the main frame 110. Additionally, the main input unit 233 may be a button-type or dial-type input device, but is not limited thereto. The power on/off of the controller 230 can be controlled through the input unit 233.
통신부(234)는 보행차(40)에 설치된 센서(200)로부터의 센싱 정보를 수신할 수 있다. 통신부(234)는 외부 장치와 통신하여 데이터를 송수신할 수 있다. 통신부(234)는 방향제어부(170), 동력제공부(180) 및 디스플레이 장치(190)와 통신할 수 있다.The communication unit 234 may receive sensing information from the sensor 200 installed in the walking vehicle 40. The communication unit 234 can transmit and receive data by communicating with an external device. The communication unit 234 may communicate with the direction control unit 170, the power supply unit 180, and the display device 190.
통신부(234)는 유선 및/또는 무선으로 센서(200), 외부 장치, 방향제어부(170), 동력제공부(180) 및 디스플레이 장치(190)와 통신할 수 있다.The communication unit 234 may communicate with the sensor 200, an external device, the direction control unit 170, the power supply unit 180, and the display device 190 by wired and/or wirelessly.
프로세서(231)는 통신부(234)와 전자기적으로 연결될 수 있다. 프로세서(231)는 통신부(234)를 통해 센서(200), 외부 장치, 방향제어부(170), 동력제공부(180) 및 디스플레이 장치(190)와 통신할 수 있다.The processor 231 may be electromagnetically connected to the communication unit 234. The processor 231 can communicate with the sensor 200, an external device, the direction control unit 170, the power supply unit 180, and the display device 190 through the communication unit 234.
프로세서(231)는 메모리에 저장된 프로그램을 실행하여 센서(200)로부터 수신한 사용자의 3차원 공간 데이터를 기초로 사용자의 실시간 보행 데이터를 생성할 수 있다. 프로세서(231)는 실시간 보행 데이터를 기초로 보행차(40)의 구동을 제어할 수 있다. 프로세서(231)가 보행 데이터를 기초로 보행차(40)의 구동을 제어하는 방법에 대해서는 도 4 내지 도 7을 참조하여 후술한다.The processor 231 may execute a program stored in the memory to generate the user's real-time walking data based on the user's 3D spatial data received from the sensor 200. The processor 231 may control the driving of the walking vehicle 40 based on real-time walking data. A method by which the processor 231 controls the driving of the walking vehicle 40 based on walking data will be described later with reference to FIGS. 4 to 7 .
- 스마트 주행 방법- Smart driving method
도 4는 일 실시예에 따른 보행차(40)의 스마트 주행 방법에 대한 흐름도이다. 도 5는 다른 일 실시예에 따른 보행차(40)의 스마트 주행 방법에 대한 흐름도이다. 도 6은 또 다른 일 실시예에 따른 보행차(40)의 스마트 주행 방법에 대한 흐름도이다. 도 7은 일 실시예에 따른 복수의 실시간 보행 데이터 별 처리 순서를 설명하기 위한 것이다. 도 8은 제2 수직 프레임(122)에 대해 받침부의 기울기가 변화하는 모습을 설명하기 위한 것이다. 도 9는 프로세서(231)가 모델링한 3차원 공간(50)을 표시한 것이다. 도 10은 보행 데이터가 디스플레이 장치(190)에 표시된 구성을 간략하게 도시한 것이다.Figure 4 is a flowchart of a smart driving method of a walking vehicle 40 according to an embodiment. Figure 5 is a flowchart of a smart driving method of a walking vehicle 40 according to another embodiment. Figure 6 is a flowchart of a smart driving method of a walking vehicle 40 according to another embodiment. Figure 7 is for explaining a processing sequence for a plurality of real-time walking data according to an embodiment. FIG. 8 is for explaining how the inclination of the support portion changes with respect to the second vertical frame 122. Figure 9 shows the three-dimensional space 50 modeled by the processor 231. FIG. 10 briefly shows a configuration in which walking data is displayed on the display device 190.
일 실시예에 따르면, 사용자의 보행 데이터를 생성하는 프로세서(231)에 의해 제어되는 보행차(40)의 스마트 주행 방법(S100)이 제공된다.According to one embodiment, a smart driving method (S100) of a walking vehicle 40 controlled by a processor 231 that generates user's walking data is provided.
도 4를 참조하면, 일 실시예에 따른 보행차의 스마트 주행 방법(S100)은 센서(200)를 이용하여 보행 중인 사용자에 대한 3차원 공간 데이터를 수집하는 단계(S110), 사용자에 대한 3차원 공간 데이터를 기초로 사용자의 실시간 보행 데이터를 생성하는 단계(S120) 및 실시간 보행 데이터를 기초로 보행차의 구동을 제어하는 단계(S130)를 포함할 수 있다.Referring to FIG. 4, a smart driving method for a walking vehicle (S100) according to an embodiment includes collecting three-dimensional spatial data about a walking user using a sensor 200 (S110), and three-dimensional spatial data about the user. It may include generating real-time walking data of the user based on spatial data (S120) and controlling the driving of the walking vehicle based on the real-time walking data (S130).
프로세서(231)는 3차원 공간 데이터를 수집하는 단계(S110)에서 거리 센서와 이미지 센서를 이용하여 사용자의 이미지 데이터와 깊이 데이터를 센싱할 수 있다.The processor 231 may sense the user's image data and depth data using a distance sensor and an image sensor in the step of collecting 3D spatial data (S110).
다음으로, 프로세서(231)는 사용자의 실시간 보행 데이터를 생성하는 단계(S120)에서 프로세서(231)가 사용자에 대한 3차원 공간 데이터를 기초로 사용자의 형상을 포함하는 3차원 공간을 모델링할 수 있다. 또한, 프로세서(231)가 3차원 공간에서의 사용자의 모션 정보를 추출하며, 모션 정보를 분석하여 사용자의 실시간 보행 데이터를 생성할 수 있다.Next, the processor 231 may model a three-dimensional space including the user's shape based on three-dimensional spatial data about the user in step S120 of generating real-time walking data of the user. . Additionally, the processor 231 extracts the user's motion information in three-dimensional space and analyzes the motion information to generate the user's real-time walking data.
예를 들어, 프로세서(231)가 인공 신경망(ANN)을 이용하여 사용자에 대한 3차원 공간 데이터를 기초로 사용자의 형상을 포함하는 3차원 공간을 모델링할 수 있다. 여기서, 인공 신경망(ANN)은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 또는 GAN(Generative Adversarial Network)을 포함할 수 있고, 프로세서(231) 내부에 구현되거나, 또는 프로세서(231) 외부에 별도의 프로세서로서 구현될 수 있다.For example, the processor 231 may model a 3D space including the user's shape based on 3D spatial data about the user using an artificial neural network (ANN). Here, the artificial neural network (ANN) may include a Deep Neural Network (DNN), a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), or a Generative Adversarial Network (GAN), and may be implemented inside the processor 231 or , Alternatively, it may be implemented as a separate processor outside the processor 231.
또한, 프로세서(231)는 모델링한 3차원 공간에서 사용자의 형상의 일부에 대한 적어도 하나의 특징점(key point)를 검출할 수 있다. 적어도 하나의 특징점은 사용자의 신체 하부 형상의 관절(joint)의 위치에 대응되는 적어도 하나의 점일 수 있다.Additionally, the processor 231 may detect at least one key point of a portion of the user's shape in the modeled three-dimensional space. At least one feature point may be at least one point corresponding to the position of a joint of the lower body shape of the user.
예를 들어, 프로세서(231)는 도 9에 도시된 바와 같이, 사용자의 신체의 하부가 포함된 3차원 공간(50)을 모델링하여 형상화할 수 있다. 이 경우, 프로세서(231)는 복수의 특징점(a1, a2, a3, a4, a5, a6)을 검출할 수 있다. 예를 들어, 복수의 특징점(a1, a2, a3, a4, a5, a6)은 사용자의 왼쪽 다리의 무릎, 발목, 발가락에 각각 대응되는 제1 내지 제3 특징점(a1, a2, a3)과 사용자의 오른쪽 다리의 무릎, 발목, 발가락에 각각 대응되는 제4 내지 제6 특징점(a1, a2, a3)을 검출할 수 있다.For example, the processor 231 may model and shape the three-dimensional space 50 containing the lower part of the user's body, as shown in FIG. 9 . In this case, the processor 231 can detect a plurality of feature points (a1, a2, a3, a4, a5, and a6). For example, the plurality of feature points (a1, a2, a3, a4, a5, a6) are the first to third feature points (a1, a2, a3) corresponding to the knee, ankle, and toe of the user's left leg, respectively, and the user The fourth to sixth feature points (a1, a2, a3) corresponding to the knee, ankle, and toe of the right leg, respectively, can be detected.
한편, 사용자가 보행차(40)로부터 떨어져 있는 상태가 되어, 공간 데이터 수집 센서(210)가 사용자의 3차원 공간 데이터를 센싱하지 못할 수 있다. 이에 따라, 프로세서(231)가 모델링한 3차원 공간에 사용자의 형상의 일부에 대한 적어도 하나의 특징점이 검출되지 않을 수 있다. 이 경우, 프로세서(231)는 제1 및 제2 휠(161, 162)에 회전 동력을 제공하지 않도록 동력제공부(180)를 제어하여 보행차(40)가 주행하지 않도록 할 수 있다. 이처럼, 사용자가 보행차(40)와 떨어져 있는 경우에, 보행차(40)는 프로세서(231)에 의해 주행이 멈추도록 제어될 수 있다.Meanwhile, since the user is away from the walking vehicle 40, the spatial data collection sensor 210 may not be able to sense the user's 3D spatial data. Accordingly, at least one feature point for a portion of the user's shape may not be detected in the three-dimensional space modeled by the processor 231. In this case, the processor 231 may control the power supply unit 180 not to provide rotational power to the first and second wheels 161 and 162 to prevent the walking vehicle 40 from running. In this way, when the user is separated from the walking vehicle 40, the walking vehicle 40 may be controlled by the processor 231 to stop running.
프로세서(231)는 적어도 하나의 특징점을 기반으로 사용자의 모션 정보를 추출하고, 모션 정보를 분석하여 사용자의 실시간 보행 데이터를 생성할 수 있다. 프로세서(231)는 사용자의 3차원 공간 데이터(깊이 데이터, 이미지 데이터)를 입력으로 하여 인공 신경망을 실행함으로써 실시간으로 변화하는 적어도 하나의 특징점의 궤적을 모니터링하여 사용자의 모션 정보를 추출할 수 있다. 예를 들어, 사용자가 보행차(40)에 의지하여 보행을 지속하는 경우, 프로세서(231)가 검출하는 사용자의 형상의 일부에 대한 복수의 특징점(a1, a2, a3, a4, a5, a6)의 위치가 실시간으로 변화할 수 있다. 프로세서(231)는 실시간으로 위치가 변화하는 복수의 특징점(a1, a2, a3, a4, a5, a6)의 궤적을 모니터링하여 사용자의 모션 정보를 추출할 수 있다. The processor 231 may extract the user's motion information based on at least one feature point, analyze the motion information, and generate the user's real-time gait data. The processor 231 executes an artificial neural network using the user's 3D spatial data (depth data, image data) as input, thereby extracting the user's motion information by monitoring the trajectory of at least one feature point that changes in real time. For example, when the user continues walking by relying on the walking vehicle 40, a plurality of feature points (a1, a2, a3, a4, a5, a6) for a part of the user's shape detected by the processor 231 The location of can change in real time. The processor 231 can extract the user's motion information by monitoring the trajectories of a plurality of feature points (a1, a2, a3, a4, a5, a6) whose positions change in real time.
또한, 프로세서(231)는 실시간으로 변화하는 사용자의 모션 정보를 모니터링하여 사용자의 실시간 보행 데이터를 생성할 수 있다. 예를 들어, 사용자의 모션 정보를 기반으로 프로세서(231)가 생성한 사용자의 실시간 보행 데이터는 사용자의 보행 속도, 보폭, 보장, 보간, 분속수, 좌우 균형도, 관절 각도 및 보행 레벨 중 적어도 어느 하나의 요소를 포함할 수 있다.Additionally, the processor 231 may generate real-time walking data of the user by monitoring the user's motion information that changes in real time. For example, the user's real-time walking data generated by the processor 231 based on the user's motion information may be at least one of the user's walking speed, stride length, assurance, interpolation, speed per minute, left and right balance, joint angle, and walking level. Can contain one element.
다음으로, 프로세서(231)는, 상기 생성된 실시간 보행 데이터를 기초로 보행차의 구동을 제어하는 단계(S130)를 수행할 수 있다.Next, the processor 231 may perform a step (S130) of controlling the driving of the walking vehicle based on the generated real-time walking data.
자세히, 보행차의 구동을 제어하는 단계(S130)는, 실시간 보행 데이터를 기준 보행 데이터와 비교하는 단계(S131), 실시간 보행 데이터와 기준 보행 데이터의 차이가 소정의 값 이하인지 판단하는 단계(S132) 및 실시간 보행 데이터와 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 보행차(40)의 구동을 제어하는 단계(S133)를 포함할 수 있다.In detail, the step of controlling the driving of the walking vehicle (S130) includes comparing real-time walking data with reference walking data (S131), and determining whether the difference between real-time walking data and reference walking data is less than a predetermined value (S132). ) and a step (S133) of controlling the driving of the walking vehicle 40 so that the difference between the real-time walking data and the reference walking data is less than or equal to a predetermined value.
여기서, 기준 보행 데이터는 사용자의 신체 데이터에 매칭된 데이터일 수 있다. 사용자의 신체 데이터는 사용자의 3차원 공간 데이터를 기반으로 프로세서(231)가 추출한 데이터일 수 있다. 사용자의 신체 데이터에 매칭된 기준 보행 데이터는 메모리(232)에 미리 저장되거나, 사용자에 의해서 임의로 설정될 수 있다. 자세히, 프로세서(231)는, 사용자의 형상의 일부에 대한 적어도 하나의 특징점을 추출하여 생성된 스켈레톤 데이터에서 하반신의 길이를 결정할 수 있다. 좀더 상세하게는, 프로세서(231)는, 적어도 하나의 특징점을 기준으로 종아리 길이, 허벅지 길이, 발 사이즈 등의 신체 데이터를 추출할 수 있다. Here, the reference gait data may be data matched to the user's body data. The user's body data may be data extracted by the processor 231 based on the user's 3D spatial data. The reference gait data matched to the user's body data may be pre-stored in the memory 232 or arbitrarily set by the user. In detail, the processor 231 may determine the length of the lower body from skeleton data generated by extracting at least one feature point of a portion of the user's shape. More specifically, the processor 231 may extract body data such as calf length, thigh length, and foot size based on at least one feature point.
그리고, 메모리(232)에는 종아리 길이, 허벅지 길이, 발 사이즈 등의 신체 데이터와 이에 매칭되는 기준 보행 데이터를 포함하는 메타 데이터가 저장되어 있을 수 있다. 또는, 메모리(232)에는 종아리 길이, 허벅지 길이, 발 사이즈 등의 상대적인 비율과 같은 신체 데이터와 이에 매칭되는 기준 보행 데이터를 포함하는 메타 데이터가 저장되어 있을 수 있다.Additionally, the memory 232 may store metadata including body data such as calf length, thigh length, and foot size, and reference gait data matching the body data. Alternatively, the memory 232 may store metadata including body data such as relative ratios of calf length, thigh length, and foot size, and reference gait data matching this.
그리고, 메모리(232)에는 종아리 길이, 허벅지 길이, 발 사이즈, 또는 이들의 상대적인 비율과 같은 신체 데이터와 이에 매칭되는 사용자가 설정한 기준 보행 데이터를 포함하는 메타 데이터가 저장되어 있을 수 있다.Additionally, the memory 232 may store metadata including body data such as calf length, thigh length, foot size, or relative ratios thereof, and reference gait data set by the user that matches the body data.
프로세서(231)는, 실시간 보행 데이터를 기준 보행 데이터를 비교하는 단계(S131)에서, 메모리(232)에 저장된 메타 데이터를 기반으로, 산출된 실시간 보행 데이터와 사용자의 신체 데이터에 매칭되는 기준 보행 데이터를 비교할 수 있다. 자세히, 프로세서(231)는 실시간 보행 데이터와 기준 보행 데이터의 차이를 계산할 수 있다.In the step (S131) of comparing real-time gait data with reference gait data, the processor 231 provides reference gait data that matches the calculated real-time gait data and the user's body data based on metadata stored in the memory 232. can be compared. In detail, the processor 231 may calculate the difference between real-time walking data and reference walking data.
프로세서(231)는, 실시간 보행 데이터와 기준 보행 데이터의 차이가 소정의 값 이하인지 판단하는 단계(S132)에서, 계산된 실시간 보행 데이터와 기준 보행 데이터 사이의 차이가 메모리(232)에 저장된 해당 소정의 값 이하인지 결정할 수 있다.In the step S132 of determining whether the difference between the real-time walking data and the reference walking data is less than a predetermined value, the processor 231 determines that the difference between the calculated real-time walking data and the reference walking data is stored in the memory 232. It can be determined whether it is less than or equal to the value of .
여기서, '소정의 값'은 보행 데이터의 종류에 따라 메모리(232)에 미리 설정되어 있거나, 사용자가 직접 임의로 설정할 수 있다. Here, the 'predetermined value' may be preset in the memory 232 depending on the type of walking data, or may be set arbitrarily by the user.
예를 들어, 보행 데이터가 보폭인 경우, 사용자의 실시간 보폭과 사용자의 다리 길이에 매칭된 기준 보폭의 차이는 '기준 보폭의 10%' 로 설정되어 메모리(232)에 저장될 수 있다. 그러나 이에 한정되는 것은 아니고, 실시간 보폭과 기준 보폭의 차이는 '5cm' 와 같이 특정 값으로 설정되어 메모리(232)에 저장될 수도 있다.For example, if the gait data is a stride length, the difference between the user's real-time stride length and the reference stride length matched to the user's leg length may be set to '10% of the reference stride length' and stored in the memory 232. However, it is not limited to this, and the difference between the real-time stride length and the reference stride length may be set to a specific value such as '5cm' and stored in the memory 232.
프로세서(231)는, 실시간 보행 데이터와 기준 보행 데이터 사이의 차이가 소정의 값 이하라고 판단한 경우, 다시 사용자에 대한 3차원 공간 데이터를 수집하는 단계(S110)를 수행할 수 있다.If the processor 231 determines that the difference between the real-time walking data and the reference walking data is less than or equal to a predetermined value, the processor 231 may perform a step (S110) of collecting 3D spatial data for the user again.
프로세서(231)는, 실시간 보행 데이터와 기준 보행 데이터 사이의 차이가 소정의 값 이하가 아니라고 판단한 경우, 실시간 보행 데이터와 기준 보행 데이터의 차이가 설정된 소정의 값 이하가 되도록, 보행차(40)의 구동을 제어할 수 있다.When the processor 231 determines that the difference between the real-time walking data and the reference walking data is not less than a predetermined value, the processor 231 sets the walking vehicle 40 so that the difference between the real-time walking data and the reference walking data is less than a set predetermined value. Drive can be controlled.
예를 들어, 실시간 보행 데이터와 기준 보행 데이터가 각각 보폭이고, 실시간 보폭이 기준 보폭보다 작은 경우, 프로세서(231)는 동력제공부(180)를 제어하여 보행차(40)의 구동 속도를 증가시킬 수 있다. 또는, 실시간 보폭이 기준 보폭보다 큰 경우, 프로세서(231)는 동력제공부(180)를 제어하여 보행차(40)의 구동 속도를 감소시킬 수 있다. 이에 한정되는 것은 아니며, 프로세서(231)는 이와 반대로도 동력제공부(180)를 제어할 수도 있다.For example, when the real-time gait data and the reference gait data are each stride length, and the real-time stride length is smaller than the reference stride length, the processor 231 controls the power supply unit 180 to increase the driving speed of the walking vehicle 40. You can. Alternatively, when the real-time stride length is greater than the reference stride length, the processor 231 may control the power supply unit 180 to reduce the driving speed of the walking vehicle 40. It is not limited to this, and the processor 231 may also control the power supply unit 180 in the opposite direction.
실시간 보행 데이터와 기준 보행 데이터가 각각 보행 속도, 보간, 보장 또는 좌우 균형도 등에 해당할 경우에도, 프로세서(231)는 실시간 보행 데이터와 기준 보행 데이터를 비교하고, 실시간 보행 데이터와 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 보행차(40)의 구동을 제어할 수 있다.Even when the real-time gait data and the reference gait data correspond to walking speed, interpolation, guarantee, or left and right balance, respectively, the processor 231 compares the real-time gait data and the reference gait data, and determines the difference between the real-time gait data and the reference gait data. The driving of the walking vehicle 40 can be controlled so that is below a predetermined value.
도 5를 참조하면, 다른 일 실시예에 따른 보행차의 스마트 주행 방법(S200)은 제1 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S140)와 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S150)를 포함한다는 점을 제외하고는, 도 4의 스마트 주행 방법(S100)과 실질적으로 동일할 수 있다. Referring to FIG. 5, the smart driving method of a walking vehicle (S200) according to another embodiment includes the step of controlling the driving of the walking vehicle 40 based on the first real-time walking data (S140) and the first real-time walking data It may be substantially the same as the smart driving method (S100) of FIG. 4, except that it includes a step (S150) of controlling the driving of the walking vehicle 40 based on second real-time walking data different from the second real-time walking data.
도 5를 설명함에 있어, 도 4와 중복되는 내용은 생략한다.In describing FIG. 5, content that overlaps with FIG. 4 will be omitted.
보행차의 스마트 주행 방법(S200)의 제1 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S140)는, 제1 실시간 보행 데이터(예를 들어, 실시간 보폭)를 사용자의 신체 데이터(예를 들어, 다리 길이)에 매칭된 제1 기준 보행 데이터(예를 들어, 사용자의 다리 길이에 매칭되는 기준 보폭)와 비교하는 단계(S141), 제1 실시간 보행 데이터와 제1 기준 보행 데이터의 차이가 소정의 값 이하인지 판단하는 단계(S142) 및 제1 실시간 보행 데이터와 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 보행차(40)의 구동을 제어하는 단계(S143)를 포함할 수 있다.The step (S140) of controlling the driving of the walking vehicle 40 based on the first real-time walking data of the smart driving method of the walking vehicle (S200) involves using the first real-time walking data (e.g., real-time stride length) of the user. Comparing body data (e.g., leg length) with first reference gait data (e.g., reference stride length matched to the user's leg length) (S141), first real-time gait data and the first reference A step of determining whether the difference between the walking data is less than a predetermined value (S142) and a step of controlling the driving of the walking vehicle 40 so that the difference between the first real-time walking data and the first reference walking data is less than a predetermined value (S143) ) may include.
보행차의 스마트 주행 방법(S200)의 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S150)는, 제1 실시간 보행 데이터를 기반으로 보행차(40)가 구동되어 제1 실시간 보행 데이터와 제1 기준 보행 데이터의 차이가 소정의 값 이하가 된 이후에 수행될 수 있다.The step (S150) of controlling the driving of the walking vehicle 40 based on the first real-time walking data and the second real-time walking data of the smart driving method of the walking vehicle (S200) includes walking based on the first real-time walking data. This may be performed after the car 40 is driven and the difference between the first real-time walking data and the first reference walking data becomes less than a predetermined value.
제1 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S143)에서, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터의 변화가 발생할 수 있다. 자세히, 제1 실시간 보행 데이터와 제1 기준 보행 데이터와 차이를 소정의 값 이하로 감소시키는 과정에서, 제2 실시간 보행 데이터의 값이 보행 초기의 값과 달라질 수 있다.In the step S143 of controlling the driving of the walking vehicle 40 based on the first real-time walking data, a change in the second real-time walking data that is different from the first real-time walking data may occur. In detail, in the process of reducing the difference between the first real-time walking data and the first reference walking data to a predetermined value or less, the value of the second real-time walking data may be different from the value at the beginning of walking.
제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S150)는, 제2 실시간 보행 데이터(예를 들어, 실시간 보행 속도)를 제2 기준 보행 데이터(예를 들어 기준 보행 속도)와 비교하는 단계(S151), 제2 실시간 보행 데이터와 제2 기준 보행 데이터의 차이가 소정의 값 이하인지 판단하는 단계(S152) 및 제2 실시간 보행 데이터와 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 보행차(40)의 구동을 제어하는 단계(S153)를 포함할 수 있다The step (S150) of controlling the driving of the walking vehicle 40 based on the second real-time walking data different from the first real-time walking data includes using the second real-time walking data (e.g., real-time walking speed) as a second reference walking data. A step of comparing data (for example, a reference walking speed) (S151), a step of determining whether the difference between the second real-time walking data and the second reference walking data is less than a predetermined value (S152), and the second real-time walking data and the second reference walking data. 2 It may include a step (S153) of controlling the driving of the walking vehicle 40 so that the difference between the standard walking data is less than a predetermined value.
여기서, 제2 기준 보행 데이터(예를 들어, 기준 보행 속도)는 보행 초기의 보행 데이터(예를 들어, 보행 초기의 보행 속도)로 설정될 수 있다.Here, the second reference walking data (eg, reference walking speed) may be set as walking data at the beginning of walking (eg, walking speed at the beginning of walking).
예를 들어, 제1 실시간 보행 데이터와 제1 기준 보행 데이터가 각각 보폭이고, 제2 실시간 보행 데이터와 제2 기준 보행 데이터가 각각 보행 속도인 경우, 실시간 보폭과 기준 보폭의 차이가 설정된 소정의 값 이하가 된 이후에, 실시간 보행 속도와 기준 보행 속도의 차이가 소정의 값 이하가 되도록, 프로세서(231)가 보행차(40)의 제어 파라미터 중 하나인 구동 속도를 조절하기 위해 동력제공부(180)를 제어할 수 있다. 이 경우, 기준 보행 속도는, 제1 실시간 보행 데이터와 제1 기준 보행 데이터의 차이를 소정의 값 이하로 줄이는 과정이 일어나기 전의 보행 초기의 보행 속도일 수 있다. For example, when the first real-time walking data and the first reference walking data are each stride length, and the second real-time walking data and the second reference walking data are each walking speed, the difference between the real-time stride length and the reference stride length is a predetermined value. After the difference between the real-time walking speed and the reference walking speed becomes less than or equal to a predetermined value, the processor 231 uses the power supply unit 180 to adjust the driving speed, which is one of the control parameters of the walking vehicle 40. ) can be controlled. In this case, the reference walking speed may be the walking speed at the beginning of walking before the process of reducing the difference between the first real-time walking data and the first reference walking data to a predetermined value or less occurs.
이와 같이, 프로세서(231)는 실시간 보폭과 기준 보폭의 차이를 설정된 소정의 값 이하로 맞춘 이후에, 이 과정에서 변화된 사용자의 보행 속도를 실시간 보폭과 기준 보폭의 차이를 설정된 소정의 값 이하로 맞추기 이전의 보행 초기의 보행 속도로 맞출 수 있다. 여기서, 사용자의 변화된 보행 속도를 보행 초기의 보행 속도로 맞춘다는 것은, 변화된 보행 속도와 보행 초기의 보행 속도의 차이가 소정의 값 이하가 되도록 하는 것을 의미한다.In this way, the processor 231 adjusts the difference between the real-time stride length and the reference stride length to less than a set predetermined value, and then adjusts the user's walking speed, which has changed in this process, to the difference between the real-time stride length and the reference stride length below the set predetermined value. It can be adjusted to the walking speed at the beginning of the previous walk. Here, adjusting the user's changed walking speed to the walking speed at the beginning of walking means ensuring that the difference between the changed walking speed and the walking speed at the beginning of walking is below a predetermined value.
예를 들어, 실시간 보폭과 기준 보폭의 차이가 설정된 소정의 값 이하가 된 이후에, 실시간 보행 속도가 기준 보행 속도보다 느린 경우, 프로세서(231)는 동력제공부(180)를 제어하여 보행차(40)의 구동 속도를 증가시킬 수 있다. 또는, 실시간 보행 속도가 기준 보행 속도보다 빠른 경우, 프로세서(231)는 동력제공부(180)를 제어하여 보행차(40)의 구동 속도를 감소시킬 수 있다. 이에 한정되는 것은 아니며, 프로세서(231)는 이와 반대로도 동력제공부(180)를 제어할 수도 있다.For example, after the difference between the real-time stride length and the reference stride length becomes less than a predetermined value, if the real-time walking speed is slower than the reference walking speed, the processor 231 controls the power supply unit 180 to control the walking vehicle ( 40), the driving speed can be increased. Alternatively, when the real-time walking speed is faster than the reference walking speed, the processor 231 may control the power supply unit 180 to reduce the driving speed of the walking vehicle 40. It is not limited to this, and the processor 231 may also control the power supply unit 180 in the opposite direction.
예를 들어, 제1 실시간 보행 데이터와 제1 기준 보행 데이터가 각각 보행 속도이고, 제2 실시간 보행 데이터와 제2 기준 보행 데이터가 각각 좌우 균형도인 경우, 실시간 보행 속도와 기준 보행 속도의 차이가 설정된 소정의 값 이하가 된 이후에, 실시간 좌우 균형도와 기준 좌우 균형도의 차이가 소정의 값 이하가 되도록, 프로세서(231)가 보행차(40)의 제어 파라미터 중 하나인 보행차(40)에 포함된 받침부(130)의 기울기를 제어할 수 있다. 예를 들어, 도 8을 참조하면, 프로세서(231)의 제어 신호에 따라, 제2 수직 프레임(122) 상에 마련된 받침부(130)의 기울기가 제어될 수 있다. 제2 수직 프레임(122)과 받침부(130) 사이에는 기울기 변경부(미도시)가 마련되고, 프로세서(231)로부터의 기울기 변경 제어 신호에 따라 기울기 변경부가 구동되어 받침부(130)의 기울기가 제어될 수 있다.For example, when the first real-time walking data and the first reference walking data are each walking speed, and the second real-time walking data and the second reference walking data are each left and right balance, the difference between the real-time walking speed and the reference walking speed is After becoming less than the set predetermined value, the processor 231 controls the walking car 40, which is one of the control parameters of the walking car 40, so that the difference between the real-time left and right balance and the reference left and right balance becomes less than the predetermined value. The tilt of the included support portion 130 can be controlled. For example, referring to FIG. 8, the tilt of the support portion 130 provided on the second vertical frame 122 may be controlled according to a control signal from the processor 231. A tilt changer (not shown) is provided between the second vertical frame 122 and the support portion 130, and the tilt changer is driven according to a tilt change control signal from the processor 231 to change the tilt of the support portion 130. can be controlled.
도 6을 참조하면, 또 다른 일 실시예에 따른 보행차의 스마트 주행 방법(S300)은 제1 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S160)와 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S170)가 동시에 수행된다는 점을 제외하고는, 도 5의 스마트 주행 방법(S200)과 실질적으로 동일할 수 있다.Referring to FIG. 6, the smart driving method of a walking vehicle (S300) according to another embodiment includes the step of controlling the driving of the walking vehicle (40) based on the first real-time walking data (S160) and the first real-time walking It may be substantially the same as the smart driving method (S200) of FIG. 5, except that the step (S170) of controlling the driving of the walking vehicle 40 based on the second real-time walking data different from the data is performed simultaneously. there is.
도 6을 설명함에 있어, 도 4 및 도 5와 중복되는 내용은 생략한다.In describing FIG. 6, content that overlaps with FIGS. 4 and 5 will be omitted.
보행차의 스마트 주행 방법(S200)의 제1 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S160)와, 제2 실시간 보행 데이터를 기반으로 보행차(40)의 구동을 제어하는 단계(S170)는 동시에 수행될 수 있다.Controlling the driving of the walking vehicle 40 based on the first real-time walking data of the smart driving method of the walking vehicle (S200) (S160), and driving the walking vehicle 40 based on the second real-time walking data The controlling step (S170) may be performed simultaneously.
예를 들어, 제1 실시간 보행 데이터와 제1 기준 보행 데이터가 각각 보행 속도이고, 제2 실시간 보행 데이터와 제2 기준 보행 데이터가 각각 좌우 균형도인 경우, 실시간 보행 속도와 기준 보행 속도의 차이가 설정된 소정의 값 이하가 되고, 실시간 좌우 균형도와 기준 좌우 균형도의 차이가 설정된 소정의 값 이하가 되도록, 프로세서(231)가 보행차(40)의 보행 속도와 보행차(40)에 포함된 받침부(130)의 기울기를 제어할 수 있다.For example, when the first real-time walking data and the first reference walking data are each walking speed, and the second real-time walking data and the second reference walking data are each left and right balance, the difference between the real-time walking speed and the reference walking speed is The processor 231 adjusts the walking speed of the walking vehicle 40 and the support included in the walking vehicle 40 so that the difference between the real-time left and right balance and the reference left and right balance is below the set value. The tilt of the unit 130 can be controlled.
도 7을 참조하면, 다양한 실시예에 따른 보행차의 스마트 주행 방법(S100, S200, S300)에서 치리되는 실시간 보행 데이터와 기준 보행 데이터의 종류의 처리 우선 순위는 미리 설정되어 메모리(232)에 저장되거나, 사용자에 의해 임의로 다양하게 설정될 수 있다. 여기서 사용자는 보행차(40)의 사용자이거나 제1 사용자 단말기(20)를 사용하는 보행차(40)의 사용자의 보호자 또는 제2 사용자 단말기(30)를 사용하는 사용자의 담당 의사일 수 있다.Referring to FIG. 7, the processing priorities of the types of real-time walking data and reference walking data administered in the smart driving method (S100, S200, and S300) of a walking vehicle according to various embodiments are set in advance and stored in the memory 232. Or, it can be set arbitrarily by the user in various ways. Here, the user may be a user of the walking vehicle 40, a guardian of a user of the walking vehicle 40 using the first user terminal 20, or a doctor in charge of a user using the second user terminal 30.
예를 들어, 도 7의 (a)를 참조하면, 보폭, 보행 속도, 좌우 균형도, 보간, 보장의 순서로 처리 우선 순위가 설정될 수 있다. 이 경우, 실시간 보폭과 기준 보폭의 차이에 따라 보행차(40)의 구동이 제어된 뒤에, 실시간 보행 속도와 기준 보행 속도의 차이에 따라 보행차(40)의 구동이 제어될 수 있다.For example, referring to (a) of FIG. 7, processing priorities may be set in the following order: stride length, walking speed, left and right balance, interpolation, and guarantee. In this case, the driving of the walking vehicle 40 may be controlled according to the difference between the real-time walking speed and the reference walking speed, and then the driving of the walking vehicle 40 may be controlled according to the difference between the real-time walking speed and the reference walking speed.
예를 들어, 도 7의 (b)를 참조하면, 보폭과 보행 속도가 공동 1순위로 설정되고, 좌우 균형도, 보간, 보장의 순서로 후순위가 설정될 수 있다. 이 경우, 실시간 보폭과 기준 보폭의 차이 및 실시간 보행 속도와 기준 보행 속도의 차이에 따라 보행차(40)의 구동이 제어된 뒤에, 실시간 좌우 균형도와 기준 좌우 균형도의 차이에 따라 보행차(40)의 구동이 제어될 수 있다.For example, referring to (b) of FIG. 7, stride length and walking speed may be jointly set as first priority, and later priorities may be set in the order of left and right balance, interpolation, and assurance. In this case, after the driving of the walking car 40 is controlled according to the difference between the real-time stride length and the reference stride length and the difference between the real-time walking speed and the reference walking speed, the walking vehicle 40 is controlled according to the difference between the real-time left and right balance and the reference left and right balance. ) can be controlled.
예를 들어, 도 7의 (c)를 참조하면, 보폭, 보행 속도 및 좌우 균형도가 공동 1순위로 설정되고, 보간, 보장의 순서로 후순위가 설정될 수 있다. 이 경우, 실시간 보폭과 기준 보폭의 차이, 실시간 보행 속도와 기준 보행 속도의 차이, 및 실시간 좌우 균형도와 기준 좌우 균형도의 차이에 따라 보행차(40)의 구동이 제어된 뒤에, 실시간 보간과 기준 보간의 차이에 따라 보행차(40)의 구동이 제어될 수 있다. 한편, 프로세서(231)는 보행 데이터를 기초로 사용자의 보행 레벨에 적합한 적정 보행 속도를 산출하고, 적정 보행 속도로 보행차(40)가 구동되도록 보행차(40)에 포함된 동력제공부(180)를 제어할 수 있다.For example, referring to (c) of FIG. 7, stride length, walking speed, and left and right balance may be set as joint first priority, and interpolation and guarantee may be set as lower priorities. In this case, after the driving of the walking vehicle 40 is controlled according to the difference between the real-time stride length and the reference stride length, the difference between the real-time walking speed and the reference walking speed, and the difference between the real-time left and right balance and the reference left and right balance, real-time interpolation and reference are performed. The driving of the walking vehicle 40 can be controlled according to the difference in interpolation. Meanwhile, the processor 231 calculates an appropriate walking speed suitable for the user's walking level based on the walking data, and the power supply unit 180 included in the walking vehicle 40 so that the walking vehicle 40 is driven at an appropriate walking speed. ) can be controlled.
예를 들어, 프로세서(231)는 사용자의 모션 정보를 기반으로 생성한 사용자의 보행 속도, 보폭, 좌우 균형도 등의 실시간 보행 데이터를 참조하여 사용자의 보행 레벨을 결정할 수 있다. 보행 레벨을 결정하는 기준 등은 미리 프로그램화되어 메모리(232)에 저장되어 있을 수 있다. 프로그램화된 보행 레벨을 결정하는 기준은 프로세서(231)의 인공 신경망을 통한 학습을 통해 업데이트될 수 있다.For example, the processor 231 may determine the user's walking level by referring to real-time walking data such as the user's walking speed, stride length, and left/right balance generated based on the user's motion information. Criteria for determining the walking level may be programmed in advance and stored in the memory 232. The criteria for determining the programmed walking level can be updated through learning through the artificial neural network of the processor 231.
프로세서(231)는 메모리(232)에 저장된 기준 보행 데이터와 사용자의 과거의 보행 데이터 및 현재의 실시간 보행 데이터를 비교하여 사용자의 보행 회복 속도, 회복률 등을 산출할 수 있다.The processor 231 may calculate the user's walking recovery speed, recovery rate, etc. by comparing the reference walking data stored in the memory 232 with the user's past walking data and current real-time walking data.
프로세서(231)에 의해 결정된 보행 레벨에 따라, 프로세서(231)는 이에 적합한 사용자의 보행 속도를 산출할 수 있다. 프로세서(231)에 의해 산출된 사용자의 보행 레벨에 적합한 보행 속도는 메모리(232)에 저장될 수 있다. 프로세서(231)는 사용자의 보행 레벨에 적합한 보행 속도로 보행차(40)가 구동되도록 보행차(40)에 포함된 동력제공부(180)를 제어할 수 있다.According to the walking level determined by the processor 231, the processor 231 may calculate the user's walking speed appropriate for the walking level. The walking speed appropriate for the user's walking level calculated by the processor 231 may be stored in the memory 232. The processor 231 may control the power supply unit 180 included in the walking vehicle 40 so that the walking vehicle 40 is driven at a walking speed appropriate for the user's walking level.
프로세서(231)는 네트워크를 통해 사용자의 실시간 보행 데이터를 외부의 다른 사용자 단말기로 전송할 수 있다. 예를 들어, 프로세서(231)는 실시간 보행 데이터를 사용자의 담당 의사의 사용자 단말기로 전송할 수 있다. 사용자의 담당 의사는 본인의 사용자 단말기를 이용하여 실시간 보행 데이터와 관련된 분석 데이터를 보행차(40)의 디스플레이 장치(190)로 전달할 수 있다. 디스플레이 장치(190)는 사용자의 담당 의사의 사용자 단말기로부터 전달된 실시간 보행 데이터와 관련된 분석 데이터를 표시할 수 있다. 여기서 실시간 보행 데이터와 관련된 분석 데이터는 재활 치료 프로그램일 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 담당 의사의 사용자 단말기와 보행차(40)의 디스플레이 장치(190)가 서로 연결되어, 담당 의사의 화상이 실시간으로 디스플레이 장치(190)에 표시될 수 있다. 이에 따라, 사용자의 실시간 보행 데이터를 기반으로 한, 사용자와 담당 의사 간의 화상을 통한 실시간 비대면 재활 치료가 가능할 수 있다.The processor 231 may transmit the user's real-time walking data to another external user terminal through a network. For example, the processor 231 may transmit real-time gait data to the user terminal of the user's doctor. The user's doctor may transmit analysis data related to real-time gait data to the display device 190 of the walking vehicle 40 using the user's terminal. The display device 190 may display analysis data related to real-time gait data transmitted from the user terminal of the user's doctor. Here, the analysis data related to real-time walking data may be a rehabilitation treatment program. For example, as shown in FIG. 10, the user terminal of the doctor in charge and the display device 190 of the walking vehicle 40 are connected to each other, so that the image of the doctor in charge can be displayed on the display device 190 in real time. there is. Accordingly, real-time non-face-to-face rehabilitation treatment through video between the user and the doctor in charge, based on the user's real-time gait data, may be possible.
생성된 실시간 보행 데이터를 사용자에게 제공하는 단계(S140)에서는, 프로세서(231)가 통신부(234)를 통해 디스플레이 장치(190)로 사용자의 실시간 보행 데이터를 전달할 수 있다. 디스플레이 장치(190)는 프로세서(231)로부터 전달받은 사용자의 실시간 보행 데이터를 표시하여 사용자에게 실시간 보행 데이터를 시각적으로 제공할 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 사용자의 보행 속도, 보폭, 보장, 분속수, 좌우 균형도, 관절 각도, 보행 레벨, 회복률 등이 디스플레이 장치(190)에 표시될 수 있다. 또한, 프로세서(231)에 의해 모델링된 사용자의 신체의 하부가 포함된 3차원 공간(50)이 디스플레이 장치(190)에 표시될 수 있다. 3차원 공간(50)은 실시간으로 변화하는 영상으로서 디스플레이 장치(190)에 표시될 수 있다.In the step of providing the generated real-time walking data to the user (S140), the processor 231 may transmit the user's real-time walking data to the display device 190 through the communication unit 234. The display device 190 may display the user's real-time walking data received from the processor 231 and visually provide the real-time walking data to the user. For example, as shown in FIG. 10, the user's walking speed, stride length, gait, speed per minute, left and right balance, joint angle, walking level, recovery rate, etc. may be displayed on the display device 190. Additionally, a three-dimensional space 50 containing the lower part of the user's body modeled by the processor 231 may be displayed on the display device 190. The three-dimensional space 50 may be displayed on the display device 190 as an image that changes in real time.
도 11은 스마트 주행에 따라 보행차(40)가 장애물(70)을 센싱하는 방법을 설명하기 위한 것이다. 도 12는 스마트 주행에 따라 보행차(40)가 오르막길(80)을 센싱하는 방법을 설명하기 위한 것이다. FIG. 11 is for explaining a method by which the walking vehicle 40 senses an obstacle 70 according to smart driving. FIG. 12 is for explaining a method by which a walking vehicle 40 senses an uphill road 80 according to smart driving.
도 2, 도 3, 및 도 11을 참조하면, 사용자(User)는 보행차(40)에 의지하여 보행하는 도중에 보행 경로 상에 위치하는 장애물(70)을 마주할 수 있다. 이 경우, 보행차(40)의 장애물 감지 센서(220)로부터 초음파(UW)가 전방으로 조사되고, 장애물 감지 센서(220)는 장애물(70)에 의해 반사된 초음파(UW)를 센싱하여 장애물(70)의 존재 여부를 감지할 수 있다. 장애물 감지 센서(220)는 장애물(70) 감지 신호를 프로세서(231)로 전달할 수 있고, 이에 따라 프로세서(231)는 방향제어부(170)를 동작시켜 제3 및 제4 휠(163, 164)의 회전 각도를 제어하여 보행차(40)가 장애물(70)을 피해갈 수 있도록 할 수 있다.Referring to FIGS. 2, 3, and 11, a user may encounter an obstacle 70 located on the walking path while walking while relying on the walking vehicle 40. In this case, ultrasonic waves (UW) are radiated forward from the obstacle detection sensor 220 of the walking vehicle 40, and the obstacle detection sensor 220 senses the ultrasonic waves (UW) reflected by the obstacle 70 to detect the obstacle ( 70) can be detected. The obstacle detection sensor 220 may transmit an obstacle 70 detection signal to the processor 231, and accordingly the processor 231 operates the direction control unit 170 to control the direction of the third and fourth wheels 163 and 164. By controlling the rotation angle, the walking vehicle 40 can avoid the obstacle 70.
도 2, 도 3, 및 도 12를 참조하면, 사용자(User)는 보행차(40)에 의지하여 보행하는 도중에 보행 경로 상에 위치하는 오르막길(80)을 마주할 수 있다. 이 경우, 보행차(40)의 장애물 감지 센서(220)로부터 초음파(UW)가 전방으로 조사되고, 장애물 감지 센서(220)는 오르막길(80)에 의해 반사된 초음파(UW)를 센싱하여 오르막길(80)의 존재 여부를 감지할 수 있다. 장애물 감지 센서(220)는 오르막길(80) 감지 신호를 프로세서(231)로 전달할 수 있고, 이에 따라 프로세서(231)는 동력제공부(180)를 동작시켜 제1 및 제2 휠(161, 162)에 제공되는 회전 동력을 증가시킴으로써, 사용자가 오르막길(80)을 보다 수월하게 지나갈 수 있도록 할 수 있다.Referring to FIGS. 2, 3, and 12, a user may encounter an uphill road 80 located on a walking path while walking while relying on the walking vehicle 40. In this case, ultrasonic waves (UW) are radiated forward from the obstacle detection sensor 220 of the walking vehicle 40, and the obstacle detection sensor 220 senses the ultrasonic waves (UW) reflected by the uphill road 80 to detect the uphill road ( 80) can be detected. The obstacle detection sensor 220 can transmit the uphill road 80 detection signal to the processor 231, and accordingly the processor 231 operates the power supply unit 180 to operate the first and second wheels 161 and 162. By increasing the rotational power provided to the user, it is possible to enable the user to pass the uphill road 80 more easily.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. A hardware device can be converted into one or more software modules to perform processing according to the invention and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are examples and do not limit the scope of the present invention in any way. For the sake of brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connections or connection members of lines between components shown in the drawings exemplify functional connections and/or physical or circuit connections, and in actual devices, various functional connections or physical connections may be replaced or added. Can be represented as connections, or circuit connections. Additionally, if there is no specific mention such as “essential,” “important,” etc., it may not be a necessary component for the application of the present invention.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to preferred embodiments of the present invention, those skilled in the art or have ordinary knowledge in the relevant technical field will understand the spirit of the present invention described in the patent claims to be described later. It will be understood that the present invention can be modified and changed in various ways without departing from the technical scope. Therefore, the technical scope of the present invention should not be limited to what is described in the detailed description of the specification, but should be defined by the scope of the patent claims.
스마트 보행 보조 서비스 제공 시스템(1)
중앙 서버(10), 사용자 단말기(20, 30), 보행차(40)
메인 프레임(110), 수직 프레임(120) 제1 수직 프레임(121)
제2 수직 프레임(122), 받침부(130), 핸들부(140), 제1 핸들바(141)
제2 핸들바(142), 휠프레임(150), 제1 휠프레임(151), 제2 휠프레임(152)
휠(160), 제1 및 제2 휠(161, 162), 제3 및 제4 휠(163, 164)
방향제어부(170), 제1 방향제어부(171), 제2 방향제어부(172)
동력제공부(180), 제1 동력제공부(181), 제2 동력제공부(182)
디스플레이 장치(190), 센서(200), 공간 데이터 수집 센서(210)
장애물 감지 센서(220), 제1 장애물 감지 센서(221)
제2 장애물 감지 센서(222), 컨트롤러(230), 프로세서(231), 메모리(232)
메인 입력부(233), 통신부(234)Smart walking assistance service provision system (1)
Central server (10), user terminal (20, 30), walking vehicle (40)
Main frame (110), vertical frame (120), first vertical frame (121)
Second vertical frame 122, support portion 130, handle portion 140, first handle bar 141
Second handle bar (142), wheel frame (150), first wheel frame (151), second wheel frame (152)
Wheel 160, first and second wheels 161, 162, third and fourth wheels 163, 164
Direction control unit 170, first direction control unit 171, second direction control unit 172
Power provider (180), first power provider (181), second power provider (182)
Display device 190, sensor 200, spatial data collection sensor 210
Obstacle detection sensor 220, first obstacle detection sensor 221
Second obstacle detection sensor 222, controller 230, processor 231, memory 232
Main input unit (233), communication unit (234)
Claims (17)
상기 보행차에 포함된 센서를 이용하여 보행 중인 상기 사용자에 대한 3차원 공간 데이터를 수집하는 단계;
상기 프로세서가 상기 사용자에 대한 3차원 공간 데이터를 기초로 추출한 상기 사용자의 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성하는 단계;
및
상기 프로세서가 상기 실시간 보행 데이터를 상기 3차원 공간 데이터를 통해 추출한 상기 사용자의 신체 데이터에 매칭된 기준 보행 데이터와 비교하고, 상기 실시간 보행 데이터와 상기 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 구동을 제어하는 단계; 를 포함하는, 보행차의 스마트 주행 방법.In a smart driving method of a walking vehicle controlled by a processor that generates user's walking data,
collecting three-dimensional spatial data about the walking user using a sensor included in the walking vehicle;
generating real-time walking data of the user by the processor analyzing the user's motion information extracted based on 3D spatial data about the user;
and
The processor compares the real-time walking data with reference walking data matched to the user's body data extracted through the three-dimensional spatial data, and causes the difference between the real-time walking data and the reference walking data to be less than a predetermined value. Controlling the driving of the walking vehicle; A smart driving method for a walking vehicle, including.
상기 보행차의 구동을 제어하는 단계에서는,
상기 프로세서가 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하는, 보행차의 스마트 주행 방법.According to claim 1,
In the step of controlling the driving of the walking vehicle,
The processor compares first real-time walking data and first reference walking data, and adjusts control parameters of the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value, Smart driving method for walking vehicles.
상기 보행차의 구동을 제어하는 단계에서는,
상기 프로세서가 상기 보행차의 구동을 제어하여 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 된 이후에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절하는, 보행차의 스마트 주행 방법.According to clause 2,
In the step of controlling the driving of the walking vehicle,
After the processor controls the driving of the walking vehicle so that the difference between the first real-time walking data and the first reference walking data becomes less than a predetermined value, the second real-time walking data different from the first real-time walking data and the second real-time walking data are A smart driving method for a walking vehicle, which compares two reference walking data and adjusts control parameters of the walking vehicle so that the difference between the second real-time walking data and the second reference walking data is less than or equal to a predetermined value.
상기 보행차의 구동을 제어하는 단계에서는,
상기 프로세서가 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하고, 이와 동시에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절하는, 보행차의 스마트 주행 방법.According to claim 1,
In the step of controlling the driving of the walking vehicle,
The processor compares first real-time walking data and first reference walking data, and adjusts control parameters of the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value, At the same time, the first real-time walking data, other second real-time walking data, and second reference walking data are compared, and the walking vehicle makes the difference between the second real-time walking data and the second reference walking data less than a predetermined value. A smart driving method for a walking vehicle that adjusts control parameters.
상기 사용자의 실시간 보행 데이터를 생성하는 단계에서는,
상기 프로세서가 상기 사용자에 대한 상기 3차원 공간 데이터를 기초로 상기 사용자의 형상을 포함하는 3차원 공간을 모델링하고, 상기 3차원 공간에서의 상기 사용자의 모션 정보를 추출하며, 상기 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성하는, 보행차의 스마트 주행 방법.According to claim 1,
In the step of generating the user's real-time walking data,
The processor models a three-dimensional space including the shape of the user based on the three-dimensional spatial data about the user, extracts motion information of the user in the three-dimensional space, and analyzes the motion information. A smart driving method for a walking vehicle that generates real-time walking data of the user.
상기 프로세서가 네트워크를 통해 상기 사용자의 실시간 보행 데이터를 외부의 다른 사용자 단말기로 전송하는 단계; 및
상기 네트워크를 통해 상기 다른 사용자 단말기로부터의 상기 실시간 보행 데이터와 관련된 분석 데이터를 수신하는 단계; 를 더 포함하는, 보행차의 스마트 주행 방법.According to claim 1,
The processor transmitting the user's real-time walking data to another external user terminal through a network; and
Receiving analysis data related to the real-time walking data from the other user terminal through the network; A smart driving method for a walking vehicle, further comprising:
상기 메인 프레임에 마련되는 수직 프레임;
상기 수직 프레임에 마련되어 사용자의 신체 일부를 받치는 받침부;
상기 메인 프레임에 마련되고 복수의 휠을 연결하는 휠프레임;
상기 휠의 회전 동력을 제공하는 동력제공부;
상기 수직 프레임과 마주하는 영역에 위치하는 사용자에 대한 3차원 공간 데이터를 센싱하는 공간 데이터 수집 센서; 및
명령어를 포함한 하나 이상의 프로그램이 저장된 메모리와 상기 프로그램을 실행하여 상기 3차원 공간 데이터를 기초로 상기 사용자의 실시간 보행 데이터를 생성하고, 상기 사용자의 신체 데이터에 매칭된 기준 보행 데이터와 비교하며, 상기 실시간 보행 데이터와 상기 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 소정의 제어 파라미터를 조절하는, 프로세서를 포함하는 컨트롤러; 를 포함하는, 스마트 보행 보조가 가능한 보행차.main frame;
a vertical frame provided on the main frame;
a support provided on the vertical frame to support a part of the user's body;
A wheel frame provided on the main frame and connecting a plurality of wheels;
a power supply unit that provides rotational power to the wheel;
a spatial data collection sensor that senses three-dimensional spatial data about a user located in an area facing the vertical frame; and
A memory in which one or more programs including commands are stored and the program is executed to generate real-time gait data of the user based on the 3D spatial data, compared with reference gait data matched to the user's body data, and the real-time A controller including a processor that adjusts a predetermined control parameter so that the difference between the gait data and the reference gait data is less than or equal to a predetermined value; A walking vehicle capable of smart walking assistance, including a.
상기 프로세서는, 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
The processor compares first real-time walking data and first reference walking data, and adjusts control parameters of the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value. , a walking vehicle capable of smart walking assistance.
상기 프로세서는, 상기 프로세서가 상기 보행차의 구동을 제어하여 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 된 이후에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절하는, 스마트 보행 보조가 가능한 보행차.According to clause 8,
After the processor controls the driving of the walking vehicle and the difference between the first real-time walking data and the first reference walking data becomes less than a predetermined value, the processor generates a second real-time walking data different from the first real-time walking data. A walk capable of smart walking assistance that compares walking data and second reference walking data, and adjusts control parameters of the walking vehicle so that the difference between the second real-time walking data and the second reference walking data is less than or equal to a predetermined value. car.
상기 프로세서는, 제1 실시간 보행 데이터와 제1 기준 보행 데이터를 비교하고, 상기 제1 실시간 보행 데이터와 상기 제1 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파라미터를 조절하고, 이와 동시에, 제1 실시간 보행 데이터와 다른 제2 실시간 보행 데이터와 제2 기준 보행 데이터를 비교하고, 상기 제2 실시간 보행 데이터와 상기 제2 기준 보행 데이터의 차이가 소정의 값 이하가 되도록 상기 보행차의 제어 파리미터를 조절하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
The processor compares first real-time walking data and first reference walking data, and adjusts control parameters of the walking vehicle so that the difference between the first real-time walking data and the first reference walking data is less than or equal to a predetermined value, and At the same time, the first real-time walking data and other second real-time walking data are compared with the second reference walking data, and the difference between the second real-time walking data and the second reference walking data is less than or equal to a predetermined value. A walking vehicle capable of smart walking assistance that adjusts the vehicle's control parameters.
상기 공간 데이터 수집 센서가 센싱하는 상기 3차원 공간 데이터는 상기 사용자에 대한 이미지 데이터와 깊이 데이터를 포함하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
The three-dimensional spatial data sensed by the spatial data collection sensor includes image data and depth data for the user.
상기 프로세서는, 인공 신경망을 이용하여 상기 사용자에 대한 상기 이미지 데이터와 상기 깊이 데이터를 기초로 상기 사용자의 형상을 포함하는 3차원 공간을 모델링하고, 상기 사용자의 형상의 일부에 대한 적어도 하나의 특징점(key point)을 검출하며,
상기 적어도 하나의 특징점을 기반으로 상기 3차원 공간에서의 상기 사용자의 모션 정보를 추출하고, 상기 사용자의 모션 정보를 분석하여 상기 사용자의 실시간 보행 데이터를 생성하는, 스마트 보행 보조가 가능한 보행차.According to claim 11,
The processor models a three-dimensional space including the shape of the user based on the image data and the depth data for the user using an artificial neural network, and generates at least one feature point ( detect key points,
A walking vehicle capable of smart walking assistance, extracting motion information of the user in the three-dimensional space based on the at least one feature point, and analyzing the motion information of the user to generate real-time walking data of the user.
상기 프로세서는, 네트워크를 통해 상기 사용자의 실시간 보행 데이터를 외부의 다른 사용자 단말기로 전송하고, 상기 네트워크를 통해 상기 다른 사용자 단말기로부터의 상기 실시간 보행 데이터와 관련된 분석 데이터를 수신하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
The processor is capable of smart walking assistance, transmitting the real-time walking data of the user to another external user terminal through a network, and receiving analysis data related to the real-time walking data from the other user terminal through the network. Walking car.
상기 공간 데이터 수집 센서는 라이다 센서와 이미지 센서를 포함하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
The spatial data collection sensor is a walking vehicle capable of smart walking assistance, including a lidar sensor and an image sensor.
상기 스마트 보행 보조가 가능한 보행차의 전면에 놓인 장애물을 감지하는 장애물 감지 센서; 를 더 포함하는, 스마트 보행 보조가 가능한 보행차.According to clause 7,
An obstacle detection sensor that detects an obstacle placed in front of the walking vehicle capable of smart walking assistance; A walking vehicle capable of smart walking assistance, further comprising:
상기 복수의 휠 중 적어도 일부의 회전 각도를 제어하는 방향제어부; 를 더 포함하고,
상기 프로세서는 상기 장애물 감지 센서로부터 수신한 장애물 감지 신호에 따라 상기 방향제어부를 동작시켜 상기 복수의 휠 중 적어도 일부의 회전 각도를 제어하는, 스마트 보행 보조가 가능한 보행차.According to claim 15,
a direction control unit that controls the rotation angle of at least some of the plurality of wheels; It further includes,
A walking vehicle capable of smart walking assistance, wherein the processor controls the rotation angle of at least some of the plurality of wheels by operating the direction control unit according to an obstacle detection signal received from the obstacle detection sensor.
상기 실시간 보행 데이터를 표시하는 디스플레이 장치; 를 더 포함하는, 스마트 보행 보조가 가능한 보행차.
According to clause 7,
A display device that displays the real-time walking data; A walking vehicle capable of smart walking assistance, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220153707A KR20240071789A (en) | 2022-11-16 | 2022-11-16 | Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220153707A KR20240071789A (en) | 2022-11-16 | 2022-11-16 | Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240071789A true KR20240071789A (en) | 2024-05-23 |
Family
ID=91283819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220153707A KR20240071789A (en) | 2022-11-16 | 2022-11-16 | Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240071789A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170134394A (en) | 2015-02-24 | 2017-12-06 | 밥에르고 비.브이. | A rollator-trolley having an adjustable handle position according to use |
KR101908176B1 (en) | 2015-12-31 | 2018-10-15 | 한국산업기술대학교산학협력단 | Apparatus and method for estimating waking status for rollator |
-
2022
- 2022-11-16 KR KR1020220153707A patent/KR20240071789A/en not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170134394A (en) | 2015-02-24 | 2017-12-06 | 밥에르고 비.브이. | A rollator-trolley having an adjustable handle position according to use |
KR101908176B1 (en) | 2015-12-31 | 2018-10-15 | 한국산업기술대학교산학협력단 | Apparatus and method for estimating waking status for rollator |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Katzschmann et al. | Safe local navigation for visually impaired users with a time-of-flight and haptic feedback device | |
Matthis et al. | Gaze and the control of foot placement when walking in natural terrain | |
Mancini et al. | Mechatronic system to help visually impaired users during walking and running | |
Martins et al. | A review of the functionalities of smart walkers | |
US9355368B2 (en) | Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform | |
US10660395B2 (en) | Smart terminal service system and smart terminal processing data | |
Goldhammer et al. | Early prediction of a pedestrian's trajectory at intersections | |
EP3510986B1 (en) | Mobility device and mobility system | |
KR20150085212A (en) | Walking assist robot and control method for the same | |
US20220108561A1 (en) | System for capturing the movement pattern of a person | |
US20210236022A1 (en) | Smart Interpretive Wheeled Walker using Sensors and Artificial Intelligence for Precision Assisted Mobility Medicine Improving the Quality of Life of the Mobility Impaired | |
US11449065B2 (en) | System and method for controlling an autonomous carriage based on user intentions | |
US20230013606A1 (en) | Robotized walker and associated method for preventing falls | |
Hong et al. | Development and application of key technologies for Guide Dog Robot: A systematic literature review | |
Weon et al. | Intelligent robotic walker with actively controlled human interaction | |
CN115416047A (en) | Blind assisting system and method based on multi-sensor quadruped robot | |
CA3170237A1 (en) | System and method for gait monitoring and improvement | |
CN111863198A (en) | Rehabilitation robot interaction system and method based on virtual reality | |
KR20240071789A (en) | Rollator providing smart walking assistance based on walking data of users and smart driving method of the rollator | |
KR102244768B1 (en) | System and Method of Hearing Assistant System of Route Guidance Using Chatbot for Care of Elderly Based on Artificial Intelligence | |
Tarik et al. | Empowering and conquering infirmity of visually impaired using AI‐technology equipped with object detection and real‐time voice feedback system in healthcare application | |
Apprey et al. | Design and implementation of a solar powered navigation technology for the visually impaired | |
Montanha et al. | A technological innovation to safely aid in the spatial orientation of blind people in a complex urban environment | |
KR102281246B1 (en) | System and Method of Route Guidance and Object Detection for Care of Elderly Based on Artificial Intelligence | |
CN213025413U (en) | Rehabilitation robot interaction system based on virtual reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |