KR102234066B1 - System for supporting riding in a group based on augmented reality - Google Patents
System for supporting riding in a group based on augmented reality Download PDFInfo
- Publication number
- KR102234066B1 KR102234066B1 KR1020190151866A KR20190151866A KR102234066B1 KR 102234066 B1 KR102234066 B1 KR 102234066B1 KR 1020190151866 A KR1020190151866 A KR 1020190151866A KR 20190151866 A KR20190151866 A KR 20190151866A KR 102234066 B1 KR102234066 B1 KR 102234066B1
- Authority
- KR
- South Korea
- Prior art keywords
- riding
- participant
- group
- image
- terminal
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 230000008921 facial expression Effects 0.000 claims description 51
- 239000007858 starting material Substances 0.000 claims description 27
- 230000014509 gene expression Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 5
- 241000556720 Manga Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 증강현실 기반의 그룹 라이딩 지원 시스템에 관한 것으로, 더욱 상세하게는 실내 환경에서 온라인으로 연결된 사용자 간의 증강 현실 기반의 그룹 라이딩을 지원하는 시스템에 관한 것이다.The present invention relates to an augmented reality-based group riding support system, and more particularly, to a system that supports augmented reality-based group riding between users connected online in an indoor environment.
실내자전거는 공간을 많이 차지하지 않아서 집 안이나 피트니스 센터에서 TV를 보거나 음악을 들으면서 운동을 할 수 있기 때문에, 시간이나 날씨에 상관없이 운동할 수 있는 장점이 있다. 그러나 실내자전거를 꾸준하게 즐기는 사람이 많지 않다. 그 이유는 따분하고 재미를 느낄 수 없기 때문이다. 지인들과 같이 즐기고 풍경을 감상하면서 타는 실외 자전거에 비해서 실내 자전거는 혼자서 하는 운동이라서 의지가 없으면 꾸준히 유지하기 어렵다.Indoor bicycles do not take up much space, so you can exercise while watching TV or listening to music in your home or fitness center, so you can exercise regardless of the time or weather. However, there are not many people who enjoy indoor cycling consistently. The reason is that it's boring and can't be fun. Compared to the outdoor bike riding while enjoying and enjoying the scenery with acquaintances, indoor cycling is a single exercise, so it is difficult to maintain it without will.
이러한 문제와 관련해서 국내출원 "단합된 운동 동작에 기초한 다 참여자 운동 게임시스템"(공개번호 10-2011-0057758)은 운동기구에 게임 클라이언트를 설치하여 온라인으로 연결된 사용자 간에 동일한 게임화면을 보면서 운동을 하고, 운동 진행상황에 따라서 게임화면을 갱신하도록 구성된 발명이 개시되어 있다.In relation to this problem, the domestic application "Multi-participant exercise game system based on unified exercise movements" (Publication No. 10-2011-0057758) installs a game client on the exercise equipment to perform exercise while viewing the same game screen between users connected online. And, according to the progress of the exercise, there is disclosed an invention configured to update the game screen.
그러나 이러한 방법은 운동량 체크 및 생체 정보 등 운동 정보에 치중되어 있어서 상대방 운동 참여자의 상황을 실시간으로 알기 어렵고 경쟁적인 요소나 즐길 수 있는 요소가 없어서 꾸준히 즐기기 어려운 문제가 있다.However, since this method is focused on exercise information such as exercise amount check and biometric information, it is difficult to know the situation of the other participant in real time, and it is difficult to enjoy consistently because there is no competitive element or element to enjoy.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 실시간으로 상대방의 주행 상황을 확인하고 꾸준히 즐길 수 있는 실내 자전거를 이용한 라이딩 지원 시스템을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a riding support system using an indoor bicycle in which the driving situation of the other party can be checked in real time and enjoyed steadily.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 실시간으로 상대방의 주행 상황을 확인하고 꾸준히 즐길 수 있는 실내 자전거를 이용한 라이딩 지원 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide a riding support device using an indoor bicycle that can check the other's driving situation in real time and enjoy steadily.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 실시간으로 상대방의 주행 상황을 확인하고 꾸준히 즐길 수 있는 실내 자전거를 이용한 라이딩 지원 방법을 제공하는데 있다.Another object of the present invention for solving the above problems is to provide a riding support method using an indoor bicycle in which the driving situation of the other party can be checked and enjoyed steadily in real time.
상기 목적을 달성하기 위한 본 발명은 실내 자전거에 연결된 적어도 하나의 단말과 서비스 서버로 구성되는 증강 현실 기반의 그룹 라이딩 지원 시스템에 있어서, 상기 단말은 상기 서비스 서버를 통해서 복수의 사용자 간의 그룹 라이딩에 참여하고, 상기 실내 자전거를 타는 사용자의 라이딩 현황을 수신하여 상기 서비스 서버로 전달하고, 상기 서비스 서버로부터 그룹 라이딩 영상을 수신하여 상기 단말의 화면에 표시하고, 상기 서비스 서버는 상기 각 단말의 요청에 따라서 그룹 라이딩을 개설하고, 그룹 라이딩 참여자 단말에 라이딩 코스 정보 및 실사 영상이 매핑된 가상의 라이딩 영상을 제공하고, 상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황을 반영한 실시간 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 시스템을 제공한다.The present invention for achieving the above object is an augmented reality-based group riding support system comprising at least one terminal connected to an indoor bicycle and a service server, wherein the terminal participates in group riding among a plurality of users through the service server. And, receiving the riding status of the user riding the indoor bicycle and transmitting it to the service server, receiving a group riding image from the service server and displaying it on the screen of the terminal, and the service server according to the request of each terminal Establish a group riding, provide a virtual riding image mapped with riding course information and live images to the group riding participant terminals, and reflect the real-time riding status received from each participant terminal as the group riding proceeds. It provides an augmented reality-based group riding support system, characterized in that the video is provided to each of the participants' terminals.
여기서, 상기 단말은 상기 서비스 서버로 그룹 라이딩 개설을 요청하거나 그룹 라이딩 초대를 수락하기 위한 환경을 구비하는 그룹 라이딩 준비부와, 실내 자전거로부터 수신한 사용자의 실시간 라이딩 현황을 상기 서비스 서버로 전달하고 상기 서비스 서버로부터 수신한 실시간 그룹 라이딩 영상을 화면에 표시하기 위한 라이딩 상황 표시부와, 상기 서비스 서버로부터 이벤트 발생 메시지를 수신하면 사용자의 실시간 표정이 포착된 영상을 획득하여 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 수신한 그룹 기념샷 영상을 수신하여 화면에 표시하는 증강현실 지원부를 포함하여 구성된다.Here, the terminal transmits a group riding preparation unit having an environment for requesting to open a group riding or accepting a group riding invitation to the service server, and the real-time riding status of the user received from the indoor bicycle to the service server, and the A riding status display unit for displaying the real-time group riding image received from the service server on the screen, and when an event occurrence message is received from the service server, an image capturing the user's real-time expression is acquired and transmitted to the service server, and the service It includes an augmented reality support unit that receives the group commemorative shot image received from the server and displays it on the screen.
여기서 서비스 서버는 상기 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청하기 위한 그룹 라이딩 환경 구성부와, 상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 그룹 라이딩 개시부와 상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 실시간 그룹 라이딩 진행부와, 상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 이벤트 처리부와, 상기 이벤트의 발생에 기초하여 상기 참여자의 순간 포착 영상을 취합하고 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 AR 기념샷 생성부를 포함하여 구성된다.Here, when the service server receives a request to establish a group riding, specifying a riding course and an invite member from the terminal, a group riding environment configuration unit for requesting participation in the group riding to the terminal of the invite member, and each participant who accepts the participation request A rider icon representing each participant is obtained from a terminal, placed on a map image of the starting point of the riding course, and a virtual group riding image obtained by mapping a live image of the riding course to the map image to each participant terminal. The provided group riding starter and the group riding image updated by reflecting in real time the relative positions of each participant acquired based on the real-time riding status received from each participant terminal as the group riding proceeds, are displayed at the respective participant terminals. A real-time group riding progress unit provided to, and when a preset event condition is reached by analyzing the real-time riding status, an event occurrence message is transmitted to each participant terminal, and the moment when the real-time expression of each participant is captured from each participant terminal An event processing unit that receives a captured image, and an AR commemorative shot that collects the momentary captured images of the participant based on the occurrence of the event and combines them with a snapshot image or a preset background image of the riding course to create a group commemorative image. It consists of a generator.
또한 여기서, 상기 이벤트가 주행 순서가 역전되는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 한다.In addition, if the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image including a caricature generated centering on the face expressions of the reversed participant and the reversed participant among the moment capture images of each participant, If the event is a moment when a false start occurs, the group commemorative shot image is an image including a caricature generated centering on the facial expression of the negative starter among the moment capture images of each participant, and the facial expression of each participant in the caricature Is generated based on real facial expressions, and body movements and hand gestures other than facial expressions are selected from pre-made drawings or real images.
또한 여기서 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 라이딩 진행부는 상기 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하는 것을 특징으로 한다.In addition, if the event is a moment when a false start occurs, the group riding progress unit may decelerate and record the riding speed of the false starter at a predetermined rate.
상기 목적을 달성하기 위한 본 발명의 다른 측면은 실내 자전거 및 상기 실내 자전거로부터 사용자의 라이딩 정보를 수신하고 서비스 서버로 전송하는 단말을 포함하고, 상기 단말은 상기 서비스 서버를 통해서 복수의 사용자 간의 그룹 라이딩에 참여하거나 상기 서비스 서버로 그룹 라이딩 개설을 요청하고, 상기 실내 자전거를 타는 사용자의 라이딩 현황을 수신하여 상기 서비스 서버로 전달하고, 상기 서비스 서버로부터 그룹 라이딩 코스 정보 및 실사 영상이 매핑된 가상의 라이딩 영상을 수신하고, 그룹 라이딩이 진행됨에 따라서 각 그룹 라이딩 참여자 단말로부터 수신한 실시간 라이딩 현황을 반영한 실시간 그룹 라이딩 영상을 수신하는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 장치를 제공한다.Another aspect of the present invention for achieving the above object includes an indoor bicycle and a terminal receiving riding information of a user from the indoor bicycle and transmitting it to a service server, wherein the terminal is group riding among a plurality of users through the service server. Participating in or requesting to open a group ride to the service server, receiving the riding status of the user riding the indoor bicycle and transmitting it to the service server, and a virtual riding in which group riding course information and live images are mapped from the service server It provides an augmented reality-based group riding support apparatus, characterized in that receiving an image and receiving a real-time group riding image reflecting the real-time riding status received from each group riding participant terminal as the group riding proceeds.
여기서, 상기 단말은 상기 서비스 서버로 그룹 라이딩 개설을 요청하거나 그룹 라이딩 초대를 수락하기 위한 환경을 구비하는 그룹 라이딩 준비부와, 실내 자전거로부터 수신한 사용자의 실시간 라이딩 현황을 상기 서비스 서버로 전달하고 상기 서비스 서버로부터 수신한 실시간 그룹 라이딩 영상을 화면에 표시하기 위한 라이딩 상황 표시부와, 상기 서비스 서버로부터 이벤트 발생 메시지를 수신하면 사용자의 실시간 표정이 포착된 영상을 획득하여 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 수신한 그룹 기념샷 영상을 수신하여 화면에 표시하는 증강현실 지원부를 포함한다.Here, the terminal transmits a group riding preparation unit having an environment for requesting to open a group riding or accepting a group riding invitation to the service server, and the real-time riding status of the user received from the indoor bicycle to the service server, and the A riding status display unit for displaying the real-time group riding image received from the service server on the screen, and when an event occurrence message is received from the service server, an image capturing the user's real-time expression is acquired and transmitted to the service server, and the service It includes an augmented reality support unit that receives the group commemorative shot image received from the server and displays it on the screen.
상기 목적을 달성하기 위한 또 다른 측면은 실내 자전거에 연결된 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청하기 위한 그룹 라이딩 환경 구성부와, 상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 그룹 라이딩 개시부와 상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 실시간 그룹 라이딩 진행부를 포함하는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 서비스 서버를 제공한다.Another aspect for achieving the above object is a group riding environment configuration unit for requesting group riding participation from the terminal of the invited member when receiving a request to open a group riding specifying a riding course and an invite member from a terminal connected to an indoor bicycle, and , A virtual image obtained by acquiring a rider icon representing each participant from each participant terminal that has accepted the participation request, placing it on the map image of the starting point of the riding course, and mapping the live image of the riding course to the map image A group riding starter that provides a group riding image to each participant's terminal and the relative position of each participant acquired based on the real-time riding status received from each participant's terminal as the group ride proceeds, reflected in real time and updated It provides a group riding support service server based on an augmented reality, comprising a real-time group riding progress unit that provides a group riding image to each of the participants' terminals.
여기서 상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 이벤트 처리부와, 상기 이벤트의 발생에 기초하여 상기 참여자의 순간 포착 영상을 취합하고 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 AR 기념샷 생성부를 더 포함한다.Here, an event processing unit configured to analyze the real-time riding status and, when reaching a preset event condition, transmit an event occurrence message to each participant terminal and receive a moment-captured image of each participant's real-time expression from the respective participant terminals; It further comprises an AR commemorative shot generating unit for generating a group commemorative shot image by collecting the instantaneous capture images of the participant based on the occurrence of the event and synthesizing them with a snapshot image or a preset background image of the riding course.
또한 여기서, 상기 이벤트는 상기 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 미리 설정된 기념촬영 구간을 통과하는 순간 또는 부정 출발 발생 순간을 포함하며, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상을 상기 이벤트 조건에 따라 합성하여 생성되는 것을 특징으로 한다. In addition, here, the event includes a moment when the driving order between the participants is reversed, a moment when a new record appears in a specific section, a moment when passing through a preset commemorative photo section, or a moment when a false start occurs, and the group commemorative shot image is the It is characterized in that it is generated by synthesizing the instantaneous capture images of each participant according to the event conditions.
또한 여기서, 상기 이벤트가 주행 순서가 역전되는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 한다.In addition, if the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image including a caricature generated centering on the face expressions of the reversed participant and the reversed participant among the moment capture images of each participant, The facial expressions of each participant in the caricature are generated based on real facial expressions, and body motions or hand gestures other than facial expressions are selected from a picture or real image produced in advance.
또한 여기서, 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 한다.In addition, here, if the event is a moment when a false start occurs, the group commemorative shot image is an image including a caricature generated around the facial expression of the negative starter among the moment capture images of each participant, and each participant in the caricature The facial expressions of are created based on real facial expressions, and body movements and hand gestures other than facial expressions are selected from pre-made drawings or real images.
또한 여기서, 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 라이딩 진행부는 상기 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하는 것을 특징으로 한다.In addition, if the event is a moment when a false start occurs, the group riding progress unit may decelerate and record the riding speed of the false starter at a predetermined rate.
상기 다른 방법을 달성하기 위한 본 발명은 서비스 서버에서 수행되는 그룹 라이딩 지원 방법에 있어서, 실내 자전거에 연결된 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청하는 단계와, 상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 단계와, 상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 라이딩 진행 단계를 포함하는 그룹 라이딩 지원방법을 제공한다.In the present invention for achieving the other method, in a group riding support method performed in a service server, when receiving a request for establishing a riding course and a group riding in which an invite member is designated from a terminal connected to an indoor bicycle, the group is sent to the terminal of the invite member. The step of requesting participation in riding, obtaining a rider icon representing each participant from each participant terminal that accepted the participation request, placing it on a map image of the starting point of the riding course, and displaying the riding course on the map image. Providing a virtual group riding image mapped with a live-action image to each participant terminal, and the relative position of each participant acquired based on the real-time riding status received from each participant terminal as the group riding proceeds. It provides a group riding support method including a riding progress step of providing a group riding image updated by reflecting in real time to each of the participant terminals.
여기서, 상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 단계와, 상기 이벤트의 발생에 기초하여 상기 각 참여자의 순간 포착 영상을 취합하여 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 단계를 더 포함한다.Here, when the real-time riding status is analyzed and a preset event condition is reached, transmitting an event occurrence message to each participant terminal and receiving an image captured at the moment when the real-time expression of each participant is captured from the respective participant terminals; And generating a group commemorative shot image by collecting the instantaneous capture images of each participant based on the occurrence of the event and combining them with a snapshot image of the riding course or a preset background image.
또한 여기서, 상기 이벤트는 상기 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 또는 미리 설정된 기념촬영 구간을 통과하는 순간을 포함하며, 상기 기념샷 영상은 상기 각 참여자의 순간 포착 영상을 상기 이벤트 조건에 따라 합성하여 생성되는 것을 특징으로 한다.In addition, here, the event includes a moment when the driving order between the participants is reversed, a moment when a new record appears in a specific section, or a moment passing through a preset commemorative photo section, and the commemorative shot image captures the moment of each participant It is characterized in that it is generated by synthesizing the image according to the event condition.
또한 여기서, 상기 이벤트가 주행 순서가 역전되는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 한다.In addition, if the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image including a caricature generated centering on the face expressions of the reversed participant and the reversed participant among the moment capture images of each participant, The facial expressions of each participant in the caricature are generated based on real facial expressions, and body motions or hand gestures other than facial expressions are selected from a picture or real image produced in advance.
또한 여기서, 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 한다.In addition, here, if the event is a moment when a false start occurs, the group commemorative shot image is an image including a caricature generated around the facial expression of the negative starter among the moment capture images of each participant, and each participant in the caricature The facial expressions of are created based on real facial expressions, and body movements and hand gestures other than facial expressions are selected from pre-made drawings or real images.
또한 여기서, 상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 라이딩 진행단계는 상기 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하는 것을 특징으로 한다. In addition, if the event is a moment when a false start occurs, the riding progress step is characterized in that the riding speed of the false starter is decelerate and recorded at a predetermined rate.
상기 다른 목적을 달성하기 위한 본 발명의 다른 측면은, 실내자전거와 연결되어 사용자의 라이딩 정보를 수신하는 단말에서 수행되는 증강 현실 기반의 그룹 라이딩 지원방법에 있어서, 서비스 서버로 그룹 라이딩 개설을 요청하거나 그룹 라이딩 초대를 수락하기 위한 환경을 구비하는 그룹 라이딩 준비단계와, 실내 자전거로부터 수신한 사용자의 실시간 라이딩 현황을 상기 서비스 서버로 전달하고 상기 서비스 서버로부터 수신한 실시간 그룹 라이딩 영상을 화면에 표시하기 위한 라이딩 상황 표시단계와, 상기 서비스 서버로부터 이벤트 발생 메시지를 수신하면 사용자의 실시간 표정이 포착된 영상을 획득하여 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 수신한 그룹 기념샷 영상을 수신하여 화면에 표시하는 증강현실 지원단계를 포함하는 증강 현실 기반의 그룹 라이딩 지원 방법을 제공한다.Another aspect of the present invention for achieving the above other object is, in an augmented reality-based group riding support method performed in a terminal connected to an indoor bicycle and receiving riding information of a user, requesting to open a group riding to a service server or A group riding preparation step having an environment for accepting the group riding invitation, and transmitting the real-time riding status of the user received from the indoor bicycle to the service server and displaying the real-time group riding image received from the service server on the screen. Riding status display step, and upon receiving an event occurrence message from the service server, an image of the user's real-time expression is acquired and transmitted to the service server, and a group commemorative shot image received from the service server is received and displayed on the screen. It provides an augmented reality-based group riding support method including an augmented reality support step.
상기와 같은 본 발명에 따른 라이딩 지원 시스템을 이용하면 사용자가 원하는 라이딩 코스를 선택하고 같이 라이딩하고 싶은 멤버를 초대하여 그룹 라이딩을 즐길 수 있고, 그룹 라이딩 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 또는 미리 설정된 기념촬영 구간을 통과하는 순간을 포착하여, 각 참여자의 순간 포착 영상을 중심으로 캐리커처를 생성된 기념샷을 단말을 통해 제공 받을 수 있는 효과가 있다. By using the riding support system according to the present invention as described above, the user can select a desired riding course and invite members who want to ride together to enjoy group riding, and at the moment when the driving order between group riding participants is reversed, in a specific section. There is an effect of being able to capture the moment when a new record is released or the moment passing through a pre-set commemorative photo section, and receive a commemorative shot created with a caricature centering on the moment captured image of each participant through the terminal.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 단말의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩의 진행상황을 단말의 화면에 표시한 예이다.
도 5는 본 발명의 일 실시예에 따른 부정출발 실격처리되는 상황을 단말의 화면에 표시한 예이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 참여자의 순간 포착 영상을 서버로 전달하는 예를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 진행중 이벤트 발생에 따라 생성된 기념샷 영상의 예이다.
도 8과 도 9는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버에서 수행되는 그룹라이딩 지원 방법의 순서도이다.1 is a conceptual diagram of a group riding support system based on an augmented reality according to an embodiment of the present invention.
2 is a block diagram of a group riding support service terminal based on an augmented reality according to an embodiment of the present invention.
3 is a block diagram of a group riding support service server based on an augmented reality according to an embodiment of the present invention.
4 is an example of displaying the progress of group riding based on augmented reality on a screen of a terminal according to an embodiment of the present invention.
5 is an example of displaying a situation in which a false start disqualification is processed on a screen of a terminal according to an embodiment of the present invention.
6 is a diagram illustrating an example of transmitting a momentary captured image of a group riding participant based on an augmented reality to a server according to an embodiment of the present invention.
7 is an example of a commemorative shot image generated according to an event occurrence during group riding based on an augmented reality according to an embodiment of the present invention.
8 and 9 are flowcharts of a group riding support method performed in an augmented reality-based group riding support service server according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 시스템의 개념도이다.1 is a conceptual diagram of a group riding support system based on an augmented reality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 시스템은 실내 자전거(10)에 연결된 적어도 하나의 단말(100)과 서비스 서버(200)로 구성될 수 있다.Referring to FIG. 1, a group riding support system based on an augmented reality according to an embodiment of the present invention may include at least one terminal 100 connected to an
또한, 도 1을 참조하면, 단말(100)은 서비스 서버(200)를 통해서 복수의 사용자 간의 그룹 라이딩에 참여하고, 실내 자전거(10)를 타는 사용자의 라이딩 현황을 수신하여 서비스 서버(200)로 전달하고, 서비스 서버(200)로부터 그룹 라이딩 영상을 수신하여 단말(100)의 화면에 표시함으로써, 그룹 라이딩 참여자 간에 영상을 보면서 라이딩 참여자 간의 순위나, 위치 정보, 속도 정보 등을 파악할 수 있다. 또한, 단말에 장착된 마이크와 스피커를 통해서 그룹 라이딩 진행 중에 사용자 간에 음성 채팅을 통해서 상호 라이딩 진행 전략을 공유하거나 대화를 나눌 수 있다. In addition, referring to FIG. 1, the terminal 100 participates in group riding among a plurality of users through the
서비스 서버(200)는 각 단말(100)의 요청에 따라서 그룹 라이딩을 개설하고, 그룹 라이딩 참여자 단말(100)에 라이딩 코스 정보 및 실사 지도 영상이 매핑된 가상의 라이딩 영상을 제공할 수 있다. 이때, 그룹 라이딩 개설을 요청하는 단말(100)은 라이딩 코스를 지정해서 요청할 수도 있고, 초대하고자 하는 사용자를 지정할 수 있다. 또는 그룹 라이딩 방이 개설되면 참여하고 싶은 참여자는 단말(100)을 통해서 그룹 라이딩 참여를 요청할 수도 있다.The
한편, 그룹 라이딩이 진행됨에 따라서 서비스 서버(200)는 각 참여자 단말(100)로부터 수신한 실시간 라이딩 현황(예를 들면, 라이딩 속도 및 시간을 반영한 라이딩 코스 상의 각 참여자의 위치, 참여자(10)의 실시간 영상 정보 등)을 수신하고, 이를 그룹 라이딩 현황에 반영하여 실시간 그룹 라이딩 영상을 각 참여자 단말(100)에 제공할 수 있다. Meanwhile, as the group riding proceeds, the
이하 본 발명의 일 실시예에 따른 단말의 구성을 좀 더 상세하게 설명한다. Hereinafter, the configuration of a terminal according to an embodiment of the present invention will be described in more detail.
도 2는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 단말의 블록도이다.2 is a block diagram of a group riding support service terminal based on an augmented reality according to an embodiment of the present invention.
도 2를 참조하면 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 단말(100)은 그룹 라이딩 준비부(110), 라이딩 상황 표현부(120) 및 증강 현실 지원부(130)를 포함하여 구성될 수 있다. 또한 단말(100)은 실내 자전거(10)에 고정된 디스플레이(140)를 포함하는 컴퓨팅 장치일 수 있고, 또는 실내 자전거(10)와 유무선을 통해 연결되어 사용자의 라이딩 현황 정보를 수신할 수 있는 독립된 컴퓨팅 장치일 수 있다. 단말(100)에는 디스플레이(140), 마이크, 스피커, 카메라, GPS, 유무선 통신장비 등이 구비될 수 있다. 2, the augmented reality-based group riding support service terminal 100 according to an embodiment of the present invention includes a group riding preparation unit 110, a riding situation expression unit 120, and an augmented reality support unit 130 It can be configured. In addition, the terminal 100 may be a computing device that includes a
이하, 도면을 참조하여, 단말(100)의 상세 구성을 설명한다.Hereinafter, a detailed configuration of the terminal 100 will be described with reference to the drawings.
그룹 라이딩 준비부(110)는 서비스 서버(200)로 그룹 라이딩 개설을 요청하거나 그룹 라이딩 초대를 수락하기 위한 환경을 구비할 수 있다.The group riding preparation unit 110 may have an environment for requesting the
라이딩 상황 표현부(120)는 실내 자전거(10)로부터 수신한 사용자의 실시간 라이딩 현황을 서비스 서버(200)로 전달하고 서비스 서버(200)로부터 수신한 실시간 그룹 라이딩 영상을 단말(100)의 화면에 표시할 수 있다.The riding situation expression unit 120 transmits the real-time riding status of the user received from the
증강 현실 지원부(130)는 서비스 서버(200)로부터 이벤트 발생 메시지를 수신하면 사용자의 실시간 표정이 포착된 영상을 획득하여 서비스 서버(200)로 전송할 수 있다. When receiving an event occurrence message from the
이때, 이벤트는 그룹 라이딩 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 미리 설정된 기념촬영 구간을 통과하는 순간, 또는 부정 출발이 발생하는 순간을 포함할 수 있으며, 서비스 서버(200)는 각 단말(100)의 그룹 라이딩 진행상황을 분석하여 이벤트가 발생하면 각 단말(100)에 통보할 수 있다.At this time, the event may include a moment when the driving sequence between group riding participants is reversed, a moment when a new record in a specific section appears, a moment when a preset commemorative photo section is passed, or a moment when an irregular departure occurs, and the service server ( 200) may analyze the group riding progress of each terminal 100 and notify each terminal 100 when an event occurs.
서버(200)로부터 이벤트 발생 메시지를 수신하면 단말(100)은 사용자의 실시간 영상을 획득하여 서버(200)로 전달할 수 있고, 서버(200)는 각 단말(100)로부터 수신한 영상을 취합하여 미리 정해진 형태로 가공하여 그룹 기녑샷 영상을 생성하고, 이를 각 단말(100)로 전송하면, 증강 현실 지원부(130)는 수신한 그룹 기념샷 영상을 화면에 표시할 수 있다. 또한, 부정출발이 발생하면 부정 출발자에게 일정한 패널티를 부여하여 이를 그룹 라이딩 진행상황에 반영할 수 있다.Upon receiving the event occurrence message from the
도 3은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버의 블록도이다.3 is a block diagram of a group riding support service server based on an augmented reality according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버(200)는 그룹 라이딩 환경 구성부(210), 그룹 라이딩 개시부(220), 그룹 라이딩 진행부(230), 이벤트 처리부(240) 및 AR 기념샷 생성부(250)를 포함하여 구성될 수 있다.3, a group riding
그룹 라이딩 환경 구성부(210)는 단말(100)로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 초대 멤버의 단말로 그룹 라이딩 참여를 요청할 수 있다. When the group riding environment configuration unit 210 receives a request to establish a riding course and a group riding designating an invite member from the terminal 100, the group riding environment configuration unit 210 may request the invite member's terminal to participate in group riding.
그룹 라이딩 개시부(220)는 참여 요청을 수락한 각 참여자 단말(100)로부터 각 참여자를 상징하는 라이더 아이콘을 획득하여, 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 지도 영상에 라이딩 코스의 실사 지도 영상을 매핑한 가상의 그룹 라이딩 영상을 각 참여자 단말(100)로 제공할 수 있다. 또한, 그룹 라이딩 개시를 알리는 메시지를 각 단말(100)로 보내고 각 단말은 소리 신호 및 화면 신호를 통해서 전 참여자가 동시에 출발할 수 있도록 할 수 있다. The group riding initiating unit 220 obtains a rider icon representing each participant from each participant terminal 100 that has accepted the participation request, places it on the map image of the starting point of the riding course, and displays the riding course on the map image. A virtual group riding image in which the map image is mapped may be provided to each participant terminal 100. In addition, a message indicating the start of group riding is sent to each terminal 100, and each terminal may enable all participants to start simultaneously through sound signals and screen signals.
이때, 참여자 중 일부가 먼저 출발하는 부정출발이 감지되면 경기를 중단하거나 미리 정해진 패널티를 부과하고 각 참여자 단말로 부정출발을 알리는 메시지를 통보할 수 있다. 패널티는 부정 출발자의 감속, 경기 탈락 등이 될 수 있다. At this time, when a false start is detected in which some of the participants first start, the game may be stopped or a predetermined penalty may be imposed, and a message notifying the false start may be notified to each participant's terminal. Penalties can be a slowdown of a false starter or drop out of the game.
그룹 라이딩 진행부(230)는 그룹 라이딩이 진행됨에 따라서 각 참여자 단말(100)로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 각 참여자의 상대적 위치를 그룹 라이딩 영상에 실시간으로 반영하고, 이를 각 참여자 단말(100)에 제공할 수 있다. The group riding progress unit 230 reflects the relative position of each participant acquired based on the real-time riding status received from each participant terminal 100 in real time on the group riding image as the group riding proceeds, and this is applied to each participant terminal. Can be provided to (100).
또한, 그룹 라이딩 진행부(230)는 부정 출발이 발생하면 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하고 이를 라이딩 영상에 반영할 수도 있다. 또는, 부정 출발자를 번외 경기자로 제외하고 기록을 산출할 수도 있다. In addition, when a false start occurs, the group riding progress unit 230 may decelerate and record the riding speed of the illegal starter by a predetermined ratio, and reflect this in the riding image. Alternatively, the record can be calculated by excluding the fraudulent starter as an off-road player.
이벤트 처리부(240)는 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 각 참여자 단말(100)에 이벤트가 발생했다는 메시지를 전송할 수 있다. 이때, 이벤트는, 예를 들면, 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 또는 미리 설정된 기념촬영 구간을 통과하는 순간이나 부정출발이 발생하는 순간 등을 포함할 수 있다. The event processing unit 240 may analyze real-time riding status and transmit a message indicating that an event has occurred to each participant terminal 100 when a preset event condition is reached. In this case, the event may include, for example, a moment when the driving order between participants is reversed, a moment when a new record appears in a specific section, a moment passing through a preset commemorative photo section, or a moment when a false start occurs. .
AR 기념샷 생성부(250)는 이벤트의 발생에 기초하여 참여자의 순간 포착 영상을 취합하고 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성할 수 있다. The AR commemorative shot generation unit 250 may generate a group commemorative shot image by collecting momentary captured images of the participant based on the occurrence of the event and synthesizing it with a snapshot image of a riding course or a preset background image.
즉, 예를 들면, 이벤트가 주행 순서가 역전되는 순간이라면, AR 기념샷 생성부(250)는 각 단말(100)에서 송신한 참여자의 순간 포착 영상 중 역전된 참여자와 역전한 참여자의 얼굴표정을 중심으로 캐리커처를 생성할 수 있다. 예를 들면, 각 참여자의 얼굴 표정은 실물샷을 기준으로 특징을 생성된 캐리커처일 수 있으며, 몸동작이나 손짓은 자전거를 타고 환호하는(예를 들면, 만세를 부르거나, 손뼉을 치거나, 또는 주먹질을 하는) 이미지일 수 있다. 이때, 몸동작이나 손짓은 사전에 제작된 그림(만화나 캐리커쳐 등)이나 사전에 취합된 베스트 포즈 영상 등에서 선정될 수 있다. That is, for example, if the event is a moment in which the driving sequence is reversed, the AR commemorative shot generation unit 250 may capture the reversed participant's and the reversed participant's facial expression among the participant's moment capture images transmitted from each terminal 100. You can create a caricature around the center. For example, each participant's facial expression may be a caricature created with a feature based on a real shot, and gestures or gestures are cheering on a bicycle (e.g., calling for a hurrah, clapping their hands, or punching It can be an image. At this time, the body movement or hand gesture may be selected from a picture (manga, caricature, etc.) produced in advance or a best pose image collected in advance.
이벤트가 부정 출발이 발생하는 순간이라면, 그룹 기념샷 영상은 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상일 수 있다. 또한, 부정 출발자 이외의 각 참여자 단말(100)로부터 음성을 획득하여 기념샷 영상에 추가할 수 있다. 예를 들면, 부정출발을 알리는 메시지를 받은 각 참여자들의 반응(예를 들면, 야유나 한숨 등)이 포함된 음성을 각 단말로부터 수신하여 부정 출발자에게 송신하는 기념샷 영상에 포함할 수 있다.If the event is a moment when a negative start occurs, the group commemorative shot image may be an image including a caricature generated around a facial expression of the negative starter among the moment capture images of each participant. In addition, voices may be acquired from each participant terminal 100 other than the fraudulent starter and added to the commemorative shot image. For example, a voice including a reaction (eg, booing or sighing) of each participant who received a message notifying of a false start may be received from each terminal and included in a commemorative shot image transmitted to the false starter.
또한, 그룹 라이딩 진행 중 특정 지점의 참가자의 얼굴 표정 또는 베스트 표정(예를 들면, 최대 속도 구간에서의 표정, 웃는 모습, 승리순간, 역전순간, 최대 스퍼트 순간의 모습 등)을 캡처하여 대응하는 주행 지점 및 사전 제작된 동작에 합성하는 베스트 샷 모드를 설정할 수도 있다. In addition, during group riding, the participants' facial expressions or best expressions (e.g., expressions in the maximum speed section, smiles, victory moments, reversal moments, maximum spurt moments, etc.) are captured and responded to. It is also possible to set the best shot mode to be combined with points and pre-made motions.
이하, 도면을 참조하여 본 발명의 일 실시예에 따른 그룹 라이딩 서비스 상황을 좀 더 상세하게 설명한다.Hereinafter, a group riding service situation according to an embodiment of the present invention will be described in more detail with reference to the drawings.
도 4는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩의 진행상황을 단말의 화면에 표시한 예이다.4 is an example of displaying the progress of group riding based on augmented reality on a screen of a terminal according to an embodiment of the present invention.
도 4를 참조하면, 그룹 라이딩이 개시되어 서비스 서버(200)가 참여 요청을 수락한 각 참여자 단말(100)로부터 획득한 라이더 아이콘(11)을 라이딩 코스의 출발 지점의 지도 영상(141)에 배치하고, 지도 영상에 라이딩 코스의 실사 영상(142)을 매핑한 가상의 그룹 라이딩 영상이 각 참여자 단말(100)에 제공되어 디스플레이(140)를 표시되어 있으며, 그룹 라이딩이 진행됨에 따라서 각 참여자 단말(100)로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 각 참여자의 상대적 위치가 그룹 라이딩 영상(140)에 실시간으로 반영될 수 있다.Referring to FIG. 4, the
도 5는 본 발명의 일 실시예에 따른 부정출발 실격처리되는 상황을 단말의 화면에 표시한 예이다.5 is an example of displaying a situation in which a false start disqualification is processed on a screen of a terminal according to an embodiment of the present invention.
도 5을 참조하면, 부정 출발이 발생하면 경기가 중단되고 부정출발 당사자와 해당 사실을 알리는 메시지를 각 단말로 전송할 수 있다. Referring to FIG. 5, when a false start occurs, the game is stopped, and a message indicating the fact with the fraudulent start party may be transmitted to each terminal.
도 6은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 참여자의 순간 포착 영상을 서버로 전달하는 예를 보여주는 도면이다. 6 is a diagram illustrating an example of transmitting a momentary captured image of a group riding participant based on an augmented reality to a server according to an embodiment of the present invention.
도 6을 참조하면, 서버(200)는 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건(예를 들면, 역전 순간)에 도달하면 각 참여자 단말(100)에 이벤트가 발생했다는 메시지를 전송하게 되고, 각 단말(100)은 각 참여자의 실시간 표정(20)을 카메라로 포착하여 서버(200)로 전송할 수 있다.6, when the
도 7은 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 진행중 이벤트 발생에 따라 생성된 기념샷 영상의 예이다.7 is an example of a commemorative shot image generated according to an event occurring during group riding based on an augmented reality according to an embodiment of the present invention.
도 7을 참조하면, 서버(200)가 각 단말(100)로부터 전송 받은 참여자의 실시간 표정(20), 즉 순간 포착 영상을 취합하고 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 생성된 그룹 기념샷 영상(30)의 예이다. Referring to FIG. 7, the
도 8과 도 9는 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버에서 수행되는 그룹라이딩 지원 방법의 순서도이다.8 and 9 are flowcharts of a group riding support method performed in an augmented reality-based group riding support service server according to an embodiment of the present invention.
도 8과 도 9를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기반의 그룹 라이딩 지원 서비스 서버에서 수행되는 그룹라이딩 지원 방법은 그룹 라이딩 환경 구성 단계(S110), 그룹 라이딩 개시 단계(S130), 그룹 라이딩 진행 단계(S150), 이벤트 처리 단계(S170), 기념샷 생성 단계(S180), 기념샷 전송 단계(S190)를 포함하여 구성될 수 있다.8 and 9, a group riding support method performed in an augmented reality-based group riding support service server according to an embodiment of the present invention includes a group riding environment configuration step (S110) and a group riding start step (S130). , Group riding progress step (S150), event processing step (S170), commemorative shot generation step (S180), it may be configured to include a commemorative shot transmission step (S190).
그룹 라이딩 환경 구성 단계(S110)는 실내 자전거에 연결된 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청할 수 있다.In the group riding environment configuration step (S110), upon receiving a request for establishing a riding course and a group riding designating an invite member from a terminal connected to an indoor bicycle, the invite member's terminal may request group riding participation.
그룹 라이딩 개시 단계(S130)에서는, 참여 요청을 수락한 각 참여자 단말로부터 각 참여자를 상징하는 라이더 아이콘을 획득하여, 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공할 수 있다.In the group riding start step (S130), a rider icon representing each participant is obtained from each participant terminal that has accepted the participation request, is placed on the map image of the starting point of the riding course, and a live image of the riding course is displayed on the map image. The mapped virtual group riding image may be provided to each participant terminal.
또한, 그룹 라이딩 개시를 알리는 메시지를 각 단말로 보내고 각 단말은 소리 신호 및 화면 신호를 통해서 전 참여자가 동시에 출발할 수 있도록 할 수 있다. In addition, a message notifying the start of group riding can be sent to each terminal, and each terminal can enable all participants to start at the same time through sound signals and screen signals.
이때, 참여자 중 일부가 먼저 출발하는 부정출발이 감지되면 경기를 중단하거나 미리 정해진 패널티를 부과하고 각 참여자 단말로 부정출발을 알리는 메시지를 통보할 수 있다. 패널티는 부정 출발자의 감속, 경기 탈락 등이 될 수 있다. At this time, when a false start is detected in which some of the participants first start, the game may be stopped or a predetermined penalty may be imposed, and a message notifying the false start may be notified to each participant's terminal. Penalties can be a slowdown of a false starter or drop out of the game.
그룹 라이딩 진행 단계(S150)는 그룹 라이딩이 진행됨에 따라서 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 각 참여자 단말에 제공할 수 있다. In the group riding progress step (S150), the group riding image updated by reflecting the relative position of each participant acquired in real time based on the real-time riding status received from each participant terminal as the group riding proceeds is provided to each participant terminal. I can.
또한, 부정 출발이 발생하면 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하고 이를 라이딩 영상에 반영할 수도 있다. 또는, 부정 출발자를 번외 경기자로 제외하고 기록을 산출할 수도 있다. In addition, when a false start occurs, the riding speed of the false starter is decelerated at a predetermined rate and recorded, and this may be reflected in the riding image. Alternatively, the record can be calculated by excluding the fraudulent starter as an off-road player.
이벤트 처리 단계(S170)는 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 각 참여자 단말에 이벤트 발생 메시지를 전송한 후에, 각 참여자 단말로부터 전송된 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신할 수 있다.The event processing step (S170) analyzes the real-time riding status and transmits an event occurrence message to each participant terminal when a preset event condition is reached, and then captures the instantaneous image captured by the real-time expression of each participant transmitted from each participant terminal. You can receive it.
기념샷 생성 단계(S180)는 이벤트의 발생에 기초하여 각 참여자의 순간 포착 영상을 취합하여 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하여 단말로 전송할 수 있다(S190).In the commemorative shot generation step S180, instantaneous capture images of each participant are collected based on the occurrence of the event, combined with a snapshot image of a riding course or a preset background image, and a group commemorative shot image may be generated and transmitted to the terminal ( S190).
예를 들면, 이벤트는 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 또는 미리 설정된 기념촬영 구간을 통과하는 순간, 부정출발이 발생하는 순간 등을 포함할 수 있으며, 기념샷 영상은 각 참여자의 순간 포착 영상을 이벤트 조건에 따라 합성하여 생성할 수 있다.For example, the event may include a moment when the driving order between participants is reversed, a moment when a new record is released in a specific section, a moment when passing through a preset commemorative photo section, a moment when a false start occurs, etc. The video can be generated by synthesizing the momentary capture video of each participant according to the event conditions.
또한, 이벤트가 주행 순서가 역전되는 순간이라면, 그룹 기념샷 영상은 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정될 수 있다.In addition, if the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image containing a caricature generated around the face expressions of the reversed participant and the reversed participant among the moment capture images of each participant, and each participant in the caricature The facial expressions of are created based on real facial expressions, and body movements or hand gestures other than facial expressions can be selected from pre-made drawings or real images.
예를 들면, 각 참여자의 얼굴 표정은 실물샷을 기준으로 특징을 생성된 캐리커처일 수 있으며, 몸동작이나 손짓은 자전거를 타고 환호하는(예를 들면, 만세를 부르거나, 손뼉을 치거나, 또는 주먹질을 하는) 이미지일 수 있다. 이때, 몸동작이나 손짓은 사전에 제작된 그림(만화나 캐리커쳐 등)이나 사전에 취합된 베스트 포즈 영상 등에서 선정될 수 있다.For example, each participant's facial expression may be a caricature created with a feature based on a real shot, and gestures or gestures are cheering on a bicycle (e.g., calling for a hurrah, clapping their hands, or punching It can be an image. At this time, the body movement or hand gesture may be selected from a picture (manga, caricature, etc.) produced in advance or a best pose image collected in advance.
이벤트가 부정 출발이 발생하는 순간이라면, 그룹 기념샷 영상은 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상일 수 있다. 또한, 부정 출발자 이외의 각 참여자 단말로부터 음성을 획득하여 기념샷 영상에 추가할 수 있다. 예를 들면, 부정출발을 알리는 메시지를 받은 각 참여자들의 반응(예를 들면, 야유나 한숨 등)이 포함된 음성을 각 단말로부터 수신하여 부정 출발자에게 송신하는 기념샷 영상에 포함할 수 있다.If the event is a moment when a negative start occurs, the group commemorative shot image may be an image including a caricature generated around a facial expression of the negative starter among the moment capture images of each participant. In addition, it is possible to acquire audio from each participant's terminal other than the illegal starter and add it to the commemorative shot image. For example, a voice including a reaction (eg, booing or sighing) of each participant who received a message notifying of a false start may be received from each terminal and included in a commemorative shot image transmitted to the false starter.
또한, 그룹 라이딩 진행 중 특정 지점의 참가자의 얼굴 표정 또는 베스트 표정(예를 들면, 최대 속도 구간에서의 표정, 웃는 모습, 승리순간, 역전순간, 최대 스퍼트 순간의 모습 등)을 캡처하여 대응하는 주행 지점 및 사전 제작된 동작에 합성하는 베스트 샷 모드를 설정할 수도 있다. In addition, during group riding, the participants' facial expressions or best expressions (e.g., expressions in the maximum speed section, smiles, victory moments, reversal moments, maximum spurt moments, etc.) are captured and responded to. It is also possible to set the best shot mode to be combined with points and pre-made motions.
상기와 같은 본 발명에 따른 라이딩 지원 시스템을 이용하면 사용자가 원하는 라이딩 코스를 선택하고 같이 라이딩하고 싶은 멤버를 초대하여 그룹 라이딩을 즐길 수 있고, 그룹 라이딩 참여자 간의 주행 순서가 역전되는 순간, 특정 구간에서의 신기록이 나오는 순간, 또는 미리 설정된 기념촬영 구간을 통과하는 순간을 포착하여, 각 참여자의 순간 포착 영상을 중심으로 캐리커처를 생성된 기념샷을 단말을 통해 제공 받을 수 있는 효과가 있다. By using the riding support system according to the present invention as described above, the user can select a desired riding course and invite members who want to ride together to enjoy group riding, and at the moment when the driving order between group riding participants is reversed, in a specific section. There is an effect of being able to capture the moment when a new record is released or the moment passing through a pre-set commemorative photo section, and receive a commemorative shot created with a caricature centering on the moment captured image of each participant through the terminal.
한편, 본 발명의 일 실시예에 따른 장치는 사용자 단말에서 구동하는 어플리케이션의 형태로 구비될 수 있다. 이때, 사용자 단말은 스마트폰, 태블릿 PC, 랩톱 컴퓨터, 데스크톱 컴퓨터, PDA 등을 포함하는 다양한 컴퓨팅 장치를 포함할 수 있다.Meanwhile, the device according to an embodiment of the present invention may be provided in the form of an application driven by a user terminal. In this case, the user terminal may include various computing devices including a smart phone, a tablet PC, a laptop computer, a desktop computer, and a PDA.
한편, 앞에서 설명한 본 발명의 방법은 컴퓨터에서 실행될 수 있도록 프로그램 코드로 제작되어 컴퓨터로 읽을 수 있는 매체에 저장될 수 있고, 또한, 본 발명의 방법을 실행하는 프로그램이 어플리케이션으로 제작되어 기록매체에 저장될 수 있다. 기록매체란 컴퓨터, 모바일 단말, 서버 등의 하드디스크, 메모리, 보조 메모리, 컴팩트 디스크 등 이동 가능한 저장 매체 등을 포함할 수 있다.Meanwhile, the method of the present invention described above can be produced as a program code to be executed on a computer and stored in a computer-readable medium, and a program for executing the method of the present invention is produced as an application and stored in a recording medium. Can be. The recording medium may include a computer, a mobile terminal, a hard disk such as a server, a memory, an auxiliary memory, a movable storage medium such as a compact disk, and the like.
또한, 지금까지 설명한 본 발명의 방법 및 장치는 실제로 컴퓨터 프로그램에 의해 구현될 수 있고, 컴퓨터에서 실행될 때 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함하며, ROM, RAM, CD, DVD-ROM, 자기테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송되는 형태로 구현되는 것도 포함될 수 있다. 즉, 이와 같은 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Further, the method and apparatus of the present invention described so far can be implemented by a computer program in practice, and can be stored in a computer-readable recording medium when executed in a computer. Computer-readable recording media include all types of recording media in which programs and data are stored so that they can be read by a computer system, including ROM, RAM, CD, DVD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, it may also be implemented in a form transmitted through the Internet. That is, such a medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored and executed in a distributed manner.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.
Claims (20)
상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 그룹 라이딩 개시부와
상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 실시간 그룹 라이딩 진행부와,
상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 이벤트 처리부와,
상기 이벤트의 발생에 기초하여 상기 참여자의 순간 포착 영상을 취합하고 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 AR 기념샷 생성부를 더 포함하되,
상기 이벤트가 주행 순서가 역전되는 순간이라면 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 서비스 서버.A group riding environment configuration unit for requesting group riding participation to the terminal of the invited member when receiving a request for establishing a group ride specifying a riding course and an invite member from a terminal connected to the indoor bicycle;
A virtual group obtained by acquiring a rider icon representing each participant from each participant terminal that has accepted the participation request, placing it on a map image of the starting point of the riding course, and mapping a live image of the riding course to the map image A group riding starter that provides a riding video to each participant's terminal;
As the group riding proceeds, a group riding image updated by reflecting the relative position of each participant acquired in real time based on the real-time riding status received from each participant terminal is provided to each participant terminal. Wealth,
An event processing unit that analyzes the real-time riding status and when a preset event condition is reached, transmits an event occurrence message to each participant terminal, and receives an image captured at the moment when the real-time expression of each participant is captured from the respective participant terminals;
Further comprising an AR commemorative shot generating unit for generating a group commemorative shot image by collecting the instantaneous capture images of the participants based on the occurrence of the event and synthesizing them with a snapshot image or a preset background image of the riding course,
If the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image including a caricature generated around the face expressions of the reversed participant and the reversed participant among the moment capture images of each participant. An augmented reality-based group riding support service server, characterized in that facial expressions of participants are generated based on real facial expressions, and body motions and hand gestures other than facial expressions are selected from pre-made drawings or real images.
상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 그룹 라이딩 개시부와
상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 실시간 그룹 라이딩 진행부와,
상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 이벤트 처리부와,
상기 이벤트의 발생에 기초하여 상기 참여자의 순간 포착 영상을 취합하고 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 AR 기념샷 생성부를 더 포함하되,
상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 서비스 서버.A group riding environment configuration unit for requesting group riding participation to the terminal of the invited member when receiving a request for establishing a group ride specifying a riding course and an invite member from a terminal connected to the indoor bicycle;
A virtual group obtained by acquiring a rider icon representing each participant from each participant terminal that has accepted the participation request, placing it on a map image of the starting point of the riding course, and mapping a live image of the riding course to the map image A group riding starter that provides a riding video to each participant's terminal;
As the group riding proceeds, a group riding image updated by reflecting the relative position of each participant acquired in real time based on the real-time riding status received from each participant terminal is provided to each participant terminal. Wealth,
An event processing unit that analyzes the real-time riding status and when a preset event condition is reached, transmits an event occurrence message to each participant terminal, and receives an image captured at the moment when the real-time expression of each participant is captured from the respective participant terminals;
Further comprising an AR commemorative shot generating unit for generating a group commemorative shot image by collecting the instantaneous capture images of the participants based on the occurrence of the event and synthesizing them with a snapshot image or a preset background image of the riding course,
If the event is a moment when a false start occurs, the group commemorative shot image is an image including a caricature generated centering on the facial expression of the negative starter among the moment capture images of each participant, and the facial expression of each participant in the caricature Is generated based on real facial expressions, and body motions and hand gestures other than facial expressions are selected from pre-made drawings or real images.
상기 그룹 라이딩 진행부는 상기 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 서비스 서버.The method of claim 12, wherein if the event is a moment when a false start occurs,
The group riding support service server based on an augmented reality, characterized in that the group riding progress unit decelerates and records the riding speed of the illegal starter by a predetermined ratio.
실내 자전거에 연결된 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청하는 단계와,
상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 단계와,
상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 라이딩 진행 단계와,
상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 단계와,
상기 이벤트의 발생에 기초하여 상기 각 참여자의 순간 포착 영상을 취합하여 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 단계를 포함하되,
상기 이벤트가 주행 순서가 역전되는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 역전한 참여자와 역전된 참여자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며,
상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 방법.In the group riding support method performed in the service server,
When receiving a request to open a group riding specifying a riding course and an invite member from a terminal connected to the indoor bicycle, requesting to participate in the group riding to the terminal of the invite member;
A virtual group obtained by acquiring a rider icon representing each participant from each participant terminal that has accepted the participation request, placing it on a map image of the starting point of the riding course, and mapping a live image of the riding course to the map image Providing a riding video to each participant terminal,
A riding proceeding step of providing each participant terminal with a group riding image updated by reflecting in real time the relative positions of each participant acquired based on the real-time riding status received from each participant terminal as the group riding proceeds; and ,
Analyzing the real-time riding status and when reaching a preset event condition, transmitting an event occurrence message to each participant terminal and receiving a moment-captured image of each participant's real-time expression from the respective participant terminals; and
Comprising the step of generating a group commemorative shot image by collecting the instantaneous capture images of each participant based on the occurrence of the event and combining them with a snapshot image or a preset background image of the riding course,
If the event is a moment in which the driving sequence is reversed, the group commemorative shot image is an image including a caricature generated around the face expressions of the reversed participant and the reversed participant among the momentary capture images of each participant,
The facial expressions of each participant in the caricature are generated based on real facial expressions, and body motions or hand gestures other than facial expressions are selected from pre-made drawings or real images.
실내 자전거에 연결된 단말로부터 라이딩 코스와 초대 멤버를 지정한 그룹 라이딩 개설 요청을 수신하면, 상기 초대 멤버의 단말로 그룹 라이딩 참여를 요청하는 단계와,
상기 참여 요청을 수락한 각 참여자 단말로부터 상기 각 참여자를 상징하는 라이더 아이콘을 획득하여, 상기 라이딩 코스의 출발 지점의 지도 영상에 배치하고, 상기 지도 영상에 라이딩 코스의 실사 영상을 매핑한 가상의 그룹 라이딩 영상을 상기 각 참여자 단말로 제공하는 단계와,
상기 그룹 라이딩이 진행됨에 따라서 상기 각 참여자 단말로부터 수신한 실시간 라이딩 현황에 기초하여 획득한 상기 각 참여자의 상대적 위치를 실시간으로 반영하여 갱신한 그룹 라이딩 영상을 상기 각 참여자 단말에 제공하는 라이딩 진행 단계와,
상기 실시간 라이딩 현황을 분석하여 미리 설정된 이벤트 조건에 도달하면 상기 각 참여자 단말에 이벤트 발생 메시지를 전송하고 상기 각 참여자 단말로부터 상기 각 참여자의 실시간 표정이 포착된 순간 포착 영상을 수신하는 단계와,
상기 이벤트의 발생에 기초하여 상기 각 참여자의 순간 포착 영상을 취합하여 상기 라이딩 코스의 스냅샷 영상이나 미리 설정된 배경영상에 합성하여 그룹 기념샷 영상을 생성하는 단계를 포함하되,
상기 이벤트가 부정 출발이 발생하는 순간이라면, 상기 그룹 기념샷 영상은 상기 각 참여자의 순간 포착 영상 중 부정 출발자의 얼굴 표정을 중심으로 생성된 캐리커처를 포함하는 영상이며, 상기 캐리커처 내의 각 참여자의 얼굴 표정은 실물 얼굴 표정을 기초로 생성되고, 얼굴 표정 이외의 몸동작이나 손짓은 사전에 제작된 그림이나 실물 이미지에서 선정되는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 방법.In the group riding support method performed in the service server,
When receiving a request to open a group riding specifying a riding course and an invite member from a terminal connected to the indoor bicycle, requesting to participate in the group riding to the terminal of the invite member;
A virtual group obtained by acquiring a rider icon representing each participant from each participant terminal that has accepted the participation request, placing it on a map image of the starting point of the riding course, and mapping a live image of the riding course to the map image Providing a riding video to each participant terminal,
A riding proceeding step of providing each participant terminal with a group riding image updated by reflecting in real time the relative positions of each participant acquired based on the real-time riding status received from each participant terminal as the group riding proceeds; and ,
Analyzing the real-time riding status and when reaching a preset event condition, transmitting an event occurrence message to each participant terminal and receiving a moment-captured image of each participant's real-time expression from the respective participant terminals; and
Comprising the step of generating a group commemorative shot image by collecting the instantaneous capture images of each participant based on the occurrence of the event and combining them with a snapshot image or a preset background image of the riding course,
If the event is a moment when a false start occurs, the group commemorative shot image is an image including a caricature generated centering on the facial expression of the negative starter among the moment capture images of each participant, and the facial expression of each participant in the caricature Is generated based on real facial expressions, and body motions and hand gestures other than facial expressions are selected from pre-made drawings or real images.
상기 라이딩 진행단계는 상기 부정 출발자의 라이딩 속도를 미리 정해진 비율로 감속하여 기록하는 것을 특징으로 하는 증강 현실 기반의 그룹 라이딩 지원 방법.The method of claim 18, wherein if the event is a moment when a false start occurs,
The riding progress step is an augmented reality-based group riding support method, characterized in that the recording by decelerating the riding speed of the illegal starter by a predetermined ratio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151866A KR102234066B1 (en) | 2019-11-25 | 2019-11-25 | System for supporting riding in a group based on augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151866A KR102234066B1 (en) | 2019-11-25 | 2019-11-25 | System for supporting riding in a group based on augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102234066B1 true KR102234066B1 (en) | 2021-03-30 |
Family
ID=75264823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151866A KR102234066B1 (en) | 2019-11-25 | 2019-11-25 | System for supporting riding in a group based on augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102234066B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278523A (en) * | 2022-07-23 | 2022-11-01 | 深圳哲轮科技有限公司 | Bicycle and vehicle interconnection team forming method, device and equipment and readable storage medium |
| KR20240124024A (en) | 2023-02-08 | 2024-08-16 | 주식회사 맥스트 | Route generation method using augmented reality contents |
| KR20240126182A (en) | 2023-02-13 | 2024-08-20 | 주식회사 맥스트 | Reward providing method for augmented reality contents disposed on route |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150113230A (en) * | 2014-03-27 | 2015-10-08 | 중앙대학교 산학협력단 | Game method and system using bicycle holder and smart device |
-
2019
- 2019-11-25 KR KR1020190151866A patent/KR102234066B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150113230A (en) * | 2014-03-27 | 2015-10-08 | 중앙대학교 산학협력단 | Game method and system using bicycle holder and smart device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278523A (en) * | 2022-07-23 | 2022-11-01 | 深圳哲轮科技有限公司 | Bicycle and vehicle interconnection team forming method, device and equipment and readable storage medium |
| KR20240124024A (en) | 2023-02-08 | 2024-08-16 | 주식회사 맥스트 | Route generation method using augmented reality contents |
| KR20240126182A (en) | 2023-02-13 | 2024-08-20 | 주식회사 맥스트 | Reward providing method for augmented reality contents disposed on route |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10039988B2 (en) | Persistent customized social media environment | |
| CN106237614B (en) | Capturing asynchronous commentary on prerecorded gameplay | |
| CN107029429B (en) | System, method, and readable medium for implementing time-shifting tutoring for cloud gaming systems | |
| KR100854253B1 (en) | Communication method and apparatus including rich media tools | |
| JP6101973B2 (en) | Voice link system | |
| KR102234066B1 (en) | System for supporting riding in a group based on augmented reality | |
| CN112717423B (en) | Live broadcast method, device, equipment and storage medium for game match | |
| JPWO2014192457A1 (en) | Client device, control method, system, and program | |
| CN113382274B (en) | Data processing method and device, electronic equipment and storage medium | |
| CN111294606B (en) | Live broadcast processing method and device, live broadcast client and medium | |
| KR20150105058A (en) | Mixed reality type virtual performance system using online | |
| CN108322474B (en) | Virtual reality system based on shared desktop, related device and method | |
| EP4054180A1 (en) | Integrated input/output (i/o) for a three-dimensional (3d) environment | |
| CN114845081A (en) | Information processing apparatus, recording medium, and information processing method | |
| CN109788364B (en) | Video call interaction method and device and electronic equipment | |
| CN106686463A (en) | Video role replacing method and apparatus | |
| CN110366023B (en) | Live broadcast interaction method, device, medium and electronic equipment | |
| CN110336957B (en) | Video production method, device, medium and electronic equipment | |
| CN114430494B (en) | Interface display method, device, equipment and storage medium | |
| TW201917556A (en) | Multi-screen interaction method and apparatus, and electronic device | |
| CN109819341A (en) | Video broadcasting method, calculates equipment and storage medium at device | |
| CN109729367A (en) | The method, apparatus and electronic equipment of live media content information are provided | |
| KR20200028830A (en) | Real-time computer graphics video broadcasting service system | |
| JP6385543B1 (en) | Server apparatus, distribution system, distribution method, and program | |
| WO2022201944A1 (en) | Distribution system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |