RU2703341C1

RU2703341C1 - Method for determining hazardous conditions on public roads based on monitoring the situation in the cabin of a vehicle

Info

Publication number: RU2703341C1
Application number: RU2018144695A
Authority: RU
Inventors: Игорь Борисович Лашков; Алексей Михайлович Кашевник; Александр Викторович Смирнов
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2019-10-16

Abstract

FIELD: security systems.

SUBSTANCE: invention relates to vehicle safety systems. Method for determination of dangerous conditions on public roads based on monitoring of situation in vehicle cabin. Detecting image areas containing face, eyes and boundaries of pupil motion area, determining frequency and direction of eye movement, frequency of blinking, duration of time when eyes are closed. Driver state parameters are compared with reference states for sleep state and sleep state and decision is made on signaling to driver. Recommendations are generated on the basis of certain dangerous condition and context of driver, and then decision is made on necessity of signaling to driver. That is followed by storing statistics and generating a report for interested persons, identifying driver behavior patterns, calibrating algorithms for recognizing hazardous situations for operation with a particular driver and detecting driver preferences to form personalized recommendations.

EFFECT: higher safety of vehicle operation.

1 cl, 6 dwg

Description

Изобретение относится к технике мониторинга ситуации в кабине транспортного средства и касается определения опасных состояний на дорогах общего пользования.The invention relates to techniques for monitoring the situation in the cab and relates to the determination of dangerous conditions on public roads.

Для понимания сущности изобретения введем ряд определений.To understand the essence of the invention, we introduce a number of definitions.

Опасная ситуация – ситуация, с которой водитель может столкнуться во время управления транспортным средством, возникновение которой может привести к наступлению опасного состояния (усталости или ослабленного внимания водителя).Dangerous situation - a situation that the driver may encounter while driving, the occurrence of which may lead to the onset of a dangerous condition (fatigue or impaired attention of the driver).

Опасное состояние – состояние, при котором дальнейшее управление транспортным средством может привести к аварийной ситуации. Опасное состояние определяется при возникновении нескольких опасных ситуаций в течение некоторого времени.Dangerous condition - a condition in which further driving can lead to an emergency. A hazardous condition is determined when several dangerous situations occur for some time.

Паттерн поведения водителя – шаблон действий водителя для некоторой ситуации, описывающий успешность, последовательность и время выполнения тех или иных его маневров в момент времени, определённый на основе характеристик управления транспортным средством с использованием сенсорных данных смартфона и информации о профиле водителя.A driver’s behavior pattern is a pattern of driver’s actions for a certain situation that describes the success, sequence and time of performing one or another of his maneuvers at a time instant, determined on the basis of the characteristics of driving a vehicle using the touch data of a smartphone and information about the driver’s profile.

Контекст водителя – совокупность информации о водителе, характеризующая текущую ситуацию, в которой он находится, и изменяющаяся в течение времени.A driver’s context is a collection of information about a driver characterizing the current situation in which he is in, and changing over time.

Известен способ предупреждения о съезде с полосы движения на основе распознавания изображений [Патент WO2013151266 A1 США, Y. Park, Method and system for lane departure warning based on image recognition; опубл. 10.10.2013], описывающий процедуру предупреждения водителя о сходе с полосы движения на основе обработки изображений при помощи монокамеры, установленной внутри автомобиля. Отличительной особенностью способа является то, что он успешно обрабатывает ряд дорожных условий, включая такие нежелательные ситуации, такие как изменяющаяся ширина дорожной полосы, радиус ее кривой, направление дороги и полное отсутствие дорожного покрытия.There is a method of warning about the exit from the lane based on image recognition [Patent WO2013151266 A1 USA, Y. Park, Method and system for lane departure warning based on image recognition; publ. 10.10.2013], which describes the procedure for warning the driver about getting off the lane based on image processing using a monocamera installed inside the car. A distinctive feature of the method is that it successfully processes a number of road conditions, including such undesirable situations, such as the changing width of the road lane, the radius of its curve, the direction of the road and the complete absence of road surface.

Известен способ [Патент US7363140 B2 США, F. Ewerhart, C. Guenther, T. Wittig, Lane changing assistant for motor vehicles; опубл. 22.04.2008.], помогающий водителю предотвратить случайное изменение выбранной полосы движения при обгоне другим транспортным средством в соседней полосе движения путем измерения оптимального безопасного временного промежутка, необходимого для перестроения в другую полосу движения. Задействуя сенсорную систему определения местонахождения транспортных средств в соседних полосах направленного движения сзади автомобиля, специализированный модуль принимает решение о том, движется ли транспортное средство, расположенное сзади, непосредственно на соседней полосе в таком же направлении.A known method [US Patent US7363140 B2, F. Ewerhart, C. Guenther, T. Wittig, Lane changing assistant for motor vehicles; publ. 04/22/2008.], Which helps the driver to prevent an accidental change in the selected lane when overtaking by another vehicle in an adjacent lane by measuring the optimal safe time period necessary to change lanes. Using the sensor system for determining the location of vehicles in adjacent lanes of directional movement behind the car, a specialized module decides whether a vehicle located behind is moving directly on the adjacent lane in the same direction.

Известна система автоматического управления [Патент US8700251B1 США, J. Zhu, D. I. Ferguson, D. A. Dolgov, System and method for automatically detecting key behaviors by vehicles; опубл. 15.04.2014.], использующая информацию от сервиса Google Street View, видеокамеры кругового обзора при работе в дневное и вечернее время суток, установленные на крыше автомобиля и датчики LIDAR, работающие в условиях разной освещенности, и радары в передней и задней части авто, осуществляющие мониторинг скорости движения других транспортных средств в любых погодных условиях. Данный набор из различных сенсоров функционирует незаметно для водителя и создает 3D сцену окружающей обстановки во время движения, фиксируя динамические и статические объекты включая пешеходов, велосипедистов, другие транспортные средства, светофоры и другие дорожные объекты. Также, имеются дополнительные сенсоры, включающий датчик распознавания звуковых сигналов для обнаружения автомобилей экстренных служб (полиции, скорой помощи, т.п.) и датчик спутниковой навигации GPS, показывающий текущее местоположение транспортного средства. Данные, считываемые при помощи датчиков, расположенных на борту автомобиля, передаются процессору ТС с целью анализа текущей ситуации путем распознавания и классификации дорожных объектов и определения их текущего состояния (скорость, ускорение, направление движения).Known Automatic Control System [US Patent US8700251B1, J. Zhu, D. I. Ferguson, D. A. Dolgov, System and method for automatically detecting key behaviors by vehicles; publ. 04/15/2014.], Using information from the Google Street View service, day-and-night surveillance cameras installed on the car roof and LIDAR sensors operating in different lighting conditions, and radars in the front and rear of the car, monitoring the speed of other vehicles in all weather conditions. This set of various sensors functions imperceptibly for the driver and creates a 3D scene of the environment while driving, capturing dynamic and static objects including pedestrians, cyclists, other vehicles, traffic lights and other road objects. There are also additional sensors, including a sound recognition sensor for detecting emergency vehicles (police, ambulances, etc.) and a GPS satellite navigation sensor that shows the current location of the vehicle. Data read by sensors located on board the vehicle is transmitted to the vehicle processor in order to analyze the current situation by recognizing and classifying road objects and determining their current state (speed, acceleration, direction of travel).

Известна система слежения за взглядом водителя [Патент US20150309566A1 США, V. Hampiholi, S. Belur, Gaze tracking system; опубл. 29.10.2015.], включающая в себя контроллер, соединяющий пользовательский интерфейс и камеру. Учитывая направление движения глаз водителя с течением времени, контролер способен определять степень его вовлеченности в информацию, отображаемую в пользовательском интерфейсе. Определение направления взгляда помогает определить степень сонливости водителя внутри кабины ТС. Различные внешние факторы часто способствуют неверному восприятию водителем маршрута движения.A known system for tracking the gaze of the driver [US Patent US20150309566A1, V. Hampiholi, S. Belur, Gaze tracking system; publ. 10.29.2015.], Which includes a controller that connects the user interface and the camera. Given the direction of movement of the driver’s eyes over time, the controller is able to determine the degree of his involvement in the information displayed in the user interface. Determining the direction of gaze helps determine the degree of drowsiness of the driver inside the vehicle cab. Various external factors often contribute to incorrect driver perception of the driving route.

Известен способ мониторинга транспортных средств в периферийных зонах» [Патент US9025819 B2 США, K. Sung, J. Lee, J. An, Apparatus and method for tracking the position of a peripheral vehicle; опубл. 05.05.2015.], заключающийся в отслеживании расположения транспортных средств сзади при помощи одной или нескольких камер, установленных в автомобиле при помощи устройства, состоящего из процессора, памяти и контроллера захвата изображений. Способ позволяет идентифицировать и осуществляет мониторинг транспортных средств, которые находятся рядом и в особенности в мертвой зоне с автомобилем водителя. A known method of monitoring vehicles in peripheral areas "[US Patent US9025819 B2, K. Sung, J. Lee, J. An, Apparatus and method for tracking the position of a peripheral vehicle; publ. 05/05/2015.], Which consists in tracking the location of vehicles behind using one or more cameras installed in the car using a device consisting of a processor, memory and image capture controller. The method allows to identify and monitor vehicles that are nearby and especially in the dead zone with the driver’s car.

Известен способ слежения за управлением транспортным средством на основе степени усталости водителя [Патент US 9457814 B2 США, S. Kim, S. Park, Apparatus and method for controlling driving of vehicle based on driver's fatigue; опубл. 04.10.2016.], учитывает биологическую информацию (уровень глюкозы в крови, артериальное давление) о водителе, состояние окружающей обстановки (погодные условия, состояние дорожного полотна) и сведения о маршруте (желаемый маршрут из начальной точки в конечный пункт). Способ включает в себя следующую последовательность действий: разделение маршрута, по которому прошел автомобиль, на множество участков и вычисление степени усталости водителя на основе его биологической информации на каждом участке движения; корректирование степени усталости на основе информации о дорожных условиях; расчет степени усталости при построении желаемого маршрута с использованием скорректированного индекса усталости и компенсационного коэффициента на основе предполагаемого индекса усталости; расчет итогового значения функции задачи с использованием компенсационного коэффициента. A known method of tracking vehicle control based on the degree of driver fatigue [US Patent US 9457814 B2, S. Kim, S. Park, Apparatus and method for controlling driving of vehicle based on driver's fatigue; publ. 10/04/2016.], Takes into account the biological information (blood glucose, blood pressure) about the driver, the state of the environment (weather conditions, the condition of the roadway) and route information (the desired route from the starting point to the final point). The method includes the following sequence of actions: dividing the route along which the car passed into many sections and calculating the degree of fatigue of the driver based on his biological information in each section of the movement; fatigue correction based on information about road conditions; calculating the degree of fatigue when constructing the desired route using the adjusted fatigue index and a compensation factor based on the estimated fatigue index; calculation of the total value of the task function using the compensation coefficient.

Известна система мониторинга и предупреждения о наступлении состояния сонливости водителя [Патент US7138922 B2 США, G. Strumolo, S. Ryan, Drowsy driver monitoring and prevention system; опубл. 21.11.2006.], предназначенная для использования в легковых автомобилях, внедорожниках, микроавтобусах и грузовых автомобилях. Система соединяет оператора диспетчерского центра поддержки и транспортное средство (ТС), тем самым передавая водителю различную информацию. Данная система распознавания сонливости водителя, установленная внутри ТС, состоит из следующих компонентов: датчик определения сонливости, включающий в себя камеру, направленную на водителя в кабине ТС и дорожную обстановку и детектор дыхания, регистрирующий сигналы дыхания водителя; система передачи информации, использующейся для обмена сообщениями между водителем и удаленным центром при помощи микрофона и динамика; блок управления, соединенный с датчиком уровня сонливости водителя, системой передачи информации, навигационной системой автомобиля с подключенным датчиком перемещения. Камера осуществляет мониторинг физиологического состояния водителя (например, частота моргания век, движения головой), и в то же время дорожной обстановки (например, контроль рядности движения) на основе получаемого изображения. Система распознавания сонливости водителя может включать в себя различные типы сенсоров или их комбинации, используемых для определения наступления состояния сонливости водителя и генерирования соответствующего сигнала. При обнаружении блоком управления признаков сонливости у водителя устройством передачи информации сигнал отсылается служебному центру связи, который в свою очередь генерирует и передает сообщение водителю. Данный сигнал автоматически воспроизводится водителю через динамики связи ТС с целью предупредить его об опасности и направить на выезд с автомагистрали, в ближайшее кафе или ресторан, или в другое место отдыха. A known system for monitoring and warning of the onset of driver drowsiness [US Patent US7138922 B2, G. Strumolo, S. Ryan, Drowsy driver monitoring and prevention system; publ. 11/21/2006.], Intended for use in cars, SUVs, vans and trucks. The system connects the operator of the support dispatch center and the vehicle (TS), thereby transmitting various information to the driver. This driver drowsiness recognition system, installed inside the vehicle, consists of the following components: a drowsiness detection sensor, which includes a camera aimed at the driver in the vehicle cabin and road conditions and a breathing detector that records the driver’s breathing signals; information transfer system used for messaging between the driver and the remote center using a microphone and speaker; a control unit connected to a driver’s drowsiness level sensor, an information transmission system, a car navigation system with a motion sensor connected. The camera monitors the physiological state of the driver (for example, the frequency of blinking of the eyelids, head movements), and at the same time, the traffic situation (for example, control of the lane of movement) based on the received image. The driver drowsiness recognition system may include various types of sensors, or combinations thereof, used to determine if the driver is drowsy and generate an appropriate signal. When the control unit detects signs of drowsiness in the driver by the information transfer device, the signal is sent to the service communication center, which in turn generates and transmits a message to the driver. This signal is automatically reproduced to the driver through the communication speakers of the vehicle in order to warn him of the danger and send it to the exit from the highway, to the nearest cafe or restaurant, or to another place of rest.

Известен способ заблаговременного предупреждению водителя о столкновении транспортного средства с препятствием [Патент US9121944 B2 США, J. Manotas, Mid-infrared vehicle early warning system; опубл. 01.09.2015], включающий следующие три компонента. Прежде всего, данный подход задействует лазер среднего инфракрасного диапазона, излучающий волны длиной 3-5 мкм и позволяющий отслеживать препятствия на расстоянии до двух км впереди транспортного средства. Во-вторых, фазовый сопряженный объектив используется для ортогонального направления части энергии лазера, которая отражается препятствием на устройстве или сенсоре захвата изображения внутри транспортного средства. Третьим устройством является графический дисплей, отвечающий за вывод информации водителю об обнаруженных препятствиях впереди транспортного средства. There is a method of pre-warning the driver about a collision of a vehicle with an obstacle [US Patent US9121944 B2, J. Manotas, Mid-infrared vehicle early warning system; publ. 09/01/2015], which includes the following three components. First of all, this approach involves a mid-infrared laser that emits 3-5 microns in wavelength and allows you to track obstacles up to two kilometers in front of the vehicle. Secondly, a phase conjugate lens is used to orthogonally direct a portion of the laser energy, which is reflected by an obstacle on the image pickup device or sensor inside the vehicle. The third device is a graphic display, which is responsible for the output of information to the driver about detected obstacles in front of the vehicle.

Известен способ обнаружения низкого уровня концентрации внимания или признаков засыпания согласно патенту [Патент US8063786 B2 США, J. Manotas, Method of detecting drowsiness of a vehicle operator; опубл. 22.11.2011], учитывающий состояние водителя при помощи последовательности изображений водителя на основе такой характеристики, как отклонение головы от вертикального положения к горизонтальной плоскости плеча водителя. При обнаружении наступления небезопасной ситуации водитель будет оповещен при помощи звукового сигнала. Алгоритм выделения границ на изображении используется для поиска и определения хотя бы одного из признаков сонливости, таких как угол отклонения головы водителя от вертикального положения или частота или длительность закрытия век водителя. A known method of detecting a low level of concentration of attention or signs of falling asleep according to the patent [US Patent US8063786 B2, J. Manotas, Method of detecting drowsiness of a vehicle operator; publ. 11.22.2011], taking into account the driver’s condition using a sequence of driver images based on such characteristics as the deviation of the head from a vertical position to the horizontal plane of the driver’s shoulder. If an unsafe situation is detected, the driver will be notified by a sound signal. The algorithm for extracting borders on the image is used to search and determine at least one of the signs of drowsiness, such as the angle of deviation of the driver’s head from a vertical position or the frequency or duration of closing the driver’s eyelids.

Известен способ обнаружения вождения в состоянии усталости [Патент RU2519964C2; опубл. 20.06.2014] заключающийся в том, что анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака. Получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце. Соединяют центральные точки, чтобы сформировать соединительную линию. Принимают соединительную линию в качестве линии верхнего века. Определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века. Собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости. A known method for detecting driving in a state of fatigue [Patent RU2519964C2; publ. 06/20/2014] consisting in the fact that the image of the driver’s eye is analyzed using a rectangular pattern of a sign to obtain the line of the upper eyelid, in particular, bypassing the image of the eye through many columns using a rectangular pattern of a sign and recording locations in each column, where the sign value of a rectangular pattern of the attribute is maximum, and the attribute value of the rectangular attribute reference refers to the difference in the scale of shades of gray between the upper and lower halves of the rectangle, where The rectangular feature standard is located. Get the line of the upper eyelid, getting the center points of the rectangular standard of the sign in the location in each column. Connect the center points to form a connecting line. Take the connecting line as the line of the upper eyelid. The state of closing the eye is determined in accordance with the curvature or the value of the sign of curvature of the line of the upper eyelid. Statistics are collected on the state of closing the eyes and, thus, it is determined whether the driver is in a state of fatigue.

Известен способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования [Патент RU2662293C2; опубл. 25.07.2018], включающий в себя: сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, голосовой опрос водителя, интеллектуальное отслеживание пороговых значений и динамики данных, активацию устройств, активацию бортовых приборов транспортного средства. Голосовой опрос водителя представляет формирование звукового сигнала в его адрес, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, а также классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором. Активация бортовых приборов транспортного средства предназначена для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала.There is a method of continuous monitoring of the psychophysiological state of drivers carrying dangerous goods and passengers on public roads [Patent RU2662293C2; publ. 07/25/2018], which includes: collecting data on the driver’s condition from electroencephalogram sensors and video cameras, collecting data on the nature of the vehicle’s movement, voice polling of the driver, intelligent tracking of threshold values and data dynamics, device activation, activation of vehicle on-board devices. A driver’s voice poll represents the formation of an audio signal addressed to him, the simultaneous recording of data on the time spent by the driver on pondering a question and providing an answer, as well as the classification of the driver’s status in real time based on processing data about the driver’s condition and the nature of the vehicle’s movement and data his voice poll by matching the processed signals with an automatic classifier. Activation of the vehicle’s on-board devices is intended to warn others in the event of a driver’s non-return to a normal psychophysiological state within a specified time interval.

Известен способ обнаружения опасного состояния у водителя в транспортном средстве [Патент RU2606656C2; опубл. 10.01.2017], согласно которому при обнаружении опасного состояния у водителя в транспортном средстве с помощью интерфейса распознавания голоса принимают от водителя первый звуковой сигнал, представляющий собой одно слово, когда водитель не находится в опасном состоянии. На основании первого звукового сигнала определяют с помощью устройства сопряжения транспортного средства первое общее время, затрачиваемое на произнесение одного слова. С помощью электронных средств в течение заранее заданного периода времени предлагают водителю произнести одно слово, чтобы определить состояние водителя. В течение заранее заданного периода времени принимают второй звуковой сигнал от водителя, представляющий собой одно слово. С помощью устройства сопряжения транспортного средства на основании второго звукового сигнала определяют второе общее время, затраченное на произнесение. Сравнивают первое общее время со вторым общим временем, чтобы определить, находится ли водитель в опасном состоянии.A known method of detecting a dangerous condition in a driver in a vehicle [Patent RU2606656C2; publ. 01/10/2017], according to which, when a dangerous condition is detected in a driver in a vehicle, a first sound signal is received from the driver using the voice recognition interface, which is one word when the driver is not in a dangerous state. Based on the first sound signal, the first total time spent pronouncing one word is determined using the vehicle interface device. Using electronic means, for a predetermined period of time, the driver is asked to utter one word to determine the condition of the driver. Within a predetermined period of time, a second sound signal from the driver, which is one word, is received. Using the vehicle interface device, the second total time spent on pronunciation is determined based on the second sound signal. Compare the first total time with the second total time to determine if the driver is in a dangerous condition.

Известен способ предотвращения ДТП по причине "Сон за рулем" [Патент RU2573863C1; опубл. 27.01.2016], согласно которому непрерывно контролируют основные физиологические параметры водителя ТС и включают систему сигнализации при их существенном отклонении от полученных в состоянии бодрости. Исходную информацию о нормальных физиологических параметрах водителя транспортного средства вместе с его паспортными данными фиксируют на ЧИПе пластиковой карты, служащей задающим устройством для автоматической системы коррекции параметров физиологического состояния водителя. В случае наличия существенных отклонений этих параметров, осуществляют периодическую подачу нейроподобных импульсов частотой 10-40 Гц в десинхронизирующий отдел сомногенной системы коры головного мозга водителя.A known method of preventing accidents due to "Sleep while driving" [Patent RU2573863C1; publ. 01/27/2016], according to which the basic physiological parameters of the vehicle driver are continuously monitored and the alarm system is turned on when they significantly deviate from those received in a state of alertness. The initial information about the normal physiological parameters of the driver of the vehicle, together with its passport data, is recorded on the chip of the plastic card, which serves as the driver for the automatic correction system of the parameters of the physiological state of the driver. If there are significant deviations of these parameters, a neural-like impulse is transmitted periodically with a frequency of 10-40 Hz to the desynchronization department of the somnogenous system of the cerebral cortex of the driver.

Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ предупреждения засыпания водителя транспортного средства [Патент RU2413632 C2; опубл. 10.03.2011], заключающийся в том, что осуществляют формирование эталона зрачка текущего водителя на основе общего для любого человека описания, осуществляют периодическое освещение лица водителя инфракрасным светом, получают изображение лица, обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, принимают решение о необходимости сигнализации о засыпании водителя.The closest in technical essence to the claimed method and selected as a prototype is a method of preventing falling asleep of a vehicle driver [Patent RU2413632 C2; publ. 03/10/2011], which consists in the fact that the standard of the pupil of the current driver is formed on the basis of a description that is common to any person, periodic illumination of the driver’s face is carried out with infrared light, a face image is obtained, an image area containing a face is detected, areas presumably containing eyes are detected, detect areas of the eye, determine the boundaries of the area of movement of the pupil, determine the frequency and direction of movement of the eyes, determine the frequency of blinks, determine the length of the time period, in echenie whose eyes are closed, compared to the parameters that characterize the state of the driver with the reference to the state of sleep and the dream state, shall decide on the need to signal the driver falling asleep.

Недостатком известных способов является невозможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также низкая эффективность определения опасных состояний на дорогах общего пользования.A disadvantage of the known methods is the impossibility of continuous self-learning and adaptation to the behavior and driving style of a particular driver, taking into account its features, as well as the low efficiency of determining dangerous conditions on public roads.

Адаптация к поведению водителя за рулем транспортного средства позволит повысить точность и качество распознавания опасных состояний на дорогах общего пользования и сгенерировать водителю транспортного средства контекстно-ориентированные рекомендации, учитывающие предыдущий опыт использования системы определения опасных состояний на дорогах общего пользования и статистику взаимодействия между остальными участниками такой системы. Adaptation to the driver’s behavior while driving a vehicle will improve the accuracy and quality of recognition of hazardous conditions on public roads and generate context-sensitive recommendations for the vehicle driver that take into account previous experience using the system for determining hazardous conditions on public roads and statistics on the interaction between other participants in such a system .

Технической проблемой, на решение которой направлено изобретение, является обеспечение возможности непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также повышение эффективности определения опасных состояний на дорогах общего пользования.The technical problem to which the invention is directed is the possibility of continuous self-training and adaptation to the behavior and driving style of a particular driver, taking into account its features, as well as increasing the efficiency of determining dangerous conditions on public roads.

В заявленном способе эта техническая проблема решается тем, что в способе определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства, заключающемся в том, что обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, принимают решение о необходимости сигнализации водителю, дополнительно регистрируют водителя и заполняют его профиль, калибруют углы поворота и наклона головы, калибруют громкость звука. Анализируют контекст водителя и принимают решение о целесообразности определения опасного состояния, определяют время, необходимое для принятия решения о наличии опасного состояния, определяют количество итераций, необходимых для принятия решения о наличии опасного состояния. На каждой итерации получают изображение с фронтальной камеры смартфона, определяют углы поворота и наклона головы относительно туловища, а затем обнаруживают область изображения, содержащую лицо. После того как определяют длительность периода времени, в течение которого глаза закрыты, обнаруживают область, предположительно содержащую рот, обнаруживают область рта, определяют степень открытости рта. Получают данные от датчиков смартфона, определяют темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём. Выявляют опасные состояния на основе критериев из онтологии, для чего, в том числе сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна. Повторяют указанные действия в соответствии с количеством итераций, необходимых для принятия решения о наличии опасного состояния. Усредняют полученные результаты по всем итерациям, формируют рекомендации на основе определенного опасного состояния и контекста водителя, а затем принимают решение о необходимости сигнализации водителю. После этого сохраняют статистику и генерируют отчёт для заинтересованных лиц, выявляют паттерны поведения водителя, калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем и выявляют предпочтения водителя для формирования персонализированных рекомендаций.In the inventive method, this technical problem is solved by the fact that in the method for determining dangerous conditions on public roads based on monitoring the situation in the vehicle cabin, which consists in detecting an image area containing a face, detecting areas presumably containing eyes, detecting eye areas , determine the boundaries of the area of movement of the pupil, determine the frequency and direction of eye movement, determine the frequency of blinks, determine the duration of the period of time during which the eyes are closed, they compare the parameters characterizing the driver’s state with the reference ones for the state of falling asleep and the state of sleep, decide on the need for an alarm for the driver, additionally register the driver and fill out his profile, calibrate the angle of rotation and tilt of the head, calibrate the sound volume. The driver’s context is analyzed and a decision is made on the appropriateness of determining a dangerous state, the time required to make a decision on the presence of a dangerous state is determined, the number of iterations required to make a decision on the presence of a dangerous state is determined. At each iteration, an image is obtained from the front camera of the smartphone, the angles of rotation and tilt of the head relative to the body are determined, and then the image area containing the face is detected. After determining the duration of the period of time during which the eyes are closed, discover the area presumably containing the mouth, detect the area of the mouth, determine the degree of openness of the mouth. They receive data from the sensors of the smartphone, determine the pace and speed of the vehicle, acceleration time, the presence of sharp accelerations and braking, vehicle turns, the type of behavior of the driver behind the wheel. Hazardous states are identified based on criteria from the ontology, for which, including, parameters that characterize the driver’s state are compared with the reference ones for the state of falling asleep and the state of sleep. Repeat these steps in accordance with the number of iterations required to make a decision about the presence of a dangerous condition. Averaging the results for all iterations, formulating recommendations based on a certain dangerous condition and driver context, and then decide on the need for an alarm to the driver. After that, they save statistics and generate a report for interested persons, identify patterns of driver behavior, calibrate hazard recognition algorithms for working with a specific driver, and identify driver preferences for creating personalized recommendations.

Благодаря новой совокупности существенных признаков обеспечена возможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также повышение эффективности определения опасных состояний на дорогах общего пользования.Thanks to the new set of essential features, the possibility of continuous self-training and adaptation to the behavior and driving style of a particular driver, taking into account its features, as well as increasing the efficiency of determining dangerous conditions on public roads is provided.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности «новизна».The analysis of the prior art made it possible to establish that analogues that are characterized by a combination of features identical to all the features of the claimed technical solution are absent, which indicates the compliance of the claimed method with the condition of patentability “novelty”.

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обусловливающих тот же технический результат, который достигнут в заявляемом способе. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».Search results for known solutions in this and related fields of technology in order to identify features that match the distinctive features of the claimed object from the prototype showed that they do not follow explicitly from the prior art. The prior art also did not reveal the fame of the distinctive essential features that determine the same technical result, which was achieved in the claimed method. Therefore, the claimed invention meets the condition of patentability "inventive step".

Заявленный способ поясняется чертежами, на которых показано:The claimed method is illustrated by drawings, which show:

фиг. 1 – блок-схема, иллюстрирующая вариант осуществления способа определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства;FIG. 1 is a flowchart illustrating an embodiment of a method for determining hazardous conditions on public roads based on monitoring a situation in a vehicle cabin;

фиг. 2 – блок-схема мониторинга ситуации в кабине транспортного средства на основе изображения с фронтальной камеры смартфона;FIG. 2 is a block diagram of a monitoring of a situation in a vehicle cabin based on an image from a front camera of a smartphone;

фиг. 3 – блок-схема формирования рекомендаций при обнаружении опасного состояния в поведении водителя;FIG. 3 is a flowchart for generating recommendations when a dangerous condition is detected in a driver’s behavior;

фиг. 4 – схема взаимодействия основных элементов системы определения опасных состояний на дорогах общего пользования, реализующей заявленный способ;FIG. 4 is a diagram of the interaction of the basic elements of a system for determining hazardous conditions on public roads that implements the claimed method;

фиг. 5 – общая схема взаимодействия основных участников системы определения опасных состояний на дорогах общего пользования (на примере водителя);FIG. 5 is a general diagram of the interaction of the main participants in the system for determining hazardous conditions on public roads (for example, the driver);

фиг. 6 – оценка времени распознавания ослабленного внимания и усталости.FIG. 6 is an estimate of the recognition time of impaired attention and fatigue.

Для реализация заявленного способа выполняют следующие операции (фиг. 1). To implement the claimed method, the following operations are performed (Fig. 1).

Регистрируют водителя и заполняют его профиль (блок 101), включающий в себя: общую информацией о водителе (имя, фамилия, пол, возраст, номер телефона, т.д.), его стиле вождении (манера торможения и ускорения, скоростной режим на участке, количество и резкость перестроений), навыках и стаже вождения, категории водителя, к которой водитель отнесен в результате персонализации и знаниях правил дорожного движения.Register the driver and fill out his profile (block 101), which includes: general information about the driver (name, surname, gender, age, phone number, etc.), his driving style (manner of braking and acceleration, speed mode on the site , the number and severity of rearrangements), driving skills and experience, the category of driver to which the driver is assigned as a result of personalization and knowledge of traffic rules.

В блоке 102 калибруют углы поворота и наклона головы для лучшей адаптации к конкретному водителю, а также уровень громкости предупреждений об опасной ситуации. In block 102, the angles of rotation and tilt of the head are calibrated for better adaptation to a particular driver, as well as the volume of warnings about a dangerous situation.

В блоке 103 анализируют контекст водителя и принимают решение о целесообразности определения опасного состояния. Контекст водителя содержит информацию о водителе-пользователе системы, реализующей заявленный способ, которая изменяется в зависимости от текущей ситуации в кабине транспортного средства и дорожной обстановки. В него включены следующие атрибуты: параметры калибровки системы определения опасных состояний на дорогах общего пользования, используемое оборудование и программное обеспечение, психофизиологические особенности водителя, симптомы небезопасного поведения и количество часов без перерыва на отдых. In block 103, the driver’s context is analyzed and a decision is made on the appropriateness of determining a hazardous condition. The driver’s context contains information about the driver-user of the system that implements the claimed method, which varies depending on the current situation in the vehicle cabin and road conditions. It includes the following attributes: calibration parameters of the system for determining dangerous conditions on public roads, the equipment and software used, the psychophysiological characteristics of the driver, symptoms of unsafe behavior and the number of hours without a break for rest.

Атрибут «Параметры калибровки системы» определяет настройки калибровки мобильной системы помощи водителю, полученные в блоке 102 и позволяющие лучше подстроиться под конкретного водителя транспортного средства (угол наклона и угол поворота головы водителя по умолчанию, фокусное расстояние объектива, расстояние от фронтальной камеры смартфона до водителя, предпочитаемый уровень громкости звука смартфона). The attribute “System calibration parameters” defines the calibration settings of the mobile driver assistance system obtained in block 102 and allowing better adjustment to the specific driver of the vehicle (default tilt and rotation angle of the driver’s head, lens focal length, distance from the front camera of the smartphone to the driver, smartphone’s preferred volume level).

Атрибут «Используемое оборудование» описывает технические характеристики смартфона, используемого водителем транспортного средства. The “Used equipment” attribute describes the technical characteristics of the smartphone used by the driver of the vehicle.

Атрибут «Используемое программное обеспечение» характеризует программный комплекс, устанавливаемый и настраиваемый на смартфоне водителя и предназначенный для прогнозирования вероятности наступления опасных ситуаций. The “Used software” attribute characterizes the software package installed and configured on the driver’s smartphone and designed to predict the likelihood of dangerous situations.

Атрибут «Психофизиологические особенности» описывает состояние водителя в текущий момент времени, характеризуя его скорость реакции, точность и последовательность действий. The attribute “Psychophysiological features” describes the driver’s condition at the current time, characterizing his reaction speed, accuracy and sequence of actions.

Атрибут «Симптомы небезопасного поведения» содержит информацию о выявленном небезопасном поведении водителя за рулем автомобиля с целью дальнейшей выработки рекомендаций для предотвращения наступления опасной (аварийной) ситуации (например, количество часов непрерывного управления ТС, отражающее информацию о времени нахождения водителя за рулем автомобиля при непрерывном движении без перерыва на отдых). The attribute “Symptoms of unsafe behavior” contains information about the identified unsafe behavior of the driver driving a car with the aim of further developing recommendations to prevent the onset of a dangerous (emergency) situation (for example, the number of hours of continuous control of the vehicle, reflecting information about the time spent by the driver driving the car during continuous movement without a break for rest).

Атрибут «Состояние обстановки внутри салона кабины ТС» описывает различные параметры и условия обстановки в кабине ТС (например, уровень освещенности, уровень сигнала шума). The attribute “Condition of the interior inside the vehicle cabin” describes various parameters and conditions in the vehicle cabin (for example, the level of illumination, the level of the noise signal).

Лицевые характеристики водителя, проявляемые им во время вождения, являются основной информацией профиля, используемой при мониторинге его поведения в кабине транспортного средства на присутствие того или иного опасного состояния. Поведение водителя во время управления транспортным средством характеризуется проявлением опасных ситуаций, распознанных в некоторый момент времени, совокупность которых позволяет системе, реализующей заявленный способ, принимать или не принимать решение о присутствии опасного состояния, усталости или ослабленного внимания, на некотором промежутке времени. The personal characteristics of the driver displayed by him while driving are the main profile information used in monitoring his behavior in the vehicle cabin for the presence of a particular dangerous condition. The driver’s behavior while driving a vehicle is characterized by a manifestation of dangerous situations recognized at some point in time, the totality of which allows a system that implements the claimed method to accept or not to make a decision about the presence of a dangerous condition, fatigue or impaired attention, for a certain period of time.

Определяют время (блок 104) и количество итераций (блок 105), необходимые для принятия решения о наличии опасного состояния. Одним из ключевых параметров, определяющих число итераций, является совокупное число опасных ситуаций на временном интервале, описывающих то или иное опасное состояние

. Данный параметр зависит от времени обработки опасных ситуаций

и времени реакции водителя

. На основе проведенных экспериментов по обработке изображений водителя с фронтальной камеры смартфона была выведена следующая формула для определения числа итераций: The time (block 104) and the number of iterations (block 105) are determined to make a decision about the presence of a dangerous state. One of the key parameters determining the number of iterations is the total number of dangerous situations in the time interval that describe a particular dangerous state

. This parameter depends on the processing time of dangerous situations.

and driver response time

. Based on the experiments on processing driver images from the front camera of the smartphone, the following formula was derived to determine the number of iterations:

где E – коэффициент вычислительной способности смартфона;

– время реакции водителя ∈ [0.5, 1.5]с. Таким образом, с уменьшением (увеличением) времени обработки одной опасной ситуации или уменьшением (увеличением) времени реакции водителя параметр n растет (уменьшается), позволяя тем самым более точно распознавать опасное состояние в его поведении, учитывая большее число потенциальных опасных ситуаций за отведенное время и, наоборот, увеличивая вероятность пропуска или ложного срабатывания определения того или иного опасного состояния.where E is the coefficient of computing power of the smartphone;

- driver reaction time ∈ [0.5, 1.5] s. Thus, with a decrease (increase) in the processing time of one dangerous situation or a decrease (increase) in the driver’s reaction time, the parameter n increases (decreases), thereby making it possible to more accurately recognize a dangerous state in its behavior, given the greater number of potential dangerous situations in the allotted time and conversely, increasing the likelihood of missing or false positives to determine a particular dangerous condition.

Стоит отметить, что среднее время реакции водителя на опасное состояние зависит не только от индивидуальных особенностей водителя, его пола и возраста, но также и текущего времени его в пути, скорости транспортного средства. В соответствии с перечисленными параметрами, среднее время реакции было предложено определять следующим образом: It is worth noting that the average response time of a driver to a dangerous condition depends not only on the individual characteristics of the driver, his gender and age, but also on his current travel time and vehicle speed. In accordance with the above parameters, the average reaction time was proposed to be determined as follows:

где A – возраст водителя (от 18), G – пол водителя (мужской/женский), DT – время в пути (мин), V – скорость транспортного средства (км/ч), а

where A is the driver’s age (from 18), G is the driver’s gender (male / female), DT is the travel time (min), V is the vehicle speed (km / h), and

представляют собой коэффициенты (веса) для каждого из перечисленных параметров, соответственно. V является единственным обратно пропорциональным параметром ко всем остальным в формуле определения реакции водителя, увеличение (уменьшение) которого влечет за собой уменьшение (увеличение) времени реакции водителя реагирования на опасную ситуацию и наоборот. are the coefficients (weights) for each of the listed parameters, respectively. V is the only inversely proportional parameter to all the others in the formula for determining the driver’s reaction, the increase (decrease) of which entails a decrease (increase) in the reaction time of the driver to respond to a dangerous situation and vice versa.

На каждой итерации считывают параметры с фронтальной камеры и датчиков смартфона и обрабатывают их в блоке 106, выявляют опасные состояния на основе критериев из онтологии (блок 107). Для чего получают изображение с фронтальной камеры смартфона, определяют углы поворота и наклона головы относительно туловища, обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, обнаруживают область, предположительно содержащую рот, обнаруживают область рта, определяют степень открытости рта. Затем получают данные от датчиков смартфона, определяют темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём (фиг. 2). At each iteration, parameters from the front camera and sensors of the smartphone are read and processed in block 106, dangerous states are identified based on criteria from the ontology (block 107). Why get the image from the front camera of the smartphone, determine the angle of rotation and tilt of the head relative to the body, find the image area containing the face, find the area that supposedly contains the eyes, find the eye area, determine the boundaries of the pupil’s area of motion, determine the frequency and direction of eye movement, determine the frequency of blinks, determine the length of time during which the eyes are closed, discover the area that supposedly contains the mouth, detect the mouth Determine the degree of openness of the mouth. Then they receive data from the sensors of the smartphone, determine the pace and speed of the vehicle, acceleration time, the presence of sharp accelerations and brakes, turns of vehicles, the type of behavior of the driver behind the wheel (Fig. 2).

Таким образом, к признакам опасного состояния (усталости или ослабленного внимания водителя) согласно настоящему изобретению отнесены: длительность периода времени, в течение которого глаза водителя закрыты, поворот головы влево/вправо по отношению к туловищу, наклон головы вперед относительно туловища (момент, когда водитель «клюет носом»), продолжительность моргания век, частота моргания век, степень открытости рта человека (признаки зевоты), стиль или манера вождения. Thus, the signs of a dangerous condition (fatigue or impaired driver’s attention) according to the present invention include: the length of time during which the driver’s eyes are closed, turning the head left / right in relation to the body, tilting the head forward relative to the body (the moment when the driver “Nods”), the duration of blinking of the eyelids, the frequency of blinking of the eyelids, the degree of openness of a person’s mouth (signs of yawning), style or driving style.

Стиль вождения определяется на основе ряда параметров, включающих темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём. Перечисленные параметры регистрируются при помощи встроенных в смартфон датчиков, к которым относятся акселерометр, гироскоп, GPS, магнитометр, микрофон. Указанные параметры помогают распознать небезопасное состояние водителя транспортного средства и снизить вероятность наступления опасного состояния, а именно усталости или ослабленного внимания у водителя. Driving style is determined on the basis of a number of parameters, including the pace and speed of the vehicle, acceleration time, the presence of sharp accelerations and braking, vehicle turns, the type of behavior of the driver behind the wheel. These parameters are recorded using the built-in smartphones sensors, which include an accelerometer, gyroscope, GPS, magnetometer, microphone. These parameters help to recognize the unsafe state of the driver of the vehicle and reduce the likelihood of a dangerous condition, namely fatigue or low attention to the driver.

На основе онтологии (блок 107), включающей знания о водителе, профиле, лицевых характеристиках, ТС и показаниях сенсоров смартфона, сопоставляются параметры поведения водителя и опасные состояния, с которыми он может столкнуться при управлении транспортным средством, на основе текущей ситуации в его кабине. В качестве критерия такого сопоставления, в частности, может выступать отклонение параметров, характеризующих состояние водителя, от эталонных параметров, характерных для состояния засыпания и состояния сна. Based on the ontology (block 107), which includes knowledge about the driver, profile, facial characteristics, vehicle and sensor readings of the smartphone, the driver's behavior parameters and dangerous conditions that he may encounter while driving are compared based on the current situation in his cab. As a criterion for such a comparison, in particular, the deviation of the parameters characterizing the state of the driver from the reference parameters characteristic of the state of falling asleep and the state of sleep can be used.

Повторяют указанные действия (блок 108) в соответствии с количеством итераций, необходимых для принятия решения о наличии опасного состояния. The indicated actions are repeated (block 108) in accordance with the number of iterations required to make a decision about the presence of a dangerous state.

В блоке 109 для получения надежного решения относительно определенного опасного состояния усредняют полученные результаты по всем итерациям.In block 109, in order to obtain a reliable decision regarding a certain dangerous state, the obtained results are averaged over all iterations.

В блоке 110 формируют рекомендации на основе определенного опасного состояния и контекста водителя, а в блоке 111 принимают решение о необходимости сигнализации (предупреждения) водителя. С целью оповещения водителя об опасном состоянии и генерации рекомендаций системой определения опасных состояний на дорогах общего пользования (фиг. 3) задействуются информационные оповещения, включающие такие виды уведомлений смартфона, как вибрация (колебания), текстовое сообщение (например, отображение на дисплее смартфона) и звуковое уведомление (например, при помощи динамика смартфона). При обнаружении признаков состояния усталости у водителя ему генерируются следующие рекомендации: выключить радио или музыку, съехать на обочину и отдохнуть или закончить разговор. В случае определения признаков состояния ослабленного внимания у водителя ему генерируются следующие рекомендации: съехать на обочину и отдохнуть, включить радио или музыку, выпить тонизирующий напиток (кофе), начать разговор с пассажиром, напеть мелодию или проветрить салон транспортного средства.In block 110, recommendations are generated based on the determined dangerous condition and the driver’s context, and in block 111, a decision is made on whether or not a driver needs to be signaled (warned). In order to notify the driver of a dangerous condition and generate recommendations by the system for determining dangerous conditions on public roads (Fig. 3), informational alerts are activated, including such types of smartphone notifications as vibration (vibrations), a text message (for example, display on a smartphone’s display) and sound notification (for example, using the speaker of a smartphone). If signs of fatigue are detected in the driver, the following recommendations are generated for him: turn off the radio or music, pull over and rest or end the conversation. If signs of a state of impaired attention are identified, the driver will receive the following recommendations: pull over and rest, turn on the radio or music, drink a tonic drink (coffee), start a conversation with the passenger, sing a tune or ventilate the vehicle interior.

После этого сохраняют статистику и генерируют отчёт для заинтересованных лиц (блок 112), в качестве которых могут выступать администраторы автопарков и представители страховых компаний.After that, statistics are stored and a report is generated for interested persons (block 112), which may be fleet administrators and representatives of insurance companies.

Несмотря на то, что дорожные аварии по вине грузового автотранспорта происходят гораздо реже, чем по вине легковых автомобилей, смертность в ДТП с грузовыми автомобилями остается крайне высокой. Среди факторов, вызывающих снижение бдительности водителя и, как следствие, приводящих к происшествиям с участием грузового автотранспорта, можно выделить такие как плотные рабочие графики, неверно спланированный маршрут или проявление торопливости со стороны работодателя или заказчика. В этом случае реализация заявленного способа может с легкостью найти применение в логистических компаниях, осуществляющих грузовые перевозки.Despite the fact that road accidents due to the fault of trucks occur much less frequently than due to the fault of cars, the mortality rate in accidents with trucks remains extremely high. Among the factors causing a decrease in driver's vigilance and, as a result, leading to incidents involving trucks, we can highlight such as tight work schedules, an incorrectly planned route or a haste on the part of the employer or customer. In this case, the implementation of the claimed method can easily find application in logistics companies engaged in freight transport.

В процессе эксплуатации транспортного средства страховой компании могут предоставляться необходимые данные о водителе. За счет анализа полученных сведений с сенсоров (например, акселерометр, гироскоп, GPS) о стиле вождения водителя страховая компания предоставляет возможность скорректировать тарифный план страхования транспортного средства. В этом случае, с целью «поощрения» водителей страховыми компаниями могут применяться некоторые из следующих программ: выгодное предложение при пролонгации полиса (окончание срока страхования), снижение стоимости тарифного плана при оформлении полиса и использовании телеметрического оборудования. Преимуществом применения данного сценария является стремление страховых компаний повысить безопасность дорожного движения, снизить расходы на оформление страховых полисов для водителей и, как результат, привлечь больше клиентов.During the operation of the vehicle, the insurance company may be provided with the necessary data about the driver. By analyzing the information received from sensors (for example, an accelerometer, gyroscope, GPS) about the driver’s driving style, the insurance company provides the opportunity to adjust the vehicle insurance tariff plan. In this case, in order to “encourage” drivers, insurance companies may apply some of the following programs: an advantageous offer when extending the policy (expiration of the insurance period), reducing the cost of the tariff plan when applying for the policy and using telemetry equipment. The advantage of using this scenario is the desire of insurance companies to improve road safety, reduce the cost of obtaining insurance policies for drivers and, as a result, attract more customers.

В блоке 113 выявляют паттерны поведения водителя, которые описывают успешность, последовательность и время выполнения тех или иных действий каждого конкретного водителя в момент времени на основе использования считываемых сенсорных данных и информации, определяющей профиль водителя. Примером паттерна поведения водителя может служить ситуация, описывающая процесс торможения транспортного средства перед красным сигналом светофора на некотором промежутке времени. В данном случае паттерн поведения водителя включает почти неизменное движение транспортного средства в направлении прямо, регистрируемое гироскопом и магнитометром; снижение скорости движения транспортного средства, регистрируемое сенсором GPS; отрицательные значения, считываемые при помощи акселерометра смартфона и свидетельствующие о торможении транспортного средства и, наконец, прекращение движения транспортного средства и установление его скорости равной нулю. In block 113, patterns of driver behavior are identified that describe the success, sequence, and execution time of certain actions of each particular driver at a time based on the use of readable sensory data and information that determines the profile of the driver. An example of a driver’s behavior pattern is a situation that describes the process of braking a vehicle in front of a red traffic light for a certain period of time. In this case, the driver’s behavior pattern includes the almost unchanged movement of the vehicle in a straight direction, recorded by a gyroscope and magnetometer; vehicle speed reduction recorded by GPS sensor; negative values read using the accelerometer of the smartphone and indicating the braking of the vehicle and, finally, the cessation of the vehicle and setting its speed to zero.

В блоке 114 калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем. С целью адаптации под конкретного водителя система, реализующая заявленный способ, позволяет проанализировать все распознанные опасные ситуации в течение совершенной поездки и подтвердить (правильно распознанные) или отклонить (неверно распознанные) те или иные обнаруженные события, тем самым скорректировав дальнейшую работу. In block 114, hazard recognition algorithms are calibrated for working with a specific driver. In order to adapt to a specific driver, a system that implements the claimed method allows you to analyze all recognized dangerous situations during a perfect trip and confirm (correctly recognized) or reject (incorrectly recognized) certain detected events, thereby correcting further work.

После чего выявляют предпочтения водителя для формирования персонализированных рекомендаций (блок 115). Персонализация системы обеспечивается за счет выделение групп водителей со схожими характеристиками и размещения новых или измененных данных о группах профилей водителей в отдельном хранилище. В общем случае алгоритм персонализации системы включает в себя решение следующих задач: выделение характерных признаков в поведении водителя в кабине транспортного средства, считывание и преобразование сенсорных данных, классификация событий по правилам, сегментирование путей движения, отбор признаков SMA (Simple Moving Average – простое скользящее среднее) для данных, кластеризация профилей водителей на группы, соотнесение водителя с группой.Then reveal the preferences of the driver for the formation of personalized recommendations (block 115). Personalization of the system is ensured by identifying groups of drivers with similar characteristics and placing new or changed data on groups of driver profiles in a separate storage. In the general case, the personalization algorithm of the system includes the following tasks: highlighting characteristic features in the driver’s behavior in the vehicle’s cabin, reading and converting sensory data, classification of events according to the rules, segmentation of movement paths, selection of SMA signs (Simple Moving Average - a simple moving average ) for data, clustering driver profiles into groups, assigning a driver to a group.

Основными компонентами системы определения опасных состояний на дорогах общего пользования (фиг. 4), реализующей заявленный способ, являются водитель, смартфон, облачный сервис и пользователи.The main components of the system for determining dangerous conditions on public roads (Fig. 4), which implements the claimed method, are the driver, smartphone, cloud service and users.

Компонент «Водитель», описывающий психофизиологические особенности водителя транспортного средства, является основным источником информации для системы определения опасных состояний. Данный компонент состоит из модулей «Профиль водителя» и «Обработанные параметры водителя». Первый модуль характеризуется общей информацией о водителе, его стиле вождении, навыками и стажем вождения, категорией водителя, к которой водитель отнесен в результате персонализации, и знаниями правил дорожного движения. Общая информация помогает не только явно идентифицировать водителя среди всех водителей, использующих систему определения опасных состояний, но также улучшить поиск и соотнесение водителей со схожими характеристиками. Во втором модуле обработанные параметры водителя, психофизиологические показатели считываются и формализуются в режиме реального времени за счет использования методов и подходов компьютерной обработки изображений с фронтальной камеры и получения данных с датчиков (сенсоров смартфона), в частности, акселерометра и гироскопа. The Driver component, which describes the psychophysiological characteristics of the vehicle driver, is the main source of information for the system for determining hazardous conditions. This component consists of the “Driver Profile” and “Processed Driver Parameters” modules. The first module is characterized by general information about the driver, his driving style, skills and driving experience, the category of driver to which the driver is assigned as a result of personalization, and knowledge of traffic rules. General information helps not only to clearly identify the driver among all drivers using the hazardous condition detection system, but also to improve the search and correlation of drivers with similar characteristics. In the second module, the processed driver parameters, psychophysiological indicators are read and formalized in real time by using methods and approaches of computer processing images from the front camera and receiving data from sensors (smartphone sensors), in particular, an accelerometer and a gyroscope.

Следующим компонентом системы определения опасных состояний на дорогах общего пользования является смартфон водителя, функционирующий на платформе ОС Android. Координирующим модулем системы, реализующей заявленный способ, является мобильное приложение [Смирнов А.В., Кашевник А.М., Лашков И.Б. Drive Safely/ Свидетельство о государственной регистрации программы для ЭВМ № 2017614256 от 10 апреля 2017 г.], устанавливаемое в постоянную память смартфона и выступающее в качестве связующего централизующего звена, через который протекают все процессы передачи информации. Мобильное приложение включает различного типа программные модули и выполняет следующие задачи: считывание информации с фронтальной камеры и датчиков (сенсоров), выявление опасных состояний водителя, калибровка системы для водителя, формирование рекомендаций, поиск и построение маршрута к месту отдыха (например, кафе, отель или автозаправочная станция). The next component of the system for determining hazardous conditions on public roads is the driver’s smartphone, which runs on the Android OS platform. The coordinating module of the system that implements the claimed method is a mobile application [Smirnov A.V., Kashevnik A.M., Lashkov I.B. Drive Safely / Certificate of state registration of a computer program No. 2017614256 dated April 10, 2017], installed in the permanent memory of the smartphone and acting as a centralizing link through which all information transfer processes flow. The mobile application includes various types of software modules and performs the following tasks: reading information from the front camera and sensors (sensors), identifying dangerous conditions for the driver, calibrating the system for the driver, generating recommendations, finding and building a route to a vacation spot (for example, a cafe, hotel or gas station).

Современные смартфоны оснащаются различными сенсорами, позволяющими получить информацию о взаимодействии устройства с физическим миром, который его окружает, а именно направление движения, ориентация в пространстве и различные условия окружающей среды. Модуль считывания и обработки сенсорных данных собирает, накапливает, анализирует и формализует показания с доступных датчиков смартфона непрерывно во время движения водителя транспортного средства. Данный модуль предоставляет доступ к такой информации о поездке водителя, как видеокадр (изображение) водителя в кабине транспортного средства, скорость движения, текущее месторасположение, удаленность водителя от ближайших мест отдыха и событие перестроения в другую полосу движения или поворот налево/направо. Перечисленные типы показаний приходят от следующих датчиков: Modern smartphones are equipped with various sensors that provide information on the interaction of the device with the physical world that surrounds it, namely the direction of movement, spatial orientation and various environmental conditions. The sensor data reading and processing module collects, accumulates, analyzes and formalizes readings from the available sensors of the smartphone continuously while the vehicle driver is moving. This module provides access to information about the driver’s trip, such as a video frame (image) of the driver in the vehicle’s cabin, driving speed, current location, remoteness of the driver from the nearest recreational areas and the event of changing lane or turning left / right. The listed types of readings come from the following sensors:

фронтальная камера, использующаяся для непрерывной съемки изображений положения головы и черт лица водителя в процессе движения. При видеосъемке задействуются такие параметры как разрешение выходного видеосигнала, автофокусировка, формат выходных изображений; front camera, used for continuous shooting of images of the position of the head and facial features of the driver during movement. When shooting video, such parameters as the resolution of the output video signal, autofocus, output image format are used;

акселерометр, относящийся к датчикам движения и позволяющий определить ориентацию смартфона и ускорение силы тяжести по трем осям (X, Y, Z) (например, ускорение или торможение автомобиля); an accelerometer related to motion sensors and allowing to determine the orientation of the smartphone and the acceleration of gravity along three axes (X, Y, Z) (for example, acceleration or braking of a car);

гироскоп, отслеживающий положение устройства в пространстве, или угол наклона (например, для поворота налево/направо, перестроения в соседнюю полосу движения). a gyroscope that tracks the position of the device in space, or an angle of inclination (for example, to turn left / right, change lanes to an adjacent lane).

магнитометр, измеряющий величину напряженности магнитного поля вдоль трех осей смартфона. Данные с датчиков магнитометра и гироскопа могут объединяться для более точного определения направления движения транспортного средства;a magnetometer that measures the magnitude of the magnetic field along the three axes of a smartphone. Data from the sensors of the magnetometer and gyroscope can be combined to more accurately determine the direction of movement of the vehicle;

система глобального позиционирования GPS/ глобальная спутниковая навигационная система ГЛОНАСС, обеспечивающая измерение расстояния, времени и позволяющая получить текущее местоположение и абсолютную скорость движения транспортного средства; GPS global positioning system / GLONASS global satellite navigation system, which provides distance, time and allows you to get the current location and the absolute speed of the vehicle;

микрофон, изначально являющийся обязательным датчиком каждого смартфона, позволяет с высокой точностью измерить уровень звукового сигнала во внешней среде. Данный датчик позволяет различать ситуации, когда водитель начинает разговор с одним из пассажиров в транспортном средстве или слушает музыку (радио) через мультимедийную систему; The microphone, which is initially a mandatory sensor of each smartphone, allows you to accurately measure the level of the sound signal in the external environment. This sensor allows you to distinguish between situations when the driver begins a conversation with one of the passengers in the vehicle or listens to music (radio) through a multimedia system;

датчик освещенности, позволяющий определить изменение количества света, поступающего извне. Датчик может быть использован для измерения низкого уровня освещенности (например, в ночное время суток) в кабине транспортного средства, когда получение и обработка изображений с фронтальной камеры является нецелесообразным и невозможной соответственно на основании оценки освещения рабочего места водителя. В случае, если количество света в кабине транспортного средства недостаточно для полной работоспособности, система может предупредить водителя о временном и частичном отключении функции распознавания опасных состояний в процессе движения.a light sensor that allows you to determine the change in the amount of light entering from the outside. The sensor can be used to measure a low level of illumination (for example, at night) in the vehicle cabin, when obtaining and processing images from the front camera is impractical and impossible, respectively, based on the assessment of the lighting of the driver’s workplace. In the event that the amount of light in the vehicle cabin is insufficient for full operation, the system can warn the driver about temporary and partial disabling of the hazard recognition function during driving.

Начальным шагом для использования водителем системы определения опасных состояний на дорогах общего пользования является ее первичная калибровка, осуществляемая модулем «Калибровка системы для водителя», которая позволяет мобильному приложению учесть параметры водителя (например, наклон головы водителя влево/вправо, вперед/назад по отношению к туловищу), параметры и возможности его смартфона (например, присутствие того или иного датчика, необходимого для полного функционирования, уровень громкости предупреждений об опасном состоянии) и транспортного средства (легковой или грузовой автомобиль) и лучше адаптироваться под конкретного водителя.The initial step for the driver to use the system for determining hazardous conditions on public roads is its initial calibration, carried out by the “Calibrate the system for the driver” module, which allows the mobile application to take into account the driver’s parameters (for example, tilt the driver’s head left / right, forward / backward relative to torso), the parameters and capabilities of his smartphone (for example, the presence of a sensor necessary for full functioning, the volume of warnings about a dangerous state s) and vehicle (car or truck), and better adapt to the specific driver.

Модуль выявления опасных состояний на основе онтологии позволяет сопоставить параметры поведения водителя и опасные состояния на дорогах общего пользования. The ontology-based module for identifying hazardous conditions allows you to compare driver behavior parameters and hazardous conditions on public roads.

Модуль рекомендаций вырабатывает практические рекомендации, нацеленные на снижение вероятности наступления опасной (аварийной) ситуации. В случае, если сгенерированная рекомендация заключается в том, чтобы предложить водителю воспользоваться ближайшим местом отдыха, модуль поиска мест отдыха может найти подходящее место для остановки и отдыха и построить оптимальный маршрут до этого пункта назначения с учетом текущих дорожных условий. Стоит отметить, что мониторинг опасных состояний и генерация (формирование) рекомендаций водителю выполняются непосредственно на смартфоне водителя, обеспечивая возможность пользоваться системой без подключения к сети Интернет. The recommendations module develops practical recommendations aimed at reducing the likelihood of a dangerous (emergency) situation. If the generated recommendation is to offer the driver the opportunity to use the nearest vacation destination, the vacation search module can find a suitable place to stop and rest and build the optimal route to this destination, taking into account current road conditions. It is worth noting that the monitoring of dangerous conditions and the generation (formation) of recommendations to the driver are performed directly on the driver’s smartphone, providing the ability to use the system without connecting to the Internet.

Упорядоченное хранение и манипулирование сведениями о группе объектов обеспечивается за счет использования локального хранилища данных, представляющего собой информационную базу данных системы управления базами данных и адаптированного для использования на мобильных устройствах платформы Android. Локальное хранилище данных применяется при записи и хранении временных пользовательских данных и подготовки их с целью дальнейшей синхронизации и отправки в удаленный облачный сервис. Стоит отметить, что возможность работы системы определения опасных состояний на дорогах общего пользования без подключения к сети Интернет (офлайн) обеспечивает хранилище данных, выполняющее логирование и запись событий и их характеристик в постоянную память устройства при обрыве связи, а при ее появлении – в облачный сервис. Orderly storage and manipulation of information about a group of objects is ensured through the use of a local data warehouse, which is an information database of a database management system and adapted for use on Android platform mobile devices. Local data storage is used when recording and storing temporary user data and preparing them for the purpose of further synchronization and sending to a remote cloud service. It is worth noting that the possibility of the system for determining dangerous conditions on public roads without connecting to the Internet (offline) provides a data warehouse that logs and records events and their characteristics to the device’s permanent memory when the connection is lost, and when it appears, to the cloud service .

Поскольку механизм определения опасных состояний водителя, задействующий в своей работе модуль выявления признаков опасного поведения в составе мобильного приложения, локальное хранилище данных и непосредственно компонент «Водитель», сосредоточен на смартфоне водителя, накапливаемая информация о водителе является минимальной и достаточной для функционирования системы в отсутствие подключения к сети Интернет. При возобновлении соединения с сетью Интернет в системе становится возможным дополнить накапливаемую информацию на смартфоне той, которая является результатом работы программных модулей и алгоритмов, сосредоточенных в облачном сервисе, ориентированном на постобработку поступающих в него данных от водителей и других участников системы. Since the mechanism for determining dangerous conditions of the driver, which uses the module for detecting signs of dangerous behavior in the mobile application, the local data storage and the “Driver” component directly, is focused on the driver’s smartphone, the accumulated information about the driver is minimal and sufficient for the system to function without connection to the Internet. When you resume connecting to the Internet in the system, it becomes possible to supplement the accumulated information on the smartphone with that which is the result of the work of software modules and algorithms concentrated in a cloud service focused on the post-processing of incoming data from drivers and other participants in the system.

Облачный сервис получает от мобильного приложения такую информацию как характеристика вождения водителя (ускорение, торможение, плавность хода, перестроение, путь следования и т.д.), опасные состояния в процессе движения и статистика использования приложения. На основе данных, собираемых с мобильного устройства водителя, выделяются и формируются его паттерны поведения, уникальный стиль (манера) вождения, характеризующие конкретного водителя. Стоит отметить, что в качестве пользователей системы определения опасных состояний на дорогах общего пользования определены администраторы автопарков и представители страховых компаний, осуществляющие мониторинг истории взаимодействия с системой и анализ статистики вождения водителей соответственно. Кроме того, используя результаты работы облачного сервиса, система определения опасных состояний на дорогах общего пользования дает возможность пользователям системы повысить эффективность использования водителями транспортных средств, снизив эксплуатационные расходы при обслуживании и улучшить взаимодействие с непосредственными клиентами той или иной компании. По мере взаимодействия водителей и пользователей с системой определения опасных состояний на дорогах общего пользования, она продолжает обучаться на основе накапливаемых данных и подстраиваться под каждого водителя с учетом его особенностей поведения за рулем и стиля вождения, что обеспечивает возможность оценки навыков водителей по управлению транспортными средствами и улучшение эффективности их эксплуатации. The cloud service receives information from the mobile application such as the driver’s driving characteristics (acceleration, braking, smoothness, rebuilding, travel route, etc.), dangerous conditions during movement, and application usage statistics. Based on the data collected from the driver’s mobile device, his behavior patterns, a unique driving style (manner) characterizing a particular driver are identified and formed. It should be noted that as users of the system for determining dangerous conditions on public roads, fleet administrators and representatives of insurance companies have been identified who monitor the history of interaction with the system and analyze driver’s driving statistics, respectively. In addition, using the results of the cloud service, the system for determining hazardous conditions on public roads enables users of the system to increase the efficiency of vehicle use by drivers, reducing maintenance costs and improving interaction with direct customers of a company. As drivers and users interact with the system for determining hazardous conditions on public roads, it continues to learn based on the accumulated data and adjust to each driver, taking into account his driving behavior and driving style, which makes it possible to assess drivers' driving skills and improving the efficiency of their operation.

Модуль просмотра истории взаимодействия и статистики использования мобильного программного комплекса водителем обеспечивает запись, обработку и отображение действий водителя транспортного средства на протяжении всего маршрута следования в каждый конкретный момент времени. Данный модуль протоколирования действий водителя позволяет не только внести корректирующие улучшения в алгоритмы обработки данных и принятии решений о наступлении дорожных происшествий, но и в том числе сформировать и предоставить статистику использования системы водителями транспортных средств. A driver for viewing the history of interaction and statistics on the use of a mobile software system by a driver provides recording, processing and displaying of actions of a driver of a vehicle throughout the entire route at any given time. This driver actions logging module allows not only to make corrective improvements to the data processing and decision-making algorithms for traffic accidents, but also to generate and provide statistics on the use of the system by vehicle drivers.

Модуль отображения отчета о поездке статистики позволяет просматривать статистику управления транспортным средством как частному водителю, так и администратору автопарка или представителю страховой компании. Данный модуль способен предоставить такую информацию как средняя скорость движения, ускорение, торможение транспортного средства в конкретный момент времени пройденного маршрута и т.д. The module for displaying the report on the trip statistics allows you to view the statistics of driving a vehicle as a private driver, and the administrator of the fleet or a representative of the insurance company. This module is able to provide such information as the average speed, acceleration, braking of the vehicle at a particular point in time along the route, etc.

Общая схема взаимодействия участников системы определения опасных состояний на дорогах общего пользования можно представить в виде диаграммы последовательности (фиг. 5). Водитель транспортного средства, осуществляющий взаимодействие главным образом с системой при помощи смартфона (участник процесса), задействует модули калибровки системы под водителя, считывания информации с камеры и сенсоров, выявления опасных состояний, генерации рекомендаций, поиска мест отдыха и синхронизации информации с облачным сервисом. The general scheme of interaction of participants in the system for determining hazardous conditions on public roads can be represented in the form of a sequence diagram (Fig. 5). The driver of the vehicle, interacting mainly with the system using a smartphone (a participant in the process), uses the modules for calibrating the system for the driver, reading information from the camera and sensors, identifying dangerous conditions, generating recommendations, finding places of rest and synchronizing information with the cloud service.

Использование системы водителем в кабине транспортного средства начинается с модуля калибровки системы, подстраивающейся под текущего водителя с учетом его внешних характеристик лица и его черт, а также предпочтений при использовании программного комплекса на смартфоне (например, уровень громкости предупреждающих уведомлений, рекомендаций).The use of the system by the driver in the vehicle cabin begins with a system calibration module that adapts to the current driver, taking into account his external characteristics of the face and his features, as well as preferences when using the software package on a smartphone (for example, the volume of warning notifications, recommendations).

Далее, наблюдаемая информация о водителе, собираемая и накапливаемая модулем считывания информации с сенсоров смартфона, обрабатывается и поступает в модуль выявления опасных состояний для дальнейшего обнаружения признаков ослабленного внимания и усталости у водителя. При распознавании опасного поведения модуль генерации рекомендаций уведомляет водителя о небезопасной ситуации при помощи звукового сигнала и контекстно-ориентированных рекомендаций за счет голосовых или текстовых сообщений о принятии надлежащих мер с его стороны по предотвращению аварийной ситуации. В случае, если в области видимости водителя расположены зоны отдыха, модуль поиска мест отдыха оповестит его о таких местах и предложит воспользоваться одним из найденных вариантов. Одним из ключевых аспектов функционирования системы является персонализация к стилю вождения индивидуально для водителя. Данная функция системы выполнима за счет синхронизации информации через облачный сервис при помощи соответствующего модуля в фоновом режиме (без прерывания остальных функций) непрерывно на всем протяжении работы программного комплекса. Информация, накапливаемая в процессе управления транспортным средством, при наличии Интернет-соединения периодически синхронизируется в фоновом режиме с удаленным облачным сервисом (модуль синхронизации информации с облачным сервисом) с целью обмена информацией о паттернах поведения конкретного водителя и дальнейшего повышения точности модуля выявления опасных состояний. В том числе, данный модуль предоставляет возможность запроса статистики взаимодействия водителя с системой на любом участке движения.Further, the observed information about the driver, collected and accumulated by the module for reading information from the sensors of the smartphone, is processed and fed to the module for detecting dangerous conditions to further detect signs of weakened attention and fatigue in the driver. When hazardous behavior is recognized, the recommendation generation module notifies the driver of an unsafe situation by means of an audio signal and context-oriented recommendations through voice or text messages about taking appropriate measures on his part to prevent an emergency. If the driver’s recreation areas are located in the driver’s area of visibility, the search module for recreation places will notify him of such places and offer to use one of the options found. One of the key aspects of the functioning of the system is personalization to the style of driving individually for the driver. This function of the system is feasible by synchronizing information through a cloud service using the appropriate module in the background (without interrupting other functions) continuously throughout the operation of the software package. The information accumulated in the process of driving a vehicle, if there is an Internet connection, is periodically synchronized in the background with a remote cloud service (information synchronization module with a cloud service) in order to exchange information about the behavior patterns of a particular driver and further improve the accuracy of the module for detecting dangerous conditions. In particular, this module provides the ability to request statistics on the interaction of the driver with the system on any traffic area.

Результаты эксперимента показали, что если длительность периода времени, в течение которого глаза закрыты, наблюдается более 28% времени в течение одной минуты, то считается, что человек находится в состоянии сонливости. При развитии состояния усталости или ослабленного внимания время моргания глаз может стать более продолжительным и более медленным, может варьироваться частота моргания, и/или при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начнут закрываться на время краткосрочных «микроснов», то есть состояний сна, которые длятся в течение приблизительно от трех до пяти секунд или дольше, или до продолжительного сна. Безопасный для водителя интервал, в течение которого допускается моргание глаза, варьируется от 0.5 сек. до 0.8 сек. Увеличение времени моргания характеризует степень усталости водителя. Также установлено, что у водителя присутствуют признаки ослабленного внимания, если при управлении транспортным средством он совершает более 3 зевков в течение 30 минут. Одним из заметных признаков ослабленного внимания является момент, когда водитель «клюет носом», то есть ему трудно становится удерживать голову в обычном положении. Если приложение фиксирует, что водитель совершил более 2 кивков головой в течение 2 минут, фиксируется обнаружение опасного состояния. The results of the experiment showed that if the length of the period of time during which the eyes are closed is observed more than 28% of the time for one minute, then it is believed that the person is in a state of drowsiness. With the development of a state of fatigue or weak attention, the time of blinking of the eyes can become longer and slower, the frequency of blinking can vary, and / or when blinking, the eyelids can begin to drop with a small amplitude, for example, until the eyes begin to close for a period of short-term "microsprings", that is, sleep states that last for about three to five seconds or longer, or until a prolonged sleep. The driver-safe interval during which blinking is allowed varies from 0.5 sec. up to 0.8 sec. An increase in blinking time characterizes the degree of driver fatigue. It was also found that the driver has signs of reduced attention if, when driving, he makes more than 3 yawns within 30 minutes. One of the noticeable signs of reduced attention is the moment when the driver "pecks his nose," that is, it becomes difficult for him to keep his head in the usual position. If the application detects that the driver made more than 2 nods of his head within 2 minutes, the detection of a dangerous condition is recorded.

Кроме того, было установлено, что непрерывное управление транспортом на протяжении 4 часов понижает скорость реагирования автомобилиста на изменение дорожной обстановки в 2 раза, а в течение 8 часов — до 5-7 раз. Термин «невнимательное вождение» подразумевает под собой управление транспортным средством, при котором водитель не полностью сосредоточен на дорожных условиях. In addition, it was found that continuous transport control for 4 hours reduces the response speed of a motorist to changes in traffic conditions by 2 times, and within 8 hours - up to 5-7 times. The term “inattentive driving” means driving a vehicle in which the driver is not fully focused on road conditions.

Были выявлены следующие три варианта невнимательного вождения. При выявлении состояния ослабленного внимания водителя используется определение положения его головы относительно туловища. В первом варианте рассматривается ситуация, при которой голова водителя должна быть направлена прямо по направлению движения транспортного средства. У водителя обнаружены признаки ослабленного внимания, если его голова не смотрит по направлению движения транспортным средством более двух секунд (направление скорости фиксируется акселерометром смартфона), или же она не направлена в сторону поворота (определяется по данным с гироскопа) транспортного средства. Во втором случае осуществляется наблюдение за прохождением водителем поворотов налево и направо, путем отслеживания направления движения транспортного средства и фиксации его поворотов налево или направо. Предполагается, что у водителя обнаружены признаки ослабленного внимания, если при повороте транспортного средства угол поворота головы водителя составляет менее 15° по направлению движения транспортного средства или попросту отсутствует.The following three options for inattentive driving were identified. When identifying a driver’s attenuated attention state, the position of his head relative to the body is used. In the first version, a situation is considered in which the driver's head should be directed directly in the direction of movement of the vehicle. The driver has signs of reduced attention if his head does not look in the direction of travel of the vehicle for more than two seconds (the direction of speed is fixed by the accelerometer of the smartphone), or if it is not directed towards the turn (determined from the gyroscope data) of the vehicle. In the second case, the driver monitors the passage of left and right turns by tracking the direction of the vehicle and fixing its turns left or right. It is assumed that the driver has signs of reduced attention if the angle of rotation of the driver’s head is less than 15 ° when turning the vehicle in the direction of travel of the vehicle or is simply absent.

Для оценки возможности достижения заявленного технического результата был разработан мобильный программный комплекс, построенный на основе применения статически типизированных языков программирования, официально поддерживаемых платформой Android, которыми являются Java, Kotlin, C++. To assess the feasibility of achieving the claimed technical result, a mobile software package was developed based on the use of statically typed programming languages officially supported by the Android platform, which are Java, Kotlin, C ++.

Анализ поведения водителя транспортного средства на основе детектирования, отслеживания и распознавания его лицевых характеристик на изображении реализован на языке программирования C++ при помощи программных библиотек компьютерного зрения OpenCV и машинного обучения Dlib. Для выполнения программного кода, написанного на языке программирования C++ и скомпонованного в виде динамических библиотек (с расширением .so), из языка Java были использованы JNI интерфейсы, реализующие механизм позднего связывания. Другие компоненты, такие как модуль принятия решений, модуль генерации рекомендаций и планирования задач, были написаны на языках Java и Kotlin. В качестве системы автоматической сборки мобильного приложения выбрана система Gradle, являющая стандартной системой сборки для Android Studio и предлагающая предметно-ориентированный язык использования Groovy для описания конфигурации проекта. Скомпилированная Java компилятором и собранная утилитой apkbuilder сборка мобильного приложения в формате «apk» для платформы Android и использования в системе РСПАС занимает 100 Мб в памяти смартфона, а после установки на устройство водителя – 120 Мб. Объем программного кода мобильного приложения составляет примерно 109 тысяч строк кода файлов с расширением .java, .kt.An analysis of the behavior of the vehicle driver based on the detection, tracking and recognition of its facial characteristics in the image is implemented in the C ++ programming language using the OpenCV computer vision software libraries and Dlib machine learning. To execute program code written in the C ++ programming language and assembled in the form of dynamic libraries (with the .so extension), from the Java language, JNI interfaces were used that implement the late binding mechanism. Other components, such as a decision module, a recommendation generation module, and a task scheduling module, were written in the Java and Kotlin languages. As the system for automatic assembly of the mobile application, the Gradle system was chosen, which is the standard build system for Android Studio and offers a subject-oriented language for using Groovy to describe the configuration of the project. Compiled by the Java compiler and compiled by the apkbuilder utility, assembling a mobile application in apk format for the Android platform and using it in the RSPAS system takes 100 MB in the smartphone’s memory, and after installing it on the driver’s device, it takes 120 MB. The volume of program code for a mobile application is approximately 109 thousand lines of code for files with the extension .java, .kt.

Эффективность определения опасных состояний на дорогах общего пользования была протестирована с использованием смартфонов LG G3, Google Pixel, Google Pixel 2 XL, Asus Zenfone 3 Deluxe 5.5, Asus Zenfone 3 ZE520KL, Samsung Galaxy S6, Samsung Galaxy S8+, Samsung Galaxy J1 Mini, Samsung Galaxy A3, Samsung Galaxy Tab Pro 8.4, Samsung Galaxy Alpha, Huawei Honor 9, Huawei P8 Lite, Huawei Nova, Xiaomi Mi 5, Xiaomi Redmi Note 3, Xiaomi Redmi 4, Xiaomi Redmi 1S. В тестировании соответствующей системы приняло участие 30 водителей на личных транспортных средствах, среди которых были и мужчины, и женщины. The effectiveness of determining hazardous conditions on public roads was tested using smartphones LG G3, Google Pixel, Google Pixel 2 XL, Asus Zenfone 3 Deluxe 5.5, Asus Zenfone 3 ZE520KL, Samsung Galaxy S6, Samsung Galaxy S8 +, Samsung Galaxy J1 Mini, Samsung Galaxy A3, Samsung Galaxy Tab Pro 8.4, Samsung Galaxy Alpha, Huawei Honor 9, Huawei P8 Lite, Huawei Nova, Xiaomi Mi 5, Xiaomi Redmi Note 3, Xiaomi Redmi 4, Xiaomi Redmi 1S. In testing the corresponding system, 30 drivers took part in personal vehicles, including both men and women.

Сравнение времени распознавания опасного состояния на всех использованных смартфонах приведено на фиг. 6, где время

– это максимально допустимое время распознавания опасного состояния, а время

– время, за которое большая часть современных смартфонов успевает определить опасное состояние на временном промежутке.A comparison of the time for recognizing a dangerous state on all used smartphones is shown in FIG. 6 where is the time

- this is the maximum permissible time for recognizing a dangerous condition, and time

- the time during which most modern smartphones manage to determine the dangerous state in the time interval.

Представленные данные свидетельствуют о том, что заявленный способ обеспечивает возможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также позволяет повысить эффективность определения опасных состояний на дорогах общего пользования.The data presented indicate that the claimed method provides the possibility of continuous self-training and adaptation to the behavior and driving style of a particular driver, taking into account its features, and also improves the efficiency of determining dangerous conditions on public roads.

Результаты проведенных экспериментальных исследований свидетельствуют о том, что заявляемый способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства обладает новыми свойствами, обусловливающими получение положительного эффекта, что указывает на возможность решения сформулированной технической проблемы.The results of experimental studies indicate that the inventive method for determining dangerous conditions on public roads based on monitoring the situation in the vehicle cabin has new properties that determine a positive effect, which indicates the possibility of solving the formulated technical problem.

Claims

A method for determining hazardous conditions on public roads based on monitoring the situation in the vehicle cabin, which consists in detecting an image area containing a face, detecting areas presumably containing eyes, detecting eye areas, determining the boundaries of the area of movement of the pupil, determining the frequency and directions eye movements, determine the frequency of blinks, determine the length of the period of time during which the eyes are closed, compare the parameters characterizing the state in of a driver with a reference for the state of falling asleep and the state of sleep, decide on the need for an alarm for the driver, characterized in that they register the driver and fill out his profile, calibrate the angle of rotation and tilt of the head, calibrate the sound volume, analyze the driver’s context and decide on the appropriateness of determining the dangerous condition , determine the time required to make a decision about the presence of a dangerous state, determine the number of iterations necessary to make a decision about the presence of a dangerous state, to Before iteration, they receive an image from the front camera of the smartphone, determine the angles of rotation and tilt of the head relative to the body, and then find the area of the image containing the face, after determining the length of the period of time during which the eyes are closed, find the area that supposedly contains the mouth, detect the area the mouth, determine the degree of openness of the mouth, receive data from the sensors of the smartphone, determine the pace and speed of the vehicle, acceleration time, the presence of sharp accelerated d and braking, turning of vehicles, the type of driver’s behavior while driving, hazardous conditions are identified based on criteria from the ontology, for which, among other things, parameters characterizing the driver’s condition are compared with the reference ones for the state of falling asleep and sleeping state, and the indicated actions are repeated in accordance with the number iterations necessary to make a decision about the presence of a dangerous state, average the results obtained for all iterations, form recommendations based on a certain dangerous state and context of water the driver, and then make a decision about the need to signal to the driver, then save the statistics and generate a report for interested persons, identify patterns of driver behavior, calibrate hazard recognition algorithms for working with a specific driver and identify driver preferences to form personalized recommendations.