Комментарии 15
В целом неплохой получился обзор дотупных на сегодня интерфейсов. Я всё же предпочитаю старый проверенный временем OpenBCI, на него больше всего открытого софта и исследований (о комфорте использования мокрых электродов умолчу).
Но с большей долей вероятности, если вы не магистр/аспирант и не пишите работу где иследуете рабту мозга, то подобные устройства на долго отправляться в глубокий ящик уже в первый день приобретения. По большей части это просто игрушка, особенно те которые используют всего пару электродов.
Не так давно вспомнил о модуле который я преобретал ещё очень давно за 50-60$, и который до недавнего пылился в куче с другими девбордами. На нем используется TGAM от Neurosky, который сейчас можно купить с Китая за 30$. Требует минимум обвязки, по сути нужно только подключить питание, электроды и по желанию Bluetooth модуль. Интерфейс обычный UART по которому отправляют сырые данные и концепцию/медитацию в условных единицах. Всё просто и удобно, один сухой электрод на лоб и референсный - пришепку к мочке уха.
Когда начал изучать разработку под Андроид, вспомнил о нем, тогда и зародился в голове мини проект (just for fun) - управлять ушками аватара VRChat с помощью мысли. На удивление медитацию распознает очень неплохо, моргания также несложно обнаружить из сырых данных.
Демо прилагается:
https://youtu.be/0L9tE0ZVeks?feature=shared
Большое спасибо, что поделились опытом!
Для меня OpenBCI это ту мач, поэтому и искала специально более простые в использовании устройства со сборкой из коробки :) Но если вы уже достаточно преисполнились в теме и вам не влом поработать руками (и с девайсом, и с кодом), то OpenBCI конечно победит по функциональности и надежности любую гарнитуру из топа.
Проект классный, понравилось, как мило интерпретируете ритмы!
А просто вариант «хочу управлять мышкой мыслями» с этими штуками работает?
Когда лень двигать ее руками, было бы прикольно.
С этими штуками управлять мышкой вряд ли получится, на мой взгляд, для такого лучше использовать eye-tracking: любая веб-камера + предобученная моделька из интернета должны справиться.
Проблема в том, что нейродевайсы позволяют либо использовать весьма ограниченное число команд, либо продолжительные состояния. И тем и другим сложно закодировать сразу обе оси (х и у) позиции мышки на экране, т.к. придется использовать сразу команду + состояние одновременно, или еще как-то извращаться. При этом, ай-трекинг тут напрашивается весьма естественно.
Когда то писали про первый emotive epox что можно натренировать несколько степеней свободы (одну - очень легко, две сложнее, три - по ситуации) и это именно намерение по управлению а не сосредоточение и расслабление.
Какая современная гарнитура предоставит подобный функционал?
p.s. 999$ за устройство и 89$ в месяц выглядит как заградительная цена.
У меня есть теория, почему адекватного устройства не появляется на рынке
довелось тут заглянуть в реабилитационный центр людей с нарушениями в мозгу (неврология), есть там одна процедура - БАК (изобретена в России и представлена в 2007г), выглядит очень просто - пациенту надевают на голову датчики ЭЭГ и наушники, настраивают в специальной программе целевые параметры, затем программа генерирует звуки - музыку таким образом, чтобы целевые параметры корректировались.
Это работает, но зависит от специалиста, настраивающего процедуру.. например один из результатов, можно успокоить или взбудоражить, подтолкнуть к развитию или наоборот. Цитата оператора этого устройства, 'дети лежат с ним и кайфуют' или 'пользуюсь этим сама'. По факту, помимо терапевтического эффекта, это буквально 'электронные наркотики', возможность не инвазивно изменить значимо какие то характеристики в мозгу пациента.
Нужно ли говорить, что как и любой инструмент, без грамотного его использования, вместо пользы можно получить вред? Сделать НЕПРАВИЛЬНОЕ такое устройство, написав приложение и соединив его с генератором музыки, скачав готовый opensource софт, сможет наверное каждый десятый программист.
Какая современная гарнитура предоставит подобный функционал?
Из тех, что попали в таблицу -- никакая. С нюансом: из коробки. Если писать к этому свой софт, то достичь такого функционала с некоторыми из них можно, в 2021 я на коленке собрала датасеты и модельку, которая как раз выдавала примерно такие результаты: одна команда ок, две одновременно терпимо, четыре между собой путались. Команды были на основе "мысленных образов", не "воображаемая речь", а именно абстрактные понятия. Работало это на Neuroplay-8Cap, то есть на стандартной 8-электродной шапке.
Но, российский Гермес обещает распознавать аж 30 ментальных движений -- очень любопытно, сколько из них реально распознаются одновременно.
Что касается отсутствия устройства из-за потенциального вреда, то не очень в это верю, атомную бомбу, как и тикток, все-таки изобрели и продолжают совершенствовать. Тем более, что аналог БАК на рынке существует -- это большинство устройств с форм-фактором наушников из списка. Например, sens.ai. Из отечественных есть Neiry, у которых готовятся к выходу наушники с нейростимуляцией, что уже даже не просто подобранная музычка.
600т.р. по предзаказу выглядит как 'нет никакого устройства'.
Там что то про 50т.р. пишут, но в россии на такое устройство обыватель не клюнет, только если это будут ну очень значимые возможности, но помятуя как emotiv epoc на рынок выходил, разработчикам нужно покупать по максимуму, а значит ... устройства нет
p.s. если они позиционирут себя как медицинское устройство, то ... а разве таких нет?
Когда писала статью, Гермес был 300 т.р., вот это инфляция :) Насколько понимаю, устройство в виде технологии, прототипа и первой партии есть, просто они пока изучают, кому и как его можно продавать. С такими ценами это 99% будет B2B, но может впоследствии им удастся оптимизировать издержки.
в 2021 я на коленке собрала датасеты и модельку, которая как раз выдавала примерно такие результаты: одна команда ок, две одновременно терпимо, четыре между собой путались. Команды были на основе "мысленных образов", не "воображаемая речь", а именно абстрактные понятия. Работало это на Neuroplay-8Cap, то есть на стандартной 8-электродной шапке.
можно по подробнее про это? или ссылку на описание? или пост запилить?
Это так и не уехало далее прототипов в Jupyter ноутбучках по ряду причин, но я думаю восстановить нечто подобное в своих текущих проектах. Если вкратце, то я
1) вдохновилась семантической картой,
2) выбрала эмоционально яркие и далеко расположенные друг от друга на карте понятия, -- например, моими (как и алгоритма) фаворитами стали "бей" и "мама",
3) поменяла электроды на своей configurable шапке, чтобы находились над нужными зонами по карте
4) насобирала датасетов, где я и парочка моих друзей смотрим по очереди на разные слова и мысленно вызываем их образ (слова, щедро разбавленные нужными "командами", чтобы иметь в датасете команду, реакцию на нейтральное понятие и idle промежутки)
5) "натренировала" извращенный алгоритм Витерби, который по сути прикладывал секундные кусочки из онлайн потока данных ЭЭГ по разным каналам и ритмам к образцам из датасета
6) после переехала на kNN (раскладывая кусочки данных на фичи), так как он при той же скорости давал результат чуть получше, особенно после того, как насобирала еще данных
7) развлекалась -- на видео распознается только одна команда
Какой размер датасета достаточен для 90+% распознавания? как именно собирали датасет?
у emotive epoc тренировка была на распознавание намерения нажатия клавиш (или влево/вправо/вверх/вниз/выстрел), т.е. можно было использовать в своих играх (я читал что в стрелялке эффективно можно научиться стрелять, т.е. одна степень свободы, причем быстрее чем нажимать рукой, что для меня шок)
Я проводила большое количество экспериментов, и под каждую коррекцию идеи перезаписывала датасет.
Подробный журнал экспериментов не вела.
В последнем сохранившемся в ноутбуке эксперименте было
480 записей команды,
160 записей нейтрального состояния,
320 записей других случайных понятий.
Каждая запись по 3 секунды, из них автоматически вырезался оптимальный для наилучшего качества алгоритма кусок.
Собирались они подходами по 30 интервалов, подопытный смотрел на экран, где каждые три секунды (интервал) появлялось новое слово. Слово надо было мысленно произнести и одновременно ‘представить’ его суть.
Последний датасет был снят только с меня и давал качество ~0.75 accuracy на тестовой выборке.
Сколько данных надо на 95% и какую метрику качества вы имеете в виду — я не знаю, но предположу, что данных надо гораздо больше, тк для голосовых помощников скармливают миллионы часов, а у меня в экспериментах за раз в лучшем случае было по паре часов суммарно.
Что касается Emotiv - у меня ни разу не получилось заставить Insight поймать сигнал одновременно всеми электродами. Так что особенно комментировать не могу. Но в статье я упоминала девушку, которая проходит Elden Rings с Epoc, можете посмотреть ее стримы.
К ‘стрелять мысленной командой быстрее, чем нажать рукой’ отношусь скептически, если речь про ЭЭГ девайс. Видела статьи про перчатки, которые считывают миограмму — вот с ними быстрее, чем нажать.
добавлю свои пять копеек:
В стоимость указанных выше устройств надо добавить доставку.
--------------------
Сделал за 10 мин обзор, что можно купить на али с OpenBCI:
Спасибо за замечание!
Доставку (стоимость и время ожидания) сперва добавила в таблицу, но потом убрала, потому что на каждом сайте устройства она считается индивидуально. В некоторые страны устройства не доставляются напрямую (например, я внезапно не смогла заказать Neurosity Crown в Нидерланды, хоть и оказалось, что это было к лучшему), а стоимость перевозки через посредников еще более не предсказуема.
За наводку на Ali спасибо, хоть лично я и предпочитаю заказывать такие штуки напрямую у производителей, кому-то может быть полезно.
Потребительские нейроинтерфейсы 2024