Статистика в IT

Задача снижения дисперсии при проведении A/B экспериментов, кажется, никогда не перестанет быть актуальной. Хочу поделиться небольшим разбором свежей статьи, в которой авторы предлагают еще один довольно-таки провокационный метод для снижения дисперсии.

Среди всей суеты в этому году было то, что остаётся неизменным поводом для веры в человечество. Это наука: Илон Маск впервые имплантировал микрочип Neuralink человеку, на спутнике Сатурна Мимасе открыли океан из воды, создан препарат для лечения страшной болезни Бехтерева, на основе мРНК разработана вакцина от меланомы (одного из самых распространённых видов рака), созданные вирионы уничтожили бактерию изнутри, установлен новый рекорд в беспроводной передаче данных (938 гигабит в секунду), препарат Ленакапавир против ВИЧ был проверен и оказался эффективен в 99% случаев. И это лишь малая часть…

Второе, что внушает веру в человечество, это чтение. В век коротких роликов, картинок и инфографики на Хабре продолжают писать и читать лонгриды, экспертно их комментировать, писать ответы, устраивать горячие дискуссии. При этом шардирование баз данных может увлечь так же сильно, как обсуждение чего-то научно-популярного.

Как всегда, Хабр был разным, оставался зеркалом IT-сферы и всего вокруг неё происходящего, реагировал, бурлил, обсуждал. Жил свою уже совершеннолетнюю жизнь. Оглянемся на 2024 год?

Возможно, вы слышали о финансовой стратегии ставок по методу Келли. Это система, позволяющая оборачивать себе на пользу известную информацию в азартной игре или связанные с ней предубеждения. Эта стратегия также называется максимально агрессивной или стратегией высокой дисперсии. Дело в том, что если сделать ставку выше, чем позволяет предел Келли, то последствия могут быть катастрофическими.
Недавно мне попалась странная карточная игра, в которой стратегия Келли абсолютно не подразумевала риска, поскольку в игре действует Нулевая дисперсия. В своей знаменитой книге «Математические головоломки» Питер Уинклер называет её «Next Card Bet» («Следующая карточная ставка»). Саму задачу и её решение, по-видимому, сформулировал Томас Кавер. Мне понравилась как сама эта игра в ставки, так и её анализ, поэтому я поделюсь ими с вами здесь.

Добрый вечер, Хабр! Вот и подходит к концу 2024 год. За последние 12 месяцев в мире нашлось большое количество технических инфоповодов и IT-событий, обновлений ПО, случалось появление новых технологий, произошло развитие электроники и масштабный приход ИИ-сервисов в нашу жизнь, включая различные вариации чат-ботов, Copilot и ИИ-агентов. Большую часть этих событий постаралась запечатлеть команда информационной службы Хабра. А вы, как пользователи этого технического ресурса, оценивали и комментировали новости, переводы и лонгриды, а также помогали нам развиваться в этом году, комментируя, критикуя, оценивая публикации и присылая в ЛС сообщения об ошибках или неточностях в материале.

Насколько сложно прогнозировать результат 'обе команды забьют' (BTTS)?, Могут ли классификаторы машинного обучения прогнозировать BTTS точнее букмекерских контор? и Можно ли использовать классификаторы для разработки прибыльных стратегий на рынке BTTS?
Разберем генерацию признаков, обучение моделей машинного обучения и создание стратегий ставок.

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech.

Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

Итак, дорогие читатели! Сейчас я обучаюсь на 4 курсе (бакалавр) на программиста (направление: Информатика и вычислительная техника) в семестре столкнулся с очень интересным исследовательским проектом, связанным с биоинформатикой! Вместе с заказчиком мы ему дали научное название: «Снижение рисков развития рецидива злокачественного новообразования» и отправляем в долгое плавание!

На примере проекта‑исследования мы хотим рассказать: где искать медицинские данные? Какого это с ними работать? Как правильно подходить к исследовательской задаче и многое другое. Вы даже сами сможете повторить наши результаты, и я уверен, что у вас получится даже лучше.

Что приходит на ум, когда слышите слово «рецидив»? Правильно, возвращение того, от чего вы уже вроде как избавились. Для заболевших пациентов это слово внушает тревогу, а в онкологии и вовсе звучит как зловещий колокол. Но не бойтесь: сегодня мы не только посмеемся над этим монстром, но и узнаем, как ему дать отпор. Спойлер: с помощью науки и чуточки аналитики.

Текущая экономическая ситуация в мире приводит к сильному давлению роста цен во всех секторах экономики. Ритейлеры не могут перекладывать эти риски на плечи своих покупателей, что приводит их к необходимости поиска новых путей сокращения затрат на экземпляр процесса, т. е. на штуку товара. Усиливающаяся конкуренция с e‑commerce требует перестройки процессов и выхода на повышенные скорости доставки в борьбе за клиента.

И кажется, что все имеющиеся инструменты повышения эффективности уже использованы. Но есть ещё один. В этой статье я расскажу о нашем опыте повышения производительности операций в распределительных центрах торговой сети «Пятёрочка» без больших финансовых вливаний и долгосрочных разработок. Я руковожу Департаментом развития аналитики «Цепочки поставок и поддерживающие функции» в Х5 Tech, и моя команда занимается поиском путей повышения эффективности бизнеса через анализ больших данных.

Поскольку в последнее время часто вижу рекламу “войти в IT”, решил посмотреть и дать картину того, кто выступает в качестве менторов и стоит ли им доверять на примере наставников в тестирование.

Привет! Продолжаю знакомить вас с библиотекой Prophet в качестве инстурмента прогнозирования продаж. Первая часть тут.

Функции для критериев качества в нашей прогнозной модели будут выглядеть следующим образом:

Бинарная классификация — одна из ключевых задач машинного обучения, но в реальных приложениях часто важно не только определить класс, но и понять, с какой вероятностью модель принимает решение. Как проверить точность вероятностных предсказаний?

В статье обсуждаются специализированные инструменты для оценки качества вероятностных прогнозов, ключевые метрики и их интерпретация. Материал будет полезен для практиков, стремящихся повысить точность и объяснимость своих моделей.

Прочитай статью и узнай, как не потерять деньги при размещении рекламы у блогеров. Сегодня — проверка на накрутку.

Недавно YouTube подкинул мне видео «Я пообщался со 100 людьми, сдавшими ЕГЭ на 100, и вот что понял» — автор поговорил со ста выпускниками, сдавшими экзамен на высший балл, и обобщил их опыт. Многие советы из видео можно распространить не только на подготовку к экзамену, но и на подготовку к собеседованию или «вхождение в IT» — так что ролик будет интересен и тем, кто давно окончил школу.

Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. Как аналитик с профдеформацией я в любом подобном исследовании вижу недоделанный А/В-тест — и считаю своим долгом его доделать. В этом тексте я расскажу, какие результаты показал эксперимент из YouTube, и попробую выяснить, являются ли они статзначимыми.

Сложные пароли, двухфакторка, CAPTCHA. Всё это должно защищать, но что, если сами эти механизмы превращаются в огромную дыру в безопасности?

Что делать, если ваш клиент — не «идеальный пользователь», а сотрудник компании с артритом, который не может набрать сложный пароль? Или клиент интернет-банка с ослабленным зрением? Или ваш пожилой сосед, который не смог настроить двухфакторную аутентификацию?

Сложные интерфейсы отпугивают клиентов, ломают UX, а иногда создают больше рисков, чем защищают. Можно ли совместить безопасность и цифровую доступность? Какие ошибки ломают UX, а какие решения работают?

Разберём реальные кейсы, свежие данные и подходы. Ответы есть — и они вас удивят (но это не точно).

Все знают про распределение выборочного среднего (его описывает Центральная предельная теорема), а что насчет выборочных квантилей?

В заметке я расскажу, как и зачем приближать распределения выборочных квантилей из данных с типичными распределениями: равномерное, экспоненциальное и нормальное, а также когда и какое приближение стоит использовать.

При разработке и поддержке ML-продуктов одним из ключевых решений является решение о переходе на новую модель, опережающую предыдущую по ряду характеристик. Разработчики и бизнес сталкиваются с риском впустую потратить ресурсы на продуктивизацию новой модели, если разница между текущей и обновленной моделью статистически не обоснована. В статье представлен исчерпывающий системный подход к разрешению данной дилеммы, который успешно применяется у нас в t2 (ранее Tele2).

Проблема моделирования футбольных данных становится все более популярной в последние несколько лет, и было предложено множество различных моделей с целью оценки характеристик, которые приводят команду к поражению или победе, или для прогнозирования счета конкретного матча. Рассмотрим байесовскую иерархическую модель и проверим ее прогнозирующие способности на основе данных о чемпионате Италии Серии А.

Привет! На связи команда аналитиков «Пятёрочки» X5 Tech.

Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами, протестировать результаты серии тестов с классическим статистическим выводом о значимости показателей этой серии, то есть провести мета-анализ. 

На написание этой статьи меня вдохновило общение внутри моей классной команды, общение с одним из аналитиком Gett, а также данный пост и комментарии к нему по поводу статьи Ebay.

Мета-анализ стоит на ступеньку выше по доказательности, чем обычный тест, так как аккумулирует информацию по ряду тестов. Можно сказать, что он проводит операцию слияния данных (data fusion), давая оценку оценкам, поэтому и мета. И раз он сильнее по доказательности, то и позволяет увереннее внедрять статистически значимые инициативы. Про это и поговорим в статье.

Давно замечаю, что подавляющее большинство менеджеров (продакты, маркетологи, growth-менеджеры) ограничиваются, в основном, одним статистическим методом — хи-квадратом (Chi-squared test) — что уже неплохо, но это только верхушка айсберга. Методов гораздо больше, и каждый из них может закрывать свои задачи.

Я долго искал, что могло бы стать готовым помощником для менеджеров, но ничего, что отвечало бы всем требованиям, так и не нашёл.

Поэтому собрал свой справочник с методами частотной аналитики. Старался сделать всё максимально просто: без формул, сложных терминов и заумных объяснений. Главное — чтобы было интуитивно понятно, какой метод выбрать и для какой задачи