DeepSeek-R1 — самая громкая новика в мире больших языковых моделей, сочетающий открытые веса, дистиллированные варианты и уникальную методику обучения рассуждению. Эта статья рассказывает, как создатели модели сумели добиться таких результатов, объединив широкомасштабное обучение с подкреплением, промежуточные модели и большой массив примеров с развёрнутыми цепочками мыслей, чтобы в итоге получить универсальную, эффективную и более удобочитаемую модель.

Автор оригинала: Jay Alammar

Сейчас китайскую модель DeepSeek обсуждают везде: от Кремниевой долины до локальных чатов в Telegram. Еще бы, из-за успешного релиза модели R1, акции компании Nvidia просели, так как часть инвесторов считает, что теперь в разработке ИИ-моделей главное не количество вычислительных ресурсов, а качество и креативный подход.

Подробнее о том, кто стоит за Deepseek и что в нем революционного написал колумнист The Wall Street Journal Рафаэль Хуанг, а мы подготовили перевод его колонки.

Беспилотные автомобили и гуманоидные роботы, способные ходить, разговаривать и работать бок о бок с людьми, — это лишь два примера того, как искусственный интеллект может изменить мир в ближайшем будущем.

Однако для того, чтобы эти физические ИИ-инструменты и приложения могли работать безопасно и эффективно, им необходимо научиться понимать окружающий мир.

Опасения по поводу отключений электричества заставили ирландского оператора энергосистемы приостановить строительство новых дата-центров вблизи Дублина до 2028 года. Десятки огромных дата-центров на окраинах Дублина потребляют больше электричества, чем все городские дома в Ирландии.

Теперь страна, сделавшая себя вычислительной фабрикой для Amazon, Google, Meta, Microsoft и TikTok, задается вопросом, стоило ли это того, поскольку технологические гиганты ищут по всему миру места для постройки еще больше дата-центров, чтобы поддержать следующую волну искусственного интеллекта.

Илья Суцкевер, соучредитель и бывший главный ученый OpenAI, утверждает, что данные — это ископаемое топливо ИИ, и мы его исчерпали. Правда ли это?

Это заявление сделано в контексте объяснения того, что ограничение для ИИ (особенно для LLM) заключается в качестве данных, необходимых для имитации интеллекта, — ограничение, часто называемое «энтропийным разрывом».

Новый проект OpenAI в области искусственного интеллекта, получивший кодовое название Orion, столкнулся с множеством проблем. Он отстает от графика и требует огромных затрат. Неясно, когда и будет ли он работать. Возможно, в мире недостаточно данных, чтобы сделать его достаточно умным.

Венчурный инвестор и контрибьютор журнала Forbes Роб Тейвз каждый год публикует свой прогноз событий, которые будут ждать сферу искусственного интеллекта в новом году. Ранее мы публиковали текст о том, как сбылись прогнозы на 2024, а теперь Роб подготовил новые предсказания. Вот они.

OpenAI утверждает, что ее корпоративная структура должна развиваться, чтобы продвигать основную цель — гарантировать, что искусственный общий интеллект (AGI), способный выполнять большинство задач, под силу человеку, будет приносить пользу всему человечеству.

В настоящее время OpenAI действует как коммерческая организация, контролируемая некоммерческим фондом, с системой «ограниченной прибыли» для инвесторов и сотрудников. Однако в блоге, опубликованном в пятницу, компания объявила, что планирует начать преобразование своей коммерческой части в зарегистрированную в Делавэре Public Benefit Corporation (PBC) с обычными акциями и миссией OpenAI в качестве общественно значимого интереса.

Стартапы используют обходные пути, чтобы бросить вызов OpenAI в ряде областей, несмотря на нехватку передовых микросхем

Китайские стартапы демонстрируют более быстрый прогресс в сравнении с лидирующими американскими моделями искусственного интеллекта, чем многие в отрасли предполагали, несмотря на ограничения, с которыми Китай сталкивается при покупке современных чипов.

Франсуа Шолле, создатель фреймворка Keras и основатель ARC Prize Foundation, поделился итогами тестов новой модели o3 от OpenAI в тестах бенчмарка ARC-AGI-Pub. Эта модель достигла впечатляющего результата — 75,7% на полу-приватном наборе оценки при соблюдении установленного публичного лимита вычислительных ресурсов в $10 тысяч. Конфигурация o3 с увеличенным уровнем вычислений (172-кратное увеличение) показала результат 87,5%.

Этот результат представляет собой неожиданный и значительный скачок в возможностях искусственного интеллекта, демонстрируя способность к адаптации к новым задачам, ранее невиданную в моделях семейства GPT. Для сравнения, ARC-AGI-1 потребовал 4 года, чтобы повысить результат с 0% у GPT-3 в 2020 году до 5% у GPT-4o в 2024 году. Все представления о возможностях ИИ требуют пересмотра подхода к бенчмаркам ARC в свете достижений o3.

На этой неделе компания OpenAI предоставила своим платным клиентам генератор изображений Sora Turbo, и в социальные сети хлынул поток работ с использованием Sora, многие из которых очень впечатляют. Единственное, в чем модель не очень хороша, так это в изображении гимнастики, и причины этого многое говорят о текущих проблемах генераторов обучающего видео. 

В прошлом году Forbes опубликовал список из 10 предсказаний о том, что произойдет в сфере ИИ в 2024 году. Прошел почти год, и настала пора сравнить прогноз с реальным положением дел, а попутно понять, как за год изменилась расстановка сил на этом конкурентном рынке.

Привет, на связи Технократия, и сегодня Head of Web компании Айзат Фархутдинов расскажет о том, как мы решали проблему актуализации статусов проектов: от заполнения табличек в Google Sheets до разработки полноценного сервиса, в котором есть функция суммаризации статусов.

В то время как языковые модели все лучше справляются с такими задачами, как написание стихов и электронных писем, Джампер надеется увидеть эру, когда ИИ будет решать проблемы, которые люди никогда не смогут решить самостоятельно.

Когда в начале этого месяца Джон Джампер получил звонок от Королевской шведской академии наук с известием о присуждении ему Нобелевской премии, он едва не пропустил его. Будучи директором Google DeepMind, одного из ведущих исследовательских центров в области искусственного интеллекта, Джон увидел на экране своего смартфона телефонный код Швеции и замер, не в силах поверить в происходящее.

Однако 9 октября Джон Джампер стал лауреатом Нобелевской премии по химии. Вместе с соучредителем DeepMind Демисом Хассабисом он разделил эту награду за создание AlphaFold — ИИ-модели, способной предсказывать структуру белков на основе их химической последовательности

Многие из наиболее известных тестов для оценки работы моделей искусственного интеллекта устарели или недостаточно продуманы.

Когда появляется новая модель искусственного интеллекта, её обычно рекламируют как лучшую по результатам тестов. Например, модель GPT-4o от OpenAI была представлена в мае с результатами, которые показали, что её производительность превосходит другие модели искусственного интеллекта в нескольких тестах.

Однако проблема в том, что эти тесты плохо продуманы, их результаты сложно воспроизвести, а используемые в них метрики часто не имеют чёткого определения. Это было отмечено в новом исследовании. Это важно, потому что оценки моделей искусственного интеллекта по этим показателям будут определять уровень их проверки и регулирования.

В 2024 году не иметь доступа к генеративным ИИ вроде ChatGPT или YandexGPT — моветон. Эту проблему мы решили еще в прошлом году, когда разработали чат-бота для Telegram, который работает без танцев с бубном. А по ходу еще написали API для работы наших внутренних сервисов со сторонними LLM. О том, как шел ход разработки, рассказал Артем Нуртдинов, технический директор «Технократии».

Достижения в применении искусственного интеллекта к симуляциям в области физики и химии заставляют некоторых задумываться о том, понадобятся ли нам вообще квантовые компьютеры.

По мере того как компании начинают экспериментировать с мультимодальной генерацией, дополненной поисковыми данными (RAG), поставщики мультимодальных встраиваний — метода преобразования данных в файлы, читаемые RAG, — советуют предприятиям начинать с малого, осваивая внедрение изображений и видео.

Дональд Трамп станет следующим президентом Соединенных Штатов, вновь вступив в должность в январе. Любое изменение администрации знаменует собой смену приоритетов, а новый лидер неизбежно отменяет некоторые из политик своего предшественника — особенно учитывая, что взгляды и политика Трампа находятся в полной противоположности к курсу предыдущей администрации.  

Вот как победа Трампа может повлиять на технологический сектор. 

«Лучшая броманс» в мире технологий столкнулся с суровой реальностью: OpenAI пыталась изменить условия сделки с Microsoft, в то время как софтверный гигант искал способы снизить свои риски в отношении стартапа.

Прошлой осенью Сэм Альтман, генеральный директор OpenAI, обратился к Сатье Наделле, главе Microsoft, с предложением инвестировать миллиарды долларов в стартап.