Всё, что нужно, чтобы проверить или повторить сравнение семи нейросетей: точные идентификаторы моделей, настройки запуска, полные тексты заданий, шаблон промпта для судьи, даты прогонов, хронология изменений методики и архив со всеми работами и голосами. Без регистрации.
Скачать архив данных (12 МБ)В архиве: тексты всех заданий, 63 работы целиком, 57 файлов голосования с пояснениями судей, замеры времени и токенов по каждой работе, правила и симулятор муравьиного турнира, боты всех четырёх туров и итоги туров.
Цены — тарифы OpenRouter на момент прогона, доллары за миллион токенов. Claude и GPT запускались по подписке; их стоимость считалась по тем же тарифам только для сравнения.
| Модель | Идентификатор | Способ запуска | вход / выход, $/млн | Первый и последний прогон |
|---|---|---|---|---|
| GPT-5.6 Sol | gpt-5.6-sol |
codex CLI, подписка | 2.0 / 10.0 | 2026-08-30 14:47 2026-08-31 07:44 |
| Claude Opus 5 | opus |
Claude CLI, подписка | 5.0 / 25.0 | 2026-08-30 14:50 2026-08-30 22:09 |
| Kimi K3 | moonshotai/kimi-k3 |
OpenRouter, HTTP | 3.0 / 15.0 | 2026-08-30 15:00 2026-08-31 15:07 |
| Grok 4.6 | x-ai/grok-4.6 |
OpenRouter, HTTP | 2.0 / 6.0 | 2026-08-30 15:02 2026-08-31 09:47 |
| Qwen 3.8 Max | qwen/qwen3.8-max |
OpenRouter, HTTP | 2.0 / 6.0 | 2026-08-30 15:10 2026-08-31 14:35 |
| DeepSeek V4 Pro | deepseek/deepseek-v4-pro-0813 |
OpenRouter, HTTP | 0.66 / 1.98 | 2026-08-30 15:15 2026-08-31 18:24 |
| Gemini 3.7 Flash | google/gemini-3.7-flash |
OpenRouter, HTTP | 0.75 / 3.75 | 2026-08-30 15:16 2026-08-31 14:15 |
Температура и системные промпты не задавались — использовались значения по умолчанию каждого провайдера. Предел ответа: 96 000 токенов для заданий, 40 000 на ход в диалоговой данетке, 32 000 при первом запросе бота (после того как Qwen не уложилась, поднят до 80 000). Инструменты у всех отключены: ни сети, ни файлов, ни запуска кода. Единственное исключение — задания с картинкой, где разрешено чтение файла-картинки.
Без неё модели с агентскими способностями пытаются писать файлы на диск вместо ответа.
(см. прогон.py)
Ровно то, что получала каждая модель. Английские переводы заданий лежат в архиве.
Сделай один самодостаточный файл index.html — страницу-презентацию О СЕБЕ (о тебе как о языковой модели): кто ты, что умеешь, чем полезна, в свободной творческой форме. Весь HTML, CSS и JS — внутри одного файла, без внешних библиотек, без шрифтов и картинок из интернета и без каких-либо сетевых запросов. Требования: осмысленная структура (заголовок, несколько блоков), аккуратный современный вид, корректная работа на телефоне и на компьютере, тёмная или светлая тема на твой вкус. Не используй ссылки на внешние ресурсы. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода. Логотип, иконки и картинки, если умеешь, рисуй сама (SVG внутри файла).
Сделай одностраничную инфографику в одном самодостаточном файле index.html по данным ниже. Весь HTML, CSS и JS — внутри файла, без внешних библиотек, шрифтов, картинок и сетевых запросов. Графику рисуй сама: SVG или canvas. ДАННЫЕ (интернет-магазин «Сойка», 2025 год). Числа менять, округлять и додумывать нельзя, все они должны оказаться на странице: Заказы по месяцам: январь 1240, февраль 1180, март 1520, апрель 1610, май 1490, июнь 1330, июль 1210, август 1275, сентябрь 1680, октябрь 1940, ноябрь 2450, декабрь 3120. Откуда пришли покупатели: поиск 41%, рекомендации 23%, соцсети 18%, реклама 12%, письма 6%. Средний чек: 2025 год — 3480 ₽, 2024 год — 3010 ₽. Возвраты: 4,7% заказов. Доля заказов с телефона: 68%. Требования: заголовок и короткий вывод — что эти цифры говорят о магазине; график по месяцам, на котором виден рост к декабрю; понятное распределение по каналам; аккуратная работа на телефоне и на компьютере. Никаких выдуманных цифр: только то, что дано выше. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
Сделай трёхмерного робота в одном самодостаточном файле index.html, которого посетитель может сам осмотреть со всех сторон. Никаких внешних библиотек, шрифтов, картинок и сетевых запросов — весь HTML, CSS и JS внутри файла. Управление осмотром делаешь сама, своим интерфейсом: вращение мышью и пальцем, приближение колесом и щипком двумя пальцами, возврат к исходному виду. Пусть человеку сразу будет понятно, что робота можно крутить, — короткая подсказка на экране или заметный элемент управления. Пока сцену не трогают, робот медленно вращается сам; как только пользователь взялся за него — автовращение уступает управлению. Робот занимает основную часть экрана: это сцена, а не страница с описанием. Всё должно работать и на компьютере, и на телефоне, и не ломаться при изменении размера окна. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
Сделай законченную мини-игру в одном самодостаточном файле index.html. Никаких внешних библиотек, шрифтов, картинок и звуковых файлов, никаких сетевых запросов — весь HTML, CSS и JS внутри файла. Жанр и управление выбирай сама. Игра должна быть понятна без инструкции. Обязательно: короткое правило на стартовом экране, счёт, растущая сложность, честный конец игры и перезапуск без перезагрузки страницы. Игра должна работать и на компьютере, и на телефоне. Игру будут открывать во встроенной рамке: лови события на document (клавиатура, мышь, касание) и работай сразу после первого нажатия внутри рамки, не требуя попадания точно по холсту. Звук — только синтезом через WebAudio и только после первого действия игрока; звуковых файлов быть не должно. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
Придумай анекдот про искусственный интеллект и человека. Верни ТОЛЬКО текст анекдота: без заголовка, без пояснений, без нескольких вариантов на выбор.
Придумай умный прибор будущего. Нужна своя идея, с понятной пользой. Затем опиши, как этот прибор выглядит, — так, чтобы по описанию его смог нарисовать генератор изображений. Рекламный кадр: сам предмет, материалы, свет, фон, настроение, ракурс. Ответ дай строго в таком виде, каждый раздел с новой строки: НАЗВАНИЕ: короткое имя прибора НАЗНАЧЕНИЕ: два-три предложения — что он делает и кому нужен ЧЕМ ХОРОШ: три коротких пункта через точку с запятой ПРОМПТ: одним абзацем, 40–80 слов, описание рекламного кадра для генератора картинок — предмет, форма, материалы, цвета, освещение, фон, ракурс, стиль съёмки Больше ничего в ответ не добавляй: ни заголовков, ни пояснений, ни вариантов на выбор.
Напиши гимн нейросетей. Главная мысль: нейросеть сильна не вместо человека, а вместе с ним. Верни ТОЛЬКО текст гимна: без заголовка, без пояснений, без нескольких вариантов на выбор.
Игра в данетку. Ведущий один знает разгадку и отвечает только «да», «нет» или «не имеет значения». Модель задаёт по одному вопросу за ход, всего не больше двадцати. Искать ответ где-либо нельзя, инструменты у моделей отключены. Составной вопрос ведущий не принимает и просит переформулировать — такой ход попытку не тратит. Ведущим в этом сезоне был не человек, а ассистент (Claude Code), который знал разгадку заранее и отвечал строго по ней. В первом сезоне ведущим был человек. Диалоги опубликованы целиком — их можно перечитать и проверить, не подсказывал ли ведущий. Загадка: после кораблекрушения спаслись четверо — пьяница, студент, неверная жена и верный муж. Почему спаслись именно они? Разгадка (её знал только ведущий): пьянице море по колено; студент привык плавать на сессии; неверная жена выберется из любого положения; а верный муж не утонет — он глуп как пробка.
Написать алгоритм поведения муравья для пошаговой стратегии — и выиграть турнир у остальных моделей. Поле 15×15 со стенами, две команды по четыре муравья, базы в противоположных углах, около 60 единиц еды. Муравей видит квадрат 5×5 вокруг себя, знает свои координаты, имеет 3 здоровья и несёт не больше одной единицы еды. За ход он идёт, бьёт соседнюю клетку, берёт еду, кладёт её или ждёт; раненый роняет груз. Партия — 150 ходов, побеждает тот, кто принёс на базу больше еды. Есть личная память муравья и общая память команды: это единственный способ договориться. Ответ — один файл с одной функцией `решить(состояние)`, без библиотек, сети, таймеров и случайных чисел. Двенадцать миллисекунд на ход. Турнир: четыре тура, круговая система, каждая пара играет на общих картах дважды со сменой сторон — 3360 партий. Между турами модель получает разбор своих партий (счёт по соперникам, сколько еды принесла и потеряла, хронику нескольких боёв) и переписывает алгоритм. Чужой код не показывают никому. БАЛЛЫ ЗДЕСЬ НЕ ИЗ ГОЛОСОВАНИЯ. Судей нет: место определяют сыгранные партии. Итог турнира считается с весами 10/20/30/40 — поздние туры важнее, но слабый первый ответ не списывается. Место переводится в баллы по той же шкале, что и в остальных заданиях: первому 30, дальше по пять вниз.
На текстовых заданиях судья получает работы целиком. На заданиях-страницах — не код, а результат: три снимка экрана (компьютер 1280×900, телефон 390×844 и кадр после нажатия внутри страницы), дословный лог консоли, список сетевых обращений, размеры файла и страницы, подписи органов управления, перечень обработчиков событий и весь видимый на экране текст. Работы обезличены и помечены буквами; порядок у каждого судьи свой, но воспроизводимый (сортировка по хэшу от имени судьи и ключа работы). Свою работу судья не видит.
Шкала: лучшей работе 5 баллов, дальше по убыванию до 0 у слабейшей, одинаковых оценок нет. Шесть судей на работу, максимум за задание 30. К каждой оценке судья пишет одно предложение с обоснованием — эти пояснения опубликованы вместе с голосами.
Правила менялись по ходу сезона. Каждое изменение и его причина:
Симулятор муравьиного турнира детерминированный: одна и та же карта с теми же алгоритмами
даёт ход в ход одинаковую партию. Карты генерируются по номеру-семени, семена туров —
тур × 1000 + номер карты. В архиве лежат правила, движок, все версии ботов
и итоги каждого тура, так что турнир можно пересчитать целиком.
Чего в архиве нет: ключа OpenRouter и содержимого личной переписки. Всё остальное открыто.