IKORG

Сырые данные

Всё, что нужно, чтобы проверить или повторить сравнение семи нейросетей: точные идентификаторы моделей, настройки запуска, полные тексты заданий, шаблон промпта для судьи, даты прогонов, хронология изменений методики и архив со всеми работами и голосами. Без регистрации.

Скачать архив данных (12 МБ)

В архиве: тексты всех заданий, 63 работы целиком, 57 файлов голосования с пояснениями судей, замеры времени и токенов по каждой работе, правила и симулятор муравьиного турнира, боты всех четырёх туров и итоги туров.

Участники и как они запускались

Цены — тарифы OpenRouter на момент прогона, доллары за миллион токенов. Claude и GPT запускались по подписке; их стоимость считалась по тем же тарифам только для сравнения.

МодельИдентификаторСпособ запуска вход / выход, $/млнПервый и последний прогон
GPT-5.6 Solgpt-5.6-sol codex CLI, подписка 2.0 / 10.0 2026-08-30 14:47
2026-08-31 07:44
Claude Opus 5opus Claude CLI, подписка 5.0 / 25.0 2026-08-30 14:50
2026-08-30 22:09
Kimi K3moonshotai/kimi-k3 OpenRouter, HTTP 3.0 / 15.0 2026-08-30 15:00
2026-08-31 15:07
Grok 4.6x-ai/grok-4.6 OpenRouter, HTTP 2.0 / 6.0 2026-08-30 15:02
2026-08-31 09:47
Qwen 3.8 Maxqwen/qwen3.8-max OpenRouter, HTTP 2.0 / 6.0 2026-08-30 15:10
2026-08-31 14:35
DeepSeek V4 Prodeepseek/deepseek-v4-pro-0813 OpenRouter, HTTP 0.66 / 1.98 2026-08-30 15:15
2026-08-31 18:24
Gemini 3.7 Flashgoogle/gemini-3.7-flash OpenRouter, HTTP 0.75 / 3.75 2026-08-30 15:16
2026-08-31 14:15

Параметры

Температура и системные промпты не задавались — использовались значения по умолчанию каждого провайдера. Предел ответа: 96 000 токенов для заданий, 40 000 на ход в диалоговой данетке, 32 000 при первом запросе бота (после того как Qwen не уложилась, поднят до 80 000). Инструменты у всех отключены: ни сети, ни файлов, ни запуска кода. Единственное исключение — задания с картинкой, где разрешено чтение файла-картинки.

Рамка, которая добавлялась к каждому заданию

Без неё модели с агентскими способностями пытаются писать файлы на диск вместо ответа.

(см. прогон.py)

Полные тексты заданий

Ровно то, что получала каждая модель. Английские переводы заданий лежат в архиве.

01-о-себе · вид: страница
Сделай один самодостаточный файл index.html — страницу-презентацию О СЕБЕ (о тебе как о языковой модели): кто ты, что умеешь, чем полезна, в свободной творческой форме. Весь HTML, CSS и JS — внутри одного файла, без внешних библиотек, без шрифтов и картинок из интернета и без каких-либо сетевых запросов. Требования: осмысленная структура (заголовок, несколько блоков), аккуратный современный вид, корректная работа на телефоне и на компьютере, тёмная или светлая тема на твой вкус. Не используй ссылки на внешние ресурсы. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода. Логотип, иконки и картинки, если умеешь, рисуй сама (SVG внутри файла).
02-инфографика · вид: страница
Сделай одностраничную инфографику в одном самодостаточном файле index.html по данным ниже. Весь HTML, CSS и JS — внутри файла, без внешних библиотек, шрифтов, картинок и сетевых запросов. Графику рисуй сама: SVG или canvas.

ДАННЫЕ (интернет-магазин «Сойка», 2025 год). Числа менять, округлять и додумывать нельзя, все они должны оказаться на странице:

Заказы по месяцам: январь 1240, февраль 1180, март 1520, апрель 1610, май 1490, июнь 1330, июль 1210, август 1275, сентябрь 1680, октябрь 1940, ноябрь 2450, декабрь 3120.

Откуда пришли покупатели: поиск 41%, рекомендации 23%, соцсети 18%, реклама 12%, письма 6%.

Средний чек: 2025 год — 3480 ₽, 2024 год — 3010 ₽.

Возвраты: 4,7% заказов. Доля заказов с телефона: 68%.

Требования: заголовок и короткий вывод — что эти цифры говорят о магазине; график по месяцам, на котором виден рост к декабрю; понятное распределение по каналам; аккуратная работа на телефоне и на компьютере. Никаких выдуманных цифр: только то, что дано выше.

Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
03-робот · вид: страница
Сделай трёхмерного робота в одном самодостаточном файле index.html, которого посетитель может сам осмотреть со всех сторон. Никаких внешних библиотек, шрифтов, картинок и сетевых запросов — весь HTML, CSS и JS внутри файла.

Управление осмотром делаешь сама, своим интерфейсом: вращение мышью и пальцем, приближение колесом и щипком двумя пальцами, возврат к исходному виду. Пусть человеку сразу будет понятно, что робота можно крутить, — короткая подсказка на экране или заметный элемент управления. Пока сцену не трогают, робот медленно вращается сам; как только пользователь взялся за него — автовращение уступает управлению.

Робот занимает основную часть экрана: это сцена, а не страница с описанием. Всё должно работать и на компьютере, и на телефоне, и не ломаться при изменении размера окна.

Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
04-игра · вид: страница
Сделай законченную мини-игру в одном самодостаточном файле index.html. Никаких внешних библиотек, шрифтов, картинок и звуковых файлов, никаких сетевых запросов — весь HTML, CSS и JS внутри файла.

Жанр и управление выбирай сама. Игра должна быть понятна без инструкции.

Обязательно: короткое правило на стартовом экране, счёт, растущая сложность, честный конец игры и перезапуск без перезагрузки страницы. Игра должна работать и на компьютере, и на телефоне.

Игру будут открывать во встроенной рамке: лови события на document (клавиатура, мышь, касание) и работай сразу после первого нажатия внутри рамки, не требуя попадания точно по холсту. Звук — только синтезом через WebAudio и только после первого действия игрока; звуковых файлов быть не должно.

Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
05-анекдот · вид: текст
Придумай анекдот про искусственный интеллект и человека.

Верни ТОЛЬКО текст анекдота: без заголовка, без пояснений, без нескольких вариантов на выбор.
06-продукт · вид: текст
Придумай умный прибор будущего. Нужна своя идея, с понятной пользой.

Затем опиши, как этот прибор выглядит, — так, чтобы по описанию его смог нарисовать генератор изображений. Рекламный кадр: сам предмет, материалы, свет, фон, настроение, ракурс.

Ответ дай строго в таком виде, каждый раздел с новой строки:

НАЗВАНИЕ: короткое имя прибора
НАЗНАЧЕНИЕ: два-три предложения — что он делает и кому нужен
ЧЕМ ХОРОШ: три коротких пункта через точку с запятой
ПРОМПТ: одним абзацем, 40–80 слов, описание рекламного кадра для генератора картинок — предмет, форма, материалы, цвета, освещение, фон, ракурс, стиль съёмки

Больше ничего в ответ не добавляй: ни заголовков, ни пояснений, ни вариантов на выбор.
07-песня · вид: текст
Напиши гимн нейросетей.

Главная мысль: нейросеть сильна не вместо человека, а вместе с ним.

Верни ТОЛЬКО текст гимна: без заголовка, без пояснений, без нескольких вариантов на выбор.
08-данетка · вид: текст
Игра в данетку. Ведущий один знает разгадку и отвечает только «да», «нет» или «не имеет значения». Модель задаёт по одному вопросу за ход, всего не больше двадцати. Искать ответ где-либо нельзя, инструменты у моделей отключены. Составной вопрос ведущий не принимает и просит переформулировать — такой ход попытку не тратит.

Ведущим в этом сезоне был не человек, а ассистент (Claude Code), который знал разгадку заранее и отвечал строго по ней. В первом сезоне ведущим был человек. Диалоги опубликованы целиком — их можно перечитать и проверить, не подсказывал ли ведущий.

Загадка: после кораблекрушения спаслись четверо — пьяница, студент, неверная жена и верный муж. Почему спаслись именно они?

Разгадка (её знал только ведущий): пьянице море по колено; студент привык плавать на сессии; неверная жена выберется из любого положения; а верный муж не утонет — он глуп как пробка.
09-муравьи · вид: текст
Написать алгоритм поведения муравья для пошаговой стратегии — и выиграть турнир у остальных моделей.

Поле 15×15 со стенами, две команды по четыре муравья, базы в противоположных углах, около 60 единиц еды. Муравей видит квадрат 5×5 вокруг себя, знает свои координаты, имеет 3 здоровья и несёт не больше одной единицы еды. За ход он идёт, бьёт соседнюю клетку, берёт еду, кладёт её или ждёт; раненый роняет груз. Партия — 150 ходов, побеждает тот, кто принёс на базу больше еды. Есть личная память муравья и общая память команды: это единственный способ договориться.

Ответ — один файл с одной функцией `решить(состояние)`, без библиотек, сети, таймеров и случайных чисел. Двенадцать миллисекунд на ход.

Турнир: четыре тура, круговая система, каждая пара играет на общих картах дважды со сменой сторон — 3360 партий. Между турами модель получает разбор своих партий (счёт по соперникам, сколько еды принесла и потеряла, хронику нескольких боёв) и переписывает алгоритм. Чужой код не показывают никому.

БАЛЛЫ ЗДЕСЬ НЕ ИЗ ГОЛОСОВАНИЯ. Судей нет: место определяют сыгранные партии. Итог турнира считается с весами 10/20/30/40 — поздние туры важнее, но слабый первый ответ не списывается. Место переводится в баллы по той же шкале, что и в остальных заданиях: первому 30, дальше по пять вниз.

Что видит судья

На текстовых заданиях судья получает работы целиком. На заданиях-страницах — не код, а результат: три снимка экрана (компьютер 1280×900, телефон 390×844 и кадр после нажатия внутри страницы), дословный лог консоли, список сетевых обращений, размеры файла и страницы, подписи органов управления, перечень обработчиков событий и весь видимый на экране текст. Работы обезличены и помечены буквами; порядок у каждого судьи свой, но воспроизводимый (сортировка по хэшу от имени судьи и ключа работы). Свою работу судья не видит.

Шкала: лучшей работе 5 баллов, дальше по убыванию до 0 у слабейшей, одинаковых оценок нет. Шесть судей на работу, максимум за задание 30. К каждой оценке судья пишет одно предложение с обоснованием — эти пояснения опубликованы вместе с голосами.

Хронология изменений методики

Правила менялись по ходу сезона. Каждое изменение и его причина:

  1. 30 августа. Первый прогон семи моделей. Судьи видят исходный код работ, шкала 6-5-4-3-2-1.
  2. 30 августа. Измерен перекос: связь длины ответа с баллом +0,58 по Спирмену на html-заданиях (на текстовых −0,18).
  3. 31 августа. Судейство переведено на результат: три снимка экрана (1280×900, 390×844 и кадр после нажатия), лог консоли, список сетевых обращений, подписи органов управления, обработчики событий, весь видимый текст. Исходный код судьям больше не показывают. Все html-задания переголосованы заново; связь с объёмом упала до +0,26.
  4. 31 августа. Исправлена ошибка сбора карточки: подписи кнопок брались только из видимого текста, поэтому иконочные кнопки исчезали. Задание с роботом переголосовано.
  5. 31 августа. Шкала сдвинута с 6-5-4-3-2-1 на 5-4-3-2-1-0: раньше сломанная работа получала баллы просто за участие. Порядок мест не изменился, все голоса пересчитаны вычитанием единицы.
  6. 31 августа. DeepSeek V4 Pro не принимает изображения — на визуальных заданиях он не судит, его голос отдаёт человек-заказчик по той же шкале.
  7. 31 августа – 1 сентября. Турнир муравьиных алгоритмов: четыре тура, 3360 партий. Правила заморожены до первого тура после трёх пилотных прогонов.

Как повторить

Симулятор муравьиного турнира детерминированный: одна и та же карта с теми же алгоритмами даёт ход в ход одинаковую партию. Карты генерируются по номеру-семени, семена туров — тур × 1000 + номер карты. В архиве лежат правила, движок, все версии ботов и итоги каждого тура, так что турнир можно пересчитать целиком.

Чего в архиве нет: ключа OpenRouter и содержимого личной переписки. Всё остальное открыто.