Про Steam известна неприятная цифра: две трети каталога заработали меньше пяти тысяч долларов за всю жизнь, среди релизов последних трёх лет — три четверти. Цифру повторяют как приговор: магазин, мол, завален мусором.
Но из неё следует только то, что игры не продались, — а не то, что они плохие. Второе утверждение никто не проверял. Для проверки нужно взять провалившиеся игры и посмотреть, что о них пишут купившие.
Здесь это сделано для головоломок — самого населённого жанра Steam. Отличаются ли игры, не заработавшие ничего, по качеству от тех, которые заработали?
Как собирались данныевесь конвейер, 10 шагов
Выборка нужна там, где данные дорогие. Где они дешёвые — точнее перепись: у числа тогда нет доверительного интервала вообще. Переписей здесь две (весь каталог по карточкам и весь верхний ярус по отзывам), выборка работает только в середине.
Перепись каталога
- Рамка. Витринный поиск Steam по тегу Puzzle (id 1664), только игры,
cc=us,ignore_preferences=1. Живой счётчик — около 32,2 тысячи позиций. - Выгрузка. Два полных прохода пагинации с разными сортировками (релевантность и дата релиза) плюс дедупликация по appid: витрина при глубокой пагинации дрейфует, один проход теряет позиции. Итог — 31 197 уникальных карточек, 96,8% каталога. Из карточки берутся название, дата релиза, цена и счётчик отзывов.
- Когорта. Релизы с 1 января 2023 по 31 декабря 2025 — 10 054 игры. Не вышедшие («Coming soon», «Q4 2026») отсеиваются по дате: без этого фильтра доля игр «без отзывов» завышается за счёт тех, у кого игры ещё нет.
Выборка и отзывы
- Выборка. 1 000 случайных игр когорты,
random.Random(42)по отсортированному списку appid — воспроизводится побайтно. - Отзывы. Официальный API
store.steampowered.com/appreviews:language=all,purchase_type=all,review_type=all, сортировка по свежести, до 300 отзывов на игру. Собрано 49 053 текста у 922 игр. - Пробой «нулевых». Витрина показывает счётчик отзывов только начиная примерно с десяти — всё, что ниже, выглядит одинаково пусто. Поэтому у всех 5 038 игр когорты без витринного счётчика точное число отзывов запрошено через API поштучно. «Ровно ноль» в отчёте — переписная цифра, а не оценка.
- Сплошной сбор верхнего яруса. Случайная тысяча содержала мало игр с большим числом отзывов — их в когорте всего 13,8%, — и разбивка по ярусам внимания упиралась в корзины по две игры. Поэтому отзывы собраны у всех 1 383 игр когорты со ста и более отзывами. Для этого яруса анализ — перепись, а не выборка, и шкала идёт шагом в сотню.
Разметка и коррекция
- Классификатор. Словарный, мультиязычный: английский, русский, китайский, японский, корейский, романские, немецкий, турецкий, польский. Обрабатывает отрицания слева («без багов», «没有bug») и справа («버그 없고», «バグはない»), а для графики требует пары «слово о визуале + слово „плохо“» в окне и гасит случаи, где «плохо» относится к соседнему существительному. Ровно этот код работает в песочнице ниже — паритет с корпусным прогоном сверен на всех 49 053 отзывах, расхождений ноль.
- Правило жалобы. Совпадение словаря засчитывается, только если отзыв отрицательный. В рекомендации те же слова описывают вкус, а не дефект, и таких срабатываний больше половины (51–60% по сегментам). Правило применяется и к эталонной разметке, поэтому калибровка меряет ошибку уже с ним.
- Калибровка. 1 190 отзывов размечены дважды независимо, разногласия (33 штуки, согласие 97,2%) решал третий голос. Выборка стратифицирована по вердикту классификатора: точность меряется на флагнутых, доля пропусков — на чистых. Итоговая доля восстанавливается стандартизацией π = p·PPV + (1−p)·FOR, доверительный интервал — дельта-методом.
Все данные, скрипты и промежуточные дампы лежат в репозитории отчёта: перепись, корпус отзывов, голд-метки калибровки и итоговые оценки.
Давай попробуем сделать сложное исследование. У нас есть исследование по жанрам и есть инфа что огромный % игр заработал менее 5к$. Но есть разумный вопрос. А какого качества эти игры. Я думаю базовый анализ должен строится на анализе отзывов. Взяв выборку (меня интересует жанр головоломки), взяв из неё какое-то число случайных самплов методом монте карло. И посчитав процент отзывов говорящих по сегментации о багах, о том что игра неинтересная, о том что графика плохая (по последнему прикрепить скриншот из игры).
А так же игры без отзывов и их процент методом монте карло, чтобы получить % игр без маркетинга или с плохим маркетингом
Провалившиеся головоломки не хуже заработавших — доля жалоб на баги, скуку и графику у них практически та же; провал меряется не браком, а безвестностью: совсем без отзывов 7,2% жанра, меньше ста отзывов у 86,2%, меньше тысячи — у 97,2%.
Сколько их на самом деле
Головоломок с релизом 2023–2025 в каталоге 10 054: 2 535 за 2023 год, 3 552 за 2024 и 3 967 за 2025. Платных из них 8 662, медианная цена — $4.99.
Медиана отзывов по когорте — ноль. 75-й перцентиль — 37, девяностый — 171. Порог в тысячу отзывов, который аналитики считают признаком коммерческого успеха, перешагнули 280 игр: 2,78% когорты.
Теперь про «менее $5 000». Прямого замера выручки в открытом доступе нет, поэтому
порог пересчитывается в отзывы: игра ниже него, когда отзывы × множитель × цена
меньше пяти тысяч. Множитель — самое слабое место конструкции: у мелких игр один
отзыв соответствует примерно двадцати проданным копиям, у крупных — почти
шестидесяти. Подвигайте его.
Сколько головоломок ниже $5 000
Ответ живёт в коридоре 68–79%; на множителе 36× — 73%. Кросс-жанровая оценка Gamalytic для релизов последних трёх лет даёт 76,5%: головоломки не аномалия, а норма по магазину. По годам доля ползёт вверх: 70,8% → 72,8% → 75,1%.
При медианной цене $4.99 порог в пять тысяч — это всего ~28 отзывов.
Сколько игр не увидел никто
Соблазнительная гипотеза: игры без выручки — это игры без маркетинга, о которых никто не узнал. Проверяется она долей игр с нулём отзывов, и вот тут витрина Steam подставляет любого, кто мерит по ней.
Счётчик отзывов на карточке появляется примерно с десятого отзыва. Всё, что ниже, выглядит одинаково пусто — и по витрине «ноль отзывов» получается у 50,1% когорты. Поэтому у всех 5 038 таких игр точное число запрошено через API поштучно:
| Отзывов | Игр | Доля когорты |
|---|---|---|
| ровно 0 | 725 | 7,2% |
| 1–4 | 2 326 | 23,1% |
| 5–9 | 1 396 | 13,9% |
| 10–99 | 4 224 | 42,0% |
| 100–999 | 1 103 | 11,0% |
| 1000 и больше | 280 | 2,8% |
Полного нуля почти нет — семь процентов вместо пятидесяти. Ошибка в семь раз достаётся любому, кто возьмёт цифру с витрины.
Осмысленный порог «не увидел никто» — не ноль, а «меньше десяти»: под ним 44,2% жанра. Игр совсем без внимания на порядок меньше, чем игр без выручки.
Выше по шкале: меньше сотни отзывов — у 86,2% когорты, меньше тысячи — у 97,2%. Самая населённая корзина, 10–99 отзывов, — зона «нашли, но не окупили»: сотня отзывов при цене 18 тыс. валовых по Boxleiter.
Оговорка, без которой вывод врёт: отзыв оставляет примерно один покупатель из двадцати, поэтому «ноль отзывов» — это не «ноль продаж», а «до пары десятков копий».
На что жалуются
Дальше отзывы случайной тысячи игр — 49 053 текста — превращаются в числа. Три сегмента жалоб: технические проблемы, скука, графика. Размечает их словарный классификатор, и прежде чем верить его процентам, стоит увидеть, как он ошибается.
Классификатор отзывов: попробуйте сломать
Дальше — что осталось. Сырые проценты в отчёт всё равно не идут: 1 190 отзывов размечены дважды независимо, по ним измерена ошибка классификатора в обе стороны, и доли пересчитаны.
| Сегмент | Слов словаря | По правилу | Скорректированная | 95% ДИ |
|---|---|---|---|---|
| Баги | 4,91% | 1,98% | 3,0% | 1,7–4,4% |
| Скучно | 3,53% | 1,59% | 2,4% | 1,1–3,7% |
| Графика | 0,63% | 0,38% | 0,68% | 0–1,5% |
Коррекция снова поднимает доли: словарь чаще пропускает жалобу, чем выдумывает её. У графики доверительный интервал упирается в ноль — сегмент настолько мал, что измерению поддаётся плохо, и это стоит помнить всякий раз, когда графику называют причиной провала.
В отрицательных отзывах — а их всего 14% корпуса — концентрация ожидаемо выше: 14,1% про баги, 11,4% про скуку, 2,7% про графику. Иерархия во всех разрезах одна: баги, потом скука, и далеко позади графика.
Ответ на вопрос
Первый разрез — по деньгам. Делим выборку порогом $5 000: ниже него 556 игр с 6 830 отзывами, выше — 220 игр с 30 390 отзывами.
| Доля отзывов с жалобой | Ниже $5k | Выше $5k |
|---|---|---|
| баги | 2,30% | 2,04% |
| скучно | 1,30% | 1,86% |
| графика | 0,73% | 0,26% |
По багам группы неразличимы. По скуке у заработавших игр жалоб даже больше. Разрыв есть только по графике — но это самый маленький сегмент из трёх, и его доверительный интервал упирается в ноль. Медианный рейтинг у провалившихся не хуже: 91% положительных против 89%.
Слабое место этого разреза: в нижней группе у большинства игр отзывов единицы — порог $5 000 при медианной цене означает меньше тридцати отзывов. Поэтому второй разрез устроен наоборот: только игры от ста отзывов, собранные сплошь, все 1 383 игры когорты, — и шкала шагом в сотню.
Жалобы по ярусам внимания
Обе таблицы раздела показывают сырые доли: поправка на ошибку классификатора сдвигает все группы одинаково и разницу между ними не меняет. Абсолютные величины — 3,0% и 2,4% — живут разделом выше.
Шкала плоская. Укрупнённо:
| Отзывов у игры | Игр | Баги | Скучно | Графика |
|---|---|---|---|---|
| 100–500 | 889 | 1,92% | 1,75% | 0,25% |
| 500–1000 | 214 | 2,18% | 1,96% | 0,31% |
| 1000 и больше | 280 | 1,38% | 1,50% | 0,17% |
Роста по мере внимания нет вовсе: в середине шкалы жалоб даже чуть больше, чем в начале. Ранговая связь с числом отзывов у всех трёх сегментов на уровне шума (ρ от −0,25 до +0,09). Отличается только верхний ярус — у игр с тысячей отзывов и выше жалоб примерно в полтора раза меньше по всем сегментам сразу.
Итог: разница между «заработала пятьсот долларов» и «заработала пятьдесят тысяч» в текстах отзывов не видна — ни по деньгам, ни по вниманию, вплоть до яруса, где счёт отзывов идёт на тысячи.
Разрыв верхнего яруса объяснить качеством нельзя: игра могла собрать тысячу отзывов, потому что её вылизали, — а могла получить деньги и время на патчи, потому что собрала тысячу отзывов. Корпус отзывов эти версии не различает.
И чего вывод не означает вовсе: отзывы пишут купившие, а решение о покупке принимается по странице магазина, трейлеру и обложке — их корпус не видит. Возможно, нижняя группа не хуже по исполнению, но проигрывает раньше, чем игрок дойдёт до кнопки.
Как выглядит слабая графика
Меньше процента отзывов жалуются на графику — абстракция, пока не посмотришь, о чём именно писали. Четыре игры яруса от ста отзывов с самой высокой плотностью таких жалоб:
Игры с жалобами на графику
Из четырёх претензий только одна — про то, что картинка бедная. Остальные три про другое: у Post Trauma арт хвалят, а ругают его показ («broken animations, bugged graphics»); у Nancy Drew визуал меряют не с нуля, а с предыдущими частями серии; у Hidden Cats of Egypt спорят вообще о происхождении картинки — рисовал человек или генератор.
Отсюда осторожность с сегментом «графика»: он ловит не качество картинки, а несовпадение картинки с ожиданием, которое задают цена, серия и страница магазина. Одна и та же графика у бесплатной игры не вызывает ни строчки, а за $32 собирает «10 ужасной графики из 10».
Правило «жалоба только в отрицательном отзыве» меняет эту четвёрку сильнее остального отчёта. До него первой в списке шла Amatsuko — игра, у которой шесть из восьми упоминаний плохой картинки стояли в рекомендациях: «ужасная картинка, безумная игра, обожаю». Для её аудитории грубый визуал оказался частью обаяния, а не дефектом, — и в статистике дефектов ему делать нечего.
Что из этого следует
Провал не равен браку. Головоломки, не окупившие ста долларов взноса Steam, по жалобам в отзывах не отличаются от тех, что заработали десятки тысяч. Мусор в каталоге есть, но распределение денег он не объясняет.
Пороги нужно называть полосой. Любая цифра вида «N% игр заработали меньше $5k» собрана по методу Boxleiter и зависит от множителя, которого никто не знает точно. Разброс — одиннадцать процентных пунктов. Число без множителя — пересказ, а не данные.
Графика — самый маленький из измеренных факторов. Её доля жалоб — доли процента, а доверительный интервал упирается в ноль. Объяснять провал «плохой картинкой» этими данными нельзя.
Витрина Steam — плохой измерительный прибор. Она прячет счётчик отзывов ниже десяти и недосчитывает там, где показывает. Замер «половина игр без единого отзыва» получается из неё сам собой и завышен в семь раз.
Ловушки, на которых легко ошибиться10 штук
- Витринный «ноль» — это «меньше десяти». По витрине 50,1% когорты неотличимы от нуля, по API настоящий ноль — 7,2%.
- Витринный счётчик ≠ счётчик API. Медианный разрыв ×1,12, у десятой части игр ×1,79 и больше.
- «Ниже $5k» — полоса 68–79%. Одно число без множителя в скобках — признак пересказа.
- «Хоть одна жалоба» растёт с числом отзывов, а не с качеством. Сравнивать группы можно только по доле на отзыв.
- Проценты считают упоминания, а не вердикты. Внутри отрицательного отзыва «в целом норм, но пару раз вылетело» весит столько же, сколько «неиграбельно».
- Сырые доли занижены. Коррекция подняла баги с 1,98% до 3,0%, графику — с 0,38% до 0,68%. Взаимозаменяемыми эти числа не являются.
- Жалоба в рекомендации не считается жалобой. Больше половины срабатываний словаря стоят в положительных отзывах, где «ужасная графика» — комплимент вкусу, а не претензия. Без этого правила меряется упоминание темы.
- Рейтинг провалившихся смещён выжившими. 91% положительных — только по играм, дожившим до рейтинга.
- Отзывы пишут купившие. О качестве в глазах тех, кто прошёл мимо страницы, данные молчат.
- Корпус взвешен по отзывам. С каждой игры бралось не больше 300 свежих отзывов, поэтому у крупных игр вес выше — но обрезан.