Время приключений. Закрытое бета - тестирование

Frozen Flame - это Multiplayer Survival RPG с процедурно генерируемым открытым миром, в котором игроки могут использовать магию драконов.
Игрокам предстоит исследовать осколки мира Арканы в поисках древних артефактов, постигнуть мастерство титанов, создавая мощное оружие и броню, вспомнить прошлое и дать отпор ордам проклятых, пока не стало слишком поздно.
Об игре

Классические подходы
Анализ требований
Разработка
Тестирование
Техническое обслуживание
Дизайн
Спринт
Запуск
Планирование
Дизайн
Разработка
Тестирование
Оценка
Новый спринт
Waterfall
Agile
Когда мы говорим о методах построения процессов разработки в IT, чаще всего упоминаются два названия:
Waterfall, каскадная модель, в которой этапы реализуются один за другим.
Нет изменений в процессе разработки.
Сложная управляемость.
Получение обратной связи только на поздних этапах.
Высокие риски из-за неопределенности.
Agile, гибкая система состоящая из итераций [спринтов].
Быстрая реакция на изменения.
Прозрачность и параллельная работа отделов.
Обработка отзывов.
Постоянные улучшения.
Для нас более близкими оказались принципы Agile, из-за гибкости и возможности получать фидбек игроков оперативно. Мы постарались адаптировать их под свои нужды.

Процесс разработки
Комплексные задачи [Epics]
Milestones
Sprints
Tasks
Приоритезация основных аспектов игры
3-х месячный срез готовности основных фичей и контента
3-х недельные спринты
Планирование
Основные правила, которым мы придерживаемся:
Проведение ежедневных планерок всей командой. Так мы выясняем возможные блоки реализации задач. Понимаем текущее состояние выполнения задач.
Фиче-лидерство. Между игровыми дизайнерами распределяются комплексные задачи за развитие которых, они отвечают.
Прототипирование. Прежде, чем запускать фичу и контент в разработку, сначала делается и испытывается прототип.
Внутреннее тестирование. На регулярной основе проводятся тесты командой с получением обратной связи.
Наш опыт по длительности спринтов:
Месяц. Осложняют процессы тестирования (как внутреннего, так и внешнего) и маркетинговой подготовки. Эффективность выполнения задач из-за объема снижается.
Две недели. Сложность в реализации фич, в короткий срок. Тестирование и доработки “залезали” на первые дни следующего спринта.
Две недели через две. Игрокам отдается предыдущая версия в день отвода ветки текущей. Появляется время на отладку версии и подготовку маркетинговых материалов. Но существует задержка в две недели.
На текущий момент мы пробуем трехнедельные спринты. Две недели на разработку и доставку фичей. Одна неделя на полишинг версии.

Тестирование
Направляем
Доносим план, направляем между тестами, обращаем внимание на тестируемый объект.
Фиксируем
Записываем баги, пожелания, идеи, критику.
Помогаем
Выдаем необходимое, подсказываем, решаем возникающие технические сложности.
Наблюдаем
Как играют, куда смотрят, что мешает, что нравится.
Привлекаем сообщество
Набираем активных игроков, определяем удобное расписание, оповещаем заранее.
Настраиваем среду
Записываем баги, пожелания, идеи, критику.
Устанавливаем цели
Создаем чеклист и сценарий проверки.
Smoke test
Проверяем, что до тестов можно дойти.
Обработка фидбека
Сбор информации о самых частых проблемах и пожеланиях, просмотр видеозаписей.
Багрепорт
Оформление багов и заведение задач.
Итоги
Обсуждение полученной информации и постановка задач для дальнейшей работы
Общение с сообществом
Сообщаем сообществу о наших решениях обнаруженных проблем, благодарим участников.
Подготовка
Проведение
Завершение

Закрытое бета-тестирование
Доступ к закрытому бета-тестированию предоставлялся вместе с покупкой любого из пакетов раннего доступа.
Первый этап ЗБТ
Даты: 15.09.20 - 16.10.2020
Второй этап ЗБТ
Даты: 18.06.21 - 15.10.21
Самые активные участники бета-тестирования включались в инициативную группу QA среди игроков. Они получают доступ к версии за неделю [зависит от длины спринта] до запуска на live-серверах.
Итог: при таком процессе команда быстро исправляет критичные баги, а некритичные баги распределяются между спринтами. Таким образом, мы уменьшаем нагрузку на отдел QA и своевременно стабилизируем версию.
Команда
Разработки
Маркетинг
и CM
Игроки
Тестируется текущая версия игры
В сообществах публикуются сообщения об ошибках и идеи
Ежемесячный сбор обратной связи
Оценка идей и пожеланий
Приоритезация багов
Критичные исправляются HotFix’ами
Некритичные исправляются в послед. версиях

Негативный фидбек и его последствия
После периода закрытого бета-тестирования мы получили обратную связь от игроков и издателей. Она оказалась негативной.
Игра не цепляла, несмотря на большое количество систем и контента.
Многие системы оказались слишком сложными.
То, на что мы не обращали внимание - требовалось игрокам.
Среди команды мало кому нравилась игра. Было много вопросов.
Потребовалось срочно пересмотреть планы. Мы осознавали риск оказаться представителями нижних позиций Steam, зато гордыми.
Пересмотрели свои приоритеты. Сформировали другое USP.
Провели фичекат, сфокусировались на доработке базовых систем.
Пересмотрели работу некоторых систем в пользу того, что просили игроки.
Через месяц мы получили версию игры с обновленной концепцией.
Она понравилась нашей команде.
Мы получили позитивную обратную связь от игроков.
Издатели проявляют заинтересованность в сотрудничестве..