Отдел тестирования: цель первой итерации достигнута

На момент, когда я пришла в Иннову, в компании не было тестирования. Моей задачей было – сделать его. Не набрать отдел, не тестировать продукты, а именно – сделать тестирование .

Надо отметить, что тестировать у нас надо не только игрушки. У нас серьезный отдел разработки, который не дает нам скучать. Как, впрочем, и мы ему. Наш основной продукт разработки – это система, связывающая воедино все наши игры, игроков и партнеров. Пользователям он известен как Фогейм.

Сейчас отдел тестирования компании Иннова состоит из 2 подразделений. Группа тестирования игровых приложений и группа тестирования веб-приложений. Так исторически получилось, это действительно два совершенно различных направления тестирования, требующие от ребят в разных группах разных знаний и навыков. Тем не менее, связь между проектами очень тесная, и мы все вместе радуемся и злимся, отдыхаем и флудим в чатике.

Но, обо всем по порядку…


Когда я пришла, готовился к запуску Айон. Подключение Айона к боевой системе я (тогда ещё единственный тестировщик во всей компании) я проверяла по-живому. Как сейчас помню свои ощущения, когда через несколько минут после запуска озвучили онлайн в десятки тысяч и такое же количество прошедших платежей!

В то же время подходили к завершению переводы Атлантики. Значит, пора было начинать её тестировать. Как тестировали Атлантику – я уже писала. Над ней работали моя первая команда игровых тестировщиков.

Атлантику я провела как тест-менеджер: разработка тест-плана, общение с менеджерами нашей стороны и стороны разработчиков игры NDoors, сводки багов и срезы состояния качества продукта, заключение о готовности к закрытому бета-тестированию, организация сбора фидбеков от бета-тестеров.

После Атлантики, ребята уже самостоятельно организовывают тестирование больших обновлений. Почти каждый из них – тест-менеджер своего проекта. Работа организована так: «Чей проект сейчас активен, тот и главный». Это значит, что если сейчас в работе обновление Lineage II, то тест-менеджер может рассчитывать на руки и головы всей команды. Но во время тестирования другого проекта он сам станет тестировщиком на нём, попадая под управление своего коллеги.

В дни промежутков между большими обновлениями без работы тоже не сидим. Баги, приходящие от пользователей: локализацию - редакторам, функциональность – разработчикам в Корею, отследить исправление, протестировать патч и его сборку, проверить установку…

Я не знаю, как это происходит у других компаний-локализаторов, но у нас так: при планировании функционального тестирования обновления мы пользуемся релиз ноутами для пользователей! Других нет. Компании-разработчики считают, что дают нам продукт в уже оттестированном виде и поэтому нам не нужна внутренняя документация для разработки.

Тестировать приходится по описаниям изменений в виде «Добавлено 20 новых квестов для асмодиан в Бездне» или «Изменены показатели умений Огня» . Поэтому мы проверяем только на работоспособность внесенных изменений и проводим регрессионное тестирование. На «логичность» изменений проверяют наши бета-тестеры. Именно они, люди, которые знают мир игры лучше всех, могут сказать, что «похоже, разработчики ошиблись. Не может этот шлем давать такой бонус! Это подорвет экономику сервера». И они часто оказываются правы.

Работа с бета-тестерами – это то достижение, которым мой отдел может гордиться. У моих ребят очень теплые отношения с бета-тестерами. Это отдельные группы людей, которым интересно нам помогать, и они сидят в скайп-конференциях, пишут в закрытой группе на форуме, выполняют задания и ждут новых обновлений. Заменить, например, группу из 40 человек постоянных помощников по тестированию Lineage II можно, конечно, группой специалистов по тестированию. Но это был бы худший вариант, так как точечные удары людей, хорошо знающих контент, в нашем случае намного эффективнее планомерного прочесывания со знанием подходов.

Но, игры сама по себе существовать не может, ей нужна очень большая инфрастуктура.
Основной проект нашей компании – Фогейм. Это не просто сайт. За ним стоит огромная система биллинга, связывающая пользователей с лицевыми счетами, нашу внутреннюю бухгалтерию с партнерскими, учитывающая юридические моменты, и, что самое главное, позволяющая с единым аккаунтом играть во все наши проекты. Которых будет становиться все больше!

Фогейм был запущен в июне прошлого года. И постоянно обновляется. Пишутся новые фичи, улучшаются текущие. Команда веб-тестирования находится в постоянном взаимодействии со службой поддержки пользователей, которая, анализируя обращения пользователей, сообщает, какие сценарии вызывают затруднения, какие – вопросы. Таким образом система улучшается.

Надо ещё сказать, что ситуация «тестировщики сидят без работы» у нас практически невозможна. Потому что заказчиками тестирования являются не только отдел разработки, но и отдел веб-технологов. Очень много промо-страниц и промо-сайтов, акций с партнерами и регистраций на ивенты. Не проходит, наверное, ни дня, чтоб наша система виртуалок с различными браузерами стояла без дела.

Схематически, потоки задач можно выразить как на рисунке:
- постоянная работа с командой разработчиков
- частые небольшие задачи от веб-технологов
- точечные запросы от службы поддержки на основании неудобств пользователей

И я могу с уверенностью сказать, что отдел веб-тестирования – это один из немногих отделов в компании, где за большинство задач принимаются сразу после их поступления, даже если она не была запланирована.

Работы с задачами тестирования работы веб-технологов построена таким образом, что, например, промо-страница может попасть в тестирование без предварительного планирования, в тот же день пройти несколько циклов тестирования и исправления ошибок, и выйти в бой. Планировать менеджеры приходят только в том случае, если им критичен вот прямо час выкладки продукта на бой.


В моих целях на 2010 одной из ключевых было написано:

- сделать в компании отдел тестирования:
--- решающий задачи компании
--- с прозрачным и удобным для всех процессом
--- не являющийся бутылочным горлышком.

Ну что ж, получилось! Мы успешная часть успешной команды.