Дэвид Пресс о автоматизированном тестировании ММО

В последней в серии интервью с докладчиками августовского GDC Europe, Дэвид Пресс (технический директор EVE Online, разработчик CCP Games) рассуждает о важности автоматизированного тестирования в ММО, и почему реализации такой системы стало решнием "сейчас-или-никогда" для компании.

До прихода в ССР, Пресс работал в EA Чикаго программистом графики над игрой Def Jam: ICON и неизданным файтинг-тайтле. В 2007 году он уехал в Атланту, стал работать на CCP в качестве программиста графики, после чего стал системным программистом в компании, а затем и техническим директором.

В преддверии своего выступления "Orchestrator: A Postmortem on an Automated MMO Testing Framework" на GDC Europe, Пресс объясняет должны или не должны проверяться различные игровые элементы автоматизированной системы тестирования, и как в CCP реализованы такие системы для World of Darkness MMO

Какие преимущества есть у автоматизированного тестирования MMO?

Для большинства очень крупных MMO-проектов с большим количеством взаимодействующих систем игры просто не предоставляется возможность иметь ручных тестеров для постоянной проверки каждого уголка игры.

Автоматизированные тесты позволяют разработчикам получить широкий охват испытаний даже прежде, чем они проверят свои изменения, и они могут сразу направлены на список изменений.

В какой момент CCP решили, что нужно автоматизированное тестирование? Что сподвигло на принятие этого решения?

Для проекта World of Darkness мы начали тестирование в течение первого года активного его развития, и системное тестирование в течение следующего года. Мы знали, что это почти невозможно без автоматизированного тестирования на коде, который не был написан, поэтому было принято решение "сейчас-или-никогда".

Какие белые пятна существуют у автоматизированного тестирования? Есть ли какие-либо конкретные вещи, которые трудно проверить с помощью автоматизированной системы?

Субъективные тесты, очевидно, трудно автоматизировать. Независимо от того, что это текстура рендеринга или это элемент пользовательского интерфейса сделаны правильно, то и не стоит прилагать усилий для проверки. Если вы знакомы с Model-View-Controller шаблоном, вы хотите проверить взаимодействие между контроллером и моделью, используйте проверку вашими тестерами. Для ММО в частности, нет определённой точки зрения на то, насколько тестирование должно быть автоматизировано. Например возникающее поведение, которое мы наблюдаем в наших играх, когда взаимодействуют большие группы игроков, трудно предсказать и предвидеть.

Мы также решили не писать тест для каждой отдельной части наших систем, а использовать тест основных функциональных возможностей каждой системы. Особенно во время развития, детали системы меняются слишком часто, чтобы сделать ее практичной и получить полный охват теста системы.

Что является самой большой проблемой для разработчиков при создании автоматизированных тестов для MMO?

Есть очень много систем, которые должны быть проверены в MMO, поэтому должна быть основа, которая позволяет легко писать эти тесты, иначе у программистов просто не будет ни времени, ни мотивации их делать. Кроме того, поскольку в ММО системы распределенны, необходимо иметь возможность писать тесты, которые могут обрабатывать капризное асинхронное взаимодействие между несколькими независимыми процессами надежно и повторяемым образом.

О каких вещах автоматизированного тестирования в ММО вы расскажете на GDC Europe, и какую часть по вашим предположениям, люди возьмут из него?

Моя речь будет представлять основу написания и выполнения автоматических тестов системы игры World of Darkness MMO. Я буду обсуждать проектные решения, которые вошли в основу, а так же обоснование для них. Также я буду говорить о некоторых проблемах, с которыми мы все еще сталкиваемся в наших автоматических тестах, и как мы пытаемся сгладить их.

Дополнительная информация

GDC Europe пройдёт 15-17 августа 2011 года в Кельне Конгресс-Центре, наряду с выставкой Gamescom. Пройдут лекции и выступления с другими известных деятелями в том числе с Ричардом Гэрриотом (Ultima), создателем и основателем "Wooga" Йенсом Бегеманном и многими другими.

Более подробную информацию ищите на официальном сайте GDC Europe.

gamasutra.com

Дэвид Пресс о автоматизированном тестировании ММО