Virus Bulletin: весенняя переэкзаменовка

Декабрьские неудачи российских разработчиков в тестах британского журнала Virus Bulletin привлекли внимание СМИ и еще долго оставались темой обсуждений. Напомним, что основное недоумение было связано с «неудами», которые получили продукты «Лаборатории Касперского» и Dr.Web. Тогда же было высказано немало критики в адрес самих экзаменаторов, методики тестирования и коллекции «подопытных» зловредов. Апрельские тесты на платформе Windows Vista SP1 Business Edition вновь перемешали оценки и вожделенные логотипы на коробках.

Участники обменялись зачетками

Допустивший ложное срабатывание в декабре, продукт «Лаборатории Касперского» на этот раз успешно прошел тест. Полную совместимость с Windows Vista Service Pack 1 продемонстрировало защитное ПО производства Microsoft, антивирусы ESET, Symantec, F-Secure, Avira и еще нескольких компаний. В аутсайдерах снова оказался Dr.Web, который на этот раз допустил 47 пропусков против 11 в декабре 2007 года. Незачет получили Agnitum и McAfee, которые заполучили «VB100%» в тот момент, когда из коллеги по цеху были вынуждены объяснять причины зимних неудач.

Необходимо учитывать, что наряду с качеством АВ-защиты тест проверяет также совместимость с операционной системой. Да и все испытания проводились на различных платформах, поэтому проводить параллели очень сложно. Тем не менее, раздача престижных наград Virus Bulletin со стороны напоминает лотерею, когда отделы маркетинга компаний-производителей, затаив дыхание, ждут результатов. В случае успешного прохождения теста на коробках появляется очередной логотип и выпускается победный пресс-релиз. Как только продукт «спотыкается», начинаются разговоры о несовершенстве методологий и о том, что «это никак не скажется на наших продажах». Другими словами, участники АВ-рынка давно уже не верят в адекватность судей, но продолжают «есть кактус».

Доцент лопух, но логотипы при нем

Как известно, стандарт тестирования Virus Bulletin был разработан в середине девяностых годов, и с тех пор не претерпел серьезных изменений. Антивирусы проверяют на так называемом ITW-наборе зловредов (In The Wild – обнаруженные в «дикой природе»), который весьма ограничен и не всегда отражает реальную ситуацию. Кроме того, в данном случае тестируется качество сигнатурного метода, эвристика и проактивные технологии никак не задействованы.

В «Лаборатории Касперского», которая оказалась на этот раз в числе «отличников», свое мнение о «VB100%» не изменили. По словам Олега Гудилина, руководителя отдела стратегического маркетинга, основной акцент компания делает не на самом факте прохождения апрельского теста, а на подтверждении совместимости «Антивируса Касперского 7.0» с Vista Service Pack 1. Методика Virus Bulletin далека от совершенства и не может служить основным критерием качества антивирусной защиты, - уверен он.

«Невозможно не считаться с авторитетом отраслевого стандарта, которым все еще является регулярное тестирование Virus Bulletin. Мы учитываем качество прохождения теста и постоянно стремимся соответствовать его требованиям», - признал Виталий Янко, представляющий компанию Agnitum. В апрельском тесте Outpost Security Suite Pro допустил четыре пропуска, из-за чего лишился красивого логотипа. В компании сообщили, что все «промахи» являются вариациями одного и того же, довольно сложного вредоносного объекта, известного как Win32 PE/Virut. По мнению Виталия Янко, выносить вердикт на основании одного-единственного теста нельзя, да и «только постоянные неудачи на большом числе разных вредоносных объектов могут говорить об отставании отдельных компаний в качестве защиты».

Зачем же разработчики участвуют в тесте, где мельчайшая оплошность автоматически «лишает погон»? Олег Гудилин объясняет такое поведение «Лаборатории Касперского» историческими причинами: «К сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Кроме того, на рынке существуют антивирусные компании, которые активно поддерживают у пользователей миф о том, что количество успешно пройденных тестов VB100% является важнейшим показателем качества защиты».

Григорий Васильев, технический директор ESET, привел несколько аргументов в защиту «VB100%». В частности, это тестирование с открытой, понятной всем вендорам методологией. Все образцы вредоносных программ, попавшие в коллекцию Wild List, тщательно проверяются специалистами. «Необходимо оценивать антивирусное ПО в комплексе, основываясь на данных других независимых лабораторий. Однако можно утверждать, что отрицательный результат - провал теста - ставит под сомнение защитные свойства продукта», - высказал он свое мнение об оценках Virus Bulletin.

AMTSO: запаситесь терпением

Ситуация с тестированием АВ-продуктов, похоже серьезно беспокоит разработчиков. Как уже сообщал TelNews, 4 февраля в Бильбао была сформирована международная организация (AMTSO), объединившая ведущих вендоров и тестировщиков защитного ПО. Пока на страницах ее сайта отсутствует какая-либо информация о первых результатах сотрудничества. Известно лишь, что очередная встреча участников пройдет сегодня, 30 апреля, в Амстердаме. Повестка дня и прочие содержательные детали доступны участникам закрытого списка рассылки.

«Нам бы не хотелось преждевременно говорить об AMTSO как о панацеи в области тестирования, - сообщил Олег Гудилин из «Лаборатории Касперского», - поскольку то, насколько успешна будет эта работа, покажет время». Быстрых и кардинальных изменений не ждут и в ESET. Григорий Васильев отметил, что под влиянием AMTSO «у тестовых лабораторий появилась тенденция к более открытому представлению методологий и результатов тестирований». Пример тому - публикация Андреаса Маркса и Майка Моргенштерна о тестах, проведенных AV-Test.org на наборе руткитов, которая появилась на страницах Virus Bulletin.