ЕГЭ для антивирусов

В начале февраля производители антивирусов, привычные к постоянным «экзаменам» и тестам, объединились, чтобы сделать эти «экзамены» справедливыми и соответствующими духу времени. В испанском Бильбао родилась организация Anti-Malware Testing Standards Organization (AMTSO), которая объединила разработчиков и известных «экзаменаторов».

Саму идею подобного союза участники рынка вынашивали около года. Предварительная договоренность была достигнута в мае в Исландии, обсуждение продолжилось в конце 2007 года в Сеуле на Азиатской конференции исследователей антивирусных технологий.

Совершенствование методик тестирования, учет современных угроз, единый подход, по идее, должны обернуться преимуществами для конечных пользователей. С другой стороны, появление AMTSO произошло вскоре после шумного провала многих известных продуктов в тесте британского журнала Virus Bulletin. В какой-то мере рождение международного объединения разработчиков и тестировщиков, наверняка, является реакцией на эти неудачи. Потому что новые «неуды», что бы там ни говорили маркетологи, все равно скажутся на уровне продаж и имидже АВ-продуктов.

Разработчики и тестировщики под одной крышей

Как утверждается в официальном релизе, создание AMTSO продиктовано стремлением преодолеть разрыв между возможностями современных технологий защиты и методиками их тестирования. Постепенно даже самые авторитетные тесты утрачивают свою актуальность: то тестируют на устаревших коллекциях «зловредов», то игнорируют новый функционал антивирусов, то в недостаточной степени моделируют поведение пользователей.

Цели объединения пока изложены лишь в общих словах. AMTSO займется систематизацией существующих методик, выработкой новых, подготовкой и обучением специалистов по тестированию и даже «ликбезом» для пользователей. Механизм многих тестов, на которые ориентируются покупатели ПО, зачастую изложен сложным, малопонятным языком, в итоге – пользователям остается лишь слепо полагаться на таблицу с результатами. Производители антивирусов надеются, что AMTSO удастся сформировать единую коллекцию сэмплов вредоносного кода, ведь именно различия в наборах вирусов чаще всего становились «яблоком раздора».

О своем желании присоединиться к новоиспеченному объединению заявили почти три десятка компаний. Среди них как классические производители «защитных» решений, так и профессиональные тестировщики, а также многопрофильные ИТ-компании. Так, в числе поддержавших инициативу числятся Microsoft и IBM, занимающиеся тестированием антивирусов AV-Comparatives и AV-TEST.org. Свою солидарность с AMTSO выразили практически все крупнейшие производители АВ-продуктов, представленные на российском рынке: «Лаборатория Касперского», «Доктор Веб», ESET, Trend Micro, McAfee, Symantec. Свою поддержку выразил даже Virus Bulletin, в прошлом году «прокативший» заслуженные продукты в тесте VB100. Очередная встреча участников AMTSO намечена на 30 апреля в Нидерландах, тогда, видимо, можно ждать перехода от деклараций к конкретным делам.

Надоело получать «двойки»?

Такому глобальному объединению предшествовали громкие разочарования, в первую очередь связанные с «несдачей» Virus Bulletin. В декабре отечественные СМИ обсуждали результаты тестов, и в частности – неудачное выступление «Лаборатории Касперского» и «Доктора Веба». Первую от значка VB100% отделял всего один вирус, который система не смогла распознать, приняв его за самораспаковывающийся архив. Dr.Web пропустил 11 зловредов.

Тогда представители компаний упорно убеждали журналистов в том, что плохие результаты никак не скажутся на продажах. Дескать, значок всегда был приятным дополнением, но производители антивирусов никогда не строили вокруг него своей маркетинговой политики. Светлана Новикова («Лаборатория Касперского») объяснила, что злосчастный вирус пропустил монитор, поскольку проверка архивов по умолчанию отключена в целях экономии ресурсов. Сканер же непременно бы отловил «зловреда», поэтому пользователи все равно оказались бы под защитой. Генеральный директор компании «Доктор Веб» Борис Шаров заявил, что тесты антивирусных решений никак не отражают реально обеспечиваемый ими уровень безопасности.

Из 32 антивирусов тест не прошли только 17. В числе «сдавших» оказались Agnitum Outpost, MS Forefront, ESET NOD 32, F-Secure Anti-Virus, Symantec Endpoint. Тем не менее, число отправленных на «пересдачу» оказалось слишком велико, именно тогда громче всего заговорили о недостатках Virus Bulletin. Британский журнал тестирует АВ-продукты с 1998 года, причем к «зловредам» до сих пор относит только вирусы и черви. Троянцы и бэкдоры в тестовую коллекцию не входят. Критике был подвергнут и размер тестовой базы – всего несколько тысяч экземпляров, причем многие из них к моменту тестирования оказываются «несвежими».

Справедливости ради, надо отметить, что тесту VB100 существует несколько альтернатив. Определенный авторитет завоевали оценки AV-Comparatives и AV-TEST.org, там продукты проходят проверку на миллионах образцов вредоносного кода. Известны также тесты журнала PC Pro, которые пытаются смоделировать активность пользователя. Сравнением антивирусов в Рунете занимается и портал Anti-malware.ru: в январе были опубликованы результаты сравнительного исследования, посвященного устойчивости к руткитам.

Тем не менее, любой из тестов слишком далек от совершенства, а просматривать все результаты и вникать в методику тестирования большинство пользователей вряд ли пожелают. Соответственно, каждый из производителей антивирусного ПО пытается найти свой «конек» и сделать на него ставку в плане продвижения. «Лаборатория Касперского», например, делает акцент на скорости реагирования на угрозы, ESET – на эвристике, Dr.Web – на лечении активного заражения.

Устаревшие и фрагментарные тесты представляют даже хорошо зарекомендовавшие себя продукты не с лучшей стороны. Очевидно, что появление AMTSO было продиктовано как новым уровнем развития угроз, так и маркетинговыми соображениями участников рынка.

Защита не для галочки

По мнению Михаила Кондрашина, руководителя Центра компетенции Trend Micro в России и СНГ, специфика момента заключается в следующем: «Количество технологий защиты, альтернативных простому сканированию, перешло в качество. В существующих тестах сегодня не учитывается большое количество эффективных технологий. Типичные примеры: поведенческие блокираторы и репутационные сервисы».

Объединение производителей и тестировщиков ПО, по его мнению, вряд ли повлияет не объективность тестов, а также на их восприятие пользователями. Все современные тесты антивирусов не являются полностью независимыми, так как зачастую получают деньги от участников теста – одинаковую сумму от каждого, разумеется. Аналогичный принцип планируется использовать в AMTSO.

Объективность гарантируется большим количеством участников. Кроме того, новая организация ориентирована, в первую очередь, на выработку стандартов тестирования, а не на проведение самих тестов.

Создание AMTSO положительно оценивают и в «Лаборатории Касперского». «ЛК приветствует данную инициативу и рассчитывает быть активным участником этого процесса, учитывая тот факт, что мы имеем некоторый опыт в создании методологии тестирования программных продуктов, включая взаимодействие с порталом Anti-Malware.ru», - сообщил Николай Гребенников, руководитель департамента инновационных технологий.

Про «некомпетентные тесты» вспомнили и в блоге ESET. «Когда я работал в Microsoft несколько лет назад, прежде чем у MS появился собственный антивирус, я занимался оценкой АВ-продуктов в одной из лабораторий. В моем распоряжении было очень мало тестов удовлетворительного качества. Ни один из них не фигурировал в основных компьютерных изданиях», - пишет Рэнди Абрамс (Randy Abrams). Российское представительство ESET пока никак не смогло прокомментировать вступление в AMTSO.