Полностью протестировано
Как вы уже, наверное, читали, пару недель назад организация AMTSO провела очередное заседание. Позиция AMTSO состоит в том, что результаты тестов должны максимально отражать реальную эффективность защиты, обеспечиваемой каждым продуктом в целом.
На заседании мы приняли два новых документа. Первый относится к тестированию продукта в целом, второй — к тестированию его производительности. По мнению большинства представителей антивирусной индустрии, прежние тесты никогда по-настоящему не отражали реальную производительность. Учитывая изменения, которые претерпели компьютерные угрозы за последние несколько лет, эта проблема сейчас актуальна как никогда.
Итак, вместо тестов, ориентированных на анализ работы отдельных компонентов, следует проводить тестирование уровня обнаружения — вернее, уровня защиты от угроз, — который обеспечивается продуктом в целом. Например, легко представить себе ситуацию, когда вредоносная программа, распространяемая по электронной почте, не обнаруживается файловым сканером, но при этом антиспам классифицирует сообщение, содержащее этот файл, как спам.
Во втором документе говорится о том, как увеличить достоверность тестов производительности — или скорости — антивирусных решений и их влияния на работу компьютера. Это может быть важно, в частности, при определении объема оперативной памяти, занимаемой продуктом. Многие решают эту задачу путем сложения объемов (виртуальной) памяти, занимаемой всеми принадлежащими продукту процессами. Однако некоторые продукты внедряют свои библиотеки DLL в другие процессы, невольно скрывая часть потребляемых ими ресурсов. Поэтому правильнее сравнивать суммарное потребление оперативной памяти каждым продуктом в целом.
Плохие новости (замечу в шутку) связаны с одним из новых документов, над которыми мы продолжили работу в Хельсинки. Документ по тестированию на предмет ложных срабатываний оказался крепким орешком и вызвал массу споров. В частности, особенно сложными оказалисьвопросы, относящиеся к сфере моих интересов и касающиеся тестирования продуктов на наличие ложных срабатываний на веб-ресурсах, таких как домены и веб-скрипты.
Не вызывает сомнений, что тестовые лаборатории продолжают совершенствовать свои тесты, чтобы они более точно моделировали ситуации, возникающие в реальной жизни. И это прекрасно прежде всего по двум причинам. Важнее всего то, что благодаря этому пользователи получают более качественную информацию. Кроме того, это позволяет производителям антивирусов сосредоточить свои ресурсы на том, что реально помогает защищать пользователей. Поэтому наши успехи в рамках AMTSO очень радуют.
Если вы еще не читали документы, о которых идет речь, сходите на сайт AMTSO и поглядите!
Дата публикации: 22, Июня 2010 г.
Источник: Лаборатория Касперского
