Недавно экспертами по информационной безопасности был опубликован документ, который называется "Рынок информационной безопасности Российской Федерации". Назван он исследованием, что для меня означает использование некоторого научного метода для получения данных, то есть, что результаты должны быть повторяемыми и любой желающий, может проверить данные, опубликованные в исследовании. Однако авторы работы честно признают, что эксперты каждого раздела выбирают источники информации по собственному разумению, но, что важнее, эти источники скрываются. В результате, качество цифр проверить вообще не возможно. Конечно, утверждается, что цифры проверил по своим источникам модератор, но поскольку он сам утверждает, что не является экспертом в каждой отдельной категории, то проверка была выполнена только на правдоподобность полученных результатов, то есть погрешность метода даже оценить невозможно. Разброс показателей в некоторых разделах указывается от 8% до 22%: цифры могут отличаться почти в три раза - таких погрешностей метода не допускается ни в одном действительно научном исследовании. Есть и ещё одна проблема метода - информация получается от производителей. Хотя в преамбуле сказано, что именно производители заинтересованы в фальсификации цифр, тем не менее именно на представлениях производителей оценки рынка и основаны - практически все авторы разделов являются представителями вендоров: Михаил Романов - Stonesoft, Илья Медведовский - Digital Security, Игорь Хайров - "Акадения Информационных Систем". Действительно, они лучше знают ситуацию и имеют качественные оценки рынка, однако это картина с одного холма - общей картины по отдельно взятой категории товаров такой обзор не дает. Вопросы вызывает и выбор авторов разделов. Хотя в описании документа не сказано по каким именно критериям были выбраны эксперты, похоже, что модератор просто предложил знакомым ему экспертам написать соответствующие разделы документа. В то же время, сейчас активно развивается технология краудсорсинга, которая позволяет в том числе и выбрать наиболее компетентных и беспристрастных авторов - для этого есть определённая методика. Если бы для подготовки данных были привлечены подобные технологии, то, вполне возможно, что результат также был более объективным. Впрочем, попытка независимо оценить рынок была хорошая. Недостатки метода оценки не означают, что цифры неверные - поскольку проверить их не представляется возможным, то на них вполне можно ссылаться, но не стоит доверять. Вполне возможно, что организаторы в следующий раз обеспечат перекрёстную проверку и снизят погрешность результатов. Сейчас же это скорее сборник отдельных статей, проверенных модератором. Для того, чтобы такая публикация стала научной не хватает только оппонентов, которые могли бы проверить в том числе и "секретные" цифры и подтвердить своей репутацией результаты - модератор самостоятельно это сделать не может. Если же использовать методы краудсорсинга с соответствующей логикой управления проектами, то, вполне возможно, что результат будет более качественным. Для улучшения результатов исследования также хотелось проверять данные вендоров информацией от клиентов. Для её получения можно воспользоваться методом, которые применяют в аналогичных случаях социологи. Они выбирают случайно представителей различных категорий населения и опрашивают их. Важно только правильно соблюсти социально-демографический состав населения - тогда появляется возможность обобщить полученные данные на всё население. Аналогично можно поступить и для оценки рынка информационной безопасности. Нужно оценить соотношение компаний разных размеров и отраслей в реестре компаний, а потом набрать соответствующее число респондентов и опросить их на предмет того продукты каких вендоров они используют и услугами каких компаний интеграторов пользуются. Если подборка будет соблюдена верно, то и результаты такого обзора будут более-менее точно характеризовать действительное положение дел, а не маркетинговую активность.