Для чего нужно выявление негатива в текстах

Выявление в текстах негатива по отношению к объекту это один из элементов более глобальной задачи – автоматизировать работу со смыслом текстов. А работа с негативом это лишь часть этой большой проблемы.

По большому счету автоматическое определение негатива в текстах нужно для следующего:

- для своевременного выявления появления негативных высказываний или оценок по отношению к объекту (будь то бренд, физическое лицо, организация, тема…);

- для отслеживания изменений информационного фона вокруг объекта (увеличение или уменьшение негатива по отношению к объекту).

Отслеживание общих изменения информационного шума необходимо, например для понимания отношения клиентов к товару, для понимания изменения этого отношения – тенденций. Это своего рода барометр того каков общий тон обсуждений продукта (опубликованных материалов). Тут как в маркетинге – важно увидеть общую картину, общее направление движения. При этом, если сравнивать например объем негатива между несколькими конкурентами, погрешность не важна – ведь система координат единая, а значит и ошибка при измерениях одинаковая. Следовательно соотношение не пострадает. А «плюс-минус» уже не важно – общий тренд виден.

Своевременное выявление негативных высказываний нужно для «сигнальной системы», которая вовремя обнаружит появление этого самого негатива, дав возможность (время) на реагирование. Это уже больше похоже на противоугонную сигнализацию. И здесь становиться важно не пропустить ту самую публикацию (материал, высказывание и т.п.) которое окажется «спусковым крючком» или «последней каплей». И погрешность может стать роковой для заказчика.

Задачи достаточно близкие, но тем ни менее разные. Если использовать аллегорию коллег, то в первом случае, наблюдая за поведением толпы готовой начать «массовые беспорядки», мы обращаем внимание на направление движения основной массы участвующих. А перемещения отдельных субъектов (спонтанные, хаотичные или целенаправленные) нам не интересны. Ведь важно увидеть общую тенденцию – куда направиться эта толпа.  Но вот во втором случае, при наблюдении за той же толпой, нам становятся важны и действия отдельных личностей. Ведь это может быть провокатор, подогревающий агрессивные настроения участников беспорядков, или некто, готовящий теракт. И видя их перемещения можно спрогнозировать дальнейшее изменение ситуации, а значит появляется возможность их предотвратить.

 Почему важна точность в таких оценках

Если без теоретических изысканий («так отвлекающих от практики»), то при НЕ точном определении негативно ли высказывание по отношению к объекту наблюдения, всегда есть вероятность пропустить то самое высказывание, с которого всё и начнется. Если по аналогии с наблюдением за толпой – пропустить перемещение «дирижера» радикальных настроений, изменение направления его усилий. Или вероятность принять за негативное высказывание совсем и не негативное, и посчитать это поводом для начала «войны на уничтожение». Причем слово «вероятность» в данном контексте имеет до не приличия низкий уровень для систем работающих без семантического, синтаксического и морфологического анализа текста – по общим оценкам от 60 до 90%. Т.е. в самом лучшем случае каждое десятое негативное высказывание будет пропущено (!) системой, а каждое десятое НЕ негативное будет признано системой как негатив. Причем с ложным отнесением к негативу еще можно бороться – оператор (человек) может банально просматривать всё, что отнесено к негативу и подтверждать это. Если текст негативным не является, то оператор его отклонит. А вот как быть с пропущенным не понятно – такие сообщения оператор просто не увидит, а значит они будут выведены из дальнейшей оценки событий.

В ситуации, когда нужно увидеть общую тенденцию (без особой конкретизации) вполне можно не обращать внимание на точность замеров. «Ведь погрешность получается одинаковой для всех объектов замера…» Когда нужно наблюдать за ситуацией со стороны и при этом ее развитие не сильно отразится на состоянии наблюдателя, то также можно пренебречь точностью.

И совсем по другому начинаешь относиться к точности системы, когда от результатов ее замеров на прямую зависит благосостояние исследователя. Когда от своевременности обнаружения негативной публикации зависит не столько колебания прибыли, сколько существование бизнеса.

Но к сожалению, в большинстве случаев Заказчик замеров и Исполнитель это разные люди, мало того Заказчик не понимает всех тонкостей и ограничений такой системы. А Исполнитель не особо распространяется на эту тему, зато предлагает посмотреть красочные графики, диаграммы так магически действующие на менеджмент компаний. В результате Заказчик и не подозревает, что вероятность обнаружения именно той негативной публикации (а не вообще какой то) лежит где то между «наверное» и «с большой долей вероятности». Но ни как не «гарантирую вам».

Почему компьютеру сложно определить негатив об объекте

Негатив как таковой, чаще всего (но не всегда) определить не сложно. Для этого достаточно заложить возможность определения слов, несущих негатив, составить несколько словарей. Несколько по причине того, что есть слова прямо несущие негатив, а есть слова, которые становяться негативом при определенном «окружении», а есть слова с позитивным смыслом, которые при инверсии становяться негативными. Мало того, такие словари уже созданы и программы их использующие есть, в том числе и бесплатные. Тот же ВААЛ (http://www.vaal.ru/ ) или сервис анализа тональности Х-file (http://x-file.su/tm/Default.aspx)  или интересный сервис «Анализ тошноты текста» http://www.tekto.biz/sick/ns.php

А вот негатив по отношению к конкретному объекту выделить бывает довольно не просто. Ведь в тексте могут присутствовать упоминания других объектов, а ваш объект интереса будет обозначен своим названием только один раз в начале текста. А далее для его обозначения будут использоваться местоимения, которые программно сложно четко связать с конкретным объектом. Есть и другие сложности в плане автоматизации определения в тексте негатива по отношению к объекту.

 Ложные признаки негатива

Сложности работы с эмоциями в тексте связаны с многовариантностью языка. Ниже приведены наиболее часто встречающиеся «препятствия» на пути автоматизации выявления негатива в текстах.

Сарказм, юмор, намеки — одно из самых сложных проявлений негатива. Пример: «Какая отличная у них служба поддержки, через четыре дня перезвонили». Или: «Прекрасное изделие – всё так удобно и практично, что начинаю сомневаться – нужно ли оно мне».

Неоднозначные негативные слова: их смысл зависит от того, в «окружении» какого находиться фраза. Например: «Какой прыжок, с ума сойти!» можно истолковать как негатив или позитив в зависимости от окружающего текста. «Какой прыжок, с ума сойти! Как всё красиво, как весело – обязательно повторю.» или «Какой прыжок, с ума сойти! Тот что в оранжевом костюме вряд ли захочет повторить, а того что в синем до сих пор ищут.»

Сравнение — не прямой негатив, но вполне  может иметь отрицательный окрас. Пример: «Я предпочитаю Андроид», что хорошо для Google, но не для MS или Apple.

Смешение негатива и позитива или многомерные настроения: присутствие позитива и негатива в одном предложении (фразе). Пример: «Мне нравится астрономия, но меня раздражают слабые преподаватели».

Будущий негатив: это связано с действиями, которые могут произойти в будущем, а могут и не произойти. Пример: клиент не раздражен в данный момент, но говорит, что будет недоволен, если приобретенный товар выйдет из строя через несколько месяцев.

Разница в проявлении эмоций у разных народов: у разных национальностей проявление эмоций могут сильно различаться, поэтому такие тексты надо интепретировать с «поправкой на ветер».

Вот и получается, что впервые столкнувшись с проблемой автоопределения негатива по отношению к объекту в тексте, исследователи полагают, что это не сложно. И делают примерно одинаковые ошибки – ниже несколько наиболее распространенных приемов, которые применяют на ранней стадии понимания проблемы.

 Наличие негатива в тексте

Наличие в исследуемом тексте негативно окрашенного слова. Самый простой способ определения негативности текста. Но увы и самый не точный. Определить негативный текст или не негативный при такой схеме оценки еще можно с какой то вероятностью. Но вот определить относится этот негатив к какому то конкретному объекту в тексте или нет уже практически не возможно. Особенно если упоминание объекта и негатив разнесены между собой на несколько предложений.

Например «Есть такой Бар – «ККК», а убогое место под названием «ООО» по сравнению с ним полный отстой» используя в качестве признака словарь негатива, вряд ли удастся определить по отношению к какому из объектов автор настроен негативно.

 Близкое расположение негатива

Основным критерием в такой схеме является то, что негативно окрашенное слово стоит рядом или не далеко от идентификатора объекта интереса. Или несколько видоизмененный признак – негативное слово и объект должны находиться в одном предложении. Безусловно, часто негативное слово располагается рядом с обозначением объекта, по отношению к которому применяется. Возьмем тот же пример «Есть такой Бар – «ККК», а убогое место под названием «ООО» по сравнению с ним полный отстой» здесь объект «ККК» расположен в тексте ну очень рядом  с негативным словом «убогое». Тем ни менее негатив проявлен по отношению к другому объекту.

Не редки также тексты, в который объект обозначается в начале текста, а негатив (например в виде вывода) находиться в конце. Особенно это характерно для обзорных статей, аналитических работ, обзоров рынка или его сегмента и т.п. И такие тексты выпадают из выборки, а ведь они формируют мнение людей в основном опираясь на логику, т.е. формируют более устойчивое мнение у читателя (потребителя), чем эмоциональные выкрики в Твиттере.

К стати о Твиттере – вот на таких текстах (на коротких текстах) принцип близкого расположения негатива работает не плохо. Тут даже подойдет принцип наличия в тексте идентификатора объекта и негативного слова. И есть вполне себе работоспособные системы такие как Sentiment140 http://www.sentiment140.com/

Неопределенность ситуации

Еще одна важная проблема с автовыявления негатива это эффект неопределенности. Связан он с тем, что заранее не известно как могут назвать Объект, какие клички, прозвища, характеристики ему дадут-припишут. И по тому способ «посмотрите как называли раньше и используйте эти слова» мягко говоря не поможет выявить новые приемы обливания грязью. Ведь новых вы еще не знаете и по тому в словарь не внесли. Значит они будут пропущены системой. А часто именно выявление новых способов является важным.

Виды примеры проявления негатива

Теперь систематизируем знания о проявлении негатива в текстах по отношению к определенному объекту. Вот признаки, на которые нужно ориентироваться в самом общем случае при работе с негативом.

Негативное слово или фраза

Присутствие в тексте слова, несущего негативный оттенок и характеризующего объект в любой форме. Это самый простой признак негативного текста. Главное не забывать о его ограничениях.

Сравнения

Фраза «Отель 1 лучше чем Отель 2» вроде бы не несет негатива для «Отеля 2», но  раз уж «Отель 1» лучше, значит «Отель 2» хуже. А это уже негатив для «Отеля 2».

Инверсия

Отрицание позитива, т.е. указание, что позитива нет по отношению к объекту. Например  «Отель 2 не хороший» или чуть более сложный случай «Отель 2 самый комфортабельный? – Ага, конечно…». Здесь слово «НЕ» и словообразование «АГА, КОНЕЧНО» являются инверсионными – меняющими смысл на противоположный.

Шкалы и рейтинги

Использование в характеристике объекта низкие показатели разнообразных рейтингов и шкал сравнения. Например «Уровень Отеля 2 максимум пол звезды» или «Отель 2 находиться за пределами ТОП-100».

Сарказм, юмор, намеки

«Отель 2 самый классный отель! Правда теперь я предпочитаю останавливаться в других отелях, на всякий случай» или «Менеджер Отеля 2  молодец – всё сделал правильно. Только вот где теперь мои деньги?» или «Вы видели задний двор Отеля 2? И как вам это зрелище?».

Как можно автоматизировать определение негатива

Теперь, понимая проблемы автоопределения негатива, можно попробовать разобрать наиболее известные варианты решений. Понять их ограничения и соответственно сферу применения.

Словари

Составляется словарь негативных слов – слов, которые несут в себе негатив. И при наличии в тексте слова из такого словаря текст относится к негативному. Самый простой и самый малооэффективный способ. Его ограничения описаны выше, в связи с чем сфера применения весьма узкая.

Чуть более сложный вариант составить словари «негатива», словари слов производящих инверсию и словари слов, которые при инверсии приобретают негативный оттенок. Еще один «словарный» вариант это составление словаря выражений, а не только отдельных слов. Этот подход «покрывает» гораздо большую часть возможных вариантов, но увы тоже не всю.

Варианты со словарями можно без особых усилий реализовать в таких программах как СайтСпутник. Его Рубрики позволяют создавать очень сложные условия и работать с внешними словарями. А вместе с возможностью ведения статистики Рубрик, этот инструмент становиться приемлимой пользовательской альтернативой дорогим сетевым решениям.

Шаблоны

Эта технология похожа на составление словарей с тем отличием, что составляется не набор слов, а набор возможных словосочетаний, словообразований и устойчивых выражений. Делается это так — на большом количестве негативных текстов выявляются схемы (шаблоны) построения негативных высказываний. Именно схемы типа «Объект Словарь1 Словарь2» , где «Объект» это возможные варианты именования объекта, «Словарь1» это словарь прилагательных, а «Словарь2» словарь существительных. Затем используя словари синонимов и каждый новый текст проверяется на наличие таких конструкций (шаблонов). И при наличии таковых помечается как негативный.

Такой подход значительно сложнее, но и значительно эффективнее предыдущих. А при некоторых усилиях его вполне можно реализовать и в программах использующих рубрикацию материала. Например на том же СайтСпутнике.

Фильтр Байеса

Он же статистический метод. При таком подходе каждому слову присваивается его негативный вес. «Негативный вес» слова это вероятность того, что слово является негативным. По сумме слов вычисляется «средний вес текста» — средний вес всех его слов и если он выше какой то условной отметки, то это негативный текст. Например если выше 60%, то текст признается негативным. Правда не понятно негативным к какому объекту. По тому самостоятельно вряд ли применим.

Метод, основанный на словарях, правилах, и на морфологическом и синтаксическом анализе теста (rule-based)

В данном случае заранее составляются словари эмоциональной лексики – словари негатива и позитива (а так же потенциально эмоциональной, зависящей от окружения), словари инверсионных слов, составляются правила определения тональности словосочетаний на основании тональности слов, тональности простых предложений на основе тональности словосочетаний и тональности текстов по взаимосвязи предложений. И определяются способы отождествления негатива и объекта. Этот метод может использовать как списки шаблонов, так и правила соединения тональной лексики внутри предложения и внутри текстов, основанные на грамматическом и синтаксическом разборе.

Данный метод наиболее эффективный, но и наиболее сложный в реализации. Разбор предложений и текстов на основные и подчиненные структуры требует серьезных познаний в лингвистике. Кроме того система должна быть самообучаемая – ведь язык не статичен. Он постоянно меняется, приобретает новые слова, обороты, устойчивые выражения…

Источник

«Если люди не могут найти что-то в Google, они думают, что это не сможет найти никто. Это не так», – утверждает Джон Мэзерли, создатель Shodan, самого страшного поискового движка Интернета.

В отличие от Google, который ищет в Сети простые сайты, Shodan работает с теневыми каналами Интернета. Это своего рода «черный» Google, позволяющий искать серверы, веб-камеры, принтеры, роутеры и самую разную технику, которая подключена к Интернету и составляет его часть.

Shodan работает 24 часа в сутки 7 дней в неделю, собирая информацию о 500 млн подключенных устройствах и услугах ежемесячно.

Просто невероятно, чт

Пару месяцев назад на хабре уже проскальзывало упоминание о сервисе извлечения данных с веб-страниц Convextra, который позволяет парсить даже сложные структуры данных буквально в 2-3 клика. Несмотря на то, что на момент написания той статьи сервис находился в альфа стадии и больше глючил, чем работал, аудитория хабра тепло восприняла идею и мы получили много полезных отзывов, предложений и багрепортов. Поэтому хочется рассказать о том, что из предложенного вами и в каком виде удалось реализовать за это время.

Для тех, кто не знаком с первой статьей, в двух словах о том, что такое Convextra — это сервис парсинга данных с веб-страниц, который позволяет извлекать практически любые повторяющиеся структуры данных (списки объявлений, каталоги магазинов, таблицы соревнований и т.д.) за пару кликов. Качественным отличием от других подобных сервисов являетсяавтоматическое распознавание даже сложных структур данных, и простота использования (вам не придется составлять каких-либо правил или, тем боле, регулярных выражений). Лучше всего просто просмотрите наше минутное видео.>

Многие пользователи писали нам с просьбой реализовать какой-нибудь механизм автообновления получаемых данных, чтобы была возможность поддерживать их всегда в актуальном состоянии. Для решения этой проблемы, мы добавили возможность запуска заданий парсинга по расписанию: вы можете указать периодичность запуска задания и, как только данные обновятся, вам придет емайл оповещение. Кроме возможности задать интервал выполнения задания, также можно указать ключевое слово-фильтр, которое должно присутствовать в новом наборе данных. Таким образом теперь с помощью Convextra можно получать актуальные данные (например, каталоги товаров с интернет магазинов, таблицы соревнований..), мониторить появление новых данных (например поступление новых товаров в каталог, размещение новых объявлений об аренде/продаже и т.д.) и следить за изменениями выбранных данных с помощью указания фильтра (например получать уведомления об изменении цены на интересующий вас товар).

Вторым большим событием за прошедший месяц стала реализация API, с помощью которого можно использовать функционал Convextra во внешних веб-приложениях и сервисах. Пока API поддерживает лишь базовые возможности анализа страниц и экспорта данных, но мы планируем наращивать функционал по мере требования пользователей. Кроме того, в скором времени, возможно, свет увидит и Javascript SDK для кастомизации функционала нашего плагина.

Помимо разработки API и возможности запуска заданий по расписанию мы переработали дизайн и интерфейсы, перевели проект на английский, реализовали поддержку плагином https соединений, существенно доработали алгоритм выявления структур данных и схем пагинации, добавили сохранение истории заданий, реализовали поддержку cookies плагином(теперь плагин более корректно работает со страницами, закрытыми авторизацией) и пофиксили огромное количество багов, о которых вы нам ежедневно сообщаете. Тем, у кого уже установлен наш плагин, крайне советуем его обновить, чтобы все эти нововведения вступили в силу (последняя версия плагина как всегда доступна на главной странице).

Изначально сервис во многом писался «just for fun», без какого-либо анализа потенциальной аудитории и рынка подобных приложений. Поэтому, как и в случае с предыдущей статьей, мы будем бесконечно благодарны за любой фидбек (о том, чего вам не хватает сейчас в функциональности, или просто рассказа о том каким образом вы используете Convextra, или мыслей о том, где вообще может пригодиться такой универсальный парсер) и постараемся оперативно реализовать ваши предложения.

Источник

Оригинал статьи взят отсюда.

Мой коллега читает по всему Интернету статьи о биржевой торговле. Племянница изучает материалы по маркетингу. Подруга внимательно штудирует профессиональные публикации по портретной фотографии. На рынке есть спрос на информацию – и удовлетворяя этот спрос, то есть публикуя профессиональные статьи, мы PR-им себя, создаем себе репутацию знатока и гуру, привлекаем клиентов.

Но бывает и так, что человек дочитывает статью и недоуменно качает головой: «Надо же, читал-читал, а толку? Так ничего и не понял…» В чем же дело? Что нужно, чтобы читатели смогли воспринять информацию, которую готов передать им автор статьи?

Своим клиентам, которым я помогаю писать статьи и книги, я обычно советую соблюдать в тексте три важных принципа. Работают они безотказно. Не верите? Проверьте прямо сейчас – на себе.

Принцип иерархии

Принцип  от потербности читателя

Применение принципов иерархии и от потербности читателя

• способна ли она в разумный срок окупить вложения,


• рентабельна ли, 


• как быстро будет расти.

Принцип разгона

Применение принципа разгона

Согласно результатам исследовательских центров по когнитивным наукам процессы анализа и синтеза информации неразрывно связаны с ее визуализацией. Более того, выяснилось, что процесс получения нового знания, извлечения смыслов в своих самых глубоких слоях связан не столько со словесным мышлением, сколько с образами. Сегодня можно с уверенностью говорить, что нашло подтверждение хорошо известное эмпирическое правило – лучше один раз увидеть, чем сто раз услышать.

new http://realtimeboard.com/ -  один из самых перспективных российских стартапов.  Смысл стартапа состоит в том, что его пользователи прямо в вебе, используя богатейшую библиотеку картинок, иконографики, линий, рисунков и бизнес-шаблонов могут создавать визуальные структуры, экспортировать их как на десктопы, так и публиковать в вебе, а также осуществлять их коллективное обсуждение.

http://nodexl.codeplex.com/ – бесплатная свободная надстройка для EXCEL для визуализации любых типов графов и сетей.

http://www.daden.co.uk/solutions/datascape/about-datascape/ – инструмент для визуализации данных в режиме 3D. Имеет бесплатную версию для частного некоммерческого использования, а также малого бизнеса в Британии и других странах мира.

http://www.netmagazine.com/features/top-20-data-visualisation-tools - 20 новых эффективных бесплатных инструментов визуализации данных, доступных каждому.

http://www.casos.cs.cmu.edu/projects/ora/versions.html – едва ли не самый широко применяемый софт для анализа и визуализации социальных и организационных сетей. Будучи университетской разработкой, является бесплатным продуктом.

http://pajek.imfm.si/doku.php -  паук, лучший софт для анализа крупноразмерных социальных, организационных, экономических и прочих сетей. Хорошо задокументирован. Требует незначительного времени для освоения.

http://www.visualmining.com/products_for_business_users_overview.php – недорогие, доступные даже малому бизнесу панели индикаторов. Представляют собой готовую платформу для интерактивной бизнес-аналитики. Для использования программы не надо знать языки программирования. Имеет интуитивно понятный интерфейс. Единственное, что от вас требуется – это умение загружать данные.

http://datawrapper.de/ – простой, удобный и легкий в освоении инструмент визуализации данных, построенный на принципе открытого кода.

http://infogr.am/ – новый бесплатный инструмент создания интерактивных графиков.

http://www.lococitato.com/ -  инструменты для визуализации социальных сетей. Базируются только на общедоступной информации, не осуществляют никаких взломов. Есть специальный продукт Facebook Visualizer.

http://www.smartdraw.com/ – лучшая по признанию экспертов программа для создания графиков, диаграмм, других видов визуализации. Программа базируется на первом в мире визуальном процессоре. Имеет бесплатную и несколько платных версий.

http://www.statviz.ru/index.php -  отечественная интерактивная система визуализации информации, рассчитанная на бизнес.

http://vis.stanford.edu/wrangler/ – представляет собой бесплатный интерактивный инструмент для очистки данных  преобразования их в необходимые для интеллектуального анализа данных и визуализации форматы. Осваивается «на лету» даже начинающим пользователем.

http://www.outwit.com/products/hub/ – бесплатный инструмент для автоматического сбора и организации данных, включая таблицы, любую числовую информацию и т.п., а также преобразование их в форматы CSV, Excel, SQL и т.п.

http://www.tableausoftware.com/public – один из самых популярных в мире инструментов интерактивной визуализации. Позволяет создавать интерактивные графики, таблицы, панели, карты практически из любых данных. Пригоден для использования как в оффлайне, так и в онлайне. Для освоения и применения не требует предварительной подготовки.

http://www.lovelycharts.com/ – очень недорогая программа для работы в онлайне и оффлайне. Позволяет строить самые разнообразные диаграммы, блок-схемы, организационные диаграммы, описывать бизнес-процессы и многое другое. Очень хорошая служба поддержки и богатое обучающее видео.

Zoho Reports – сервис визуализации, создания интернет-отчетов и бизнес-аналитики от компании Zoho.com – производителя одной из самых популярных в мире CRM. Сервис позволяет работать с электронными таблицами практически во всех форматах и в один клик осуществлять визуальный анализ данных, используя самые различные методы визуализации. Не требует практически никакой подготовки, обладает интуитивно понятным интерфейсом, поддерживает в платном варианте SQL, имеет высшие сертификаты, подтверждающие безопасное шифрованное соединение. Имеет бесплатные и недорогие платные версии.

http://nodexl.codeplex.com/ – очень популярная надстройка для Excel, позволяющая строить самые разнообразные графики и исследовать сети. Хорошо документирована. Единственное требование – знать и уметь пользоваться Excel. Бесплатная.

http://www.begraphic.com/software-for-innovative-datavisualization.html – инновационный быстро набирающий популярность продукт. Является надстройкой над Excel и PowerPoint, а также работает со всеми основными СУБД и ERM. Позволяет не только визуализировать данные в самых разнообразных графиках и диаграммах, но и является незаменимым средством для создания инфографики. Имеет платные и бесплатную версии.

Many Eyes – мощный продукт от корпорации IBM. Наряду с построением различных графиков, диаграмм, схем, может использоваться и для визуальной геолокации, а также визуализации текста, в том числе в облака тегов. Имеет платную и  бесплатную версии. Для своего использования предполагает наличие определенного уровня компьютерных знаний.

http://www.visualisingdata.com/index.php/resources/ – портал, содержащий обширную постоянно пополняемую информацию по софту для визуализации, языкам программирования, используемым при визуализации, литературе на эту тему, проведенимым бесплатным и платным вебинарам и многое другое.

http://www.analytictech.com/ucinet/ – мощная программа анализа социальных и бизнес-сетей. Включает как средства визуализации, так и средства анализа сетей значительной размерности (более 35 тысяч элементов). Имеет бесплатную пробную версию и профессиональную платную.

http://www.netminer.com/index.php – легкая в освоении, многофункциональная и эффективная программа для анализа социальных и бизнес-сетей (Social Network Analysis – SNA).

http://www.statnetproject.org/ – бесплатный пакет статистического программного обеспечения для SNA. Позволяет выявлять явные и неявные связи в сетях по многим параметрам.

http://www.visone.info/ – программный продукт для визуализации и анализа социальных сетей. Особенностью продукта является интуитивно понятный графический пользовательский интерфейс и встроенные средства анализа. Это делает продукт незаменимым для пользователей, не обладающих серьезной компьютерной подготовкой, либо навыками анализа сетей. Продукт бесплатный.

http://www.graphviz.org/ – программное обеспечение для визуализации графов и социальных сетей. Имеет много полезных функций, позволяющих строить диаграммы, поддерживать различные варианты цветов, встраивать гиперссылки.

http://gephi.org/ – опенсерсный продукт для визуализации, разработанный  в Стэнфорде. Программа обладает едва ли не самым большим функционалом в классе SNA, очень хорошо документирована, постоянно развивается, имеет активное сообщество, облегчающее обучение и оказание оперативной помощи при возникающих вопросах, связанных с использованием программы.

http://www.wikiviz.org/wiki/Tools – Вики по проблематике визуализации. Этим сказано все.

http://rff.com/index.htm – мощный, но простой в использовании инструмент для создания всех основных видов диаграмм, блок-схем, анализа сетей. Является одной из любимых программ американских следователей и частных детективов. Программа очень хорошо задокументирована, имеет понятно написанное короткое руководство пользователя. В программу встроена возможность ее русификации. Стоит недорого.

Sentinel Visualizer – серьезный программный продукт, используемый для визуализации данных, анализа самых различных связей, а также для SNA. По возможностям сходен с I2, но стоит на порядки дешевле, хотя и является самым дорогим продуктом, представленным в этом разделе.

http://grapheur.com/ -  уникальная программа для интеллектуального анализа данных и их визуализации, не требующая глубокой специальной подготовки. По своим возможностям превосходит все другие программы в этом классе. Доступна для неподготовленного пользователя, хорошо задокументирована, обладает  безупречной службой поддержки. Программа платная, но своих денег без сомнения стоит.

Источник

Есть много разных сервисов, облегчающих жизнь веб-разработчику или дизайнеру, в том числе создающих разные графики, диаграммы, блок-схемы и т.д. Ниже представлена небольшая подборка.

(Осторожно, много изображений)

Все картинки кликабельны и ведут на соответствующий ресурс.

Сервисы

Amcharts

Amcharts — это набор flash-based диаграмм для сайтов. Может извлекать данные из CSV или XML файлов, также может получать данные, сгенерированные динамически при помощи PHP, .NET, Java, Ruby on Rails, Perl и т.д.

AnyChart

Flash based решение для визуализации. Есть не только веб, но и десктопные приложения.

Autodesk

Предлагает инструменты для рисования схем электронных плат, диаграмм, различного рода UI. Не требует никаких дополнительных плагинов — требуется только браузер, работающий с JavaScript, является кросс-браузерным. Поддерживает экспорт в PDF, JPG, PNG, и SVG.

Barchart

Используется для построения столбчатых диаграмм, иными словами гистограмм.

Best4c

Best for Charts. Используется для построения различного рода диаграмм и схем.

Bubbl

Создает разноцветные схемы.

ChartDemo

Онлайн тулза для создания различных графиков, поддерживает метки и легенду.

ChartGizmo

Позволяет создавать различные графики для сайтов, блогов, профилей и т.д. Может быть полезен для визуализации научной, финансовой или какой-либо другой информации.

CreateAGraph

Онлайн-сервис, поддерживающий 5 разных графиков и диаграмм на ваш выбор.

DrawAnywhere

Блок-схемы, различные организационные, иерархические графики. Поддерживает экспорт в PDF.

Emprise

Поддерживает различные типы графиков, масштабирование по осям, авто-зум и т.д. Отличается высокой интерактивностью.

FlowingData

Работает прямо из браузера, рекомендуется для визуализации различной статистики.

Flowchart

Поддерживает рисование множества объектов (от линий и треугольников, до кривых Безье), экспортирует в PDF или PNG.

Fooplot

Простенький сервис, поддерживающий построение графиков и диаграмм.

Gliffy

Отличный сервис для создания различных диаграмм, очень приятный на вид интерфейс и множество возможностей.

Mindomo

Позволяет создавать и редактировать диаграммы связей.

Mindmeister

Очень гибкий инструмент для создания различных диаграмм связей.

MGraph

Простенькая тулза для создания диаграмм.

Pareto-Chart

Онлайн генератор графиков, поддерживает семь начальных инструментов бесплатно.

Rich Chart Live

Бесплатный сервис, поддерживает различные диаграммы, графики и т.д. Работает на Flash.

WebSequenceDiagrams

Сервис для создания схем. Ключевая особенность — описание схем на неком подобии языка программирования.

SimpleSeating

Отличный сервис для анализа различной информации.

Smartchart

Сервис для различного рода планирования, также поддерживает диаграммы, бесплатен.

Statistics Toolbox

Мощный инструмент для статистического моделирования и анализа. Позиционируется для изучения статистики на практике.

Track-n-graph

Простенький, но приятный на вид сервис для построения графиков.

Библиотеки, плагины, инструментарии для разработчика

Plotr

Легкий фреймворк для рисования простых графиков и диаграмм. Не использует Flash, и не поддерживает интерактивных элементов.

PlotKit

Библиотека для построения графиков на JavaScript, поддерживает HTML Canvas.

jqPlot

Open Source плагин для библиотеки jQuery. Поддерживает всевозможные линии и типы графиков.

Google Charts

Разнообразный набор инструментов для создания диаграмм и графиков, включая библиотеку на JavaScript.

Highcharts

Библиотека на JavaScript, предназначенная для создания интерактивных графиков и диаграмм.

Dygraphs

Еще одна библиотека на JavaScript, Open Source.

Protovis

Использует JavaScript и SVG для нативной визуализации.

jQuery Sparklines

Плагин для jQuery, генерирующий inline-схемы и графики.

jpGraph

Мощная библиотека, которая использует для отображения PHP.

Flot

jQuery плагин для построения графиков. На лету формирует графики по наборам данных.

JavaScript Diagram Builder

Простая библиотека для JavaScript, позволяет рисовать графики на веб-страницах.

gRaphael

JavaScript библиотека для внедрения графиков и схем на веб-страницу.

pChart

Полностью бесплатный php-фреймворк.

FusionCharts

Доступен для множества платформ. Возможна интеграция с ASP, ASP.NET, PHP, JSP, ColdFusion, Ruby on Rails и т.д. Есть flash и HTML5 продукты.

Кому интересно, большая часть подборки взята отсюда.

Источник

 Интересный материал в Коммерсанте. Интересен он, в частности, тем, что в комментариях тут же начался адский срач между кремлеботами и хомяками Навального  причем я уверен, что 146% комментаторов статью даже не прочитали.

Как стало известно Ъ, в январе 2012 года Служба внешней разведки (СВР) объявила три закрытых тендера на сумму свыше 30 млн руб., цель которых — выработать новые методики мониторинга блогосферы. Главная задача — массовое распространение информационных сообщений в заданных социальных сетях с целью формирования общественного мнения. Источники Ъ считают, что в будущем эти разработки могут быть применены и для работы в российском сегменте интернета.

СВР выходит в онлайн

По сведениям Ъ, тендеры на исследования с кодовыми обозначениями Шторм-123, Монитор-33 и Диспут были проведены в январе-феврале 2012 года. Как следует из текстов трех конкурсных заданий, имеющихся в распоряжении Ъ, государственный заказчик — ФКУ Войсковая часть N549393 — запросил разработать программы для исследования методов разведки интернет-центров и региональных сегментов социальных сетей (шифр Диспут) на 4,41 млн руб., исследования методов негласного управления в интернете (шифр Монитор-33) на 4,99 млн руб., а также провести научно-исследовательскую работу по разработке средств продвижения специальной информации в социальных сетях (шифр Шторм-123) на 22,8 млн руб.

Три работы, хотя и разбиты на разные тендеры, тесно связаны друг с другом. Планируется, что сначала мониторить блогосферу будет система Диспут, которая должна заниматься исследованием процессов формирования сообществ интернет-центров распространения информации в социальных сетях и определением факторов, влияющих на популярность и распространенность сведений. Затем полученную информацию будет анализировать система Монитор-33. Ее задача — разработка методов организации и управления в интернете виртуальным сообществом привлеченных экспертов, предусматривающих постановку заданий, контроль работы в социальных медиа и регулярное получение от экспертов информации в заданных предметных областях. На основе полученных данных вбрасывать нужную информацию в соцсети начнет система Шторм-123.

 Ее функционал госзаказчик прописал следующим образом: разработка специального программного комплекса автоматизированного распространения информации в крупных социальных сетях и организации информационной поддержки мероприятий по подготовленным сценариям воздействия на заданную массовую аудиторию социальных сетей. В документах уточняется, что целью этой виртуальной армии станет массовое распространение информационных сообщений в заданных социальных сетях, используя имеющиеся учетные записи пользователей, с целью формирования общественного мнения, сбор статистики и анализ эффективности распространения информационной волны, анализ пригодности наиболее популярных сервисов социальных сетей для инициирования информационных волн различной тематической, социальной и прочей направленности.

По данным Ъ, засекретить все три конкурса позволило то, что основанием для их проведения стало закрытое постановление правительства N1116-36 от 23 декабря 2011 года о распределении средств гособоронзаказа на 2012 год. Ожидается, что системы Монитор-33 и Диспут будут готовы уже в 2012 году, а Шторм-123 — в 2013 году.

Источники Ъ в спецслужбах утверждают, что воинская часть N54939, командир которой Александр Бычков выступил заказчиком по всем трем тендерам, входит в систему СВР. Запрос Ъ в разведывательном ведомстве на эту тему остался без ответа. Впрочем, эту информацию подтверждают два документа, находящихся в открытом доступе. Первый — приложение к приказу Министерства связи от 23 августа 1994 года: в перечне предприятий и организаций, получивших разрешения на право проведения работ по защите информации, часть N54939 значится как управление информатизации СВР. Второй, более свежий документ — письмо управления городского заказа правительства Москвы О льготах по оплате коммунальных услуг для кадровых сотрудников внешней разведки. По состоянию на июль 2011 года в документе указывается, что для предоставления льгот военнослужащим и гражданскому персоналу, работающему в воинской части N54939, справки принимаются без указания ведомственной принадлежности на основании федерального закона о СВР.

Непосредственным исполнителем по всем трем конкурсам стала компания Итеранет (cм. справку). Ее гендиректор Игорь Мацкевич (в прошлом — первый заместитель начальника Института криптографии, связи и информатики Академии ФСБ) от разговора с Ъ уклонился. Отказался он отвечать и на письменные вопросы.

Собеседники Ъ в российских спецслужбах не исключают, что после того, как СВР получит в свое распоряжение программы Шторм-123, Монитор-33 и Диспут, они могут применяться для воздействия как на внешнюю аудиторию, так и на внутреннюю. После того как разработка завершится, начнутся предварительные испытания, которые должны будут доказать эффективность системы,— поясняет один из источников Ъ. На вопрос о том, на каких именно странах эти разработки будут опробованы, собеседник Ъ ответил уклончиво: На первом этапе это могут быть страны Восточной Европы, входившие в состав Советского Союза.

Интернет давно привлекает внимание спецслужб, и, естественно, не только российских,— говорит другой собеседник Ъ.— Напомню, что РФ предлагала на законодательной основе — под эгидой ООН — запретить государствам использовать интернет для подрыва политической, экономической и социальной систем других государств, а также для манипулирования информационными потоками в информационном пространстве других государств, включая дезинформацию (о соответствующих инициативах Ъ писал, в частности, 27 апреля). Однако наши партнеры, прежде всего западные, не сочли необходимым прислушиваться к нам.

Бот внутреннего применения

Комментируя возможность применения новых разработок в российских социальных сетях, собеседник Ъ отметил, что практика передачи технологий между СВР и ФСБ обычно не используется, поскольку увеличивается риск утечки информации, однако оговорился, что в случае возникновения подобной необходимости ресурс может быть использован в нуждах обоих ведомств, никаких правительственных актов для этого не требуется, вопрос решается на уровне руководства двух ведомств.

Опрошенные Ъ эксперты отмечают, что разрабатываемые по заказу СВР программы универсальны в своем применении. В тексте тендера на систему Шторм-123 прямым текстом сказано, что миллионы рублей спецслужбы желают истратить на создание системы вброса через заранее зарегистрированные в соцсетях аккаунты. Основным препятствием на пути работы системы являются средства защиты соцсетей от спама,— сказал Ъ интернет-эксперт Антон Носик.— Часть денег будет потрачена на нейтрализацию этих защит.

С ним согласен и еще один эксперт в области интернет-технологий, просивший не называть его имени. Практически стопроцентная вероятность, что адресатами, клиентами этих работ в будущем могут стать российские социальные сети и их пользователи, а также зарубежные сети и ресурсы типа Facebook и Google+, к техническому контролю за которыми у российских спецслужб доступа нет, а вот делать внешний мониторинг событий и активностей, а также изучать функциональность ресурсов и искать дырки в их защите для борьбы с политической оппозицией, активно пользующейся зарубежными сетевыми ресурсами, им вполне по силам,— говорит он.

По мнению эксперта, подобные программы могут быть весьма эффективными, особенно если речь идет о вскрытии прав администраторов, веерных рассылках или заражении компьютеров ботами. Еще в рамках нескольких подразделений бывшего КГБ СССР — нынешнего ФСБ России велись научные и научно-практические работы по разного рода социальным проектам, которые как раз и описываются близко к тексту в содержании этих тендеров, но применительно к интернету и современным социальным сетям,— напоминает он.— Соответствующие научные центры — многоэтажные свечки, которые стоят на проспекте Вернадского за зданием МГУ и метро Университет. Там были темы с насаждением межрасовой розни и тем самым снижения боеспособности ВС США, с внедрением и последующими провокациями для раскола советского диссидентского движения, с недопущением распространения нежелательной информации в случае стихийных бедствий и общественных беспорядков и, наоборот, обеспечением распространения ложной, но полезной, нужной информации. Координатор Центра безопасного интернета Урван Парфентьев напоминает, что впервые о попытках России влиять на ситуацию в других странах через интернет заговорили после истории со сносом памятника Бронзовому солдату в Таллине в 2007 году. Ничего невозможного в том, чтобы размещать и вирусно распространять информацию в сети, нет,— считает господин Парфентьев.— Что же касается влияния извне, то тут можно либо постоянно что-то рассказывать о позитивном имидже России, как это делает телеканал Russia Today, либо реагировать на определенные информационные пики, когда внимание иностранцев приковано к России. По словам эксперта, в такой ситуации стратегия может быть оборонительной — например, после войны в Южной Осетии России пришлось много времени потратить на развенчание картинки, созданной западными СМИ,— или наступательной. В качестве примера эксперт привел работу радио Свобода и Голос Америки во времена СССР, когда они постоянно находили какие-то негативные информационные поводы. Просто 30 лет назад для такой работы использовали радио, а теперь им на смену пришел интернет,— резюмировал господин Парфентьев.

Агентство национальной дезинформации США

Минобороны и спецслужбы США также активно осваивают методы работы во всемирной паутине. Год назад управление перспективных научно-исследовательских разработок Пентагона DARPA объявило тендер в размере $42 млн на создание компьютерной программы под кодовым названием SMISC, что расшифровывается как социальные медиа в стратегической коммуникации. Система должна отслеживать враждебную по отношению к США пропаганду и помогать вести контрпропаганду. Область развертывания — Facebook, Twitter, YouTube и другие популярные социальные сервисы. Список технологий, которые предполагается использовать в рамках SMISC: лингвистический анализ, анализ трендов, настроений, общественного мнения и культурных нарративов, автоматическое создание контента, боты и краудсорсинг (см. Ъ от 20 июля 2011 года). Программы по использованию социальных сетей в разведывательно-пропагандистских целях разрабатываются и Агентством по национальной безопасности (АНБ) США. Использовать эти программы для внутренних целей госорганам, однако, запрещено законом Смита-Мундта от 1948 года и законом об утверждении внешнеполитической деятельности США от 1987 года, принятыми в целях защиты американской аудитории от дезинформационных кампаний, проводимых ее собственным правительством. Впрочем, в мае этого года инициативная группа конгрессменов предложила внести в закон о санкционировании расходов на оборону поправку, которая узаконила бы ведение пропаганды на американских гражданах. По словам одного из авторов поправки, республиканца Мэка Торнберри, в эпоху интернета действующие ограничения связывают руки американским дипломатам, военным и прочим представителям США, ограничивая их возможности по налаживанию убедительной коммуникации. Палата представителей одобрила предложение Мэка Торнберри. Сенат выскажет свое мнение в ближайшее время.

Источник

Терминалы «Призма» в кабинетах высших руководителей в реальном времени отслеживают дискуссии в соцсетях, но публично Владимир Путин и Дмитрий Медведев утверждают, что совсем не интернет определяет их политику .

С завершением избирательного цикла скепсис высших чиновников по отношению к политической активности в интернете стал показным. Даже нынешний премьер-министр Дмитрий Медведев, первым из топ-номенклатуры вышедший в блогосферу и твиттер, теперь сменил тон: темы в сети обсуждаются неправильные, они далеки от реальности.

«Мы вообще этим не занимаемся (тем, что обсуждается в соцсетях. — Forbes), нам на это плевать, я имею в виду всем гражданам страны, за исключением довольно узкой группы людей», — сказал премьер 10 августа на встрече с активом «Единой России». За две недели до этого пресс-секретарь Владимира Путина Дмитрий Песков в разговоре с газетой «Ведомости» язвительно отвечал на вопрос, знают ли в Кремле об опубликованных блогером Алексеем Навальным криминальных фактах из прошлого главного следователя Александра Бастрыкина. «Не исключаю, что, не забыв выложить эту информацию в социальную сеть, этот гражданин забыл отправить письмо (президенту и в СКР)», а реагировать на сообщения в соцсетях Кремль не будет, сказал Песков.

Однако за «узкой группой людей», на которую не реагируют, власти на самом деле следят очень внимательно. Как выяснил Forbes, у десятков высших чиновников в кабинетах установлена специальная система мониторинга сетевых дискуссий.

Призма Володина

Пионером по отслеживанию социальных медиа стало Управление внутренней политики администрации президента. Еще до думских выборов главному их куратору Вячеславу Володину (тогда вице-премьеру и главе штаба Общероссийского народного фронта, сейчас первому замглавы администрации президента) была установлена система производства компании «Медиалогия», позволяющая в реальном времени отслеживать дискуссии в социальных сетях и блогах, рассказывает собеседник Forbes в руководстве одной из IT- компаний и бывший сотрудник управления внутренней политики.

Представитель администрации президента подтверждает: система называется «Призма», она установлена непосредственно в кабинете Володина и в настоящее время действительно используется. Представитель «Медиалогии» подтвердил Forbes: такая система существует, один из терминалов предоставлен администрации президента.

Сотрудник президентской администрации признается: по итогам наблюдения за блогами Володин строго спрашивает. Настроек в терминале начальника подчиненные Володина не знают, но набор обозреваемых блогов явно нерелевантен, говорит один из собеседников: недостаточно обозреваются те аккаунты, где пишут позитивно настроенные к власти авторы.

«Призма» значится среди продуктов «Медиалогии», предложенных к продаже. В краткой аннотации на своем сайте создатели обращаются к высоким государственным начальникам: активность граждан в соцмедиа приводит к «росту социальной напряженности: нагнетанию беспорядков, протестным настроениям, экстремизму». В аннотации к «Призме» также сказано, что терминал предназначен непосредственно для личного использования руководителями.

«Медиалогия» не стала предоставлять Forbes демодоступ к системе, но согласилась описать «Призму» в письменном комментарии.

Система может отслеживать отдельно стоящие блог-площадки и соцсети. Всего, по словам разработчиков, под око Кремля попадают 60 млн «источников». При этом система анализирует тональность высказываний каждого из этих источников с погрешностью 2-3% практически в реальном времени (лаг в несколько минут), пишет директор «Медиалогии» по развитию Фарит Хуснояров.

В мониторинг попадают практически все площадки, за исключением Facebook, утверждают разработчики. В том числе блоги на LiveJournal, Twitter, YouTube. Правда, в аннотации на сайте «Медиалогии» Facebook числится среди обозреваемых сетей, то же говорит и один из собеседников Forbes, видевших «Призму» в деле.

«На монитор поступают наиболее обсуждаемые новости в социальных медиа, они представлены как топовые сюжеты (кластеры). При этом можно посмотреть, из каких постов формируется тот или иной топовый сюжет. В каждом сюжете оцениваются сообщения по характеру упоминания, количество негативных и позитивных постов отражается на экране. Характер упоминания определяется по факту и тональности (отношение автора)», — пишет представитель компании-производителя.

Судя по военным терминам из описания, представленного компанией, пользователи «Призмы» видят социальные медиа как поле непрекращающейся битвы: «Новости классифицируются по определенным темам, которые фиксируются в техническом задании индивидуально. Например, «информационные риски», «активность/мероприятия», «конкуренты» и др. Помимо этого на экране представлена графическая информация: динамика позитивных и негативных сообщений по количеству за последние 24 часа. Эта динамика может быть настроена по определенным темам и объектам. Также на экране представлен график информационных атак, отражающий долю ботов по негативу (соотношение негативных ботов к общему количеству)».

Стоимость «Призмы» (состоит из «харда», «софта», установки и обслуживания) разработчики не раскрывают. Проверка выигранных «Медиалогией» и связанной с ней компанией «Медиамониторинг» (зарегистрирована по тому же адресу) тендеров по сайту госзакупок показала: поставок «Призмы» кому-либо из госзаказчиков в 2011-2012 годах не было (всего 14 побед в госконкурсах).

Песков сказал Forbes, что о поставке системы в АП он не знает, а разработчики сообщили, что пока лишь тестируют «Призму» и терминал в кабинете Володина стоит бесплатно: «Медиалогия» выпустила бета-версию, которая используется в администрации президента и в правительстве Москвы… На данный момент контрактных отношений по «Призме» нет. Коммерческая эксплуатация продукта планируется в 2013 году».

Как сообщил Forbes собеседник в IT-отрасли, терминалы «Призмы» установлены отнюдь не только в двух кабинетах, но примерно у полусотни других высокопоставленных чиновников: у руководства МВД, в мэрии Москвы, в аппарате спикера Госдумы Сергея Нарышкина, у главы «Роснефти» Игоря Сечина и пр.

Директор Центра политинформации Алексей Мухин, немного пользовавшийся «Призмой», обрисовывает круг потенциальных клиентов: «Это нужно для спецслужб и Кремля. Я видел эту систему. Это впечатляет, хорошая вещь. Думаю, такая штука есть и у Дмитрия Анатольевича».

Пресс-секретарь премьера Наталья Тимакова была недоступна для комментариев. В пресс-службе правительства на вопрос, работает ли «Призма» в Белом доме, ответить затруднились.

«Микроскопом забивают гвозди»

Приблизительно в то время, когда в кабинете Володина появилась система слежения за соцмедиа, в Кремле, готовящемся к парламентским выборам, было принято решение: основной упор в агитации в интернете направить на обитателей социальных сетей. Тогда именно оттуда власть ждала опасность. Действительно, первый крупный митинг на Болотной площади состоялся после наплыва в декабре посетителей в специальную группу в Facebook.

На Западе анализ деятельности пользователей в соцсетях уже поставили на службу политике. Сервис микроблогов Twitter в августе начал вести предвыборный политический индекс, сравнивая положительные твиты о том или ином кандидате с общим количеством записей в твиттере. По сообщению компании, в неделю анализируется около 2 млн записей о кандидатах в президенты США Бараке Обаме или Митте Ромни. А стартап PoliticIT выкладывает в свободный доступ данные анализа сообщений почти всех англоязычных соцсетей, ранжируя кандидатов в президенты США. В штабе Обамы система, аналогичная «Призме», тоже работает: кластеризуя записи в блогах после той или иной речи кандидата-демократа, «робот» даже способен отвечать части обладателей аккаунтов, с остальным массивом «комментаторов» работает PR-команда Обамы.

Избиратели США сейчас глубже россиян погружены в социальные сети, однако следующий избирательный цикл в России также, возможно, пройдет под знаком соцмедиа. «Сейчас в сети находится активный срез общества, а скоро там будут вообще все. Те, кому сейчас 45, уже пользуются «ВКонтакте», а те, кому сейчас 2 года, тоже будут уже в сети. Это объективный процесс. Власти здесь необходимы инструменты, чтобы доносить до людей информацию в правильном ключе», — говорит депутат Госдумы от «Единой России» Роберт Шлегель.

Однако прозрачных методик работы с той информацией, которую может давать система мониторинга блогов, у нас, в отличие от Америки, нет, говорит собеседник в IT-отрасли, реагируют на сетевые темы по старинке, административным ресурсом и «накруткой» позитивных тем. «Микроскопом забивают гвозди», — приводит он афоризм.

Представитель администрации президента говорит, что результат анализа блогов часто становится темой для директив Володина.

Непереводимый олбанский

К следующим выборам, возможно, системы анализа и мониторинга соцмедиа будут уже совсем другими, ожидают ученые. «Направление стало активно развиваться около 10 лет назад. А года через 4 прогнозируется переход количества в качество. Будет совершенно другой уровень семантического анализа динамического набора документов на естественном языке… Сейчас мы видим коренной скачок в алгоритмах и функциональности программных средств. Уже сейчас можно делать вполне адекватные прогнозы», — говорит замзаведующего кафедрой анализа данных и искусственного интеллекта НИУ ВШЭ Алексей Незнанов.

Фактически алгоритмы анализа языка, по словам ученых, могут вплотную приблизить машину к пониманию написанного в соцмедиа. Уже сейчас экспериментальные системы, подобные «Призме», распознают тональность сообщений на 80-90%. Единственное, что может помешать машине разложить мысли блогера на эмоциональные составляющие, — это «олбанский» (интернет-сленг. — Forbes) и эзопов языки. «Ирония, игра словами и сарказм — это очень тяжело. Трудно понять сарказм Набокова, но понять пользователя блогосферы — это еще сложнее. Задача решается приблизительно», — говорит научный сотрудник лаборатории НИУ ВШЭ Дмитрий Игнатов.

Ученые утверждают, что вскоре от анализа содержания соцмедиа можно будет легко перейти к манипулированию этой средой. «Пока еще накапливается опыт прогнозирования развития сетей и решения частных задач анализа данных, этот опыт, очевидно, позволит эффективно манипулировать акторами в сетях, с учетом стандартных социологических ограничений», — уверен Незнанов.

Необходимые математические расчеты уже сделаны. В 2009 году вышла монография замглавы Института проблем управления РАН Дмитрия Новикова с коллегами «Социальные сети: модели информационного влияния, управления и противоборства», где приведены модели распространения информации в социальных сетях в зависимости от характера новости и репутации «агента».

«Мы можем пытаться влиять на мнение членов соцсетей, на связи между ними, причем разными способами, вариантов много: если вы хотите вбрасывать информацию, то надо воздействовать на людей неравномерно, выискивать активных людей с репутацией… Можно выращивать репутацию своих агентов, давая им правдивую информацию, а затем внедряя в общий поток какие-то другие идеи& Можно, наоборот, уничтожать репутацию чужих агентов, дискредитировать их… В итоге появляется взаимодействие, противоборство субъектов, осуществляющих воздействие на агентов. Все как в жизни, точнее, это и есть жизнь», — размышляет Новиков.

«Власть просто смотрит в экран, где мигают огонечки»

«Призма» появилась и стала внедряться у чиновников вскоре после серии уличных революций на Ближнем Востоке, где главным мобилизационным средством восставших были именно соцсети. Российское МВД стало пользоваться системой вскоре после родившегося в блогосфере оглушительного скандала вокруг казанского ОВД «Дальний».

Бывший глава управления внутренней политики администрации президента Константин Костин, который сейчас возглавляет Фонд развития гражданского общества, верит в то, что чиновники могут использовать соцмедиа, чтобы прогнозировать неприятности и избегать их. Работая в Кремле, чиновник успел попользоваться «Призмой», а сейчас уже пытается создать собственную систему слежения за обитателями соцсетей. Вот только «начинка» ему нужна помощнее, чем в программе от «Медиалогии».

«Там берется несколько сотен блогеров, и система анализирует то, что происходит внутри их замкнутого сообщества. Это слишком малая часть, она не дает представления об общей картине. Мне же нужно понимать, что в реальном времени происходит в сетях. Наши системы этого не дают, пока у нас нет таких технологических возможностей», — утверждает Костин. Он ведет переговоры с двумя американскими компаниями, считающимися лидерами на рынке систем по поиску и анализу контента в сети: Crimson Hexagon и General Sentiment.

«Социальная энергия» в сети должна изучаться властями и все больше использоваться в работе, полагает бывший кремлевский обитатель. Традиционные СМИ, по словам Костина, уходят в прошлое, освобождая место для социальных медиа.

Пиар-специалист, директор агентства «Социальные сети» Денис Терехов в возможности властей погасить сетевое недовольство не верит: «Если вы в окно видите метеорит, значит поздно реагировать. Посылать Брюса Уиллиса его взрывать надо было раньше& Наверняка были люди, готовые много заплатить, чтобы в сети не обсуждали ДТП с «Лукойлом» на Ленинском проспекте, но помочь им было некому. Так и тут: власть просто смотрит в экран, где мигают разные огонечки, они просто наблюдают за разворачивающейся картиной».

У Путина и его пресс-службы «Призмы» или аналогичной системы нет, мониторить сети, может, и надо, но не в первоочередном порядке, непреклонен Песков. «В соцсетях и блогах действительно можно найти серьезные обсуждения… Но на фоне общего объема этих блогов доля серьезного обсуждения ничтожно мала. Подавляющее большинство тем носит несерьезный характер и малоприменимо для работы администрации президента», — сказал пресс-секретарь президента Forbes.

 Источник

LIci WP

 Составлен алгоритм, позволяющий находить источники распространения «информационных эпидемий» в социальных сетях, чем бы они ни были, от преступных планов до инакомыслия.

Конечно, цель ученые преследовали вполне благородную: найти возможность проследить источники незаконных действий, которые оставили следы в интернет-пространстве. Раньше все было вполне просто и иерархически: от «мозгового центра» какой-нибудь банды через «менеджеров» и до исполнителей. Однако в наши дни структура преступных сообществ меняется, яркой иллюстрацией чему служат распределенные сети террористических ячеек и групп, координирующие свою деятельность через Сеть.

Именно для раскрытия таких сложных сетей и создали свой алгоритм разработчики из швейцарской Лаборатории аудиовизуальных коммуникаций. «Он позволяет найти источник любой информации, циркулирующей в сети, “прослушивая” ограниченное количество ее участников,»  говорит глава группы исследователей Педро Пинто (Pedro Pinto).

Представьте, что вы внезапно обнаружили неприятный сюрприз, какую-нибудь нехорошую выдумку или сплетню о вас, которая распространяется кем-то в Facebook, и уже около 500 человек «перепостили» ее – не только прямые ваши друзья в сети, но и друзья этих друзей. Что делать – дело десятое, главное выяснить, кто виноват. И вместо того чтобы внимательно прочесть ленты всех 500 человек, пользуясь швейцарским алгоритмом, вы сможете ограничиться 15-20-ю. Учтя временной фактор, алгоритм найдет источник сплетни.

По словам авторов, подойдет он и в реальном мире, где позволит обнаруживать источники распространения не информационных, а вирусных эпидемий. Они уже провели пробный расчет, анализируя распространение эпидемии холеры в ЮАР, и провели его удачно. Подойдет он и для борьбы с террором. Авторы напоминают о теракте в Токио в 1995 г., когда в городском метро был распылен смертоносный газ, что привело к гибели 13 человек и повреждениям у более чем тысячи. По мнению Пинто и его группы, их метод позволил бы быстро найти источник распространения отравы и принять адекватные меры, не проводя тотальной эвакуации и очистки всей подземки.

Нельзя не отметить, что во всех этих случаях алгоритм позволяет реагировать апостериорно, то есть уже после того, как событие произошло. Однако можно использовать его и в качестве превентивной меры: для выявления источников всякого инакомыслия или центров распространения оппозиционных настроений и слухов, чтобы затем принять соответствующие меры. Если это, конечно, кому-нибудь поможет.

Источник

Андрей Масалович в гостях у Александра Привалова