В связи с появлением и развитием Интернет у конкурентных разведчиков появилась прекрасная возможность сев за монитор компьютера собрать большой массив разнообразной информации, причем действовать при этом абсолютно легально. В настоящее время многие работы в сфере КР выполняются через Интернет, даже уже появились специалисты, преимущественно специализирующиеся на изучении конкурентов посредством Интернет. Подчас эффективность их работы оказывается значительно выше, чем у тех, кто работает в режиме offline, а некоторые результаты поиска выглядят просто уникальными. Не выходя из своего офиса или даже дома, они получают заказы на сбор информации и зарабатывают тем самым немалые деньги.
Существует несколько вариантов поиска информации в сети. Ниже приведена их краткая характеристика.
Вариант 1. Непосредственное изучение корпоративных сайтов конкурентов. Многие сайты содержат большое количество нужных сведений, к которым относятся: история компании, ее стратегия, ассортимент продуктов и услуг, объемы производства, используемое оборудование и сырье, технологии, цены, данные о дистрибуторах, данные о клиентах, информация о продвижении, структура и персонал, существующие вакансии и многое другое. Конечно, у разных компаний подход к наполнению сайта в корне отличается. Одни из них предельно открыты и размещают максимум информации о себе, другие стремятся сообщить о себе как можно меньше.
Помимо известного всем, видимого Интернета, существует и невидимый, доступ к которому позволяет получить уникальные данные. Вот что пишет Евгений Ющук о невидимом Интернете в книге «Интернет-разведка. Руководство к действию»: «Видимый» Интернет – это та часть ресурсов, содержимое которой может быть обнаружено с помощью поисковых машин. К Невидимому Интернету относятся ресурсы, которые существуют в Глобальной Сети, и к которым можно получить доступ, если знать, где эти ресурсы находятся. Однако с помощью поисковых машин найти содержимое ресурсов Невидимого Интернета нельзя.
По мнению разных авторов к Видимому Интернету относится порядка 20–30 % содержимого Сети. Самые смелые источники называют цифру не более 50 %. Таким образом, можно утверждать, что Невидимый Интернет – это основная часть ресурсов, доступных онлайн.
Невидимый Интернет существует в силу целого ряда причин, среди которых – причины как технического, так и организационного характера. Некоторые ресурсы могут быть индексированы поисковыми машинами с технической точки зрения, но те попросту пока что не успели обнаружить содержимое страницы. Некоторые виды контента не индексируются поисковыми машинами потому, что «пауки» сознательно настроены так, чтобы игнорировать те или инее ресурсы. К другим ресурсам доступ ограничили владельцы страниц. Некоторые страницы имеют такой формат, который пока не поддерживается поисковыми машинами».
Также конкурентные разведчики изучают сайты аффилированных с конкурентом компаний, его поставщиков, клиентов и прочих. Они могут разместить у себя на сайте информацию, которую сам конкурент по ряду причин размещать не стал.
Основными вопросами, на которые стоит обращать внимание при изучении компании в Интернет, являются.
1. История компании.
2. Перечень клиентов.
3. Продукция и сервис.
4. Цены и ценообразование.
5. Партнеры.
6. Информация для инвесторов.
7. Перечень адресов филиалов или заводов.
8. Исследования и разработки.
9. Аффилированные компании.
10. Торговые марки и товарные знаки.
11. Организационная структура.
12. Персонал.
13. Высказывания руководителей и клиентов.
14. Награды, победы в конкурсах.
15. Ссылки на статьи о компании.
16. Корпоративные издания.
Более подробно удается изучить владельцев, руководителей персонал компании благодаря их личным блогам или социальным сетям. Увлечение социальными сетями затронуло основную часть активного населения, которое зарегистрировано на таких ресурсах как Facebook, Linkedin, Twitter, Instagram, YouTube, ВКонтакте, Одноклассники, Мой мир и другие. Также многие состоят в профессиональных Интернет – сообществах типа Профессионалы или e-xecutive.ru.
Через данные ресурсы конкурентные разведчики изучают такие аспекты личной жизни персонала конкурентов как:
● образование;
● карьерная история;
● возраст;
● место рождения и проживания;
● семейное положение;
● родственники и друзья;
● хобби;
● политические пристрастия;
● приобретение товаров;
● интересы;
● желания, перспективные планы.
Вариант 2. Каждый пользователь Интернет регулярно применяет поиск информации посредством поисковых систем, основными из которых являются Yandex, Rambler, Google, Yahoo. Нет ничего проще, чем ввести в поисковую строку название компании конкурента, его продукции, фамилию одного из руководителей или сделать прочий запрос. Дальше появляются всяческие ссылки, изучая которые появляется возможность узнать различные аспекты деятельности конкурента. Проблема состоит только в том, что если ссылок много, то необходимо потратить немало времени на их просмотр и анализ. Для решения этой проблемы созданы специализированные программы, о которых речь идет в Варианте 3.
Вариант 3. Для того, чтобы поиск информации производился на профессиональном уровне, созданы специальные программы поиска, обработки и анализа, характеристики некоторых из них приведена ниже. Стоимость ряда программ такова, что их приобретает только средний и крупный бизнес, другие доступны по цене даже небольших компаниям и физических лиц. Далее представлены характеристики только некоторых из существующих поисково-аналитических программ.
Программа Аваланч (Avalanche)
Программа Аваланч (Avalanche) предназначена для мониторинга изменений, происходящих в Интернете. Она собирает информацию с вэб-страниц по заданному алгоритму и складывает эту информацию в собственную базу данных. В любой момент пользователь может провести поиск по этой базе, используя операторы Булевой Алгебры, подобные тем, которые используются в Яндексе при формировании поискового запроса в Интернете. Аваланч существует в двух модификациях по алгоритму работы и в нескольких модификациях по своим возможностям. Различия по алгоритму работы заключаются в том, что одна из них собирает с заданных адресов все подряд, а вторая – только страницы, на которых произошли изменения с прошлого посещения ее Аваланчем.
Аваланч состоит из паука и «умных папок». Паук посещает страницы, которые ему предписано посещать, проверяет изменения на них и складывает информацию в базу данных. «Умные папки» самостоятельно сортируют эту принесенную пауком информацию, делая ее удобной для работы. Есть еще такое понятие, как рубрики. Рубрики позволяют работать с базой данных по конкретным запросам, интересующим пользователя в данный момент. В целом, работа с Аваланчем выглядит следующим образом. Сначала прописываются источники, контент которых будет контролироваться. Это могут быть не только отдельные страницы сайтов, но и страницы поисковых машин, которые появляются по определенному поисковому запросу. Указывается глубина переходов со страницы по ссылкам. Так, например, с первой страницы Гугла или Яндекса во время испытаний паук переходил по каждой ссылке, расположенной на первой странице поисковика с результатами выдачи. А на той странице, куда он по такой ссылке перешел, он уже не ходил по ссылкам дальше. Это настраиваемая опция.
В первоначальной версии программа была разработана компанией Андрея Масаловича по заказу Гарвардского Университета в начале 2000-х годов. Версия Avalanche 2.7 на сегодняшний день, по мнению ряда экспертов, является лучшей в мире программой для мониторинга сети.
Программа SiteSputnik (СайтСпутник)
Программа FileForFiles SiteSputnik (СайтСпутник) создана программистом из Волгограда Алексеем Мыльниковым в тесном контакте с ведущими практикующими специалистами российской конкурентной разведки и предназначена для поиска, сбора, мониторинга и анализа информации, размещенной в интернете. Особое внимание уделяется получению новой информации на интересующие темы. Программа позволяет:
– осуществлять поиск и сбор информации в видимом и невидимом интернете;
– выявлять новые ссылки по пакету запросов (полный и точный поиск);
– производить мониторинг и рубрикацию потоков новой информации, в частности, для СМИ;
– производить мониторинг и рубрикацию потоков комментариев к новостям, сообщениям и публикациям;
– производить мониторинг и рубрикацию обновлений контента ссылок;
– находить взаимные связи людей, фирм и других объектов.
Программа SemanticForce
Платформа для мониторинга и анализа интернет, СМИ, социальных сетей, видео, форумов, блогов, вакансий и других видов онлайн-медиа. Уникальность системы состоит в наличии ряда инновационных поисковых и семантических технологий, а также интеграции с различными внешними системами, например, KLOUT, Copiny или Google Analytics. Архитектура платформы и ее аналитические возможности специально разработаны для мониторинга и анализа высокочастотных объектов в режиме реального времени.
Вот мнение о программе специалиста в области конкурентной разведки Елены Лариной: «Остановлюсь на ключевых преимуществах системы. К ним относится широчайший охват онлайн СМИ, которых в настоящее время насчитывается 250 тыс. изданий из 150 стран мира. Отличная, на мой взгляд, едва ли не лучшая среди подобных сервисов, индексация Facebook и ВКонтакте. Другие социальные сети, конечно, тоже индексируются, но индексация двух крупнейших в России сетей является фирменной фишкой SemanticForce. С учетом того, что web все более и более уходит от слов к изображениям, нельзя не отметить глубокую оперативную и адекватную индексацию SemanticForce YouTube, Vimeo, Slideshare и содержащихся на сайте комментариев к видеоматериалам и презентациям. Надо сказать, что разработчикам системы удалось дотянуть свои спайдеры до форумов и сайтов, в том числе частично защищенных капчой.
Меня особенно порадовала возможность мониторинга вакансий, резюме, отзывов и комментариев на основных сайтах работ. Коммерчески привлекательным в продукте для страны, где все торгуют, выглядит и возможность мониторинга отзывов о товарах, практически на всех интернет-магазинах. Практически важным для работы является возможность добавления в мониторинг любого источника, доступного в интернете, как из числа онлайн СМИ, так и ресурсов работ, интернет-магазинов, форумов, блогов и проч.».
Сервис croinform.ru
Одна из старейших в России групп компаний, занимающихся аналитическим обеспечением бизнеса и служб безопасности, а также правоохранительных органов НПК «Кронос-Информ» запустила новый сервис croinform.ru. В России действует уже достаточно много компаний, оказывающих услуги по проверке клиентов, конкурентов, контрагентов. Новый сервис имеет ряд отличительных особенностей.
Во-первых, он позволяет проверять в единой системе не только компании и индивидуальных предпринимателей, но и физические лица. В основе работы сервиса лежит информационный портал МБКИ, который представляет собой полностью автоматизированный информационный ресурс, объединивший федеральные коммерческие банки данных в единую информационную среду.
Во-вторых, портал тесно интегрирован с имеющимися во многих организациях уникальными сетевыми базами, под управлением СУБД линейки Cronos.
В-третьих, проверка и мониторинг ведутся по широкой группе интернет-ресурсов, включающей 12 федеральных реестров, 12 реестров лицензий и 13 информационных источников.
В-четвертых, помимо традиционных данных, связанных с выписками из государственных реестров, а также сведений, предоставляемых государственными порталами, новый сервис предусматривает получение годовой финансовой отчетности. Статистики по государственным контрактам и данных по внешнеэкономической деятельности, если таковая ведется.
В-пятых, сервис реализован в виде приложений для всех видов мобильных устройств, а не только стационарных компьютеров или ноутбуков. Причем, в случае необходимости поддерживаются специальные защищенные соединения.
В-шестых, по выбранным компаниям сервис проводит еженедельный мониторинг с предоставлением по вторникам бизнес-справок по электронной почте.
Программа WebSite-Watcher
Программа позволяет вести:
– Мониторинг веб-страниц всех типов. При этом в зависимости от настройки программа подсвечивает только измененные фрагменты страницы, либо только заданные ключевые слова, либо исключительно те изменившиеся части страницы, где есть заданные ключевые слова;
– Мониторинг защищенных паролем страниц. При помощи специально встроенного инструмента вы однажды записываете для защищенных паролем страниц логины, и дальше всю работу программа выполняет самостоятельно.
– Мониторинг форумов. Позволяет следить за появлением новых тем и ответов на уже имеющиеся, интересующие вас темы. Поддерживает подавляющую часть популярных форумных движков;
– Мониторинг RSS лент. Программа обнаруживает новые или измененные RSS сообщения и преобразует их в обычный текстовой формат;
– Мониторинг групп новостей. Группы новостей слабо развиты в Рунете, но очень популярны в мировом интернете. Программа позволяет вести мониторинг групп новостей по заданным ключевым словам;
– Мониторинг локальных файлов. Позволяет использовать в локальной сети или на собственном компьютере те же мощные функции, что и для работы с веб-ресурсами;
– Мониторинг документов. Программа автоматически преобразует PDF, Word, Excel документы в HTML файлы и дальше работает с ними как с обычными веб-страницами, ведет поиск по ключевым словам и т. п.
Программа Digimind 9
Создатели программы позиционируют ее как следующее поколение платформ для конкурентной разведки. Софт рассчитан на крупный, средний и небольшой бизнес. Программа включает в себя следующие основные функции:
– мгновенный консолидированный поиск структурированной и неструктурированной разноформатной информации в вебе 1, вебе 2 и социальных сетях;
– инструменты продвинутого семантического анализа полученных в результате поиска материалов;
– систему классификации, обработки и представления материалов в удобном для пользователя виде;
– встроенные аналитические инструменты.
«Галактика ZOOM»
Поисково-аналитический комплекс «Галактика ZOOM» был разработан и выпущен на рынок в 1999 году. За прошедшее время были значительно расширены его функциональные возможности, усовершенствованы пользовательские характеристики. Сегодня «Галактика ZOOM» представляет собой современное ИТ-решение, в состав которого входят:
● хранилище больших объемов текстов;
● система загрузки информации;
● система поиска и анализа;
● система подготовки отчетов.
Основная задача, которую позволяет решить «Галактика ZOOM», – профессиональный поиск информации, основанный на принципиально ином по сравнению с другими поисковыми системами подходе, – внимании к анализу и уточнению найденной информации. В обычных случаях при поиске информации пользователь просматривает документы, формирует новые уточняющие запросы по некоторым словам. Применение комплекса позволяет значительно повысить качество диалога человека и компьютера. При обработке запроса «Галактика ZOOM», кроме списка документов, где содержится информация по тому объекту, который ищет пользователь, формирует еще и информационный портрет объекта – список значимых для полученной по запросу выборки слов и словосочетаний, которые и следует уточнить.
При работе с информационным портретом пользователь может получить общее представление об объекте (флэш-репорт), уточнять запрос по отдельным словам, составляющим информационный портрет объекта, отсекать лишнюю информацию, определять связи между отдельными словами, составляющими информационный портрет.
Программа RCO Fact Extractor
Разработчик – компания «Гарант-Парк-Интернет», представляет собой персональное приложение для Windows, которое предназначено для аналитической обработки текста на русском языке. Основная сфера применения программы – это задачи из области компьютерной разведки, требующие высокоточного поиска информации, например, автоматический подбор материала к досье на целевой объект или же мониторинг определенных сторон его активности, освещаемых в СМИ. Fact Extractor способен отыскать в тексте описания фактов различного типа, связанных с интересующими объектами – персонами и организациями, и классифицировать их. Программа позволяет не только найти фрагменты текста, в которых говорилось, например, о поездках персоны, ее встречах, заключении договоров, сделках купли-продажи, но и точно определить все места поездок, визави и контрагентов, наименования товаров и прочее. Fact Extractor воплотил в себе наиболее продвинутые решения из области компьютерной лингвистики и искусственного интеллекта, разработанные в компании «Гарант-Парк-Интернет».
Система СПАРК
Система СПАРК – крупнейшая база данных по компаниям России, Украины и Казахстана с широким спектром аналитических возможностей. Она позволяет решать такие задачи, как: проверка контрагента на благонадежность или аффилированность с другими предприятиями, пресечение мошеннических сделок, анализ и мониторинг собственной базы клиентов, подбор новых рынков сбыта и постоянное отслеживание изменений, которые происходят с вашими партнерами. База данных по компаниям включает в себя официальные сведения из более чем 20 источников, в числе которых федеральные государственные службы, министерства и ведомства, ключевые СМИ, сами компании. СПАРК, обладающий технологиями мирового уровня, дает готовые и надежные аналитические инструменты для профессиональной работы с информацией, помогает повысить скорость и качество принятия кредитных, финансовых, маркетинговых решений. В России ежемесячно ликвидируется 4000 компаний, происходит 1000 банкротств, принимается 100 000 решений арбитражных судов. СПАРК позволяет отслеживать эти изменения в онлайне. Информация СПАРКа может быть также встроена непосредственно в бизнес-процессы банка или компании.
Программа «Доктор Ватсон»
Программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Программа осуществляет семантически-визуальный анализ. Результат работы – отчет об исследуемом объекте. Предназначена для следующих категорий пользователей: аналитики, работающие с текстовыми данными; специалисты служб безопасности, конкурентной разведки, маркетинга, PR; журналисты, детективы, политтехнологи. Особенности: небольшой размер; работа с основными текстовыми форматами:.doc,docx,rtf,txt,html,odt,pdf; хранение всех данных на компьютере пользователя; возможность настройки под требования конкретного пользователя, формат хранения данных проекта в. XML файле позволяет пользователям обмениваться проектами.
Разработчик программы – «Лаборатория перспективных разработок». Позволяет:
– извлекать сущности из текстов и документов по сути неограниченных размеров;
– устанавливать связи между извлеченными сущностями по неограниченному числу параметров, часть из которых встроена в программу, а другие могут быть введены пользователем самостоятельно;
– визуализировать взаимоотношения между сущностями;
– архивировать полученные результаты анализа, как в табличной, так и в визуальной форме и выводить их в сторонние приложения или на печать.
OutWit Hub Pro Edition
Программа позиционируется фирмой – разработчиком как собственная машина по созданию web-коллекций. Она позволяет мониторить неограниченное число сайтов и других web-ресурсов. Возможности программы:
– во-первых, позволяет парсить и извлекать все ссылки, которые содержатся на сайте;
– во-вторых, с приближающейся к 100 % точности извлекать все e-mail и телефоны, содержащиеся на всех (подчеркиваю, на всех) страницах сайта. В том числе, на страницах не связанных с другими;
– в-третьих, извлекать и скачивать с сайта любые тексты, в том числе содержащие заданные слова, сущности или предложения. Иными словами, для каждой группы сайтов могут быть заданы определенные онтологии (сущности) и скачаны будут с сайтов только те тексты, которые содержат указанные онтологии. При этом существует опция, которая позволяет скачивать тексты, появившиеся только после определенной даты.
– в-четвертых, позволяет извлекать с интернет-ресурсов изобразительный материал, и что более важно для конкурентной разведки фотоизображения, с автоматическим извлечением из них метаданных;
– в-пятых, и возможно это самая любопытная функция программы, она тщательно обследует весь сайт, включая страницы, не связанные ссылками с другими страницами ресурса, или страницы, фактически находящиеся в своего рода «сером», или даже невидимом интернете.
Метапоисковые машины
Метапоисковая машина не имеет собственных пауков и собственной базы данных. Она в неизменном виде размещает запрос в тех поисковых машинах, которые отметил пользователь, а затем дожидается ответа от них и выдает результат со всех машин на одной странице. Для удобства пользователя эти результаты содержат пометку о том, с какой поисковой машины был получен тот или иной ответ.
Метапоисковая машина:
– посылает запрос на огромное количество разных поисковых систем и поисковых серверов, с последующим определением наиболее вероятных источников информации на одной странице;
– тестирует Сеть на предмет наличия информации, релевантной запросу;
– не обладая собственной индексной базой данных, метапоисковая система выступает в качестве шлюза, который передает через свой интерфейс запросы на автономные ИПС и возвращает результаты поиска;
– обрабатывает полученные результаты, удаляет повторяющиеся адреса ресурсов и представляет более широкий спектр того, что представлено в сети Интернет в виде обобщенного результата;
– метасистема допускает передачу запросов не только на автоматические индексы, но и в те каталоги, которые сопровождаются локальной поисковой машиной;
– позволяет оценить результативность применения отдельных ИПС для решения конкретной поисковой задачи.
Примеры некоторых метапоисковых машин:
– Nigma (http://nigma.ru);
– xrambler (http://xrambler.ru;
– Metabot (http://www. metabot.ru/);
– Copernic (http://www.copernic.com).
Сторожевые роботы
Ни специалисту конкурентной разведки, ни сотруднику отдела маркетинга или сбыта недостаточно просто знать, на какой страничке Интернета содержится нужная информация. Надо иметь возможность своевременно и точно отслеживать изменения на этой страничке. Каждый может себе представить, насколько сложна, а чаще всего и вовсе неосуществима эта задача. Вряд ли даже самый внимательный и скрупулезный человек в состоянии быстро и точно оценить изменения в тексте – скажем, в прайс-листе, – занимающем пять страниц. Для решения подобной проблемы несколькими компаниями разработано специальное программное обеспечение – так называемые «сторожевые роботы»: ознакомившись со страницей, они сохраняют ее образ в своей базе данных, а при повторном посещении сравнивают актуальное состояние ресурса с этим образом. Программа отмечает изменившиеся места, которые становятся похожи на выделенные маркером фрагменты текста на бумажном носителе. Более того, удаление кусков материала также фиксируется многими программами данной категории – как правило, внизу страницы, дабы не мешать восприятию человеком информации. «Сторожевые роботы» могут запускаться пользователем вручную, а могут и работать автоматически, по расписанию.
Примеры сторожевых роботов:
– WebSite-Watcher (http://www.aignes.com);
– Copernic Tracker (http://www.copernic.com);
– Check and Get (http://activeurls.com/ru/download.php);
– ChangeNotes (http://www.changenotes.com).
Существуют еще немалое количество других программ, но для их описания необходима отдельная книга. Можно определенно сказать, что интерес к таким программам со стороны клиентов увеличивается, все большее количество бизнес-аналитиков, маркетологов, конкурентных разведчиков понимает их значение и пользуется ими. Вместе с тем, не все руководители бизнеса разделяют их мнение относительно необходимости выделения финансовых ресурсов на закупку программ. Дело в том, что далеко не каждый топ-менеджер осознает важное значения информационного обеспечения бизнеса, многие из них не готовы рассматривать инвестиции в информационную систему как не менее важную задачу, чем приобретение оборудования для производства или материалов. Вот и получается, что конкурентный разведчик в течение долгих месяцев ходит к директору с просьбой разрешить приобрести столь необходимое ему программное обеспечение, но слышит неизменный отказ. В результате он продолжает пользоваться архаичными методами получения информации, теряя время и качество выполнения работ.
Электронные атаки конкурентов
Специалистам по безопасности необходимо учитывать, что сейчас немалая часть атак на корпоративную информацию осуществляется при помощи электронных средств. Препятствовать им гораздо сложнее, чем физическому проникновению недобросовестных конкурентов, поскольку атаки через электронные средства трудно обнаруживать, они подчас незаметны даже профессионалам. Постоянно создаются все новые средства для проникновения в компьютерную информацию. К основным атакам через электронные средства относятся:
– электронные письма от неизвестного источника;
– сообщения на сайт;
– переброс файлов через носители (флэш, диск);
– выход на сомнительные сайты;
– несанкционированные действия в локальной сети;
– преступное программное обеспечение.
Для того, чтобы успешно противостоять попыткам конкурентов проникнуть в коммерческие секреты компании через электронные средства, необходимо иметь в штате (или на аутсорсинге) специалиста по информационной безопасности. В противном случае возникает вполне реальный риск урона вследствие нападения на корпоративные секреты.
Действительность такова, что во многих компаниях функция информационной безопасности поручается людям без специальной подготовки, а именно обычным программистам, системным администраторам и прочим. Их знаний часто не хватает для успешного противостояния атакам на информацию, поэтому на этой должности могут эффективно работать люди, получившие соответствующее образование. Вовсе не обязательно, чтобы ими были бывшие сотрудники ФАПСИ, поскольку в настоящее время в ВУЗах, на различных вне вузовских программах обучения, существует возможность получить нужные знания и применить их на практике.