Splunk -- это подсистема для обработки машинных данных. Splunk собирает, индексирует и объединяет динамичные данные всех физических, виртуальных и облачных приложений, серверов и устройств. Находите и анализируйте данные в режиме реального времени и архивные данные с одного рабочего места.
Splunk позволяет найти и устранить проблемы с приложениями и расследовать нарушения системы безопасности за считанные минуты, не допустить ухудшения обслуживания или простоев, обеспечить соответствие требованиям при меньших затратах и собрать новые ценные сведения для ИТ и бизнеса.
Splunk выполняет сбор и индексацию в режиме реального времени всех ваших машинных данных -- физических, виртуальных и облачных. Эта программа обеспечивает доступность, простоту использования и ценность данных. Полная индексация делает возможными полную визуализацию, экспертизу, а также поиск и устранение неполадок. Обмениваясь полезными результатами поиска и наращивая уникальные знания о вашей ИТ-среде, вы и ваша рабочая группа сможете оптимизировать рабочий процесс. Создавайте специализированные отчеты для выявления трендов или контроля за соблюдением требований. Разрабатывайте действующие в режиме реального времени информационные панели для мониторинга нарушений системы безопасности и атак, соглашений об уровне обслуживания приложений и других ключевых показателей производительности. В режиме реального времени анализируйте пользовательские транзакции, поведение клиентов и машин, угрозы безопасности, мошенническую деятельность и многое другое.
В Splunk мы много говорим о машинных данных, имея в виду все данные, которые ИТ-персонал может использовать для осмысления событий в ИТ-инфраструктуре, конфигурации систем и действий, совершенных пользователями. Это больше, чем просто журналы. Это данные о конфигурации, данные из API и очередей сообщений, события изменений, выходные данные диагностических команд и многое другое. Это также данные журналов, спектр которых далеко выходит за рамки обрабатываемых системами управления журналами и системами управления информацией и событиями безопасности (SIEM-системами), предназначенных для обеспечения сетевой безопасности и соответствия требованиям. Пользователи Splunk знают о существовании тысяч различных форматов журналов (многие из которых создаются клиентскими приложениями), крайне важных для диагностики проблем обслуживания, обнаружения сложных угроз безопасности и демонстрации соответствия требованиям. В этом разделе приведено описание некоторых наиболее важных источников машинных данных и сведений об ИТ-инфраструктуре и поведении пользователей или потенциальных злоумышленников, которую эти источники могут вам предоставить. Однако следует помнить, что этот список -- всего лишь отправная точка. Каждая среда имеет свой уникальный объем машинных данных, и журналы -- это лишь часть общей картины.
Большинство разрабатываемых самостоятельно и приобретаемых приложений создает локальные файлы журналов, часто через встроенные в промежуточное ПО службы ведения журналов — серверы приложений J2EE, такие как Weblogic, Websphere и JBoss, .Net, PHP и другие. Эти файлы крайне важны для повседневной отладки производственных приложений разработчиками и службой поддержки приложений. Они часто являются самым лучшим средством создания отчетов о деловой и пользовательской активности, а также обнаружения мошеннических сценариев, поскольку содержат все сведения о транзакциях. Если разработчики включают в журналы информацию о времени событий, то их также можно использовать для мониторинга и создания отчетов о производительности приложений.
Журналы веб-доступа содержат отчеты обо всех запросах, обработанных веб-сервером: IP-адрес клиента, от которого поступил запрос, URL-адрес, указанный в запросе, URL-адрес, с которого производилось обращение, и данные об успешном выполнении или ошибке запроса. Чаще всего они обрабатываются для создания отчетов по веб-аналитике в маркетинговых целях: для ежедневного подсчета посетителей, получения сведений о наиболее часто запрашиваемых страницах и т.п.
Также они неоценимы в качестве отправной точки при расследовании проблем, о которых сообщают пользователи, поскольку в журнале, где зарегистрирована ошибка запроса, может быть указано точное время ошибки. Веб-журналы являются достаточно стандартными и хорошо структурированными. Единственная сложность -- это огромный объем данных у популярных веб-сайтов, как правило, получающих миллиарды запросов ежедневно.
Практически все предприятия, поставщики услуг, учреждения и государственные организации, предоставляющие сотрудникам, клиентам и гостям веб-доступ, используют тот или иной тип веб-прокси для контроля и мониторинга доступа. В журналах прокси-сервера регистрируются все веб-запросы, сделанные пользователями через прокси-сервер. Они могут включать имена корпоративных пользователей и URL-адреса, к которым были обращения. Эти журналы критически важны для мониторинга и расследования случаев нарушения "условий предоставления услуг" или корпоративной политики использования веб-ресурсов, а также являются жизненно важным компонентом эффективного мониторинга и расследования утечки данных.
Детализация вызова (CDR), записи данных о списаниях, записи данных о событиях -- это некоторые из названий тех машинных данных, которые содержат сведения о событиях, зарегистрированных в журнале сетевыми коммутаторами. CDR содержит прошедшие через коммутатор полезные сведения о вызове или услуге, такие как номер вызывающего абонента, номер вызываемого абонента, время, продолжительность и тип вызова и т.п. По мере перехода услуг связи к сервисам на основе интернет-протокола, эти данные также получили название IPDR. Они содержат сведения об IP-адресе, номере порта и т.п. Характеристики, форматы и структура этих файлов сильно различаются, и отслеживание всех преобразований традиционно является сложной задачей. Тем не менее, содержащиеся в CDR данные крайне важны для выставления счетов, гарантирования доходов, обеспечения доверия клиентов, урегулирования взаимоотношений с партнерами, маркетинговых исследований и другой деятельности. Splunk может быстро проиндексировать эти данные и объединить их с другими деловыми данными, позволяя пользователям извлечь новую уникальную информацию из этих обширных сведений об использовании.
Использование веб-страницы на веб-сайте фиксируется путем сбора данных о посещениях. Это обеспечивает понимание действий пользователей, приносит пользу при анализе удобства использования веб-сайта, стимулировании сбыта и исследованиях общего характера. Эти данные имеют нестандартные форматы, а действия могут регистрироваться во многих местах, таких как веб-сервер, маршрутизаторы, прокси-серверы, серверы объявлений и т.д. Существующие инструменты мониторинга рассматривают частичное представление данных из конкретного источника. Существующие продукты для веб-аналитики и хранилищ данных часто осуществляют выборку данных, упуская общий обзор поведения и не предусматривая анализа в режиме реального времени.
Технологии организации очередей сообщений, например, TIBCO, JMS и AquaLogic, используются для передачи данных и задач между компонентами служб и приложений на основе публикации и подписки. Подписка на эти очереди сообщений является хорошим способом устранения проблем в сложных приложениях — поскольку вы сможете увидеть точные данные, полученные следующим компонентом цепочки от предыдущего компонента. По отдельности очереди сообщений все чаще используются как магистральный элемент архитектуры ведения журналов для приложений.
Создаваемые сетями данные обрабатываются с помощью таких инструментов, как tcpdump и tcpflow, которые формируют данные захвата пакетов (pcaps) и другую полезную информацию уровня пакетов и уровня сеансов. Эта информация необходима для решения вопросов, связанных с ухудшением производительности, превышением времени ожидания, узкими местами или подозрительной деятельностью, свидетельствующей о том, что сеть может быть скомпрометирована или стать объектом удаленной атаки.
Отсутствует замена текущим, активным конфигурациям систем, позволяющая понять принципы создания инфраструктуры. Прошлые конфигурации нужны при устранении отказов, которые возникли в прошлом и могут повториться в будущем. При изменении конфигурации важно знать, какие именно изменения были внесены и когда это произошло, были ли эти изменения санкционированы, или злоумышленник успешно скомпрометировал систему во время атаки с использованием путей обхода системы защиты, зловредных программ с таймером действия или других скрытых угроз.
Базы данных содержат часть наиболее уязвимых корпоративных данных -- сведения о клиентах, финансовые данные, медицинские карты пациентов и т.п. Записи аудита всех запросов к базам данных жизненно важны для понимания того, кто и когда осуществлял доступ к конкретным данным или изменял их. Журналы аудита баз данных также полезны для выяснения способов использования баз данных приложениями с целью оптимизации запросов. Некоторые базы данных записывают данные аудита в файлы, в то время как другие поддерживают доступные через SQL таблицы аудита.
Уязвимые данные, хранящиеся за пределами баз данных, находятся в файловых системах, часто используемых совместно. В некоторых отраслях, например, в здравоохранении, наибольшему риску утечки данных подвергаются записи о клиентах в совместно используемых файловых системах. Различные операционные системы, инструменты сторонних производителей и технологии хранения предоставляют различные возможности аудита доступа для чтения к уязвимым данным на уровне файловой системы. Эти данные аудита являются жизненно важным источником сведений для мониторинга и расследования доступа к уязвимым данным.
Все чаще поставщики предоставляют критически важные для управления данные и регистрируемые события через стандартизированные и специализированные API, а не через файлы журналов. Контрольная точка ограничивает доступ к журналу через OPSEC Log Export API (OPSEC LEA). Поставщики средств виртуализации, в том числе VMware и Citrix, предоставляют сведения о конфигурации, журналы и данные о состоянии систем через собственные API.
Операционные системы предоставляют такие ключевые метрики, как использование ЦПУ и памяти и сведения о состоянии при помощи утилит, работающих в режиме командной строки, например, ps и iostat в Unix и Linux и perfmon в Windows. Эти данные обычно используются инструментами мониторинга серверов, но редко сохраняются, хотя их потенциальная ценность весьма высока при поиске и устранении неполадок, анализе трендов для выявления скрытых проблем и расследования нарушений системы безопасности.
Существует бесчисленное множество других полезных и важных источников машинных данных помимо тех, которые включены в этот список: журналы хранилища исходного кода, журналы системы физической защиты и т.д. Вам также понадобятся журналы брандмауэра и IDS для создания отчетов о сетевых подключениях и атаках. В журналах ОС, в том числе в системном журнале Unix и Linux (syslog) и в журналах событий Windows, записываются сведения о том, кто выполнил вход в систему на ваших серверах, какие административные действия были предприняты этими пользователями, когда был осуществлен запуск и остановка служб или произошла критическая ошибка ядра. Журналы DNS, DHCP и других сетевых служб содержат записи о том, кто назначал IP-адреса и какие именно, а также о разрешении доменов. Системные журналы ваших маршрутизаторов, коммутаторов и сетевых устройств регистрируют состояние сетевых подключений и отказы критически важных компонентов сети. Дело в том, что машинные данные не ограничиваются только журналами, и существует значительно больше разновидностей журналов, чем могут поддерживать традиционные решения по управлению журналами.