Elastic Stack — Розгалужена екосистема компонентів, які служать для пошуку та обробки даних
Elastic Global Threat Report за 2023 рік
Що таке Elastic Stack
Elastic Stack, також відомий як ELK (Elasticsearch + Logstash + Kibana) – це, мабуть, найбільш широко відома і найбільш використовувана система для збору та аналізу логів, метрик та інших даних про стан систем – серверів, кластерів, хмар.
Вона складається з трьох основних компонентів:
- Elasticsearch: база даних з можливостями швидкого пошуку з використанням Elasticsearch Index
- Logstash — система для збору даних з різних джерел, їх трансформації та передачі логів у Elasticsearch
- Kibana: веб-інтерфейс для відображення даних з бази даних Elasticsearch
Крім того, існує набір так званих Beats for ELK (я буду називати його так за звичкою) – утиліт для збору даних. Серед них, наприклад, Filebeat – для збору даних з файлів (логів), або Metricbeat – для збору даних про систему – процесор, оперативну пам’ять тощо.
Операція стека виглядає наступним чином:
- Сервер генерує дані, наприклад журнали
- Дані збираються локальним додатком Beat, для журналів це буде Filebeat (хоча це необов’язковий компонент і журнали можуть бути зібрані самим Logstash), і відправляє їх в Logstash або безпосередньо в Elastisearch
- Logstash збирає дані з різних джерел (або з Beats, або безпосередньо з Beats), трансформує їх за потреби (додаючи або видаляючи поля, теги тощо) і надсилає їх до Elasticsearch
- Elasticsearch призначений для зберігання даних з можливістю швидкого пошуку
- Kibana надає веб-інтерфейс для роботи з Elasticsearch (і багатьма іншими інтеграціями)
Що таке Elasticsearch?
Elasticsearch – це розподілена пошуково-аналітична система на базі Apache Lucene. Незабаром після свого випуску в 2010 році Elasticsearch став найпопулярнішою пошуковою системою і зазвичай використовується для таких прикладів, як аналіз журналів, повнотекстовий пошук, інтелектуальна безпека, бізнес-аналітика та моніторинг поточних процесів.
21 січня 2021 року Elastic NV оголосила про зміну своєї стратегії ліцензування програмного забезпечення та про те, що нові версії Elasticsearch та Kibana не будуть випущені під дозвільною ліцензією Apache версії 2.0 (ALv2). Натомість нові версії програмного забезпечення пропонуються за ліцензією Elastic, а вихідний код доступний за ліцензією Elastic або SSPL. Ці ліцензії не є відкритими і не дають користувачам такої ж свободи. Бажаючи надати професіоналам з відкритим вихідним кодом та нашим клієнтам безпечний, високоякісний, повністю відкритий набір інструментів пошуку та аналітики, ми створили проект OpenSearch, розроблене спільнотою відгалуження Elasticsearch та Kibana з відкритим вихідним кодом з ліцензією ALv2.
Як працює Elasticsearch?
Ви можете надсилати дані в Elasticsearch як документи JSON за допомогою API або інструментів прийому, таких як Logstash і Amazon Kinesis Firehose. Elasticsearch автоматично зберігає вихідний документ і додає посилання на нього в індекс кластера, включаючи можливість пошуку. Далі ви можете знайти та отримати документ за допомогою Elasticsearch API. Ви також можете використовувати Kibana, інструмент візуалізації з Elasticsearch, щоб візуалізувати дані та створювати інтерактивні інформаційні панелі.
Версії Elasticsearch, ліцензовані за ліцензією Apache 2.0 (до версій 7.10.2 і Kibana 7.10.2), можна запускати локально, на Amazon EC2 або на Amazon OpenSearch. Якщо ви розгортаєте локально або на Amazon EC2, ви несете відповідальність за встановлення Elasticsearch та іншого необхідного програмного забезпечення, підготовку інфраструктури та керування кластером. З іншого боку, Amazon OpenSearch є повністю керованим сервісом, тому вам не доведеться турбуватися про трудомісткий процес керування кластерами та такими завданнями, як підготовка обладнання, виправлення програмного забезпечення, аварійне відновлення, резервне копіювання та моніторинг.
Переваги Elasticsearch
Вигідне співвідношення ціни та часу
Elasticsearch пропонує прості API на основі REST і легкий інтерфейс HTTP, а також використовує документи JSON без схем для початку роботи та швидкого створення додатків для різних випадків використання.
Висока продуктивність
Розподілена система Elasticsearch дозволяє паралельно обробляти великі обсяги даних, миттєво знаходячи найкращу відповідність вашому запиту.
Безкоштовні інструменти та модулі
Elasticsearch вбудовано в Kibana, популярний інструмент візуалізації та звітності. Також доступна інтеграція з Beats і Logstash, а вихідні дані можна легко конвертувати і завантажувати в кластер Elasticsearch. Ви можете використовувати ряд плагінів Elasticsearch з відкритим вихідним кодом, таких як мовні аналізатори та механізми рекомендацій, щоб розширити функціональність ваших додатків.
Операції в режимі реального часу
Операції в Elasticsearch, такі як читання або запис даних, зазвичай займають менше секунди. Це дозволяє використовувати його в прикладах, де вам потрібно реагувати майже в режимі реального часу, таких як моніторинг додатків і виявлення аномалій.
Проста розробка додатків
Elasticsearch забезпечує підтримку різних мов, включаючи Java, Python, PHP, JavaScript, Node.js, Ruby та багато інших.
Что такое Elastic Observability
Преобразование данных к стандартизованному виду – конвергенция метрик, журналов и трассировок для обеспечивая унифицированного вида.
Що таке Elastic Security
Платформа Elastic Security дозволяє аналітикам запобігати, виявляти та реагувати на загрози. Elastic Security підтримує Elastic Common Schema (ECS), нову специфікацію, яка забезпечує послідовний і настроюваний спосіб структурування даних в Elasticsearch, полегшуючи аналіз даних з різних джерел. За допомогою ECS можна ширше застосовувати аналітичний контент, як-от інформаційні панелі та завдання машинного навчання, пошукові запити – вужче, а назви полів легше запам’ятовувати.
Elastic Security має механізм виявлення загроз, який автоматично виявляє загрози, скорочуючи час виявлення та надаючи командам безпеки більше часу для виконання завдань, які потребують участі експертів.
Elastic Security аналізує будь-які дані, автоматизує ключові процеси та захищає ОС. Це уніфікована безпека на відкритій платформі:
- SIEM – Виявлення загроз і швидке реагування в хмарі.
- SOAR – оптимізуйте робочі процеси SOC за допомогою оркестрації та автоматизації.
- Threat Intelligence – аналитика угроз
- EDR – Безпека кінцевих точок
- XDR – Power SecOps на ваших хостах, у хмарі, в мережі та за її межами.
- Cloud Security – оцініть справність хмари та захистіть свої хмарні робочі навантаження.