Всем привет! Меня зовут Александр, и в этой статье я расскажу про то, как столкнувшись с многократно увеличившейся нагрузкой на ELK stack сначала было диагностировано узкое место, а после произведён его тюнинг. Хоть и в заголовке статьи уже есть спойлер что произведен только тюнинг Logstash, тем не менее приступим.

https://habr.com/ru/post/708278/?utm_source=habrahabr&utm_medium=rss&utm_campaign=708278

Наш продукт три года существовал в монолите, а ошибки мы мониторили с помощью New Relic. Когда мы перешли на микросервисы, дорогой New Relic c посервисной тарификацией надо было чем-то заменить. Вместо него мы сформировали стек из трёх основных инструментов — они бесплатны и полностью закрывают наши потребности

Я Миша Гудов, тимлид и бэкенд-разработчик в CarPrice, и под катом вы увидите, как мы перешли на маленький, но удобный стек.

https://habr.com/ru/post/706304/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706304

Всем привет! Меня зовут Дима Зотов, я специалист техподдержки. Работаю в Почтатехе на проекте Почта.ID. Мы обеспечиваем регистрацию и вход в сервисы Почты России, а также отвечаем за хранение учетных записей. Еще разрабатываем решения для некоторых почтовых услуг. Например, получение отправлений по коду или отправка электронных извещений.

Я расскажу про подход к логированию, который используется на нашем проекте: почему мы выделили бизнес-логи в отдельную категорию и как с их помощью обеспечили observability процессов.

Статья будет полезна продактам, которые хотят прокачать поддержку на своем проекте и упростить сбор статистики, а также специалистам саппорта и всем, кто интересуется темой логирования.

https://habr.com/ru/post/705040/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705040

Как часто вы, в очередной раз матерясь и grep'ая простыню текста, говорили себе, что вот-вот перестанете хранить логи в файлах и переедете на ELK?

Я - часто, а виной тому кажущаяся сложность настройки всей системы в целом.

Наверное, так оно и есть, но для того, чтобы складывать логи и искать по ним, как оказалось, много ума не нужно.

Дисклеймер: я не знаю всех тонкостей ELK стека и возможно данный сетап не подойдет для огромной компании с сотней проектов и терабайтами логов, но там и без этой статьи все знают. Судите строго, давайте советы мне и другим в комментариях - я буду только рад.

В данной статье мы: разберем компоненты ELK стека и развернем его одной командой; законфижим Filebeat и научим его собирать и отправлять логи; рассмотрим интерфейс Kibana и научимся искать по логам; настроим Kibana и разберемся с правами доступа; поговорим об индексах, шаблонах и об автоудалении индексов (неактуальных логов);

https://habr.com/ru/post/671344/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671344

Рассмотрим простой способ получить информацию из лога Nifi с помощью самого Nifi. Это может быть полезно при разработке, тестировании, отладке потоков. А также, поможет организовать получение событий, если у вас еще не готова инфраструктура мониторинга и логирования.

https://habr.com/ru/post/669174/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669174

Писать, собирать, агрегировать и сохранять логи для последующего анализа важно: это наиболее подробное представление того, как работает система.

Логи можно собирать и отправлять в централизованную систему по-разному, например используя библиотеки в самом приложении или сторонние агенты вроде Filebeat, Fluent Bit, Vector. Есть множество систем хранения вроде Elasticsearch, Loki, Splunk, файлы на диске или объекты в S3.

Мы в М2 тоже занимаемся этим вопросом и постоянно ищем схемы и инструменты, помогающие улучшать централизованную систему логирования. Я, как инженер развития инфраструктуры, непосредственно принимаю в этом участие. В статье хотел бы поговорить об этапе агрегации и поделиться нашими наработками.

https://habr.com/ru/post/660909/?utm_source=habrahabr&utm_medium=rss&utm_campaign=660909

Сначала устанавливаем squid для дальнейшего использования в качестве прокси-сервера с помощью следующей команды:

https://habr.com/ru/post/665072/?utm_source=habrahabr&utm_medium=rss&utm_campaign=665072