Обычно для мониторинга и анализа работы Nginx используют коммерческие продукты или готовые open-source альтернативы, такие как Prometheus + Grafana. Это хороший вариант для мониторинга или real-time аналитики, но не слишком удобный для исторического анализа. На любом популярном ресурсе объем данных из логов nginx быстро растет, и для анализа большого объема данных логично использовать что-то более специализированное.

В этой статье я расскажу, как можно использовать Athena для анализа логов, взяв для примера Nginx, и покажу, как из этих данных собрать аналитический дэшборд, используя open-source фреймворк cube.js. Вот полная архитектура решения:

TL:DR;
Ссылка на готовый дэшборд.

Читать дальше ->

https://habr.com/ru/post/447886/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447886

Строительство центров обработки данных считается одной из наиболее динамично развивающихся отраслей. Прогресс в этой области колоссален, но появятся ли в ближайшее время на рынке какие-то прорывные технологические решения – большой вопрос. Сегодня мы попробуем рассмотреть главные инновационные тенденции развития мирового ЦОДостроения, чтобы на него ответить.

Читать дальше ->

https://habr.com/ru/post/447906/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447906

Изображение: Knownsec 404 Team

Исследователи информационной безопасности из Knownsec 404 Team изучили патч для обнаруженной в марте уязвимости в Confluence и опубликовали код для её эксплуатации. Использование этой ошибки безопасности позволяет злоумышленникам получить возможность выполнения любых команд на сервере Confluence и загрузки вредоносного ПО.

Вскоре после публикации эксплоита к уязвимости, эксперты PT ESC обнаружили массовые попытке ее эксплуатации. Рассказываем, в чем проблема и как защититься. Читать дальше ->

https://habr.com/ru/post/447904/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447904

Не ORMом единым

Всем привет! Я руковожу отделом партнерской разработки (Partners Development) в сервисе бронирования отелей Ostrovok.ru. В этой статье я хотел бы рассказать про то, как на одном проекте мы использовали Django ORM.

На самом деле я слукавил, название должно было быть "Не ORMом единым". Если вам интересно, почему я так написал, а также если:

• У вас в стеке Django, и вам хочется выжать из ORM максимум возможностей, а не просто Model.objects.all(),
• Вы хотите перенести часть бизнес-логики на уровень баз данных,
• Или вы хотите узнать, почему самая частая отмазка разработчиков в B2B.Ostrovok.ru "так исторически сложилось",

… добро пожаловать под кат.

Читать дальше ->

https://habr.com/ru/post/447706/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447706

Можно ли войти и выжить на перенасыщенном, высококонкурентном рынке новому игроку? Да, нужно просто выйти за сложившиеся рамки. Я Руслан Кокин, UX-дизайнер в компании UXhot, поделюсь историей о важности позиционирования на примере сайта пластиковых окон.



Когда к нам с предложением создать сайт, обратился небольшой московский завод пластиковых окон, желая запустить новое направление b2c-продаж, мы быстро поняли, что одним сайтом делу не поможешь.
Читать дальше ->

https://habr.com/ru/post/447856/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447856

Сергей Голубев — натуралист, опытный осмер и автор блога «Город Шахты». Его размышления об OpenStreetMap всегда неожиданны, а потому вдвойне интересны. Он умеет найти необычный ракурс и на привычное посмотреть под другим углом. Зачем OSM нужны катастрофы, почему не существует его сообщества, а также какое будущее ждет этот проект — обо всем этом он рассказал в интервью.

Читать дальше ->

https://habr.com/ru/post/447850/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447850

«Решения от Creaform отличаются высокой точностью, просты в использовании и идеально подходят для условий производственной линии. Мы имеем под рукой готовую систему, которая обеспечивает необходимую гибкость и скорость реагирования для оперативного решения проблем измерений и контроля качества по мере их появления» (Йон Гуннер, технический директор компании Koenigsegg).
Читать дальше ->

https://habr.com/ru/post/446838/?utm_source=habrahabr&utm_medium=rss&utm_campaign=446838

Первая встреча, посвященная языку Ruby, пройдет 20 апреля в отеле Ramada Plaza. На следующей, в начале июня, речь пойдет о машинном обучении, далее — два митапа о Java и фронтенд-разработке и большая итоговая конференция.

Компания Evrone известна, прежде всего, проведением московской конференции RubyRussia. На этот DataArt и Evrone решили организовать большое событие для Ruby-сообщества за пределами Москвы или Санкт-Петербурга. Читать дальше ->

https://habr.com/ru/post/447844/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447844

В 2017 году звезда НБА Шакил О’Нил едва не перевернул устои современного представления о мире, усомнившись в том, что Земля круглая. «Я постоянно езжу из Флориды в Калифорнию, поэтому она плоская для меня. Ведь я не двигаюсь вверх и вниз под углом в 360 градусов. Вы хотите сказать, что Китай под нами? Это не так. Земля плоская», — обосновал свою позицию баскетболист. Правда, потом признался, что таким образом троллил своего коллегу из «Кливленда» Кайри Ирвинга, который до этого также выразил сомнения насчет формы Земли.


Читать дальше ->

https://habr.com/ru/post/447764/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447764

Какая работа может быть лучше, чем писать на Хабр о разработке? Пока кто-то готовит свой большой хабрапост урывками по вечерам, тут прямо в рабочее время делишься с сообществом интересными вещами и получаешь от него плюсы.

Какая работа может быть хуже, чем писать на Хабр о разработке? Пока кто-то весь день пишет код, тут смотришь на этих людей и облизываешься, а свой пет-проект пилишь урывками по вечерам.

Мы (JUG.ru Group) с каждым годом проводим всё больше разных конференций для разработчиков, поэтому сейчас ищем ещё одного сотрудника (в дополнение ко мне и olegchir) для текстов в наш хабраблог. Чтобы стало ясно, кто нам требуется и что этого человека ожидает, я расписал, каково это вообще, когда твоя работа — писать тексты для разработчиков в корпоративный блог на Хабре.
Читать дальше ->

https://habr.com/ru/post/445434/?utm_source=habrahabr&utm_medium=rss&utm_campaign=445434

29 марта в нижегородском технопарке «Анкудиновка» iCluster организовал лекцию Тома Рафтери (Tom Raftery), футуриста и IoT-евангелиста компании SAP. Бренд-менеджер веб-сервиса Smarty CRM познакомился с ним лично и узнал о том, что как и какие инновации проникают в повседневную жизнь и что изменится через 10 лет. В этой статье мы хотим поделится основными идеями из его выступления. Интересующихся прошу под кат.
Читать дальше ->

https://habr.com/ru/post/447838/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447838

В большинстве компаний IT-подразделения выстроены примерно одинаково. Да, могут различаться используемые для обработки заявок системы, количество операторов, их нагрузка, спектр проблем, которые они способны решить, и прочее.

Но общее у них одно. IT работает на нужды бизнеса и продаж прежде всего. То есть самый главный приоритет в этих отделах — это большие проекты, направленные на увеличение прибыли. Но из-за этого зачастую забывают о самих людях, которые пишут в IT, и их хотелках. На это банально нет времени, и все полезные пожелания остаются где-то в заметках, до которых IT-специалисты добираются потом так же часто, как вы до закладок в браузере полугодичной давности.

В некоторых компаниях иногда вообще доходит до того, что айтишники из поддержки зачастую прячутся за безликими заявками и общаются с другими сотрудниками или клиентами только тикетами. Вот и получается, что подобное отношение к IT вредит компании в плане внутреннего бренда — другие сотрудники начинают считать айтишников не очень внимательными. Айтишники, в свою очередь, получают немного удовольствия от рутинных задач.

Мы в Ростелекоме решили поменять эту ситуацию с помощью программы «IT для людей». Потому что получается, что крупные проекты мы запускать можем, а вот небольшие, но важные улучшения внутри компании обычно делать некому.
Читать дальше ->

https://habr.com/ru/post/447828/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447828

BATS Global Markets владеет двумя электронными биржами, на которых торгуются акции и опционы. Эти биржи работают по принципу электронных коммуникационных сетей (ECN).

BATS расшифровывается как Вetter Alternative Trading System, что означает «Лучшая альтернативная система трейдинга». Компания представляет собой площадку, которая является конкурентом других бирж, в первую очередь торговых систем NYSE и NASDAQ. Биржевая площадка BATS была запущена в январе 2006 года. На данный момент это третья по размерам биржа в США, ее оборот составляет 12% от общего оборота страны. Уже через два года после основания BATS Global Markets вышла на самоокупаемость. Около трехсот брокерско-дилерских контор из разных стран мира на данный момент сотрудничают с данной биржей. Со временем в число совладельцев компании вошли такие гиганты, как Bank of America, Merrill Lynch, Citi, Credit Suisse, Deutsche Bank и другие. Основным отличием BATS от других площадок является создание благоприятных условий для трейдинга: очень низкие комиссии по сравнению с другими биржами. Биржевая площадка BATS является неким дискаунтером для трейдеров, таким как магазин WalMart в США. Тем не менее, амбиции BATS впечатляют. В планах у биржи создание альтернативных листингов и проведение IPO.
Читать дальше ->

https://habr.com/ru/post/447834/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447834

Мы с удовольствием читаем описания работ энтузиастов, восстанавливающих старую технику. Но эту технику приходилось ведь еще и обслуживать. Мы знаем, что появление компьютеров сделало ненужным например профессию машинистки, но может быть что-то менялось и уже в те времена, когда компьютеры вошли в наш быт?


Откроем Постановление Министерства труда и социального развития РФ от 23 июля 1998 г. N 28" Об утверждении межотраслевых типовых норм времени на работы по сервисному обслуживанию персональных электронно-вычислительных машин и организационной техники и сопровождению программных средств".
Читать дальше ->

https://habr.com/ru/post/447832/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447832

Для сопровождения программы код приходится читать, и тем это делать проще, чем больше он похож на естественный язык, — тогда быстрее вникаешь и сосредотачиваешься на главном.

В прошлых двух статьях я показал, что тщательно выбранные слова помогают лучше понимать суть написанного, но думать только о них недостаточно, ведь всякое слово существует в двух формах: как само по себе и как часть предложения. Повтор CurrentThread ещё не повтор, пока мы не читаем его в контексте Thread.CurrentThread.

Таким образом, ориентируясь в нотах и простых мелодиях, мы посмотрим теперь, что такое музыка.

Читать дальше ->

https://habr.com/ru/post/447830/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447830

Предисловие

Думаю, нужно коротко пояснить, почему вдруг такая, казалось бы, тривиальная тема с подсчетом энергобюджета и почему именно спутники CubeSat? Ну, здесь всё достаточно просто: моя короткая педагогическая практика показала (мне), что тема эта хоть и базисная, но далеко не всеми с первого раза понимаемая, а более того имеющая несколько неочевидных в первом прочтении вопросов. Тем более, что, казалось бы, по таким базовым вещам до сих пор публикуют статьи в IEEE и делают это далеко не студенты. Почему именно CubeSat? Здесь всё ещё проще: формат спутника интересный (сам факт существования микро- и наноспутников, как выяснилось, повергает многих в состояние короткого шока), а потому как нельзя кстати подходящий для учебных целей.

Читать дальше ->

https://habr.com/ru/post/447728/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447728

Эволюция — дело тонкое. Медленный и сложный процесс адаптации какого-либо организма к условиям окружающей среды, появление одних и вымирание других видов, генетические мутации и т.д. Мы частенько слышим слово «эволюция», но сам процесс ввиду его продолжительности наблюдать воочию не можем. Нам остается только рассматривать окаменелости и сравнивать их с современными организмами, выискивая общие черты и отличия, возникшие с течением времени. Либо сравнивать разные виды из одного семейства, обитающие в разных регионах. Эволюция также не лишена чувства юмора, ибо как иначе объяснить существование утконосов, кенгуру, рыбы-капли, гарпий, единорогов и т.д. Так, кто-то тут явно лишний.

Время, как мы привыкли его понимать, линейно и движется вперед, как и эволюция. Однако не всем организмам это по душе, посему некоторые делают шаг или несколько шагов назад, возвращаясь к предыдущим стадиям своего развития. Этот процесс называют ре-эволюцией. Самыми же любопытными являются существа, находящиеся где-то вне всех этих понятий. К таким относятся и ящерицы вида Saiphos equalis, самки которых способны как откладывать яйца, так и рожать детенышей. Такая материнская неопределенность, что удивительно, не распределена между особями, а может быть присуща одной и той же самке: захотела — сделала кладку, захотела — родила. Сегодня мы с вами познакомимся с наблюдением, в котором впервые детально изучили эту особенность. Какие структурные изменения присутствуют в скорлупе, почему ученые не готовы отнести данный вид ящериц к ре-эволюции и при каких условиях самки предпочитают кладку яиц, а не роды? Ответы ждут нас в докладе исследовательской группы. Поехали. Читать дальше ->

https://habr.com/ru/post/447656/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447656

Я ведущий Java-разработчик в Яндекс.Деньгах.

Каждое рабочее утро в 2018 году меня встречали около 30 пулл-реквестов, ожидающих ревью, а у меня не хватало времени разобрать их все за день. В конце лета я ушел в отпуск, а когда вернулся, обнаружил очередь из 50 PR, назначенных на меня. Разгребать их не было никакого желания, а ведь это была лишь вершина айсберга, которую я видел своими глазами. В тот день я и решил, что пора что-то изменить.

Это история о том, как мы ускорили код-ревью, разгрузили ведущих разработчиков и улучшили инструменты, которыми пользуемся каждый день.

Читать дальше ->

https://habr.com/ru/post/446654/?utm_source=habrahabr&utm_medium=rss&utm_campaign=446654

Рекрутинг сегодня использует множество каналов для поиска и привлечения кандидатов. При поиске высококвалифицированных специалистов одной из основных проблем является высокая конкуренция работодателей за каждого достойного кандидата. Поэтому для современного рекрутера ценными навыками являются умение привлечь внимание кандидатов, быстро оценить навыки кандидата и провести его по процессу подбора максимально быстро. Всему этому можно поучиться у sales – специалистов по продажам.

В этой статье я делюсь своим видением воронки найма и предлагаю свои рекомендации для более эффективного найма.
Читать дальше ->

https://habr.com/ru/post/447826/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447826

Меня зовут Алексей Долотов, я 10 лет не писал на Хабр. Отчасти дело в том, что когда мне было 22 года, я начал строить отдел аналитики Яндекса, затем семь лет им руководил, а теперь придумал и строю сервис Яндекс.Таланты. Профессия аналитика даёт массу возможностей. Главное правильно начать — например, в Школе менеджеров сейчас идёт набор по направлению аналитики.

Я решил рассказать, как развивалась моя карьера, и дать несколько советов тем, кто хочет «зажечь» в этой профессии. Надеюсь, мой своеобразный опыт окажется кому-нибудь полезным.

Единственный семестр вуза и начало карьеры

К моменту поступления в вуз я неплохо программировал, даже написал свой shareware-продукт (слово из прошлого). Это был каталогизатор лазерных дисков. Винчестеры ещё были небольшими, на них не всё помещалось, поэтому люди часто пользовались CD и DVD. Каталогизатор считывал файловую систему диска, индексировал её и собирал мета-информацию из файлов, записывал всё это в базу данных и позволял по ней искать. В первый день продукт скачало 50 тысяч китайцев, на второй день на Альтависте появился кряк. А я-то думал, что сделал классную защиту.

Читать дальше ->

https://habr.com/ru/post/447822/?utm_source=habrahabr&utm_medium=rss&utm_campaign=447822