Мониторинг больших высоконагруженных систем напоминает работу авиадиспетчера: нужно непрерывно следить за множеством показателей и предотвращать все проблемы «в прямом эфире». К счастью, в отличие от авиации, ошибки все же не так фатальны, наверняка поэтому и седых волос у команды мониторинга в разы меньше.

Заглянуть «по ту сторону» аналитики и мониторинга нам помог Сергей Шарапов – системный аналитик Mail.ru. У него богатый опыт работы в Одноклассниках, начиная с настройки серверного и сетевого оборудования, вплоть до выстраивания бизнес-процессов для HR.



Сергей с разных сторон собственными глазами видел как удачные эпизоды из жизни бэкенда Одноклассников, так и фейлы, поэтому мы решили расспросить его про структуру службы мониторинга Одноклассников, схему работы команды, методы оценки эффективности и самые памятные события из практики.
Читать дальше ->

https://habrahabr.ru/post/339786/

Авторы Hollow Knight рассказывают о процессе построения сложного взаимосвязанного мира от набросков до готовой игры.

Есть что-то удивительно приятное в исследовании сложных 2D-пространств игр, сделанных по модели Metroid и Castlevania. Такого чувства невозможно получить в других играх: чёткое осознание того, как части мира подогнаны друг к другу, умение распознать наличие скрытой комнаты, удовлетворение от получения новых способностей, позволяющих попасть на ранее недостижимые высоты. Качественная карта метроидвании заставляет игрока хотеть освоить каждый квадратный сантиметр и остаётся интересной, даже когда он проходит тем же маршрутом второй, и десятый, и двадцатый раз.

Так как же создать карту для метроидвании? Как создать взаимосвязанный мир, возвращаться назад в котором интересно, который даёт игроку свободу исследований, но при этом частично сохраняет за собой путь его развития? Есть ли секретная формула, тайное знание? Я задал эти вопросы создателям Hollow Knight, вдохновлённого Metroid фантастического приключения в антураже разлагающегося королевства Hallownest, которое напоминает мне анимационный фильм Дона Блута «Секрет НИМХ» (только вместо крыс здесь насекомые).

Мы поговорили о том, что важно для такой игры, и о том, почему сами авторы никогда не упоминают термин «метроидвания». Потом мы добрались до самого интересного: посмотрели наброски, схемы и рабочие дизайны мира Hollow Knight, от самого начала до финальной версии. Читать дальше ->

https://habrahabr.ru/post/339554/

Сравнительно недавно Vue.js обзавёлся полноценной поддержкой серверного рендеринга. В интернете довольно мало информации о том, как его правильно готовить, так что я решил подробно описать процесс создания необходимой среды для разработки приложения с SSR на Vue.js.

Всё, о чём пойдёт речь, реализовано в репозитории на github. Я буду часто ссылаться на его исходники и, собственно, попытаюсь объяснить, что происходит и зачем это нужно :)

В статье будут описаны достаточно общие для SSR подходы (если вам просто нужно что-то готовое для использования, то вы можете посмотреть в сторону Nuxt.js), так что вполне вероятно, что сказанное ниже можно будет частично или полностью применить и к другим фреймворкам/библиотекам типа Angular и React.

Читать дальше ->

https://habrahabr.ru/post/334952/

Часть первая — Affinity propagation
Часть вторая — DBSCAN
Часть третья — кластеризация временных рядов
Часть четвёртая — SOM

Self-organizing maps (SOM, самоорганизующиеся карты Кохонена) — знакомая многим классическая конструкция. Их часто поминают на курсах машинного обучения под соусом «а ещё нейронные сети умеют вот так». SOM успели пережить взлёт в 1990-2000 годах: тогда им пророчили большое будущее и создавали новые и новые модификации. Однако, в XXI веке SOM понемногу уходят на задний план. Хоть новые разработки в сфере самоорганизующихся карт всё ещё ведутся (большей частью в Финляндии, родине Кохонена), даже на родном поле визуализации и кластеризации данных карты Кохонена всё чаще уступает t-SNE.

Давайте попробуем разобраться в тонкостях SOM'ов, и выяснить, заслуженно ли они были забыты.

Читать дальше ->

https://habrahabr.ru/post/338868/

Перевод книги Кристиана Посты (Christian Posta) Microservices for Java Developers. A Hands-On Introduction to Frameworks & Containers.

ГЛАВА 1. Микросервисы для Java программистов

Чего Вы можете ожидать от этой книги?

Эта книга ориентирована на программистов и архитекторов Java, интересующихся разработкой микросервисов. Мы начнем книгу с высокоуровнего обзора общих принципов и фундаментальных требований, которые должны быть выполнены для успешной реализации микросервисной архитектуры. К сожалению, простое применение современных технологий не решает магическим образом всех проблем присущих распределенным системам. Мы рассмотрим основных игроков и то, что успешные компании сделали, чтобы микросервисы на них работали, включая культуру, организационную структуру и факторы рынка. Затем мы совершим глубокое погружение в несколько Java-фреймворков, используемых в реализации микросервисов. Репозиторий примеров исходных кодов из данной книги расположен на GitHub. Испачкав руки в коде, мы вернемся на воздух и обсудим проблемы развертывания, кластеризации, отказоустойчивости и то, какие решения предлагают Docker и Kubernetes в этих областях. Затем мы снова вернемся к деталям нескольких практических примеров с применением Docker, Kubernetes и NetflixOSS для демонстрации возможностей, которые они придают облачной микросервисной архитектуре. Закончим мы некоторыми положениями, которые мы не можем раскрыть в такой небольшой книге, но которые от этого не становятся менее важными: конфигурирование, протоколирование и непрерывная поставка (CD). Читать дальше ->

https://habrahabr.ru/post/340012/

Как создать синглтон в Ruby?
Лично мне приходят на ум 4 способа.

Читать дальше ->

https://habrahabr.ru/post/340006/

WAFы видят вместо документа белый шум!

00000000

3C3F 786D 6C20 7665 7273 696F 6E3D 2231

https://habrahabr.ru/post/340000/

Довольно давно я опубликовал на Хабре статью, где рассказал про свой проект, TeaVM. С тех пор много всего произошло с ним, в том числе одна важная вещь, про которую речь пойдёт ниже и ради которой я решил снова написать на Хабр. Но для начала кратко напомню, про что проект.

Итак, TeaVM — это компилятор байт-кода Java в JavaScript. Идея создания TeaVM пришла мне, пока я работал full-stack Java разработчиком и использовал для написания фронтэнда GWT. В те времена (а это где-то лет 5 назад) не были широко распространены инструменты вроде node.js, webpack, babel, TypeScript; Angular был в первой версии, а альтернатив вроде React и vue.js не было вообще. Тогда ещё на полном серьёзе люди тестировали сайты в IE7 (а некоторые, кому не повезло с заказчиками, даже IE6). В целом, экосистема JavaScript была гораздо менее зрелой, чем сейчас, и без боли писать на JavaScript было нельзя.

GWT мне нравился тем, что на фоне всего этого он казался адекватным решением, хотя и не лишённым своих недостатков. Основные проблемы перечислены под катом:

Читать дальше ->

https://habrahabr.ru/post/339998/

Компании встречаются разные. Бывают такие, где выстроена строгая и глубокая иерархия управления, и где вопрос самореализации сотрудников связан в первую очередь с продвижением вверх по карьерной лестнице. Бывают наоборот организации с плоской структурой, у которых в пронизанном лучами солнечного света офисном воздухе постоянно витает дух равенства и братства. Говоря о первых приходящих в голову образах, наверняка вы уже представили себе небоскреб крупной и бюрократизированной корпорации с одной стороны, и цветущий среди холмов Кремниевой долины стартап — с другой. В то же время британские ученые доподлинно доказали, что мир не черно-белый, и что большинство компаний в той или иной степени живут на стыке этих двух метафор – механизма и семьи. Вполне вероятно, что в одной из таких работаете и вы.

Однако речь сегодня пойдет вовсе не об организациях как таковых, а о пластике. Менеджмент, как известно, не очень-то любит материальные методы мотивации сотрудников (и правильно делает), зато очень любит различного рода пластиковые награды, статуэтки и плашки, призванные оценить успехи. Между тем, главное правило при проведении подобных мероприятий – «Не навреди!».
Читать дальше ->

https://habrahabr.ru/post/339990/

Один, не сомневаюсь, хороший человек и vim-ер со стажем опубликовал сегодня статью о том, что режимы — киллер-фича vim. Позволю себе не согласиться и поработать капитаном Очевидность.
Читать дальше ->

https://habrahabr.ru/post/339988/

Сегодня в 19:00 по московскому времени в офисе SuperJob состоится IT-meetup «Системный бизнес-анализ». Присоединяйтесь к прямой трансляции!


Читать дальше ->

https://habrahabr.ru/post/339942/

Добрый день, вечер или ночь, все зависит от времени суток в который вам довелось прочитать мою статью. Начнем с начала. В нашей компании задумались о переходе на SIP и встал вопрос? как это реализовать. Были рассмотрены несколько вариантов:

• Оставить всё как есть (сотовые телефоны);
• Облачная АТС;
• «Железное» решение;
• Свой сервер VoIP.

В итоге приняли решение реализовать свой сервер VoIP.

Что мы имеем:

• Ubuntu Server 16.04 (минимальная конфигурация), установлен на ESXi 6.5;
• SIP от zadarma и Мегафон;
• Сотовые телефоны с SIP клиентами.

Читать дальше →

https://habrahabr.ru/post/339986/

В блоге JUG.ru новый разбор, на этот раз под увеличительное стекло попал Никита Макаров из «Одноклассников», многократный участник программных комитетов наших конференций. Сегодня мы рассмотрим доклад о микросервисах для автоматизации тестирования. Выступление состоялось в 2015 году на встрече devclub.eu в Таллинне:



Слайды доклада можно найти тут.
Читать дальше ->

https://habrahabr.ru/post/335276/

Позвольте мне перенести Вас на некоторое время назад. Представьте, что Вы стоите вместо со мной у одной из досок и пытаетесь объяснить коллегам Вашу новую концепцию метрик. Если сказать про мои чувства в тот момент — это было отчаяние. Я со всей отчётливостью понимал, что к сожалению, мои слова не смогли дойти до собеседников. Никто из участников встречи совершенно не воспринял ни одной моей мысли. Они мне не верили.

Не верили не потому, что я не логично изложил суть или сказал что-то глупое. Нет. С этой точки зрения всё было хорошо. “То, что ты предлагаешь — это действительно интересно и инновационно, но… давай-ка мы все-таки сделаем всё по-старому”. Как же обидно было это слышать.

Я разрабатывал систему метрик, ориентировать на которые должны были несколько тысяч человек. Представьте, что Вы совершенно чётко осознаете, что люди вокруг вас упорно и настойчиво, всеми своими силами стремятся упасть в глубочайшую яму, цена падения в которую невероятно высока. Вы просто не имеете права допустить, чтобы это произошло, понимаете? Просто не имеете права!

Но в тот момент я как собачка смотрел преданными глазами на коллег и ничего не мог сказать. Знаете, есть несколько выдающихся человек в мире, которые мне очень нравятся. И один из них — Илон Маск. После очередного неудачного запуска ракеты Фалькон в его компании царило полное уныние. Несмотря на то, что день был очень тяжелым, несмотря на 20 часов, проведенных на ногах и постигший его удар, Маск выступил перед компанией, поддержал сотрудников и завершил свою речь словами: “Сам я никогда не сдамся. Никогда!”

Слова Маска тогда сами собой всплыли у меня в голове: “Я не сдамся!”.
Читать дальше ->

https://habrahabr.ru/post/339982/

Про DevOps не рассказывает только ленивый. Некоторые компании внедряют эти практики, а подавляющее большинство присматривается в поисках next big thing или «серебряной пули», ну или просто поддавшись тенденции в ИТ-сообществе. Уникальность каждого случая, поиск собственного пути, опасения сделать хуже (принцип Гиппократа «не навреди») — всё это не способствует ускорению внедрения, лишь добавляя ступеньки на пути к совершенству ИТ. Мы хотим рассказать про свой путь, извилистый и пока не пройденный до конца.


Читать дальше ->

https://habrahabr.ru/post/339972/

В аналитической части бэкенда Яндекс.Денег активно используется Microsoft IIS, и уже накопился некоторый багаж знаний о его применении в высоконагруженной среде, которым хочется поделиться.

Наша аналитика работает на стеке Microsoft (SQL Server и продукты SSIS, SSAS, SSRS) – одном из лучших на рынке BI-решений. Раз в основе нашего BI лежат сервисы одного вендора, то логично и для размещения веб-приложений использовать решение Microsoft – IIS.

В статье расскажу о тех особенностях работы с запущенными на IIS приложениями, которые характерны для высоконагруженной среды.

Читать дальше ->

https://habrahabr.ru/post/339976/

На CloudFlare Internet Summit 2016 года Илья Григорик (Ilya Grigorik), инженер по веб-производительности в Google, дал такой прогноз: «Насколько я могу судить, к 2020 году у нас будут летающие машины, сингулярность и IPv6».

Годом ранее в Twitter он объявил о том, что «вечеринка IPv4 окончена», присоединившись к весьма популярной теме для обсуждения последних 30 лет, касающейся исчерпания IPv4-адресов. В этой статье мы постараемся обобщить уже известные факты и оценить, что будет дальше.

Читать дальше ->

https://habrahabr.ru/post/339958/

Бонжурики!

В этом посте я хочу поделиться опытом организации проекта в условиях 11 класса.
Я думаю, этот пост может быть полезен для школьников. Если Вам больше 18 лет — скорее всего, пост большой смысловой нагрузки нести не будет.

Читать дальше ->

https://habrahabr.ru/post/339974/

Продолжение цикла обзорных статей с конференции CppCon 2017.

На этот раз очень интересное выступление от автора Compiler Explorer (godbolt.org). Обязательно читать всем, кто для быстроты умножает на 2 с помощью сдвига (по крайней мере, на x86-64). Если вы знакомы с ассемблером x86-64, то можете перемотать до разделов с примерами ("Умножение", "Деление" и т.д). Далее слова автора. Мои комментарии в квадратных скобках курсивом.

Моя цель сделать так, чтобы вы не боялись ассемблер, это полезная вещь. И использовали его. Не обязательно все время. И я не говорю, что вы должны все бросить и учить ассемблер. Но вы должны уметь просмотреть результат работы компилятора. И когда вы это сделаете, то оцените, как много работы проделал компилятор, и какой он умный.

Читать дальше ->

https://habrahabr.ru/post/339962/

Группа сотрудников Mars Information Services посетила конференцию «Knowledge17», ежегодное мероприятие компании ServiceNow — ведущего производителя облачных решений в области Корпоративного Управления Услугами (Enterprise Service Management, ESM). Мы решили поделиться с читателями блога Mars IS впечатлениями об уникальном мероприятии, которое позволяет быть в курсе последних тенденций, знакомиться с лучшими практиками и общаться не только с производителем и его подрядчиками, но и с другими пользователями платформы.

Читать дальше ->

https://habrahabr.ru/post/339960/