GitHub использует MySQL в качестве основного хранилища данных для всего, что не связано с git, поэтому доступность MySQL имеет ключевое значение для нормальной работы GitHub. Сам сайт, интерфейс API на GitHub, система аутентификации и многие другие функции требуют доступа к базам данных. Мы используем несколько кластеров MySQL для обработки различных служб и задач. Они настроены по классической схеме с одним главным узлом, доступным для записи, и его репликами. Реплики (остальные узлы кластера) асинхронно воспроизводят изменения главного узла и обеспечивают доступ для чтения.

Доступность главных узлов критически важна. Без главного узла кластер не поддерживает запись, а это значит, что нельзя сохранить необходимые изменения. Фиксация транзакций, регистрация проблем, создание новых пользователей, репозиториев, обзоров и многое другое будет просто невозможно.

Для поддержки записи необходим соответствующий доступный узел – главный узел в кластере. Впрочем, не менее важна возможность определить или обнаружить такой узел.

В случае отказа текущего главного узла важно обеспечить оперативное появление нового сервера ему на замену, а также иметь возможность быстро оповестить об этом изменении все службы. Общее время простоя складывается из времени, уходящего на обнаружение сбоя, отработку отказа и оповещение о новом главном узле.

Читать дальше ->

https://habr.com/post/432088/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432088

Хабр, привет! Приглашаем вас посмотреть прямую трансляцию Connect(); 2018. В рамках неё Скотт Гатри и Скотт Хансельман представят самые крутые новости про Azure, Data, AI, DevOps, Visual Studio, Xamarin, и не только. Плеер можно найти под катом.

Читать дальше ->

https://habr.com/post/431740/?utm_source=habrahabr&utm_medium=rss&utm_campaign=431740

Созданный Microsoft ИИ Xiaoice, самый популярный чатбот в Китае, теперь умеет создавать настоящие паттерны и изображения. Пару недель назад результаты своих работ машина представила на выставке в Пекине. За основу берутся слова, темы или ключевые цвета, о популярности которых девушка-робот узнает по итогам своего общения с сотнями миллионов китайцев.

Партнерами Microsoft выступили Китайский текстильный информационный центр и  Центр развития текстиля Китая, которые помогут довести продукты на рынок. Ожидается, что новая коллекция паттернов и дизайнов, впервые полностью собственноручно созданная AI, будет доступна китайцам в начале 2019 года. Дизайнеры и крупные производители говорят, что такая технология позволит им изменить процесс подготовки одежды для рынка.

Читать дальше ->

https://habr.com/post/432082/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432082

Привет! В ходе проектов по тестированию на проникновение мы нередко сталкиваемся с жестко сегментированными сетями, практически полностью изолированными от внешнего мира. Порой, для решения данной проблемы требуется пробросить трафик через единственно доступный протокол — DNS. В этой статье мы расскажем, как решить подобную задачу в 2018 году и какие подводные камни встречаются в процессе. Также будут рассмотрены популярные утилиты и представлен релиз собственной open-source утилиты с возможностями, которых обычно так не хватает в существующих аналогичных инструментах.

Читать дальше ->

https://habr.com/post/432078/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432078

Замедляем Windows, часть 3: завершение процессов



Автор занимается оптимизацией производительности Chrome в компании Google — прим. пер.

Летом 2017 года я боролся с проблемой производительности Windows. Завершение процессов происходило медленно, сериализованно и блокировало системную очередь ввода, что приводило к многократным подвисаниям курсора мыши при сборке Chrome. Основная причина заключалась в том, что при завершении процессов Windows тратила много времени на поиск объектов GDI, удерживая при этом критическую секцию system-global user32. Я рассказывал об этом в статье «24-ядерный процессор, а я не могу сдвинуть курсор».

Microsoft исправила баг, и я вернулся к своим делам, но потом оказалось, что баг вернулся. Появились жалобы на медленную работу тестов LLVM, с частыми подвисаниями ввода.

Но на самом деле баг не вернулся. Причина оказалась в изменении нашего кода.
Читать дальше ->

https://habr.com/post/432076/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432076

Здравствуйте, коллеги.

Наши долгие поиски неустаревающих бестселлеров по оптимизации кода пока дают лишь первые результаты, но мы готовы вас порадовать, что буквально только что закончен перевод легендарной книги Бена Уотсона "Writing High Performance .NET Code". В магазинах — ориентировочно в апреле, следите за рекламой.

А сегодня предлагаем вам почитать сугубо практическую статью о наиболее насущных видах утечек оперативной памяти, которую написал Нельсон Ильхейдж (Nelson Elhage) из компании Stripe.
Читать дальше ->

https://habr.com/post/432072/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432072

Привет, Хабр! В последние пару лет я увлекся изучением английского языка и периодически пробую различные новые сервисы. В сегодняшнем топике я поделюсь список из пяти новых приложений и сайтов, которые помогают улучшить навыки устного общения, расширить словарный запас, освоить грамматику и повысить качество письменного английского. Читать дальше ->

https://habr.com/post/432068/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432068

Сегодня день информатики, и кто-то возможно помнит первые уроки по информатике в школе, и свой первый учебник “Основы информатики и вычислительной техники” (1990 год):


В числе авторов этого учебника был — Р.А. Сворень.

Про легендарного человека — Рудольфа Анатольевича Свореня мы делали серию публикаций (раз, два), и в том числе про его замечательную книгу “Электроника шаг за шагом”, про то как она изменила жизнь людей. Изначально была озвучена идея переиздания этой полюбившийся многим книги (на данный момент мы собрали почти 2000 заявок от людей, кто ждут переиздание).

Книги Рудольфа Анатольевича обладают удивительным качеством — изложение материала настолько доступно и понятно, от простого к сложному, что всё становится “по полочкам” и по окончании книги люди действительно начинают осознанно и самостоятельно разбираться в предмете.

Есть хорошие новости — в ближайшее время готовится к выходу из печати новая книга “Электричество шаг за шагом” — на КДПВ — картина из неё. Эта картина показывает то цельное восприятие мира, что было у Рудольфа Анатольевича — и “электричество” для него был важным фрагментом Картины Мира, про который он хотел так же рассказать.

Книга “Электричество шаг за шагом” ещё не поступала в продажу (хотя была готова в 2012 году), и у вас есть возможность купить книгу — сделать предзаказ.

Подробности под катом.
Читать дальше ->

https://habr.com/post/432034/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432034

Hello, everyone! Все еще сражаетесь с армией незнакомых слов? В сегодняшней статье мы поделимся боеприпасами, а именно: техники запоминания, о которых вы не знали; как не упустить важное; как сделать процесс обучения увлекательным и как придумать контекст для слов.

Вы уже слова и на карточках писали, и на мебель клеили, и в телефоне напоминания ставили, а они все никак?
Читать дальше ->

https://habr.com/post/432060/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432060

Прочитал еще одну статью про «психологические типажи разработчиков». И с меня хватит. Как всегда, в этой статье предлагают узнать себя в одном из антипаттернов «плохих парней», понять, что я врежу бизнесу и начать наконец «исправляться». Я вот узнал себя в каждом типе. Я и рок-звезда, и солдат, и некомпетентный, и мечу в менеджеры… Короче, все выглядит так, что каким бы разработчиком и человеком я ни мечтал быть, бизнес увидит здесь проблему.

Знаете что? Пусть катятся к черту.

Читать дальше ->

https://habr.com/post/432052/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432052

Всем привет! Меня зовут Роман Дворнов, я Lead Engineer в команде Frontend Architecture в Авито. Мы занимаемся созданием и развитием технической платформы фронтенда, чтобы другие команды могли быстрее создавать интерфейсы и продукты. Мы с коллегами запланировали серию онлайнов, в которых будем обсуждать актуальные вопросы разработки клиентской части.

11 декабря на нашем ютуб-канале пройдёт первый прямой эфир. Обсудим инфраструктуру фронтенда. В дискуссии будут участвовать эксперты из Яндекса, Tinkoff.ru, Mail.ru и Авито. Под катом — примерные вопросы, которые планируем обсуждать (дополняйте список), и ссылка на предстоящую трансляцию. Добавляйте пост в закладки: после встречи обновим его и выложим видео.

Читать дальше ->

https://habr.com/post/432036/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432036

Первое, на что следует обратить внимание в бета-версии Haiku — это работа с пакетами.

Когда мы говорим просто «пакеты», то подразумеваем только запуск пакетного менеджера на GNU/Linux, и т.д., но Haiku умеет гораздо больше.

Как я уже упоминал в обзоре Haiku Beta, это первый официальный релиз функции управления пакетами. Если сформулировать вкратце, то представьте PackageFS как нечто похожее (но не такое же) на старую систему модулей Slax 6, но со всеми обычными инструментами для «пакетов».

Систему управления пакетами можно описать в пяти кратких пунктах:

• универсальные инструменты командной строки (как и следовало ожидать);
• HaikuDepot;
• средство обновления программ;
• мониторинг состояния пакетов и/или системы;
• PackageFS (где все пакеты плавно монтируются и подключаются при загрузке), с побочным эффектом — аккуратным слоем безопасности.

Читать дальше ->

https://habr.com/post/432054/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432054

Доброго времени суток, Хабр!

Спустя некоторое время решил вновь написать сюда и поделиться своим опытом. На этот раз статья будет о том, как кастомизировать стандартные валидаторы, и вызывать их там, где нам будет нужно, используя Spring — аспекты. Ну а сподвигло меня на написание — практически отсутствие подобной информации, особенно на русском.

Проблема

Итак, суть приложения примерно такова: есть gateway — api, который принимает запрос, а в дальнейшем модифицирует и перенаправляет его соответствующему банку. Вот только запрос для каждого из банков отличался — как и параметры валидации. Поэтому валидировать изначальный запрос не представлялось возможным. Тут было два пути — использовать аннотации из javax.validation, либо писать свой отдельный слой валидации. В первом случае была загвоздка — по умолчанию объекты можно валидировать только в контроллере. Во втором случае так-же были минусы — это лишний слой, большое количество кода, да и в случае изменения моделей, пришлось бы менять и валидаторы.

Поэтому было принято решение найти способ дергать стандартные валидаторы там где это было необходимо, а не только в контроллере.

Дергаем валидаторы

Спустя пару часов копания в гугле были найдены пару решений, самое адекватное из которых было заавтовайрить javax.validation.Validator и вызвать у него метод validate, которому в качестве параметра нужно передать валидируемый объект.

Казалось бы, решение найдено, но автовайрить везде валидатор не казалось хорошей идеей, хотелось более элегантного решения.

Добавляем АОП

Недолго думая я решил попробовать адаптировать под это решение мною всеми любимые аспекты.

Логика была примерно следующей: создаём аннотацию, и вешаем её над методом который преобразует один объект в другой. Дальше в аспекте перехватываем все методы помеченные этой аннотацией и вызываем метод validate для возвращаемого ими значения. Профит.
Читать дальше ->

https://habr.com/post/432040/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432040

Давным-давно, у фасада далекого-далекого магазина состоялся подслушанный разговор:

NB: - А как привести много посетителей на свой новый сайт?

GURU: - Ну можно ссылок «раскидать» на разных форумах и в соц. сетях. Поисковая оптимизация поможет и контент. Можно тизерные сети привлечь, а можно много раз посетить сайт через разные прокси ...

NB: - И чем же помогут такие посещения, ведь это иллюзия живых людей?

GURU: - Счетчик статистики от google или от yandex объяснит поисковикам, что сайт становится популярным. Да еще и реферер можно связать с посещаемыми сайтами по запросам. Подрастет позиция в поисковиках, а значит и подрастет поисковый трафик.

NB: - А где же взять такое количество прокси?

GURU: - Где?… Ну в интернете поищи...

NB перестал спрашивать, видимо, опасаясь раздражать явно более опытного собеседника.
GURU закатил глаза, как бы подчеркивая исчерпанность темы про прокси и замолчал…
Читать дальше ->

https://habr.com/post/432038/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432038

За десятилетие развития Гугл уже давно перестал выкладывать страницы поиска с примитивной вёрсткой, денег и времени на дизайн поисковой страницы стало хватать. Недавно (на самом деле, в разных районах мира он экспериментировал уже 2 месяца) он выложил новый дизайн результатов поиска, которые ещё постепенно дорабатываются — появилось овальное поле ввода (в поиске картинок — ещё прямоугольное), прибитое к верху (при прокрутке страницы) поле поиска. Остальные функции, в основном, остаются теми же, для которых довольно давно был сделан юзерскрипт (расширение браузера) Google Search Extra Buttons. В связи с изменениями вёрстки страницы были сделаны доработки, и заодно они затронули новые элементы пользовательского интерфейса, о которых порассуждаем сейчас, показав работающие модификации.
Читать дальше ->

https://habr.com/post/432032/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432032

Меньше недели осталось до конференции Heisenbug 2018 Moscow: она пройдет в «Славянской Рэдиссон» 6-7 декабря.

По традиции прямо на YouTube будет открыта бесплатная онлайн-трансляция первого зала (ссылка спрятана под катом). Между докладами будут вестись интервью с ключевыми спикерами конференции.

В открытую трансляцию попадёт только первый день и первый зал. Чтобы получить доступ ко всем материалам, нужно или приобрести билет на полную онлайн-трансляцию, или прийти вживую. Для тех, кто пойдёт вживую, хочется напомнить несколько дополнительных фишек.

Читать дальше ->

https://habr.com/post/431850/?utm_source=habrahabr&utm_medium=rss&utm_campaign=431850

Продолжаем рассматривать примеры использования цепной репликации. Базовые определения и архитектуры были даны в первой части, рекомендую ознакомиться с ней перед прочтением второй части.
Читать дальше ->

https://habr.com/post/432020/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432020

Мы уже рассказывали с какими проблемами мы сталкиваемся занимаясь фронтенд разработкой в 2018 году. Давайте посмотрим как далеко мы уходим от стандартов когда пишем наш код



и как мы можем решить эту проблему.
Читать дальше ->

https://habr.com/post/432008/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432008

Сайт The Daily WTF уже 14 лет собирает курьёзные, дикие и/или печальные истории из мира ИТ. Я перевёл несколько рассказов, показавшихся мне интересными. Все имена и названия компаний изменены.

На работу за 3 000 миль

Правдивая история из личного опыта нашего автора Snoofle. [Оригинал]

Много десятков лет назад оборонный подрядчик DefCon Inc работал на армию США и пытался получить новый контракт на создание какого-то приложения, применяемого в бою. Компания хотела продемонстрировать в своём предложении, что у неё хватит персонала для выполнения этого проекта. Поэтому она наняла более тысячи разнообразных программистов, руководителей проектов, менеджеров и так далее. Военные, изучавшие различные коммерческие предложения, увидели кучу новых сотрудников, абсолютно незнакомых с необходимыми процессами, процедурами и требованиями, поэтому передали контракт другой фирме. Подрядчик, со своей стороны, уволил всю эту тысячу человек.

Спустя несколько месяцев возник ещё один подобный контракт. Компания снова наняла тысячу человек, чтобы показать, что у неё есть персонал. Ещё через несколько месяцев контракт снова был передан другому подрядчику, и компания снова уволила всю тысячу.

Читать дальше ->

https://habr.com/post/431394/?utm_source=habrahabr&utm_medium=rss&utm_campaign=431394

Источник фото: Медиа Группа «Авангард»

Не так давно мы с вами говорили о биометрических данных россиян — Биометрические персональные данные россиян, Как создать образцы для Единой биометрической системы и почему это может быть опасно.

Банки России уже стали отчитываться, что начали сбор биометрических данных (пока в тестовом режиме). И вот, на прошедшем 27-28 ноября 2018 г. SOC-форуме, ЦБ указал ФСБ на невозможность в полном объеме выполнить ее требования по защите собираемых банками биометрических персональных данных граждан.

Речь идет о криптографии конечно же. Первый замглавы Департамента информационной безопасности ЦБ Артем Сычев отметил, что отечественного криптооборудования, которое может обеспечить защиту собранных у граждан биометрических данных по классу КВ, — нет. А ведь именно этот класс защиты (на уровне гостайны) определен в приказе ФСБ №378.

При этом замначальника 8-го центра ФСБ России Игорь Качалин выразил надежду, что ЦБ «займет жесткую позицию» по всем средствам защиты при работе с биометрическими данными граждан. Здесь конечно надо отметить, что продукты класса КВ на российском рынке есть, но использовать их нельзя — все они требуют соответствующего согласования.
Читать дальше ->

https://habr.com/post/431992/?utm_source=habrahabr&utm_medium=rss&utm_campaign=431992