Необходимое предисловие: я решил попробовать современный формат несения света в массы и пробую стримить на YouTube про deep learning.

В частности, в какой-то момент меня попросили рассказать про attention, а для этого нужно рассказать и про машинный перевод, и про
sequence to sequence, и про применение к картинкам, итд итп. В итоге получился вот такой стрим на час:

Я так понял по другим постам, что c видео принято постить его транскрипт. Давайте я лучше вместо этого расскажу про то, чего в видео нет — про новую архитектуру нейросетей для работы с последовательностями, основанную на attention. А если нужен будет дополнительный бэкграунд про машинный перевод, текущие подходы, откуда вообще взялся attention, итд итп, вы посмотрите видео, хорошо?

Новая архитектура называется Transformer, была разработана в Гугле, описана в статье Attention Is All You Need (arxiv) и про нее есть пост на Google Research Blog (не очень детальный, зато с картинками).

Поехали.

Читать дальше ->

https://habrahabr.ru/post/341240/

Состояние — поведенческий шаблон проектирования. Используется в тех случаях, когда во время выполнения программы объект должен менять своё поведение в зависимости от своего состояния. Классическая реализация предполагает создание базового абстрактного класса или интерфейса, содержащего все методы и по одному классу на каждое возможно состояние. Шаблон представляет собой частный случай рекомендации «заменяйте условные операторы полиморфизмом».

Казалось бы, все по книжке, но есть нюанс. Как правильно реализовать методы не релевантные для данного состояния? Например, как удалить товар из пустой корзины или оплатить пустую корзину? Обычно каждый state-класс реализует только релевантные методы, а в остальных случаях выбрасывает InvalidOperationException.

Нарушение принципа подстановки Лисков на лицо. Yaron Minsky предложил альтернативный подход: сделайте недопустимые состояния непредставимыми (make illegal states unrepresentable). Это дает возможность перенести проверку ошибок со времени исполнения на время компиляции. Однако control flow в этом случае будет организован на основе сопоставления с образцом, а не с помощью полиморфизма. К счастью, частичная поддержка pattern matching появилась в C#7.
Альтернативная реализация шаблона

https://habrahabr.ru/post/341134/

Привет!
На естественном языке сказать об одном и том же факте можно бесконечным числом способов. Можно переставлять слова местами, заменять их на синонимы, склонять по падежам (если говорим о языке с падежами) и тд.

Необходимость определять схожесть двух фраз возникла при решении одной небольшой практической задачи. Я не использовал машинное обучение, не вил нейронные сети, но использовал простые метрики и собранную статистику для калибровки коэффициентов.

Результатом работы, описанием процесса, кодом на git'е готов поделиться с вами.

Итак, кратко задачу можно озвучить так: «С определенной периодичностью из различных источников приходят актуальные новости. Необходимо фильтровать их таким образом, чтобы на выходе не было двух новостей об одном и том же факте.»

Предупреждение: в статье присутствуют заголовки реальных новостей. Я отношусь к ним исключительно как к рабочему материалу, не представляю какую-либо точку зрения на политическую или экономическую ситуацию в какой бы то ни было стране.

Читать дальше ->

https://habrahabr.ru/post/341148/

13 октября мы провели вторую конференцию сообщества Uptime. В этот раз дата проведения выпала на пятницу 13-е, поэтому основная тема конференции — аварии, и как с ними справляться.

У меня есть три страшные истории о том, как по нашей вине все сломалось, как мы это чинили, и что мы делаем теперь, чтобы это не повторилось.

Читать дальше ->

https://habrahabr.ru/post/341194/

Совсем недавно мы опубликовали собственное исследование зарплат на рынке технической поддержки в России с цифрами и выводами, полученными на основе анализа вакансий более 1000 компаний. Но какое место российская техподдержка занимает в мировой отрасли? Можно ли вообще сравнивать рынки? Есть ли перспективы у российского специалиста за рубежом? Давайте разбираться!


Читать

https://habrahabr.ru/post/341118/

Люди иногда спрашивают, почему код, скомпиливанный в LLVM иногда генерирует сигналы SIGTRAP, когда оптимизация была включена. Покопавшись, они обнаруживают, что Clang сгенерировал инструкцию «ud2» (подразумевается код X86) — то же, что генерируется __builtin_trap(). В этой статье рассматривается несколько вопросов, касающихся неопределённого поведения кода на C и того, как LLVM его обрабатывает.



В этой статье (первой из трёх) мы попытаемся объяснить некоторые из этих вопросов, чтобы вы могли лучше понять связанные с ними компромиссы и сложности, и возможно, изучить немного больше тёмные стороны С. Мы выясним, что C не является «высокоуровневым ассемблером», как многие опытные программисты на C (особенно те, кто сфокусирован на низком уровне) предпочитают думать, и что C++ и Objective-C напрямую унаследовали множество таких проблем.
Читать дальше ->

https://habrahabr.ru/post/341048/

В прошлый раз я описал явление и ввёл термин "цифровой износ", а на следующее, после публикации, утро обнаружил что в тот же день на mobile-review вышел обзор с упоминанием подобной темы. В обзоре рассказывалась история про человека который несколько лет загружал свои фотографии в Google Photo и в итоге лишился исходников.

«Это знак», — подумал я и решил провести анализ популярных фотохостингов на предмет цифрового износа фотографий.

Для этого, я выбрал критерии износа и смоделировал реальную ситуация из жизненного цикла цифровых фотографий.

Условия эксперимента: пользователь поехал на публичное мероприятие (в моём случае — всероссийский чемпионат «Лесоруб-2017»), по возвращении домой закинул фотографии в интернет (с помощью браузера) и потом пробабал исходники. Пробабал самым обычным образом — диск покрашился, случайно стёр папку, сознательно чистил диск будучи уверенным что у него в интернете всё сохранено и т.п. И потом, время спустя, пользователь понял что оригинала у него нет и пошёл скачивать то что у него «в интернете».

Но он забыл, что любые сервисы в любой момент могут пропустить ваши фотографии через мясорубку или вообще закрыться.

Посмотрим, что было в начале, что осталось в конце и насколько велик износ.

Поехали!
Читать дальше ->

https://habrahabr.ru/post/341238/

Свежая подборка со ссылками на новости и материалы. В выпуске: PHP 7.2.0 RC5 и другие релизы, предложения из PHP Internals, порция полезных инструментов, и многое другое.
Приятного чтения!

Читать дальше ->

https://habrahabr.ru/post/341236/

С выхода предыдущей публикации прошло чуть больше полу года. Далеко не все это время ушло на улучшения алгоритма, но результаты есть. И так.

Почему название "Broo"?

Читать дальше ->

https://habrahabr.ru/post/341226/

Предлагаем вашему вниманию подборку с ссылками на новые материалы из области фронтенда и около него.

Читать дальше ->

https://habrahabr.ru/post/341232/

В свободное и не свободное время[1] я развиваю несколько своих проектов на github, а также, по мере сил, участвую в жизни интересных для меня, как программиста, проектах.

Недавно один из коллег попросил консультацию: как выложить разработанную им библиотеку на github. Библиотека никак не связана с бизнес-логикой приложения компании, по сути это адаптер к некоему API, реализующему определённый стандарт. Помогая ему, я понял что вещи, интуитивно понятные и давно очевидные для меня, в этой области, совершенно неизвестны человеку делающему это впервые и далёкому от Open Source.

Я провел небольшое исследование и обнаружил что большинство публикаций по этой теме на habrahabr освещают тему участия (contributing), либо просто мотивируют каким-нибудь образом примкнуть к Open Source, но не дают исчерпывающей инструкции как правильно оформить свой проект. В целом в рунете, если верить Яндекс, тема освещена со стороны мотивации, этикета контрибуции и основ пользования github. Но не с точки зрения конкретных шагов, которые следует предпринять.

Так что из себя представляет стильный модный молодёжный Open Source проект в 201* году?

Читать дальше ->

https://habrahabr.ru/post/341166/

С приходом API 26 наконец-то закончилось время, когда мы были вынуждены извращаться и писать кастомные View когда дизайнер хотел использовать что-то помимо Roboto.
Читать дальше ->

https://habrahabr.ru/post/341218/

В некоторых специфических ситуациях вам может понадобиться создать несколько data store на одном дисковом устройстве. Как, например, произошло в нашем случае.

На одном из наших Vsphere ESxi серверов установлен RAID адаптер Adaptec ASR72405 c подключёнными к нему 24 жёсткими дисками по 5 TB марки ST5000NM0024. Нами было принято решение построить RAID 60 на 22 дисках и ещё 2 диска сконфигурировать в hot-spare. Это обеспечивало нам необходимое дисковое пространство при максимальной полученной скорости доступа при потоковом чтении/записи — в районе 3.5 гигабайта в секунду на запись и 3.3 гигабайта в секунду на чтение. Обращаю внимание ещё раз, что по специфике нашей задачи нас интересовала именно максимальная скорость при потоковом чтении/записи.
Читать дальше ->

https://habrahabr.ru/post/341216/

В прошлом месяце в нашей подборке полезных источников оказались блоги о математике и алгоритмах. Сегодня мы решили продолжить изучение тематической ветки Hacker News на предмет интересных источников материалов о разработке.

Под катом — блоги программистов и тестировщиков, дизайнеров и руководителей студий, независимых консультантов и управленцев, которых отличает живой слог, умение писать по делу и (нередко) отличное чувство юмора.

Читать дальше ->

https://habrahabr.ru/post/340136/

По информации Gartner, рынок облачных сервисов растет быстрее других ИТ-направлений — в 2016 году рост составил 31%. При этом рынок включает в себя большое число сервисов: начиная с привычных IaaS, PaaS, SaaS и заканчивая DBaaS, DRaaS и AIaaS.

Чтобы создать компанию, предоставляющую одну из этих услуг, нужно учитывать определенные особенности. Но поскольку 1cloud — IaaS-провайдер, мы бы хотели поговорить о принципах, которыми мы руководствуемся при разработке и предоставлении именно IaaS-сервисов.

Читать дальше ->

https://habrahabr.ru/post/341182/

В нашем новом большом дайджесте мы учимся распознавать рыбу, создавать приложения для iPhone X, открывать в новой версии Android доступ к машинному обучению, создавать безумные табуретки и даже готовить игры к запуску. Добро пожаловать!

Читать дальше ->

https://habrahabr.ru/post/341206/

В предыдущем уроке мы затронули проблему человеческого фактора в Информационной безопасности. В итоге мы сделали вывод, что не важно на сколько качественное и дорогое оборудование вы используете, т.к. все “упрется” в настройку, которая должна быть выполнена грамотно. В этом уроке мы рассмотрим https-инспекцию. Довольно многие недооценивают важность этой функции без которой немыслима современная защита сети. Но обо всем по порядку.

Защита веб-трафика

Практически все современные NGFW или UTM решения имеют функционал проверки веб-трафика. Это и категоризация сайтов и проверка скачиваемого контента и определение веб-приложений. Причем последний пункт (веб-приложения) очень важен, т.к. через один и тот же порт могут работать огромное кол-во сервисов. И если с проверкой HTTP-трафика практически у всех вендоров нет проблем, то HTTPS — настоящий вызов для современных средств защиты. Читать дальше ->

https://habrahabr.ru/post/341200/

Предисловие

Довольно часто бывает необходимо перенести задания Агента на другой экземпляр MS SQL Server. Восстановление базы данных msdb невсегда именно то решение, которое подойдет, т к нередки случаи, когда нужно перенести именно только задания Агента, а также при переходе на более новую версию MS SQL Server. Так как же можно перенести задания Агента без восстановления базы данных msdb?

В данной статье будет разобран пример реализации скрипта T-SQL, который копирует задания Агента с одного экземпляра MS SQL Server на другой.
Данное решение было опробовано при переносе заданий Агента с MS SQL Server 2012 на MS SQL Server 2017.
Читать дальше ->

https://habrahabr.ru/post/341196/

Д'oжили. Недавно была обнаружена проблема синхронизации игрового процесса с реальным временем не где-нибудь, а в игре "Quake Champions". Название игры "Quake" раньше было синонимом чего-то крутого, высокотехнологичного и идеального. И в голову не могло придти, что через какую-то пару десятков лет и камня на камне не останется от былого превосходства, а в новой игре с именем "Quake" появятся грубые ошибки, приводящие к тому, что один из игроков может получить преимущество только потому, что у него лучше "железо". Дело в том, что скорость стрельбы в новом шутере зависит от fps, то есть, количество пуль, выпущенных игроками с разным значением fps за один и тот же промежуток времени будет разным, а значит один из них может получить преимущество.
Данная статья рекомендуется к прочтению всем разработчикам игр, а в особенности разработчикам программ для движущихся механизмов. Да, подобные проблемы были и в коде библиотеки для работы с шаговыми двигателями для Arduino. Но если вы создаете программы для управления полетом ракет, или для атомных реакторов, то, ребята, вам эта статья не поможет. Вам нужны другие уровни синхронности, и специальное железо, работающее под управлением RTOS.

Читать дальше ->

https://habrahabr.ru/post/341198/

В процессе выхода на международный рынок с API Карт мы решили отказаться от комментирования кода на русском языке. При этом на основе комментариев формируются справочники сервиса, которые затем публикуются у нас на портале, и отказываться от поддержки справочников на русском языке мы не хотели. Из доклада Олеси Горбачевой и Максима Горкунова вы узнаете, как технические писатели Яндекса совместно с разработчиками API Карт поменяли язык комментариев и организовали синхронную поддержку справочников и примеров сразу на двух языках.


Читать дальше ->

https://habrahabr.ru/post/341192/