В статье рассматривается архитектура и API для создания приложений, воспроизводящих музыку. Мы напишем простое приложение, которое будет проигрывать небольшой заранее заданный плейлист, но «по-взрослому» — с использованием официально рекомендуемых практик. Мы применим MediaSession и MediaController для организации единой точки доступа к медиаплееру, и MediaBrowserService для поддержки Android Auto. А также оговорим ряд шагов, которые обязательны, если мы не хотим вызвать ненависти пользователя.

Читать дальше ->

https://habrahabr.ru/post/339416/

Воззап

Тема для меня очень актуальная. Я школьник, учусь в 11 классе, занимаюсь программированием большую часть своего свободного времени. Сначала предыстория, чтобы обозначить мое положение в мире IT, обучения, работы и по списку.

Читать дальше ->

https://habrahabr.ru/post/339512/

TL; DR
В этой статье мы будем разворачивать Docker-приложение, голосовалку на Swarm, Kubernetes и Nomad от Hashicorp. Я надеюсь, вы получите такое же удовольствие от чтения этой статьи, какое я получил, когда экспериментировал со всем этим.

Если вы работаете с технологиями, то быть любознательным необходимо. Это необходимо для того, чтобы постоянно обучаться и быть в курсе того, что происходит в сфере. Уж больно быстро все меняется.

Оркестрация контейнеров – настолько горячая тема для обсуждения, что даже, если у вас и есть любимый инструмент, все равно интересно посмотреть, как работают другие и узнать про них что-нибудь новое.
Читать дальше →

https://habrahabr.ru/post/339508/

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке Torch, фреймворк для реализации распределенной обработки неструктурированных и слабоструктурированных данных Spark и множество других инструментов, облегчающих работу.

Добавьте к этому доступность больших вычислительных мощностей, и вы поймете, что для полного счастья не хватает лишь одного ингредиента — данных. Огромное количество данных находится в открытом доступе, однако непросто понять, на какие из открытых датасетов стоит обратить внимание, какие из них годятся для проверки идей, а какие могут быть полезны в качестве средства проверки потенциальных продуктов или их свойств до того, как вы накопите собственные проприетарные данные.

Мы разобрались в этом вопросе и собрали данные по датасетам, удовлетворяющим критериям открытости, востребованности, скорости работы и близости к реальным задачам.

Читать дальше ->

https://habrahabr.ru/post/339496/

Так получилось, что инструменты DevOps обычно иллюстрируются на примере CI/CD какого-то масштабного веб-сервиса. Отчасти так получилось по историческим причинам, отчасти свою роль сыграли замечательные книги типа Google SRE Book.

К черту, давайте посмотрим на что-нибудь действительно новое. На Mobius 2017 к нам приезжает Jing Li из Viacom, с докладом «Android meets Docker».

Накануне конференции удалось найти несколько минут в его плотном графике и задать пару вопросов. В этом интервью Jing рассказывает о DevOps в мобильной разработке, приводит примеры задач и дает конкретные рекомендации по улучшению вашего DevOps процесса.

Читать дальше ->

https://habrahabr.ru/post/339500/

В 2016/2017 годах мы обнаружили, что на каждой из наших конференций есть 1-3 доклада о Big Data, нейросетях, искусственном интеллекте или машинном обучении. Стало понятно, что под эту тему можно собрать хорошую конференцию, о чём я сегодня вам и расскажу.

Вкусно: мы решили собрать под одной крышей учёных, инженеров-практиков, архитекторов и сделать упор на технологии — казалось бы, обычное дело, но нет.

Сложно: копнув глубже, можно увидеть, что отдельными вопросами все занимаются не сообща, а врозь.

Учёные строят нейросети в теории, архитекторы делают распределённые системы для корпораций с целью обработки огромных потоков данных в реальном времени, без конечной цели унифицировать к ним доступ, инженеры-практики пишут под это всё софт для сугубо узких задач, которые потом нереально перенести на что-то другое. В общем, каждый копает свою грядку и не лезет к соседу… Так? Да нет же!

На деле: Все занимаются частью общего. Как сама Smart Data (а «умные данные» — это очень узкий перевод) по природе своей, так и те, кто с ней работает, по сути, делают распределённую сеть различных наработок, которые могут создавать порой неожиданные сочетания. Это и формирует фундамент Умных данных в своей красоте и практической значимости.

Итак, что это за кусочки паззла и кто их создает, можно будет посмотреть и даже обсудить с создателями на конференции SmartData 2017 Piter 21 октября 2017. Подробности под катом.



Дальше будет много букв, мы же за большие и умные данные, хотя исторически анонс подразумевает быстрый и ёмкий текст, краткий и точный, как выстрел снайпера в ясную летнюю ночь.
Читать дальше ->

https://habrahabr.ru/post/339398/

В начале сентября в Петербурге прошёл Spb Startup Day 2017. Событие интересное как минимум для всех, кто связан с тематикой стартапов или хотя бы думает, что связан. В этой статье я расскажу про свои впечатления от мероприятия, а заодно поделюсь успехами нашего стартапа JEvents — победой в номинации «лучший стартап с перспективой выхода на американский рынок» с призом в виде поездки в Нью-Йорк и не только…
Читать дальше ->

https://habrahabr.ru/post/339070/

В 2011 году была представлена альтернатива протоколу AHCI (Advanced Host Controller Interface) — протокол NVM Express. Почему контроллер с архитектурой NVMe (Non-Volatile Memory Express)?



Немного теории: грубо говоря, SSD это способ хранения данных на чипах памяти, упоминая же «жесткий диск» подразумеваем, что данные хранятся на круглых магнитных пластинах. Теперь понятие форм-фактора: подразумевает, как устройство выглядит и как подключается. Например 2,5-дюймовые SATA SSD подключаются с помощью SATA коннектора. Форм-фактор M.2 — это голые платы, на которых размещены чипы, соответственно используется разъем для подключения М.2. Для полноценной работы накопителя с хост системой нужен физический и программный интерфейсы, самые обычные 2,5-дюймовые SATA SSD используют протокол AHCI, но контроллер AHCI был создан для механических HDD, дабы оптимизировать взаимодействие жесткого диска с самой системой: минимизировать перемещение магнитных головок, синхронизировать процессы чтения и записи. Соответственно, в твердотельных накопителях, где совсем другой принцип хранения данных, AHCI не в состоянии раскрыть весь потенциал SSD, работающего на высоких скоростях. Хотя никто не отменял тот факт, что SATA SSD больше ограничены самим фактором SATA подключения, с его помощью можно передать данные со скоростью не больше 550-600 МБ/с, не то чтобы это было слишком мало, но! SSD накопители могут гораздо больше. Для того, чтобы обойти эти скоростные ограничения были придуманы PCI Express и М.2 накопители, правда они все также либо используют, либо эмулируют программный интерфейс AHCI, главным недостатком которого является количество команд, которые он может одновременно передать, это всего 32 очереди.
Читать дальше ->

https://habrahabr.ru/post/336018/

 
XSL (Extensible Stylesheet Language) — это язык для преобразования документов XML. XSLT означает XSL Transformations. XSL Transformations — это сами XML-документы. Результатом преобразования может быть другой XML-документ или что-то еще, например, документ HTML, файл CSV или текстовый файл. В этой статье я расскажу о нескольких векторах атаки на XSLT.

Читать дальше ->

https://habrahabr.ru/post/339480/

Данная статья является вольным переводом статьи Optimizing C++/Code optimization/Faster operations. Оригинал найти можно по ссылке. Первая часть лежит здесь.

Читать дальше ->

https://habrahabr.ru/post/339492/

От переводчика: эта статья написана Дэвидом Кушнером в 2002 году, годом позже он издал известную книгу «Masters of Doom». Статья показалась мне интересной, потому что в ней есть подробности реализации технологий id, почему-то отсутствующие в книге.

За кулисами экшена и агрессии игр id скрыта революция в технологии настольных компьютеров

В течение последних 12 лет эволюция реализма графики Id Software поднимает планку для всей отрасли видеоигр. Среди игр-новаторов находятся [снизу вверх, справа налево] Commander Keen (1990) [прим. пер.: на самом деле на скриншоте Dangerous Dave in the Haunted Mansion], Hovertank (1991), Wolfenstein 3D (1992), Doom (1993), Quake (1996) [прим. пер.: на самом деле Quake II] и Return to Castle Wolfenstein (2001).

После полуночи начинается схватка. Солдаты преследуют нацистов по коридорам замка. Огнемёт изрыгает чудовищный язык пламени. Это Return to Castle Wolfenstein, компьютерная игра, ставшая не только спинномозговым приключением, но и чудом науки. Она же — последний продукт Id Software (Мескит, штат Техас). Благодаря своим технологически инновационным играм id оказала огромное влияние на мир компьютерных вычислений: от привычных в современных PC высокоскоростных полноцветных графических карт высокого разрешения до появления армии программистов и игроков в онлайновые игры, внёсших вклад в поп-культуру.
Читать дальше ->

https://habrahabr.ru/post/339220/

Официальные сообщества в социальных сетях являются эффективным инструментом продвижения почти в любой сфере. Они нужны, чтобы общаться с пользователями, понимать их настроение, получать обратную связь, а также формировать у аудитории лояльность к продукту и чувство сопричастности. В гейминдустрии правильная подача контента и повышение активности подписчиков стимулируют интерес к игре. В этой статье мы расскажем об одном из наиболее действенных способов вовлечения на примере официальных сообществ Vikings: War of Clans. Читать дальше ->

https://habrahabr.ru/post/339488/

Многие наверно видели статью Из хирурга в разработчики: как в 40 лет сменить профессию?. Я, признаться, был поражен реакцией читателей:

Супер статья! Мотивирует.

в 40 лет войти в профессию и за 3 года стать тимлидом — это реально круто

и т.д.

Я искренне считаю, что статья весьма вредная и полностью заказная, а Хабр просто как IT-ресурс медленно плывёт на дно, умышленно, или нет, утягивая за собой и наше с вами будущее.

Читать дальше →

https://habrahabr.ru/post/339486/

Рут – это мифическое существо в экосистеме Linux. Он может всё: зайти в любой каталог, удалить любой файл, завершить любой процесс, открыть любой порт. В общем это суперчеловек, чрезвычайно могущественный и очень полезный. Но задумывались ли вы когда-нибудь, какую цену мы платим руту? Не думали же вы, что он работает за просто так.

Вы знаете команду df? Она показывает все подключенные сейчас диски и статистику по ним: сколько место занято, сколько свободно. Например:

$ df -m
Filesystem     1M-blocks   Used Available Use% Mounted on
udev                 224      1       224   1% /dev
tmpfs                 48      1        47   2% /run
/dev/dm-0           9204   7421      1294  86% /

Вы когда-нибудь замечали, что для локальных дисков сумма Used и Available чаще всего меньше общего размера диска? Ненамного, но меньше.

Читать дальше ->

https://habrahabr.ru/post/339470/

Статья является продолжением серии о системах координат на точечном базисе. Базис представляет собой вершины симплекса или графа с известными значениями двух взаимных метрических тензоров — дистанционного (ДМТ) и лапласовского (ЛМТ). В первой статье описаны свойства данных тензоров. Здесь покажем, что представляют собой координаты точек.

Дистанционные координаты

Для лапласовского метрического тензора (ЛМТ) координатами, описывающими точку в пространстве, являются дистанционные координаты. Данные координаты представляют собой объединение скалярной единицы и значений отрицательных полудистанций от точки до реперов — вершин базисного симплекса или графа. Для краткости будем именовать их ди-координатами.
Читать дальше ->

https://habrahabr.ru/post/338290/

В прошлом посте мы начали разговор о подготовке данных для обучения сверточной сети. Сейчас же настало время использовать полученные данные и попробовать построить на них нейросетевой классификатор дорожных знаков. Именно этим мы и займемся в этой статье, добавив дополнительно к сети-классификатору любопытный модуль — STN. Датасет мы используем тот же, что и раньше.

Spatial Transformer Network (STN) — один из примеров дифференцируемых LEGO-модулей, на основе которых можно строить и улучшать свою нейросеть. STN, применяя обучаемое аффинное преобразование с последующей интерполяцией, лишает изображения пространственной инвариантности. Грубо говоря, задача STN состоит в том, чтобы так повернуть или уменьшить-увеличить исходное изображение, чтобы основная сеть-классификатор смогла проще определить нужный объект. Блок STN может быть помещен в сверточную нейронную сеть (CNN), работая в ней по большей части самостоятельно, обучаясь на градиентах, приходящих от основной сети.

Весь исходный код проекта доступен на GitHub по ссылке. Оригинал этой статьи можно посмотреть на Medium: medium.com/towards-data-science/convnets-series-spatial-transformer-networks-cff47565ae81

Чтобы иметь базовое представление о работе STN, взгляните на 2 примера ниже:
_{Слева: исходное изображение. Справа: то же изображение, преобразованное STN. Spatial transformers распознают наиболее важную часть изображения и затем масштабируют или вращают его, чтобы сфокусироваться на этой части.}
Читать дальше ->

https://habrahabr.ru/post/339484/

Написание торговых роботов, как правило, достаточно трудоемкая задача — помимо понимания принципов торговли (равно как и представления о том, как та или иная стратегия выглядит), необходимо знать и уметь работать с протоколами, используемыми для торговли. Вкратце — существуют две основные группы протоколов, которые предоставляются биржей или брокерами: FIX, в котором без бутылки не разобраться, и проприетарный бинарный протокол, который редко бывает лучше. Это приводит к одной из двух проблем: либо код выглядит так, будто его писали под кайфом пара гопников, либо хороший, красивый код, который умеет делать примерно ничего (а то, что умеет, делает с разными неожиданными проблемами).

Для того чтобы решить обозначенные выше проблемы и привлечь как можно больше участников, брокеры иногда представляют обычное HTTP API с сериализацией в json/xml/что-то более экзотическое. В частности, подобный метод общения с биржей является едва ли не единственным для ряда модных стартапов, например, биткоин-бирж. Мы решили не отставать от них и недавно представили дополнение к нашему API (подробнее про его старые возможности можно почитать на Хабре здесь и здесь), которое позволяет пользователю также и торговать.

Под катом не совсем пятничная статья-туториал про то, как можно было бы торговать через наше HTTP API.

Читать дальше ->

https://habrahabr.ru/post/339446/

Автор: Елена Федорова, руководитель департамента Human resource marketing, DataArt, Воронеж

5–6 сентября в Кракове прошла большая конференция GDD — глобальный ивент, аналог ежегодной конференции Google I/O в Сан-Франциско, где анонсируются последние новинки технологий компании Google.

В этом году на GDD собралось более двух тысяч разработчиков и других IT-специалистов из разных стран мира. В течении двух полных дней участники вместе слушали доклады, общались на тематических секциях, митапах по разработке и в комьюнити-зонах.


Аззурра Рагоне — Community Specialist, Google — рассказала про развитие сообществ.

Помимо основной конференции, по всему миру прошли более шестидесяти локальных событий — GDD Extended events, организованных Google Developer группами: прямые видеотрансляции, хакатоны, мастер-классы и т. д.

Смотреть все видео ключевых докладов можно здесь.

Мы попросили знакомых разработчиков и лидеров разных коммьюнити поделиться впечатлениями о конференции. Читать дальше ->

https://habrahabr.ru/post/339478/

Примечание переводчика: Автор статьи — эксперт по социотехнической безопасности (Sociotechnical Security Researcher) в Национальном центре кибербезопасности Великобритании (NCSC), подразделении Центра правительственной связи (GCHQ), который отвечает за ведение радиоэлектронной разведки и обеспечение защиты информации органов правительства и армии.



В твиттере нам часто присылают примеры сайтов, которые блокируют вставку пароля из буфера обмена. Почему сайты так поступают? Разгорелась дискуссия — и большинство спорщиков обращает внимание на то, что это сильно раздражает.

Так зачем организации это делают? Часто они не дают никаких объяснений, но если всё-таки дают, то говорят о «безопасности». NCSC не думает, что эти опасения обоснованы. Мы считаем, что блокировка вставки паролей (БВП) — это плохая практика, которая ухудшает безопасность. Мы считаем, что пользователям следует разрешить вставлять пароли.
Читать дальше ->

https://habrahabr.ru/post/339476/

Моя история не для всех. В том смысле, что тема не хайповая. Но тем, кто в теме, надеюсь, будет интересно. Она (история) основана на реальном опыте последних лет. Я расскажу об одном из вариантов — с моей точки зрения, эффективном, — управления сложным архитектурным ландшафтом.

Что я подразумеваю под «сложным»: это несколько сотен бизнес-приложений с довольно внушительной дисперсией атрибутов — технологии, разнородность функциональности, связанность с другим приложениями, критичность, возраст, размер и так далее. Добавьте сюда динамику, поскольку ландшафт неустанно меняют несколько десятков внутренних и внешних команд. Иными словами — самый отпетый, или, на устойчивом жаргоне, «кровавый» энтерпрайз.
Читать дальше ->

https://habrahabr.ru/post/339402/