unCAPTCHA – автоматизированная система, разработанная экспертами Мэрилендского университета, способная обойти reCAPTCHA от Google с точностью до 85 %. Им это удалось благодаря распознаванию аудио-версии подсказки для людей с ограниченными возможностями.
Читать дальше ->

https://habrahabr.ru/post/341322/

Вниманию читателей предлагается краткий обзор разрабатываемого проекта рекомендаций по стандартизации, определяющего использование российских криптографических алгоритмов в протоколе TLS 1.2 (далее просто проект рекомендаций).

Читать дальше ->

https://habrahabr.ru/post/339978/

https://habrahabr.ru/post/341458/

https://habrahabr.ru/post/341304/

У нас в Skyeng работают весьма талантливые люди. Вот, например, бэкенд-разработчик Words Сергей Жук написал книгу про событийно-ориентированный PHP на ReactPHP, основанную на публикациях его блога. Книга англоязычная, мы решили перевести одну самодостаточную главу в надежде, что кому-то она сможет пригодиться. Ну и дать скидочную ссылку на всю работу.
Читать дальше ->

https://habrahabr.ru/post/341306/

Несколько месяцев назад я наткнулся на интеллектуальную ЭЭГ-гарнитуру с поддержкой Bluetooth и тут же увидел её потенциал в некоторых крайне интересных областях. А именно, эта гарнитура и Web Bluetooth вполне могли позволить напрямую связать мой мозг с веб-страницами.



ЭЭГ, или электроэнцефалография — это способ мониторинга электрической активности мозга. Обычно при ЭЭГ-исследовании на поверхности головы размещают несколько электродов, которые затем регистрируют электрические явления, сопутствующие работе мозга. Результаты регистрации записывают в виде электроэнцефалограмм. Мне идея поэкспериментировать с этими данными показалась очень интересной. Обычно ЭЭГ применяют в медицинских целях, но в последнее время стали появляться проекты, предусматривающие новые способы использования данных об электрической активности мозга.

Один из таких проектов — Muse. Его создатели продают, примерно за $250, систему, которая обучает медитации. В её состав входит отлично сделанная ЭЭГ-гарнитура, которая поддерживает Bluetooth. Хотя Muse должна обучать тому, как успокаивать разум, мой разум успокоился только после того, как я понял, как мне работать с данными от гарнитуры в веб-браузере.
Читать дальше ->

https://habrahabr.ru/post/341426/

Я часто хожу в библиотеки, и во время своего последнего посещения вдруг задумался: как они могли бы выглядеть спустя 10 лет? Отмотав время на 20 лет назад, когда впервые пришел в библиотеку, я поразмыслил о том опыте и решил на его основе представить, какими станут библиотеки через 10 лет, в 2027 году. Читать дальше ->

https://habrahabr.ru/post/341452/

14 октября в Киеве прошла конференция Highload fwdays, посвященная высоконагруженным проектам, работе с базами данных и архитектурой, в частности, микросервисами, машинному обучению и Big Data. DataArt был спонсором конференции. А наши коллеги Игорь Мастерной (лидер Java-сообщества DataArt Киев) и Анна Колот (.NET, SharePoint Developer) рассказали о докладах, на которых они побывали.

Детально с программой конференции можете ознакомиться тут.

Начнем обзор с доклада Дмитрия Охонько из Facebook про Log Device. “Yet another log storage”, — подумаете вы. Вы бы были правы, но этот Log Storage на общем фоне выделяется своими создателями. Заявленная пропускная способность у Facebook — 1TB/s. И узнать, как они справляются с обработкой такого объема данных, было интересно. Читать дальше ->

https://habrahabr.ru/post/341448/

Привет, Хабр!
Как директор по аналитике Retail Rocket, я периодически посещаю различные профильные мероприятия, и в сентябре 2016 года мне посчастливилось побывать на конференции RecSys, посвященной рекомендательным системам, в Бостоне. Было очень много интересных докладов, но мы решили сделать перевод одного из них Lessons Learned from Building Real­-Life Recommender Systems. Он очень интересен с позиции того, как Machine Learning применять в production системах. Про сам ML написано множество статей: алгоритмы, практика применения, конкурсы Kaggle. Но вывод алгоритмов в production это отдельная и большая работа. Скажу по секрету, разработка алгоритма занимает всего 10%-20% времени, а вывод его в бой все 80-90%. Здесь появляется множество ограничений: какие данные где обрабатывать (в онлайне или оффлайне), время обучения модели, время применения модели на серверах в онлайне и т.д. Критически важным аспектом также является выбор оффлайн/онлайн метрик и их корреляция На этой же конференции мы делали похожий доклад Hypothesis Testing: How to Eliminate Ideas as Soon as Possible, но выбрали вышеупомянутый учебный доклад от Quora, т.к. он менее специфичный и его можно применять за пределами рекомендательных систем.
Читать дальше ->

https://habrahabr.ru/post/341346/

Чем сложнее становится оборудование, тем больше появляется возможностей для его поломок. Торговые весы — не исключение. Рассказываем на собственном опыте, как их приводят в негодность тараканы, ненадлежащий уход и неаккуратное обращение. Читать дальше ->

https://habrahabr.ru/post/341442/

Четвертый квартал года — самое время подводить итоги и составлять планы на будущее. Год назад, в 2017-м, мы публиковали прогнозы на тему того, какие технологии будут развиваться в течение года. Многие предположения оправдались, и прошедшие месяцы действительно запомнились как время под знаком безопасности и виртуализации.

Сегодня мы вновь собрали список технологий, которые, по мнению экспертов отрасли, станут определяющими для индустрии в следующем году.

Читать дальше ->

https://habrahabr.ru/post/341374/

Решение тяжёлых задач машинного обучения на стационарных компьютерах дело неблагодарное и малоприятное. Представьте, что вы на домашнем ноутбуке делаете ансамбль из N нейронных сетей для изучения лесов Амазонки на ноутбуке. Сомнительное удовольствие, тем более, что сейчас есть прекрасный выбор облачных сервисов для этих целей — Amazon Web Services, Google Cloud Platform, Microsoft Azure и прочие. Некоторые даже относительно бесплатны и предоставляют видеокарты.

Мы будем настраивать VM на Google Cloud Platform с нуля. Бонусом — стартовые 300$ на год на один gmail аккаунт. Поехали.

1. Создание и настройка Virtual Machine Instances
2. Настройка сетевых параметров
3. Установка Anaconda и дополнительных пакетов
4. Настройка Jupyter Notebook
5. Настройка File Transfer

Читать дальше →

https://habrahabr.ru/post/341446/

Обслуживая множество инсталляций Kubernetes в проектах разного масштаба, мы столкнулись с проблемой сбора и просмотра логов со всех контейнеров кластера. Изучив имеющиеся решения, пришли к необходимости создания нового — разумного в потреблении ресурсов и дискового пространства, а также предлагающего удобный интерфейс для просмотра логов в реальном времени с возможностью их фильтрации по нужным критериям.

Так родился проект loghouse, и я рад представить его альфа-версию DevOps-инженерам и системным администраторам, которым знакомы обозначенные проблемы. Читать дальше ->

https://habrahabr.ru/post/341386/

Расширения – это отличный инструмент для добавления новых возможностей в браузер. А еще с их помощью тайно встраивают рекламу, воруют данные, рассылают спам и даже майнят криптовалюты. Сегодня мы поделимся с вами нашим опытом борьбы с подобными расширениями, вы узнаете об основных каналах распространения сомнительных разработок и о способах маскировки вредоносной сущности от модераторов и сканеров. К примеру, мотивирующий Шайа Лабаф на картинке ниже приведен не просто так – это образец нового способа, который хорошо известен по системным вирусам, но в расширениях стал применяться лишь несколько месяцев назад.



Яндекс.Браузер изначально поддерживал установку расширений для Chromium, но в первое время индустрия заработка на дополнениях еще только зарождалась, поэтому особых проблем не было. Вредоносные образцы, конечно же, встречались: мы либо сами находили их вручную, либо узнавали о них из обращений в поддержку. Уникальные идентификаторы (ID) таких разработок вносились в черный список на сервере, к которому через API обращался Яндекс.Браузер и блокировал установку потенциально опасных расширений. Причем сами расширения очень редко маскировались: все их возможности почти всегда были явно описаны на HTML и JS без попыток что-либо скрыть. Но потом все изменилось.

Читать дальше ->

https://habrahabr.ru/post/341382/

Через два года финансовые потери россиян от действий хакеров увеличатся в четыре раза, заявил зампредседателя правления Сбербанка Станислав Кузнецов. Количество киберпреступлений растёт на 3-4% ежемесячно. При этом мошенников интересуют и другие учреждения, связанные с финансами — от казино до биржевых брокеров. Читать дальше ->

https://habrahabr.ru/post/341444/

Круг замкнулся. Ровно год назад мы провели открытую трансляцию Joker 2016 для всех тех, у кого не было возможности зарегистрироваться. С тех пор мы провели более десятка трансляций с конференций по .NET, JavaScript, DevOps, мобильным технологиям, тестированию и Java, само собой.

Что стало лучше за год? Мы отработали технологию, пофиксили пару уязвимостей, начали транслировать через YouTube (а не через кастомный интерфейс), научились задавать вопросы от участников трансляции, забанили добрую сотню троллей, научились проводить интервью в перерывах без задержек и проволочек, начали делать трансляцию в 1440р… наверное, есть что-то еще.

Собственно, уже совсем скоро вы сможете увидеть, что у нас получилось — 3 ноября в 9:30 утра мы начнем двухдневную бесплатную трансляцию главного трека Joker 2017. Трансляция будет идти с одним перерывом «на сон». А еще она будет в разрешении 1440р, так что в кои-то веки вам понадобятся ваши крутые мониторы.

В программу вошли доклады Cay Horstmann, Алексея Шипилёва, Баруха jbaruch Садогурского, Тагира lany Валеева, Николая xpinjection Алименкова, Евгения EvgenyBorisov Борисова, Сергея Milfgard Абдульманова и еще кое-кого.

Интересно? Давайте под кат.
Читать дальше ->

https://habrahabr.ru/post/341330/

На прошлой неделе в московской гостинице Украина состоялось самое масштабное мероприятие посвященное Splunk в России, и хотя всего месяц назад в Вашингтоне проходил Splunk .conf, московская конференция испытала большой ажиотаж со стороны участников. Наиболее интересной частью мероприятия стала сессия с выступлениями уже существующих заказчиков со своими историями успеха. Это такие компании как: Мегафон, Yota, Банк ДельтаКредит, служба доставки SPSR, телеканал Russia Today. В этот момент зал был полон и некоторые участники слушали доклады стоя, в целом конференцию посетило порядка трехсот человек.
Читать дальше ->

https://habrahabr.ru/post/341256/

Харольд наконец получил подарок, который он так долго ждал.

Мужик с телегой прощается, в сани забирается. До того волшебного момента, когда в воздухе запахнет елью и мандаринами, в бокалах шампанского зашипят пузырьки, а темноту ночи нарушит залп фейерверков, еще два долгих холодных месяца. Самые предусмотрительные уже начали думать над тем, что подарить своим родным и близким, друзьям и коллегам. А на Хабрахабре тем временем стартует, ставшая уже традиционной с 2012 года, новогодняя церемония обмена подарками — Анонимный Дед Мороз 2017-2018. Если вы любите получать подарки, а самое главное — вы любите их дарить, тогда я удивлён, почему вы еще до сих пор здесь! Отправиться за новогодним чудом!

https://habrahabr.ru/post/341430/

Мы уже познакомились с механизмом индексирования PostgreSQL и с интерфейсом методов доступа, и рассмотрели хеш-индексы, B-деревья, индексы GiST и SP-GiST. А в этой части займемся индексом GIN.

GIN

— Джин?.. Джин — это, кажется, такой американский спиртной напиток?..
— Не напиток я, о пытливый отрок! — снова вспылил старичок, снова спохватился и снова взял себя в руки. — Не напиток я, а могущественный и неустрашимый дух, и нет в мире такого волшебства, которое было бы мне не по силам.

Лазарь Лагин, «Старик Хоттабыч».

Gin stands for Generalized Inverted Index and should be considered as a genie, not a drink.

README

Общая идея

GIN расшифровывается как Generalized Inverted Index — это так называемый обратный индекс. Он работает с типами данных, значения которых не являются атомарными, а состоят из элементов. При этом индексируются не сами значения, а отдельные элементы; каждый элемент ссылается на те значения, в которых он встречается.

Хорошая аналогия для этого метода — алфавитный указатель в конце книги, где для каждого термина приведен список страниц, где этот термин упоминается. Как и указатель в книге, индексный метод должен обеспечивать быстрый поиск проиндексированных элементов. Для этого они хранятся в виде уже знакомого нам B-дерева (для него используется другая, более простая, реализация, но это не существенно). К каждому элементу привязан упорядоченный набор ссылок на строки таблицы, содержащие значения с этим элементом. Для выборки данных упорядоченность не принципиальна (порядок сортировки TID-ов не несет в себе особого смысла), но она важна с точки зрения внутреннего устройства индекса.

Читать дальше ->

https://habrahabr.ru/post/340978/

Как я писал в своей статье об ICO, технологии блокчейна, криптовалюты и распродажи токенов сейчас на пике популярности. Я работаю в венчурной отрасли уже более пяти лет и до сих пор не сталкивался с технологиями, которые бы с такой головокружительной скоростью развивались, порождая новые компании и проекты. Не так давно фаундеры и венчурные инвесторы имели дело преимущественно с централизованными биржами, частными блокчейн-решениями, кошельками и некоторыми другими стартап-идеями, которые доминировали на рынке в период с 2012 по 2016 год.

Однако, как я уже говорил несколько месяцев назад, растущая популярность Ethereum с его полным по Тьюрингу сценарным языком и возможностью для разработчиков прописывать состояние в каждом блоке, создала условия для разработки умных контрактов. Это привело к тому, что все больше команд берется за децентрализованные проекты в погоне за главным преимуществом, которое дает блокчейн — возможностью выработать единую истину, с которой все согласны, без помощи посредников или центральной власти.

Сейчас на рынке появляется много интересных наработок, которые совершенствуют как функционал существующих блокчейн-решений, так и пользовательский опыт. Но учитывая, с какой частотой выходят новые новые проекты, мне становится все сложнее отслеживать каждый из них и разбираться, какое место он занимает в экосистеме. Кроме того, риск не увидеть за деревьями леса повышается, если у нас нет исчерпывающего представления о том, как выглядит этот самый лес. Такие рассуждения подтолкнули меня составить список всех децентрализованных блокчейн-проектов, которые я отслеживаю, включая также и те, информацию о которых я сумел найти сам или по наводке от друзей, хорошо знакомых с экосистемой. Данная карта экосистемы представляет итог этой работы.
Читать дальше ->

https://habrahabr.ru/post/341436/