Между идеальным алгоритмом машинного обучения в вакууме и его применением на реальных данных часто лежит пропасть. Вроде бы берешь статью: алгоритм есть, сходимость для данных такого-то типа есть — бери и применяй. Но почему-то оказывается, что твоих данных недостаточно для обучения, да и отличаются они от модельных из статьи, потому что настоящие, не синтетические.

Обычное дело в обосновании алгоритма ввести допущения о чистоте данных и их распределении, которых в реальной жизни не найдёшь. Например, автор статьи экспериментирует на фотографиях взрослых знаменитостей, и все у него замечательно распознается и классифицируется, а в нашем реальном примере попадаются еще и дети, и мультяшные персонажи, и на них всё внезапно ломается. Но есть люди, которые умеют с этим справляться, да так, что пропасть между теорией и практикой перестает казаться неприступной, и, стоит показать как, сразу находятся и другие желающие ее преодолеть.

Мы уже видели такие кейсы на HighLoad++, но там это были отдельные доклады, к тому же приближенные к задачам обеспечения работы при высоких нагрузках. Поэтому теперь мы хотим собрать отдельную конференцию для тех, кто решает практические задачи с помощью методов машинного обучения. И подходим к её планированию очень просто — мы хотим сделать такую конференцию по машинному обучению и анализу данных, которая бы нам сами понравилась.

Согласен, звучит наивно, но разве «как для себя» — не лучшая мотивация? К тому же опыт в организации конференций у нас большой и, кажется, мы неплохо представляем, как должно быть хорошо. У вас, конечно, может быть свое мнение, поэтому под катом расскажу, что и как именно мы планируем обсуждать на UseData Conf 16 сентября.


Читать дальше ->

https://habr.com/ru/post/455644/?utm_source=habrahabr&utm_medium=rss&utm_campaign=455644

Привет!

Меня зовут Александр, и я руковожу ИТ разработкой в УБРиР!

В 2017 году мы в центре развития сервисов информационных технологий УБРиР поняли, что пришло время глобальных изменений, а точнее — agile-трансформации. В условиях интенсивного развития бизнеса и быстрого роста конкуренции на финансовом рынке два года – внушительный срок. Поэтому пришло время подвести итоги проекта.

Самое сложное – менять свое мышление и постепенно культуру в организации, где принято рассуждать: «а кто будет начальником в этой команде?», «начальник лучше знает, что нам нужно делать», «мы здесь работаем уже 10 лет и знаем лучше наших клиентов, знаем, что им нужно».

Agile-трансформация может произойти только, когда в ней меняются сами люди.
Я бы выделил следующие ключевые страхи, мешающие людям меняться:

• Страх потерять власть и “погоны”;
• Страх стать не нужным для компании.

Встав на путь трансформации, мы выбрали первых «опытных кроликов» — сотрудников retail-направления. Первым делом провели редизайн неэффективно работающей структуры ИТ. Придумав целевой концепт структуры, приступили к формированию команд разработки.


Читать дальше ->

https://habr.com/ru/post/457962/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457962

Введение

Пришла пора покупать СХД. Какую взять, кого слушать? Вендор А рассказывает про вендора B, а еще есть интегратор C, который рассказывает обратное и советует вендора D. В такой ситуации и у опытного архитектора по системам хранения голова пойдет кругом, особенно со всеми новыми вендорами и модными сегодня SDS и гиперконвергенцией.

Итак, как же во всем этом разобраться и не оказаться в дураках? Мы (AntonVirtual Антон Жбанков и korp Евгений Елизаров) попробуем об этом рассказать русским языком по белому.
Статья во многом перекликается, и фактически является расширением “Дизайна виртуализованного ЦОД” в плане выбора систем хранения данных и обзора технологий систем хранения. Мы кратко рассмотрим общую теорию, но рекомендуем ознакомиться и с указанной статьей.

Зачем

Часто можно наблюдать ситуацию как приходит новый человек на форум или в специализированный чатик, как например Storage Discussions и задает вопрос: “вот мне предлагают два варианта СХД — ABC SuperStorage S600 и XYZ HyperOcean 666v4, что посоветуете”?

И начинается мерянье у кого какие особенности реализации страшных и непонятных фишек, которые для неподготовленного человека и вовсе китайская грамота.
Читать дальше ->

https://habr.com/ru/post/457956/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457956

Здравствуй, Хабр! Представляю вашему вниманию перевод заинтересовавшей меня статьи «Why Swift May Be the Next Big Thing in Deep Learning» автора Max Pechyonkin, в которой автор рассуждает о языке на котором будет осуществляться глубокое обучение в ближайшие годы.
Читать дальше →

https://habr.com/ru/post/457954/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457954

Какое лето ждет человека, который работает в ABBYY? Яркое и наполненное новыми впечатлениями. Для этого еще в 2008 году мы придумали «Лето с ABBYY» – серию разнообразных поездок, экскурсий и походов. Каждый из нас может найти себе что-то по душе – от экскурсий на «Красный октябрь» и в Центральный музей ВВС в Монино до турнира по пляжному волейболу или SUP сафари в Серебряном бору. Записаться и участвовать может любой желающий, а еще можно позвать родных, детей и друзей.

Как правило, наше «Лето» начинается еще в конце мая с двухдневного автопробега ABBYY Road. И если вы записались на него, то с большой вероятностью попадете в компанию людей, которые нечасто пересекаются по работе, из разных проектов и подразделений – от разработчиков, product owner’ов и дизайнеров до юристов и маркетологов. И во время путешествия ничего не мешает им познакомиться. А еще самому куда-то собраться бывает лениво. Гораздо удобнее, когда продумать маршрут и организовать поездку помогают более опытные путешественники.

В этом посте мы немного расскажем об истории ABBYY Road и о тонкостях организации автопробега, а затем проведем вас по маршруту этого года по Липецкой области, покажем время, километраж, карты и еще кое-что. Поехали!
Читать дальше ->

https://habr.com/ru/post/457850/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457850

Привет, Хабр! Мы выложили видеозаписи докладов Joker 2018 и, по традиции, сделали подборку из десяти лучших докладов по мнению посетителей конференции.

Все доклады идут от «младшего» к «старшему» по рейтингу, но различия между местами докладов лучшей десятки минимальны и сильно зависят от методики оценки. Незначительно изменив методику, можно сильно поменять места. Поэтому смотрите всё! Что интересно, у докладов Joker 2018 одни из самых высоких средних оценок за всё время.

Под катом видео разбиты с оглавлением по содержимому поста, презентациями и короткими описаниями. Полный плейлист конференции у нас тоже есть.
Читать дальше ->

https://habr.com/ru/post/457920/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457920

Всем привет. Сегодня хотим поделиться еще одним переводом подготовленным в преддверии запуска курса «Разработчик Python». Поехали!



Я использовал Python чаще, чем любой другой язык программирования в последние 4-5 лет. Python – преобладающий язык для билдов под Firefox, тестирования и инструмента CI. Mercurial также в основном написан на Python. Множество своих сторонних проектов я тоже писал на нем.

Во время своей работы я получил немного знаний о производительности Python и о его средствах оптимизации. В этой статье мне хотелось бы поделиться этими знаниями.

Мой опыт с Python в основном связан с интерпретатором CPython, в особенности CPython 2.7. Не все мои наблюдения универсальны для всех дистрибутивов Python или же для тех, которые имеют одинаковые характеристики в сходных версиях Python. Я постараюсь упоминать об этом во время повествования. Помните о том, что эта статья не является детальным обзором производительности Python. Я буду говорить только о том, с чем сталкивался самостоятельно. Читать дальше ->

https://habr.com/ru/post/457942/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457942

Проверка контрагента почему-то многими воспринимается как панацея. Хотя немалое количество представителей малого бизнеса этим даже не заморачивается, и в целом, не особо много испытывает проблем. Потому что часто решение входить или не входить в сделку принимается по неформальным критериям: знакомства, слово пацанское, интуиция и т. п.

Собственно, не вижу в этом ничего плохого. Оно ж работает, а любая проверка требует не только ресурсов, но и часто приводит к недоверию, что выливается в дополнительные требования к другой стороне, суровой правке договоров и прочее. Что иногда означает просто потерянного клиента. Некоторым проще такие «эксцессы» заложить в бизнес-модель и не вникать в бумажки. Потери всё равно будут, будут и неплательщики. Это на то и предпринимательская деятельность, потому как само её определение означает, что это деятельность, осуществляемая на свой риск.

Но иногда всё же проверка бывает полезной. К примеру, когда у вас обезличенный поток не самых мелких клиентов, которые пришли со стороны. Или когда намечается крупный контракт, проблемы с которым могут серьёзно пошатнуть вашу фирму. Для таких случаев и написана данная статья, чтобы и без юриста можно было бы хоть немного снизить риски.


Читать дальше ->

https://habr.com/ru/post/457940/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457940

Привет, Хабр! Ниже следует транскрипция доклада Евгения error2407 Богомазова (сетевой R&D инженер) и Дмитрия h8r Шемонаева (глава NOC) с прошедшего UPTIMEDAY. Видео в конце поста.

Сегодня мы бы хотели рассказать о том, какие проблемы возникают при построении сети anycast. Зачем мы полезли в это и чем там занимаемся.

Читать дальше ->

https://habr.com/ru/post/457446/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457446

Всем привет!

Хочется поделиться довольно необычным опытом и дополнить замечательную статью bvitaliyg о том, как прийти в небо и стать пилотом. Расскажу о том, как я уехал в новозеландскую деревню под Хоббитоном, чтобы сесть за штурвал и научиться летать.
Читать дальше ->

https://habr.com/ru/post/457774/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457774

Ощущения смерти, одиночества, в то же время безумная жажда к жизни… Вы могли бы подумать, что мы решили устроить лекцию по экспрессионизму и погрузить вас в творчество Мунка. Но нет. Все эти этапы ты переживаешь в момент, когда видишь, что твой технический долг скоро столкнёт твою компанию в бездну кризиса.


Читать дальше ->

https://habr.com/ru/post/455264/?utm_source=habrahabr&utm_medium=rss&utm_campaign=455264

Зачем вообще люди шифруют диски своих персональных компьютеров, а иногда — и серверов? Понятное дело, чтобы никто не украл с диска фотографии их любимых домашних котиков! Вот только незадача: зашифрованный диск требует при каждой загрузке ввести с клавиатуры ключевую фразу, а она длинная и скучная. Убрать бы ее, чтобы хотя бы иногда не приходилось ее набирать. Да так, чтобы смысл от шифрования не потерялся.

Ну, совсем убрать ее не получится. Можно вместо нее сделать ключевой файл на флешке, и он тоже будет работать. А без флешки (и без второго компьютера в сети) можно? Если повезло с BIOS, почти можно! Под катом будет руководство, как настроить шифрование диска через LUKS вот с такими свойствами:

1. Ключевая фраза или ключевой файл нигде не хранится в открытом виде (или в виде, эквивалентном открытому) при выключенном компьютере.
2. При первом включении компьютера требуется ввести ключевую фразу.
3. При последующих перезагрузках (до выключения) ключевую фразу вводить не требуется.

Инструкции проверены на CentOS 7.6, Ubuntu 19.04 и openSUSE Leap 15.1 в виртуальных машинах и на реальном железе (десктоп, ноутбук и два сервера). Они должны работать и на других дистрибутивах, в которых есть работоспособная версия Dracut.

И да, по-хорошему, это должно было бы попасть в хаб "ненормальное системное администрирование", но такого хаба нет.

Читать дальше ->

https://habr.com/ru/post/457396/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457396

Каждый год спасатели ищут десятки тысяч пропавших в диких условиях людей. Из городов наша технологическая мощь кажется настолько огромной, что ей по плечу любая задача. Вроде, возьми десяток дронов, повесь на каждый по камере и тепловизору, прикрути нейросетку и все — найдет кого угодно за 15 минут. Но это совсем не так.

До сих пор технологии упираются в массу ограничений, а спасательные отряды прочесывают огромные площади сотнями волонтеров.

В прошлом году благотворительный фонд «Система» запустил проект «Одиссея» чтобы найти новые технологии поиска людей. В нем приняли участие сотни инженеров и конструкторов. Но даже подкованные технически и опытные люди иногда не подозревали, насколько лес непробиваем для технологий.
Читать дальше ->

https://habr.com/ru/post/457758/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457758

Вторая часть с моими ошибками, первая тут. 

Напомню, что я владелец продукта в команде, состоящей исключительно из разработчиков, и мы делаем IT-платформу для управления партнерскими сетями АЗС. 

4. Ошибка четыре. Bus-фактор: то, что сначала казалось многим ошибкой, а по факту оказалось явным «джек-потом» для команды

Читать дальше ->

https://habr.com/ru/post/457764/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457764

Подсчёт посетителей начался, вероятно, с появления первых магазинов. Требовал ответа главный вопрос, возникавший у владельца магазина после старта продаж: сколько из пришедших людей удалось превратить в покупателей? Со временем к этой задаче добавились и другие сложные вопросы, влияющие на показатели конверсии.

Сегодня определить эффективность бизнеса помогают автоматизированные системы, на основе данных которых можно выбрать дату распродаж, узнать лучшее время открытия и закрытия, обнаружить проблемы в работе персонала. Кажется, что достаточно поставить несколько датчиков и смотреть, как благостно растут или трагически падают графики, но жизнь вносит коррективы: в некоторых случаях система генерирует больше проблем, чем денег.
Читать дальше ->

https://habr.com/ru/post/457562/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457562

Возвращаясь к первой статье хочется объяснить откуда появилась необходимость разработки механизма расширения с графическим интерфейсом (GUI) и подробней объяснить механизм создания плагинов.

Было получено задание на разработку технологического программного обеспечения для настройки, регулирования, контроля, сбора и анализа информации САУ(системы автоматизированного управления) двигателя, на российской операционной системе. Где обмен между САУ и технологической программой осуществляется по интерфейсу RS-232 или RS422, по специальному протоколу обмена.

После рассмотрения и анализа возможностей списка российских операционных систем была выбрана операционная система AstraLinux. Это система специального назначения на базе дистрибутива Debian, созданная для комплексной защиты информации и построения защищённых автоматизированных систем. Операционная система Астра Линукс разрабатывается в двух модификациях: Common Edition(бесплатная, общего назначения) и Special Edition(платная, специального назначения с пакетом алгоритмов защиты).
При разработке программного обеспечения была использована библиотека Qt.
Читать дальше ->

https://habr.com/ru/post/457744/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457744

Скоро удобство удаленной работы попадет в список тем, которые лучше не обсуждать с незнакомцами — вместе с политикой и религией. Насчет нее никак не сойдутся во мнениях. Одни менеджеры говорят, что давно пора отменить офисы, и скоро индустрия это сделает. Другие наоборот — индустрия разочаровалась и созывает всех обратно под одну крышу.

В споре есть момент единства: на удаленке нужен особый подход, определенные качества, и справятся с ней не все.

Об этом и не только мы поговорили с компанией Девхаб, которая решает проблемы удаленки поиском баланса между строгими правилами и неформальной обстановкой.
Читать дальше ->

https://habr.com/ru/post/457730/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457730

Возможно, вы что-то уже знаете про open source библиотеку Celesta. Если нет — не беда, сейчас всё расскажем. Прошёл ещё один год, вышла версия 7.x, много чего изменилось, и настала пора изменения подытожить, а заодно и напомнить о том, что такое Celesta вообще.

Читать дальше ->

https://habr.com/ru/post/455746/?utm_source=habrahabr&utm_medium=rss&utm_campaign=455746

Всем привет, сегодня поговорим о том, как подружить Symfony 4, JSON RPC и OpenAPI 3.

Данная статья рассчитана не на новичков, вы уже должны понимать как работать с Symfony, Depedency Injection и другими «страшными» вещами.

Сегодня рассмотрим одну конкретную реализацию JSON RPC.

Читать дальше ->

https://habr.com/ru/post/457750/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457750

Там для меня горит очаг,
Как вечный знак забытых истин,
Мне до него — последний шаг,
И этот шаг длиннее жизни…

Игорь Корнелюк
Читать дальше ->

https://habr.com/ru/post/457732/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457732