Добрый день, я занимаюсь разработкой сервиса по прогнозированию спроса на базе Microsoft Azure, Spark Apache в IT компании. В цикле статей я расскажу про реальные бизнес кейсы из российских реалий, с которыми сталкивается IT компания. В основном статьи будут про бизнес: есть клиент, есть его задачи, нужно найти способ как их решать и доказать менеджменту адекватность расчётов, далее уже внедрение.

Данная статья носит информативный характер: я не буду подробно описывать алгоритмы расчета и наши модели, однако, я расскажу логику, на которой базируется вся математическая часть.

Первый бизнес-кейс

Компания хочет понять сколько у неё потерь (очень круто, когда компания сразу знает, что хочет), и как можно их уменьшить.

Цель поставлена. Теперь немного о компании: Федеральная сеть 400 розничных магазинов. Пилотную версию проекта договорились проводить с одной категорией товара – 20 sku, средний срок годности продукта 15 дней.
Читать дальше →

https://habrahabr.ru/post/339552/

На волне разговоров об образовании в нашей стране в сфере IT, я решил тоже рассказать о своей истории и показать, как обстоят дела за Уралом, а точнее в Сибири.

Читать дальше ->

https://habrahabr.ru/post/339550/

Ранее мы уже писали как устроено тестирование КОМПАС-3D и про автоматизацию тестирования интерфейса КОМПАС-3D, сегодня расскажем про тестирование BIM-системы Renga.

Многие компании в процессе разработки программного обеспечения сталкиваются с проблемой появления регрессионных ошибок. И мы, к сожалению, не были исключением. В этой статье я бы хотела рассказать, как данная проблема проявилась у нас и какие пути решения мы нашли. Но сначала стоит пояснить, какую систему мы разрабатываем и как в нашей компании устроен процесс тестирования.

Что такое Renga

Renga Architecture — архитектурно-строительная BIM-система, разработанная Renga Software (совместное предприятие компаний АСКОН и 1С), для создания внешнего облика здания, информационной модели, быстрой компоновки чертежей. Ее пользователями являются архитекторы, проектировщики и конструкторы.



Читать дальше ->

https://habrahabr.ru/post/339352/

Экономист Преслав Райков опубликовал в блоге The Market Mogul о перспективах высокочастотного трейдинга. Мы выбрали самые интересные мысли эксперта.

Высокочастотная торговля (HFT) существует уже давно и в последние годы столкнулась с рядом проблем: физическими границами, растущими затратами на инфраструктуру, конкуренцией, снижением прибыли и усилением регулирования. Из-за всего этого доля HFT в общем объеме торговли торговли неуклонно снижается на западном рынке. Однако, на высокочастотный трейдинг до сих пор приходится более половины всех сделок в США и Европе.



Но после почти 10 лет стремительного развития технологий, десятков случаев обвала рынка и повышения скорости торговли, высокочастотный трейдинг можно рассматривать как естественный итог попыток сделать финансовые рынки более эффективными, приблизить их к теоретической чистоте и дать им возможность немедленно отражать любую новую информацию. Читать дальше ->

https://habrahabr.ru/post/339548/

Часть 1. Расчёт минимального количества ходов для победы с помощью цепей Маркова

После недавнего обновления экран «You win!» игры 2048 начал показывать количество ходов, потребовавшихся для победы, и я задался вопросом: сколько же нужно ходов, чтобы выиграть?

В первой части статьи мы ответим на этот вопрос, смоделировав игру 2048 в виде цепи Маркова и проанализировав её, чтобы показать, что вне зависимости от мастерства игрока для победы в среднем нужно не менее 938,8 ходов. Это даёт нам неплохое мерило отсчёта — если вы можете выигрывать примерно за такое количество ходов, то неплохо играете.

Количество ходов, необходимых для победы, зависит от случайности, потому что игра добавляет тайлы 2 и 4 случайным образом. Анализ также покажет, что распределение минимального количества ходов до победы имеет стандартное отклонение в 8,3 хода, и что его общая форма хорошо аппроксимируется смесью биномиальных распределений.
Читать дальше ->

https://habrahabr.ru/post/339342/

Как, думаю, многим известно, Ruby создавался под влиянием Perl,
поэтому нет ничего удивительного в том, что Ruby может подменить Perl
в его нише "практического извлечения данных и составления отчетов". В
данном небольшом посте речь пойдет об использовании ruby для мелкой
обработки текста в консоли.

Читать дальше ->

https://habrahabr.ru/post/339544/

Проблема

Когда я прихожу на новое место работы, то первым делом я смотрю на то, как организован слой для работы с СУБД. Я не работал с иными фреймворками помимо первого Yii, волею судьбы я попадаю на самописные решения, но везде я вижу практически одно и тоже — просто отвратительная реализация кода доступа к базам данных.

Читать дальше ->

https://habrahabr.ru/post/339540/

Всем привет! Меня зовут Леша. Я работаю в подразделении Альфа-Банка, занимающемся развитием электронных каналов. Интернет- и мобильный банкинг – это все про нас.

Часто, говоря про Scrum, мы подразумеваем одну команду, работающую над одним продуктом и состоящую не более чем из девяти человек. Но иногда продукт бывает настолько сложным, что для его реализации к назначенному сроку девяти человек бывает мало. Что же делать?

Сегодня я хочу рассказать о нашем опыте масштабирования Scrum, когда над одним продуктом работало сразу несколько команд. Как мы до этого дошли и что из этого вышло? Всех заинтересованных прошу под кат.

Читать дальше ->

https://habrahabr.ru/post/339510/

В этой статье в качестве примера у нас будет программа чуть посложнее, а именно — торговый автомат, реализация которого часто встречается в качестве тестового задания до собеседования. Будут рассмотрены взаимодействие нескольких View с одним VM и наоборот, будет показан подход «View first» и будет показан не итоговый код, с рассказом какая часть для чего нужна (ссылка для скачивания кстати Vending Machine (программный код)), а будет продемонстрирован весь процесс создания и, самое главное, последовательный ход мысли.

Но перед этим я постараюсь еще раз ответить на вопрос, который обычно не задают люди, имеющие опыт отладки неструктурированных проектов, а именно: «Так зачем все-таки нужен паттерн MVVM?»

Если формально и коротко, то паттерн MVVM используется в первую очередь для разделения ответственности, для повышения читабельности, управляемости, поддерживаемости и тестируемости кода. Программный продукт состоит из модели (доменной модели и бизнес-логики) и инфраструктурного кода в соотношении, допустим, 20% на 80%. Инфраструктурный код должен быть простым, понятным, чуть ли не автоматным — как Scaffolding. А вот модель…
Читать дальше ->

https://habrahabr.ru/post/339538/

Привет, Хабр! Представляю вашему вниманию перевод статьи I’ve seen the future, it’s full of HTML..

Web-компоненты — больше чем просто стандарты.

Тенденции разработчиков обусловлены инновациями в дистрибуции. Языки, платформы, фреймворки предлагают новый, надеюсь, улучшенный способ собрать ваше творение и поделиться ним с другими.

В open-source ключевым фактором является дистрибуция. Популярность Node.js, размер его экосистемы обусловлены в большей части из-за маленького набора шаблонов совместимости и потрясающего пакетного менеджера.

Web-разработка была полностью изменена такими инструментами, как Babel и Webpack, которые открыли путь новому поколению фреймворков таких, как React. Эти проекты используют Node.js, давая ему ключевые преимущества и скорость разработки.

Читать дальше ->

https://habrahabr.ru/post/339466/

«Три, три миллиарда учетных записей Yahoo! — все, что нажито непосильным трудом, все погибло», — сообщила (ну, не дословно, конечно) компания Verizon, которая после покупки ИТ-гиганта произвела ревизию в его сильно запущенном хозяйстве. Впрочем, дело о взломе Yahoo тянется еще с прошлого года и стартовало с каких-то 200 миллионов пользовательских учеток, выставленных на продажу в дарквебе в августе 2016-го. Месяцем позже Боб Лорд, CISO компании, слегка скорректировал эту цифру, уведомив общественность о краже уже 500 миллионов аккаунтов. А к декабрю, как следует собравшись, решительно заявил, что на самом деле речь идёт о миллиарде. Наконец, за аудит берется Verizon и сообщает, что «все уже украдено до нас» — все 3 миллиарда аккаунтов, чуть ли не полмира пострадало, да что же это делается, граждане?!

Как теперь выясняется, паслись в закромах Yahoo минимум дважды: первый раз в августе 2013-го, второй — годом позже. Однако только в 2016 году Yahoo уведомила о самих фактах взлома. Кто причастен к этой утечке — одна группа или несколько — также пока не сообщается, но, как водится, неких «госхакеров» уже обвинили. Согласно отчету Yahoo, атакеры смогли взять под контроль процесс, генерящий аутентификационные кукисы, и в результате использовали его для доступа в систему без аутентификации.

Yahoo утверждает, что в украденных данных нет незашифрованных паролей и платежных данных. Хакерам достались лишь имена, адреса электронной почты, телефонные номера, даты рождения, хеши паролей и ответы на секретные вопросы. Лишь. Сущие пустяки.
Читать дальше ->

https://habrahabr.ru/post/339536/

Уважаемые коллеги!
Компания Neurodata Lab рада объявить о проведении в октябре-ноябре 2017 года собственного конкурса по машинному обучению на базе мультимодальных данных эмоциональной природы.
Конкурсная площадка: www.datacombats.com

Читать дальше ->

https://habrahabr.ru/post/339532/

Заключительная часть истории создания игры «Swordbreaker The Game», в этой части — про раскрутку после релиза, и результаты к которым мы пришли.



Читать дальше ->

https://habrahabr.ru/post/339534/

Кому нужны флексы, если на них не делают сайты?

Делают, 12% сайтов уже используют флексы. А нужны они всем нам, чтобы было удобнее верстать.

Давайте разберёмся.

https://habrahabr.ru/post/338824/

У Scala репутация языка, с которым сложности подстерегают с разных сторон: порог входа выше, чем у Java, а разработчиков куда меньше (так что может быть сложнее собрать команду). В итоге российские компании нечасто решаются его использовать. Но в Tinkoff.ru активно используют далеко не первый год — и мы решили расспросить компанию, как на практике живётся с Scala. Поскольку сложности могут быть и техническими, и кадровыми, вопросы задали двум разным сотрудникам: руководителю отдела разработки программных интерфейсов Роману Докучаеву и руководителю HR-проектов Ольге Шпунтенко.

Читать дальше ->

https://habrahabr.ru/post/339524/

Помните, как рынок погрузился в «состояние шока», когда в 2016 году оптовиков и розничных продавцов обязали подключиться к ЕГАИС? Первые справились с заданием на отлично, а вот с магазинами все оказалось сложнее. Сейчас ситуация хоть и изменилась, но некоторые торговые точки по-прежнему не подключились к «Единой системе», рискуя отдать до 150–200 тыс. руб. кровно заработанных на уплату штрафа.

Загвоздка у многих не в желании обойти закон или сэкономить. Некоторых продавцов и руководителей отпугивает необходимость осваивать что-то новое, в корне менять распорядок действий при приемке, инвентаризации, продаже, списании алкогольной продукции. Некоторые торговцы вообще не представляют, как автоматизировать этот процесс, особенно если знакомы с профильным ПО только понаслышке. На практике сделать это несложно, тем более уже есть адаптированные программные инструменты. Мы расскажем о самом востребованном из них.

Читать дальше ->

https://habrahabr.ru/post/339518/

Фабрика виджетов — способ организации клиентского кода, который отлично вписывается в архитектуру multi-page application (MPA).

В статье будет рассмотрено архитектурное решение, которое позволит оптимизировать загрузку скриптов, разделить код на виджеты и упростит передачу данных на клиент со страницы (при серверном рендеринге).

Виджетами будут называться компоненты (или контейнеры компонентов), точкой инициализации которых будет DOM. И в которые можно будет передать данные из шаблона.

А сейчас обо всем последовательно.
Читать дальше →

https://habrahabr.ru/post/339522/

Прим. перев.: Эта статья, написанная сетевым инженером из Швеции, рассказывает о некоторых нюансах работы с шаблонами в Ansible, а главное — учит одному простому и очевидному правилу, помогающему не «выстрелить себе в ногу»… причём не только в ногу и даже не только свою, когда речь идёт об автоматизированном управлении большим множеством устройств/серверов. Описанный в ней пример будет полезен каждому системному администратору и DevOps-инженеру. (Выделения в тексте не являются авторскими — они сделаны при переводе для акцентирования внимания на нескольких моментах.)



Я не только пользуюсь Ansible, но и пишу о нём, и пытаюсь помочь другим понять, как он работает. Недавно отвечал на вопросы пользователей Ansible. Один из них не понимал, почему модуль ios_config некорректно применял его шаблон. Объяснив, что не так с этим шаблоном, и размышляя об этой проблеме дальше, я осознал, что подобная ошибка может быть по-настоящему опасной. Опасной настолько, что может привести вашу инфраструктуру к нерабочему состоянию. Читать дальше ->

https://habrahabr.ru/post/339482/

Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего DataLake. Речь пойдет об Apache Airflow (далее Airflow). Он несправедливо обделен вниманием на Хабре, и в основной части я попытаюсь убедить вас в том, что как минимум на Airflow стоит смотреть при выборе планировщика для ваших ETL/ELT-процессов.

Ранее я писал серию статей на тему DWH, когда работал в Тинькофф Банке. Теперь я стал частью команды Mail.Ru Group и занимаюсь развитием платформы для анализа данных на игровом направлении. Собственно, по мере появления новостей и интересных решений мы с командой будем рассказывать тут о нашей платформе для аналитики данных.

Читать дальше ->

https://habrahabr.ru/post/339392/

Привет Хабр!

Хочу поделится собственной реализацией алгоритма поиска дорожных знаков.

Почему контурный анализ?

Контурный анализ имеет довольно слабую устойчивость к помехам, но простота и быстродействие позволили вполне успешно применить данный подход.

Однако, на практике оказалось довольно непросто реализовать поиск нужных коэффициентов на платформе Android. Конкретная реализация UI и логики проекта доступна по ссылке внизу.
Читать дальше ->

https://habrahabr.ru/post/339506/