Всем привет! Меня зовут Александр, я сетевой инженер в компании DataLine. Сегодня я продолжу тему 10-гигабитного Ethernet-соединения для новичков. В комментариях к прошлой статье справедливо заметили, что мы не раскрыли тему меди. Постараюсь исправить этот пробел.

Сразу оговорюсь, что медь для 10-гигабит используется сильно реже, чем оптика и в исключительных случаях. Такое решение будет стоить дороже и по передаче сигнала ограничено короткими расстояниями.

Но есть случаи, в которых медная топология встречается:
— Вендор подогнал оборудование под медь «за недорого» — не пропадать же добру!
— «Там, где идет строительство или подвешен груз», оптика не всегда выдерживает условия среды. Медный кабель более износостойкий и используется в таких случаях.
— Коммутация серверов. Подключение между серверами требует прочных кабелей — еще бы, их будут частенько переключать. К тому же у серверов чаще всего нет портов под оптику.

Как видите, причины есть. Поэтому чтобы не попасть впросак, когда вам придется соединять оборудование медными кабелями, читайте мой короткий гайд.
Читать дальше ->

https://habr.com/post/358572/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358572

Взлет интереса к машинному обучению во многом связан с тем, что модели способны дать ощутимый прирост прибыли в областях, связанных с предсказанием поведения сложных систем. В частности, той сложной системой, чье поведение предсказывать выгодно, является человек. Обнаружить мошенничество на ранней стадии, выявить склонность клиентов к оттоку – эти задачи возникают регулярно и уже стали классическими в Data Science. Безусловно, их можно решать различными методами, в зависимости от пристрастий конкретного специалиста и от требований бизнеса.

У нас была возможность использовать нейронные сети для решения задачи по предсказанию поведения людей, а специфика области применения была связана с индустрией красоты. Основной аудиторией для “опытов” стали женщины. Мы по сути пришли к вопросу: может ли искусственная нейронная сеть понять настоящую нейронную сеть (человека) в той области, в которой даже сам человек еще не осознал своего поведения. Как мы ответили на этот вопрос и что у нас получилось в итоге, можно узнать далее.

Читать дальше ->

https://habr.com/post/358238/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358238

Привет, Хабр! Меня зовут Алексей Шихов, я руковожу командой разработчиков CarPrice в Кирове. Сейчас Carprice занимает второе место в России по продажам автомобилей на вторичном рынке, и почти все машины, выкупленные в Москве, проходят через один огромный центральный хаб, откуда их забирают покупатели (дилеры) или отправляют в регионы на автовозах. На складе всегда есть как минимум 700 автомобилей, которые не задерживаются там больше чем на пять дней. В этой статье я расскажу, как наша команда из дружных разработчиков и неравнодушной тестировщицы боролась с неизбежным для такого муравейника хаосом и победила его.


Читать дальше ->

https://habr.com/post/358348/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358348

Разница восприятия

Существует забавная разница в восприятии возможности изменения бизнес-системы между «низами» и «верхами».

Например, линейные, или рядовые сотрудники. В моей жизни это были программисты 1С, обычные программисты, системные администраторы, снабженцы, продавцы, различные менеджеры по заказам, логисты, инженеры-конструкторы, технологи, кладовщики, проект-менеджеры (они ближе к рядовым были), финансисты, менеджеры по качеству, бухгалтеры, экономисты (прошу прощения, если кого-то забыл).

С этими ребятами мы, в основном, разговаривали не о судьбах компании, а о их собственной судьбе, их отделах, их повседневной работе. Почти все соглашались, что изменения необходимы. Почти все были готовы участвовать в преобразованиях. Почти все в итоге участвовали.

Но в самом начале возражение было одно: мы – не менеджеры. У нас нет власти, а у менеджера – есть. Только он может все поменять. Только он понимает, что и как надо поменять в процессах, мотивации, целях, управлении и автоматизации. А мы – маленькие (ну и там еще много прилагательных было).

Читать дальше ->

https://habr.com/post/358606/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358606

Зачем простому PHP разработчику может понадобится дебаг исходников? Ну например если он заметил какое то не очевидное поведение и хочет разобраться в нем на максимально “низком” уровне. О таком интересном для меня поведение, а так же процессе “дебага сурсов” я и хотел бы поговорить.

Мотивация

Начнем с места в карьер, вот два похожих куска кода:



Разница между ними в том, что во втором случае мы отсортировали массив $arr, тем самым обновили ключи 0..count($arr)-1. А заинтересовал меня тот момент, что первый скрипт выполняется 6.0 секунд, тогда как второй 4.7 секунды. Получается около 20 процентов разницы.

Если Вы знакомы с внутренним устройством хэш-таблицы php а так же с хэш функцией то Вы или уже знаете ответ или можете без особого труда догадаться. Ну а для остальных я расскажу как настроить среду для дебага и выяснить в чем же дело.
Читать дальше ->

https://habr.com/post/358604/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358604

У нас есть набор систем хранения как традиционных, так и программно определяемых. Они используются в формате блочных хранилищ для хранения виртуальных машин, баз данных и других ресурсов.

На втором этапе мы стали использовать объектное хранение, то есть хранение без иерархии каталогов. Все данные лежат на одном уровне, и каждый файл может быть доступен по своему ключу. Метаданные хранятся рядом с файлом. Для доступа используются простые команды уровня PUT — GET — MODIFY, есть возможность обратиться к каждому файлу по собственному URI, обеспечены лёгкость управления правами и лёгкость размещения самых разных данных и доступа к ним.

Минус данных решений — невозможность обращения к части (сегменту) файла, поэтому для приложений вроде баз данных такие хранилища не используются. Оптимальное применение — сложить туда картинки веб-сайта, файловую помойку, архивы или бэкап данных. На базе объектного хранилища мы построили свой S3 — систему хранения не очень часто изменяемых данных. С прямой совместимостью с Amazon S3.

А ещё классические протоколы доступа, использующиеся внутри компаний для файлового доступа (CIFS или NFS), не предназначены для обмена большими данными через сеть Интернет. Это ещё одна из причин, почему и зачем мы создали своё объектное хранилище.

Стояла задача сделать его не просто работающим отовсюду, но и дешёвым.
Читать дальше ->

https://habr.com/post/358376/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358376

Собеседование — это диалог. Это стресс. Это шанс. Иногда, это тотальное доминирование интервьюера, а иногда равноправный акт коммуникации. Но это всегда диалог, к которому нужно быть готовым, независимо от того, какую сторону стола вы занимаете. Соискателю, претендующему на роль менеджера продукта, следует обратить внимание не только на продуктовую составляющую будущей должности. Какие вопросы ожидать от собеседования PM?


Читать дальше ->

https://habr.com/post/358602/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358602

Через две недели мы организуем OpenHack, который посвящен машинному обучению и искусственному интеллекту. Хотим пригласить вас поработать с данными и когнитивными сервисами, а также послушать экспертов из многих стран. Программу, список экспертов и ссылки, в том числе и на бесплатную регистрацию, вы найдете под катом. Это, конечно, работа, но она точно не даст вам заскучать. Приходите!

Событие: AI/Machine Learning OpenHack
Дата: 4-6 июня 2018
Место: Москва, офис Microsoft

Читать дальше ->

https://habr.com/post/358300/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358300

Пройдя длинный путь системного администрирования Linux-серверов, в качестве базовых инструментов для сбора статистики и мониторинга мы успели попробовать разные варианты реализации. Самописные скрипты (и даже веб-приложения), Cacti, Zabbix — наиболее устоявшиеся у нас в то или иное время опции, на смену которым в последние годы пришли Okmeter и Prometheus. В этой статье мы собрали и объединили: а) впечатления Okmeter по сотрудничеству с нами, б) обратную связь от тимлидов и инженеров компании «Флант» по использованию Okmeter в многочисленных и разнообразных обслуживаемых нами проектов (от малых до крупных, от достаточно тривиальных инсталляций веб-хостинга до кластеров Kubernetes).
Читать дальше ->

https://habr.com/post/354974/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354974

Здесь вы найдете подборку наших статей по Check Point. Публикации разбиты по категориям для более удобной навигации. Добавляйте в закладки, чтобы не потерять. Все новые статьи/курсы мы также будем добавлять сюда. Читать дальше ->

https://habr.com/post/358508/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358508

Сегодня РИТ++ — масштабное российское IT-мероприятие. Но таким он был не всегда. Мы начинали с небольшой тусовки на несколько сотен человек, а к концепции фестиваля пришли только через восемь лет.

В этой статье я расскажу о том, каким был РИТ++ раньше и во что превратился сейчас: что сподвигло перебраться из бара на ивент-площадку, какие шишки были самыми болезненными, чем Москва хуже Петербурга, как мы чуть не разорились и почему сейчас легче пройти отбор в докладчики конференции, чем остаться ими до выступления.


Читать дальше ->

https://habr.com/post/358568/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358568

В этом году кафедре ABBYY на факультете инноваций и высоких технологий (ФИВТ) Московского физико-технического института исполнилось 12 лет. За это время мы подготовили более 240 квалифицированных IT-специалистов, почти сотня из которых работают в компании. Наши разработчики создают уникальные технологии интеллектуальной обработки информации, которыми пользуются более 50 миллионов пользователей свыше чем в 200 странах мира. Сохраняя традицию, в апреле мы провели набор студентов на следующий, 2019 год. Сегодня мы расскажем о том, как ищем талантливых ребят, чему их учим и почему они хотят работать в нашей компании.


Читать дальше ->

https://habr.com/post/354522/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354522

Месяц назад — 13 апреля 2018 года — Таганский суд г. Москвы после 19-минутного рассмотрения дела удовлетворил требования Роскомнадзора о блокировке мессенджера Telegram. Это историческое решение стало триггером для цепи событий, в ходе которых пострадали тысячи компаний и обычных пользователей. В попытках выполнить судебное решение Роскомнадзор блокировал до 20 млн IP-адресов (сейчас в реестре осталось 10,99 млн IP-адресов).

Интересы Telegram представляет юридическая компания «Агора», руководитель которой Павел Чиков в последнее время стал звездой Телеграма — 17 760 подписчиков, больше чем у многих развлекательных каналов.

Вчера и сегодня Павел сообщил две приятные новости. Во-первых, Европейский суд по правам человека зарегистрировал жалобу Telegram на штраф в 800 000 руб. за отказ предоставить ФСБ ключи шифрования. Вдобавок, суд уведомлен о судебном решении, санкционировавшем блокировку Telegram — и предложил подать по этому поводу полную жалобу на отдельном формуляре. По мнению юристов «Агоры», это говорит о том, что ЕСПЧ в принципе готов рассматривать это дело, ведь на стадии регистрации сейчас отклоняется большая часть жалоб в Страсбург.
Читать дальше ->

https://habr.com/post/358536/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358536

Способность data scientist-а извлекать ценность из данных тесно связана с тем, насколько развита инфраструктура хранения и обработки данных в компании. Это значит, что аналитик должен не только уметь строить модели, но и обладать достаточными навыками в области data engineering, чтобы соответствовать потребностям компании и браться за все более амбициозные проекты.

При этом, несмотря на всю важность, образование в сфере data engineering продолжает оставаться весьма ограниченным. Мне повезло, поскольку я успел поработать со многими инженерами, которые терпеливо объясняли мне каждый аспект работы с данными, но не все обладают такой возможностью. Именно поэтому я решил написать эту статью — введение в data engineering, в которой я расскажу о том, что такое ETL, разнице между SQL- и JVM-ориентированными ETL, нормализации и партиционировании данных и, наконец, рассмотрим пример запроса в Airflow.


Читать дальше ->

https://habr.com/post/358530/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358530

Ранее я представил пару небольших постов о потенциальной роли Spring Boot 2 в реактивном программировании. После этого я получил ряд вопросов о том, как работают асинхронные операции в программировании в целом. Сегодня я хочу разобрать, что такое Non-blocking I/O и как применить это знание для создания небольшого tcp–сервера на python, который сможет обрабатывать множество открытых и тяжелых (долгих) соединений в один поток. Знание python не требуется: все будет предельно просто со множеством комментариев. Приглашаю всех желающих!
Читать дальше ->

https://habr.com/post/354728/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354728

Национальная биометрическая платформа

Примерно год назад Министерство связи и массовых коммуникаций РФ утвердило верхнеуровневый план реализации проекта по созданию Национальной биометрической платформы, в рамках которой основные технические работы должен был выполнить «Ростелеком».

В то же время была принята концепция НБП, и спустя некоторое время должны были начаться технологические испытания и выбор решений по биометрическим технологиям. Так же в задаче ставилась разработка механизма регистрации биометрических образцов и контроля качества решений для НБП, а так же запуск системы в опытную эксплуатацию, в том числе, с помощью кредитных организаций которые могли подключиться к системе и начать ее тестирование. Читать дальше ->

https://habr.com/post/358524/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358524

Процедурно генерируемые карты — базовая особенность roguelike. Для жанра, который почти является синонимом понятия «случайность» (и на то есть причины), рандомизированные карты стали простейшим способом демонстрации его ключевого элемента, потому что они влияют на многие аспекты геймплея — от стратегии исследования и тактического позиционирования до расположения предметов и врагов.

Заметьте — в советах по прохождению стратегических игр обычно описываются ключевые точки на общей карте боя и объясняется, что в них нужно делать — следуя указанной последовательности шагов, вы можете выигрывать каждый раз. Разумеется, игроки могут получать удовольствие от попыток решить головоломку, но какой бы увлекательной ни была игра, интерес пропадает после нахождения всех решений.

Поэтому рандомизированные карты обеспечивают нам бесконечную реиграбельность, каждый раз ставя перед нами разные задачи. Кроме того, удовольствие усиливается тем, что прогресс игрока зависит от его собственного навыка, а не от проб и ошибок. Схема каждой новой карты на 100% неизвестна, что тоже добавляет напряжённости процессу её изучения.

Конечно же, преимущества процедурных карт бессмысленны без большой вариативности механик и контента — однообразный hack-and-slash здесь не подойдёт. Поэтому все roguelike, выдержавшие испытание временем, имеют глубокий геймплей.

Этот пост является результатом моей работы над генерацией карт для Cogmind.
Читать дальше ->

https://habr.com/post/354826/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354826

Какие инструменты нужны тестировщику? Об этом мы сегодня порассуждаем в этой статье, в основе которой — доклад Юлии Атлыгиной с прошлого Heisenbug. Видеозапись доклада доступна по ссылке.


Читать дальше ->

https://habr.com/post/358442/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358442

Автор материала, перевод которого мы сегодня публикуем, Нэш Вэйл, говорит, что недавно он занимался исследованием лендинг-страниц. В ходе работы он наткнулся на один сайт. Это был отличный, полезный ресурс. Однако, в ходе работы с ним, Нэш заметил, нечто неприятное.

Неестественная анимация
Читать дальше ->

https://habr.com/post/358496/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358496

Терминальный сервер для CAD систем интересовал меня давно и данная статья является результатом изысканий в сети Интернет. В этой статье поговорим конкретно о терминальном сервере для Автокада.

Автокад довольно ресурсоёмкое приложение требующее все ресурсы железа: и оперативную память, и видеокарту, и мощный процессор и быстрые диски. И сразу напрашивается мысль, что отдельностоящие мощные ПК – это самый хороший вариант. Но мы постарались развернуть терминальный сервер для этого приложения и применить его на практике.

Итак, конфигурация нашего крутого сервера:
Читать дальше ->

https://habr.com/post/358516/?utm_source=habrahabr&utm_medium=rss&utm_campaign=358516