Привет, Хабр! На связи Рустем, IBM Senior DevOps Engineer & Integration Architect.
В этой статье я хотел бы рассказать об использовании машинного обучения в Streamlit и о том, как оно может помочь бизнес-пользователям лучше понять, как работает Data Science. В этой лабораторной работе мы будем использовать набор данных о страховых исках. Мы объединим мощь Streamlit с процессом обработки данных, состоящим из исследовательского анализа данных и оценки различных моделей. Я расскажу, как найти модель, которая не только работает с высокой точностью, но и позволяет бизнес-пользователям лучше понять, как мы получаем приемлемую модель.

Наконец, мы увидим, как мы можем разделить информационную панель на разные вкладки и сделать ее более удобной для использования, когда мы хотим представить проект из области Data Science публике и сделать его пригодным для непосредственного использования.

Читать далее

https://habr.com/ru/post/701412/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701412

При нынешнем оттоке ИТ специалистов в разное зарубежье, государство и ИТ сообщество абсолютно естественно обратило свой взор в сторону ИТ образования, как на живительный источник, способный напитать человеческим ресурсом, перестраивающуюся ИТ-отрасль.

В результате, с одной стороны, наблюдается массовое появление курсов дополнительного образования, всячески поддерживаемого государством, с другой - происходит пересмотр системы высшего ИТ-образования, называемый модным словом «трансформация». Поскольку я, являясь директором ИТ-компании, преподаю и в ВУЗ_е, и на курсах доп. образования (то есть участвую в обоих направлениях), попробую прокомментировать, какие проблемы на мой взгляд сопровождают эти инновационные процессы и опишу возможные способы их преодоления.

Область проблем.

Касаемо массового доп. Образования. В настоящее время, чаще всего на курсы набирается разношерстный народ, вовлеченный обещаниями: «Обучение «с нуля», «зарплата от 100 тыс. в месяц». А дальше, втянутых в эту авантюру (в хорошем смысле слова), в очень сжатые сроки «бомбят» теорией с элементами самообучения по темам. Практические занятия обычно проводятся на столько бегло, что только отчасти дают представление о том, как выхваченные ранее обрывки теории соотносятся с практикой. Смотреть на самостоятельные работы, даже лучших, без сожаления невмоготу, а остальные и вовсе их не делают. Такое состояние дел в общем то приемлемо на ранних стадиях изучения темы, но страшно то, что других стадий уже и не будет, обучающиеся перескакивают дальше к следующим предметам, а организаторы курсов считают это уместным. «Участники обучения» без обиняков честно сознаются, что они просто-напросто не успевают готовить задания, да и количество их в группах таково, что преподаватели не могут физически охватить всех своим вниманием. Ведь разбор заданий, выполненных учащимся, это отдельная кропотливая работа наставника, который должен не просто указать на ошибки, а натолкнуть на мысль, что не так выполнено, почему не так и, как выполнить правильно. Когда в группе 80 человек и 1,5 часа на практическое занятие, извините это не практика, а профанация. Нет, конечно, результаты в большинстве случаев есть, люди, прошедшие через горнило таких курсов, получают определенное представление о том, как примерно могут создаваться ИТ-продукты, но для участия в их создании, они увы пока непригодны.

Читать далее

https://habr.com/ru/post/701378/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701378

Привет, Хабр!

Меня зовут Павел Дудукин, руководитель Data Science команды в Центре развития финансовых технологий Россельхозбанка.

Сегодня мы хотим продолжить цикл статей статей про решенные нами Data Science задачи и рассказать о построении и внедрении рекомендательной системы в одну из наших платформ по продаже фермерских продуктов “Свое Родное”.

А узнать из каких этапов, с какими особенностями мы столкнулись при разработке решения и как мы использовали рецепты для наших рекомендаций можно узнать ниже.

Хочу узнать

https://habr.com/ru/post/701278/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701278

Исследование влияния создания даже крошечных объектов на производительность и сборку мусора.

В этой статье рассматривается бенчмарк передачи событий по TCP/IP со скоростью 4 миллиарда событий в минуту с использованием пакета net.openhft.chronicle.wire.channel в Chronicle Wire (с открытым исходным кодом) и почему мы стремимся избегать создания объектов.

Читать далее

https://habr.com/ru/post/701290/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701290

Картинка rawpixel, Freepik

Во всех областях деятельности люди, так или иначе, стремятся к эффективности, так как именно она позволяет с наименьшими затратами добиваться поставленных целей.

Электротехника тоже не является исключением и в своё время открытие зубцового эффекта позволило существенно увеличить эффективность электрических двигателей/генераторов, одновременно с упрощением их конструкции.

Использование подобного подхода и в настоящее время не потеряло свою актуальность и вполне может быть применено в ряде самодельных конструкций. Читать дальше →

https://habr.com/ru/post/700444/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700444

Проектирование технологических установок – сложный процесс, требующий от разработчиков наличия компетенций одновременно в нескольких инженерных областях. Перечень работ говорит сам за себя: гидравлические расчеты, расчет тепловых режимов и переходных процессов, расчеты на прочность, подбор оборудования, выпуск конструкторской документации с учетом технологических особенностей. Для реализации сложного проекта технологической установки и выпуска проектно-конструкторской документации требуется целая команда квалифицированных специалистов. Одним из ключевых инструментов для обеспечения эффективного проектирования является специализированное программное обеспечение, позволяющее максимально сократить время разработки проекта, упростить работу проектировщиков, расчетчиков и конструкторов.

Читать дальше →

https://habr.com/ru/post/701286/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701286

Postgres - один из крупнейших open source проектов. Он создавался многие года. Кодовая база накопилась огромная. Мне, как программисту, всегда было интересно как он работает под капотом. Но не про SQL пойдет речь, а про язык на котором он написан. Про C.

С общей архитектурой можно ознакомиться здесь

Для начала поймем, что происходит до входа в главный цикл сервера.

Читать далее

https://habr.com/ru/post/701284/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701284

Мечтали вы в детстве покрутить настоящий корабельный штурвал? Вот представьте: море, соленые брызги, над головой гудят на ветру наполненные ветром паруса, у вас в руках штурвал, и ваш быстрый клипер мчится навстречу горизонту…

Этот штурвал – часы. Он шелковистый и медный (обнаженная медь печатной платы, неповторимая и своеобразная фактура этого любимого материала мастера), покрутите и представьте, как время побежало в обратном направлении, в то прошлое, где соленые брызги и паруса вашей детской мечты. А может, это вход в параллельную реальность?

Шутка. Но всё-таки покрутите штурвал, а вдруг… )

Крутим дальше )

https://habr.com/ru/post/701282/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701282

Привет! Я – Валерия Дымбицкая, технический руководитель команды дата-инженеров в OneFactor. Это вторая часть статьи о том, как автоматически подбирать параметры для Spark-приложений на примере spark.executor.memory.

В первой части мы разбирали, как читать логи событий Spark и как достать из них три показателя того, насколько можно уменьшить память экзекьюторам (а также зачем это делать). Здесь я расскажу о том, как превратить это всё в работающую систему на продуктиве, используя довольно простые средства.

Читать далее

https://habr.com/ru/post/701136/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701136

Использовал кнопочный телефон ворующий деньги со счёта для запуска Doom: краткая история, небольшой обзор компонентов чипа/телефона, жалоба на закладки в прошивке и пожелания к созданию открытого API для создания своих приложений. Также некоторые ссылки (пока опубликована лишь часть кода нужного для запуска игры).

Читать далее

https://habr.com/ru/post/701276/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701276

Привет! Меня зовут Ярослав Александров, я руковожу юнитом Avito ID. Уже несколько лет один из ключевых фокусов Авито — безопасность пользователей и их доверие к площадке. Для достижения целей Trust and Safety (T&S) мы запускаем технические продукты и фичи.

Так сложилось, что в компании мы используем зрелый продуктовый подход. В этой статье я расскажу, как мы его применяем к техническим продуктам и с чем сталкиваемся в процессе.

Читать далее

https://habr.com/ru/post/700624/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700624

Как мы отказались от аутсорсинга и создали свою команду

Читать далее

https://habr.com/ru/post/701272/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701272

Компания “Волжское пароходство” — это больше 3 тысяч сотрудников, часть из которых используют Битрикс24 во время перевозок. По пути следования судна интернет не везде стабильный, поэтому нужен был максимально облегченный вариант портала. О том, как доработать систему для использования в местах со слабым сигналом рассказываю в этой статье.

Что сделали.

Коробочная версия Битрикс24 предлагает несколько решений по уменьшению веса страницы и ускорению загрузки. Это минификация и объединение скриптов и стилей, а также кеширование html страниц. Однако, к сожалению, этих мер, как правило, недостаточно.

Главным требованием клиента было создание версии корпоративного портала с минимальным выводом изображений на страницах. Некоторые изображения необходимо было оставить (например, в шапке интерфейса портала), а остальные в облегченном режиме не прогружать.

Читать далее

https://habr.com/ru/post/701270/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701270

Поза YOLOv7 была представлена в репозитории YOLOv7 через несколько дней после первоначального выпуска в июле ‘22. Это одноступенчатая модель оценки позы для нескольких человек. Поза YOLOv7 уникальна, поскольку она отличается от обычных двухэтапных алгоритмов оценки позы. Благодаря снижению сложности одноступенчатых моделей мы можем ожидать, что они будут быстрее и эффективнее.

Поехали

https://habr.com/ru/post/701268/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701268

Со стародавних времён хотел попробовать создать собственный ROM BIOS, который будет записан в отдельную микросхему и будет выполнять какие-то полезные действия. Например, ROM BIOS установлен в видеокартах (по крайне мере старых), контроллерах дисков и много где ещё — это фактически расширения обычного BIOS. Понимаю, что это всё старьё и тягаться с возможностями современного UEFI бессмысленно, но мне очень хотелось создать свой собственный образ, который находится в физически в отдельной микросхеме и работает при старте системы. Поэтому пришлось даже для этих целей найти старый комп.

Когда я только решил влезть в этот вопрос, столкнулся с тем, что достаточно мало толковой информации, которая была бы хорошо и чётко изложена. Возможно, я плохо искал, примеров того, как писать свою программу в бутсектор жёсткого диска было много, а вот толкового мануала по созданию BIOS Extension — кот наплакал.

В этой статье мы с вами разберём создание своего ROM BIOS, дальше я расскажу про тонкости и нюансы, напишу низкоуровневый «Hello world», сделаю настоящий интерпретатор BASIC ROM, который стартует при включении компьютера, как в первых IBM PC. Читать дальше →

https://habr.com/ru/post/700722/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700722

Если вам приходилось оптимизировать работу программ, то вы могли слышать о Профайлере Бедного Человека. Этой идее даже посвящён целый сайт. ПБЧ собирает статистику времени выполнения отдельных функций программы, «подглядывая» в процесс её исполнения с помощью дебаггера. Концепт ПБЧ хорошо прижился у нас в движке баннерной крутилки — не буду в 100 500-й раз напоминать, что у Яндекса всё высоконагруженное, ресурсоёмкое и нуждающееся в профилировании. Статья будет полезна тем, кто пилит инфраструктуру, адаптирует какой-нибудь общеизвестный профайлер под себя или просто хочет больше знать про свои программы. Как мы пришли к необходимости в ПБЧ и что именно сделали? Сейчас постараюсь рассказать, местами буду закапывать глубоко в технологии (если переусердствую, пишите в комментариях). А начну со стандартного инструмента статистического профилирования в Linux — perf.
Читать дальше →

https://habr.com/ru/post/700918/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700918

В очередной раз ко мне обратился коллега из одного франчайзи 1С с просьбой развернуть Postgres + 1C двух разных версий на одном сервере. Сие ему было необходимо для безболезненного перевода некой компании "Х" с существующего в компании рабочей версии 1С на свежую. Так скажем есть новый боевой сервер, на котором нет ничего кроме Windows 2022 Standart и надо все вышеописанное на нем развернуть.

Я с радостью согласился так как в наше непростое время любая дополнительная денежка за счастье.

Уже по старой своей традиции я сразу зашел в свойства системы дабы изучить на чем собственно буду работать и ожидаемо расстроился увидев процессор с тактовой частотой 2.1 ГГц.

Читать далее

https://habr.com/ru/post/701254/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701254

Привет, Хабр!

Правила игры простые: я рассказываю историю про аудит безопасности, а вы оцениваете, правда это или нет. Под спойлером — ответ.

1. «Суперпроводимость»

Проводим экспертный аудит в крупном производственном комплексе. Последнее время заказчики часто выбирают дистанционный формат сбора информации. Но в данном случае заказ был очный, то есть мы с аудиторской командой приезжаем на проходную, дальше планируется, что мы будем ходить по территории и искать всякие радости для внутреннего злоумышленника. И вот мы стоим и готовимся получить пропуск, а в это время по всему производству отключается электричество. Заодно останавливается вся производственная линия, что по масштабам проблемы примерно равняется дню П. Ни о каком аудите речи, конечно, уже нет. Мы около часа сидим на проходной, пытаемся дописаться до наших пентестеров (вдруг они «постарались»), а потом узнаём, что причиной инцидента стала полевая мышь: она залезла в щитовую и закоротила собой электрику.

2. «Новогодняя ёлка»
Тест на проникновение. Задача — получить доступ из корпоративного сегмента в технологический, по возможности — к серверам АСУ ТП. Неделю мы его колупали, а потом прошли. Оформили доказательства, отправили заказчику. Но скриншоты в отчёте с чёрным фоном из терминала Kali с перечислениями уязвимостей и подробным описанием оказались для заказчика не очень убедительными: в систему защиты были вложены деньги, всего этого просто не может быть! В очередной раз получив комментарий «Это к ничему страшному не приведет», наш пентестер психанул и нарисовал лампочками на пульте управления SCADA-системой (в тестовом сегменте) ёлочку. Вопросов у заводчан сразу не осталось.

Читать далее

https://habr.com/ru/post/701204/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701204

Привет! Мы продуктовые исследователи Alfa Research Center (ARC). Два года назад мы создали карту компетенций. Чтобы процесс шёл веселее, а рост по грейду увлекал сотрудников не меньше RPG, мы добавили геймификацию и дизайн с супергероями. Рассказываем, как приобрести такой же игровой опыт.

Демо-версия: сначала вспомните все рабочие процессы, в которых участвует ваш продуктовый исследователь. Далее выпишите все навыки исследователя и свяжите их с процессами. Финальная катка: продумайте формат встреч с тимлидом для оценки скиллов и построения трека карьеры, чтобы карта работала, а компетенции развивались.

Делимся читом на экономию времени – копируйте нашу карту компетенций из Miro и пробуйте на своих процессах. А если любите неспешный геймплей, читайте статью до конца и узнайте, как мы геймифицировали рост по грейду в локации нашей исследовательской финтех-лаборатории.

Читать далее

https://habr.com/ru/post/699552/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699552

Ежегодно мы проводим исследования узнаваемости IT-брендов среди разработчиков России. В этом году, в феврале, мы уже выпускали результаты исследования здесь, но с тех пор они потеряли актуальность по известным причинам. А исследование за 2020 год можно почитать тут.

Всего в исследовании приняли участие 1 787 человек. Из них разработчиков — 1 329. В основном в исследовании приняли участие тестировщики, бэкенд-разработчики, системные администраторы. Реже в качестве респондентов выступали проджекты, фротендеры и бизнес-аналитики.

Опрос проходил с сентября по октябрь в личном кабинете hh.ru, в статьях на habr и в телеграм-каналах. Традиционно делимся с вами результатами исследования. Только факты.

Читать далее

https://habr.com/ru/post/700734/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700734