В пост включены библиотеки, которые были запущены или приобрели популярность в этом году, хорошо поддерживаются, а также просто классные и достойные внимания. Подборка в значительной степени ориентирована на библиотеки по ИИ и науке о данных, но сюда так же включен ряд библиотек, которые могут быть полезны для целей, не связанных с наукой о данных.

https://habr.com/ru/post/707916/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707916

На одном из прошлых мест работы я поддерживал консольную Node.js-утилиту, которая публиковалась в NPM. Утилита использовала commander, содержала довольно большое количество подкоманд, и все они требовали описания в README-файле, которое нужно было не забывать обновлять при каждом изменении. Несколько лет спустя я нашел решение, используя не слишком привычные для экосистемы Node.js технологии.

В этой статье: много моей любви к Jupyter-подобным ноутбукам, инструкция про то, как затащить Python-пакет в NPM и чуть-чуть анализа трекерной музыки.

https://habr.com/ru/post/707380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707380

JupyterLab Desktop — кросс-платформенный дистрибутив JupyterLab для десктопа. Это самый быстрый и простой способ начать работу, обладающий гибкостью сложных вариантов применения.

https://habr.com/ru/post/706872/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706872

Voil`a это библиотека, которая позволяет превращать Jupyter Notebook’и в интерактивные веб-приложения и дашборды. С ее помщью вы сможете продемонстировать свою работу третьим лицам или создать целый веб-сервис. В этой статье рассмотрим основные ее возможности...

https://habr.com/ru/post/698662/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698662

Привет, Хабр! Меня зовут Николай Суворов, я руководитель направления в МТС Digital. Занимаюсь продуктом МТС Premium – это единая подписка на сервисы МТС и партнеров. Сегодня я расскажу о нашем опыте создания робота для автоматизации повторяющихся действий сотрудников с помощью Jupyter, Python и Selenium. Статья будет интересна прежде всего менеджерам, которые хотят оптимизировать свою работу. Разработчикам мой текст будет полезен с точки зрения понимания возможностей по ускорению повторяющихся действий в интерфейсах. Весь необходимый код – внутри.

https://habr.com/ru/post/695696/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695696

Долго ли, коротко ли, а только мой проект спутниковой интерферометрии PyGMTSAR, начинавшийся просто для проверки некоторых идей и алгоритмов, превратился в самостоятельную Python PyPI библиотеку и обзавелся тестами (CI on Github Actions) и "живыми" примерами на Google Colab и в образе Docker, плюс документацией на GitHub Pages.



"Классическая" интерферограмма — обычно так выглядит смещение поверхности в результате сильного землетрясения

https://habr.com/ru/post/692334/?utm_source=habrahabr&utm_medium=rss&utm_campaign=692334

80% наших курсов — это практика, в том числе в Jupyter Notebook. Сегодня кратко представим расширения визуального программирования и управления роботами Nyrio. За подробностями приглашаем под кат — к старту нашего флагманского курса по Data Science.
Читать дальше →

https://habr.com/ru/post/690362/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690362

Привет! Меня зовут Адель, я аналитик ИТ-компании SimbirSoft, кроме того, я интересуюсь Data Science. Тема миграции данных из одной системы в другую не нова. Она связана с анализом большого объема информации и связей между различными участками данных, где стоимость ошибки может быть высокой и нужна особая ответственность. Вокруг этой информации построены основные бизнес-процессы, а значит от них напрямую зависит прибыль компании-клиента.

Каждый перенос данных – это большой пласт работ в проекте, и делая это уже много раз при запуске новых систем, мы постоянно ищем способы ускорения этих работ и уменьшения количества ошибок при переносе. В этой статье хочу рассказать, как можно решить проблему миграции чувствительных необработанных данных, которые на протяжении долгого времени заполнялись и хранились в Excel.

Материал будет полезен разработчикам и аналитикам при работе над проектами по миграции данных, поскольку содержит реальные проблемы и проверенные подходы к их решению. В статье рассмотрим, как правильно подготовить данные к переносу, когда нужно уйти от несистематичного и разрозненного хранения важной информации в таблицах Excel и локальных хранилищах. Поэтому материал может быть интересен и бизнесу.

https://habr.com/ru/post/690098/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690098

Несколько месяцев назад мне захотелось сдуть пыль со своего аккаунта в Steam и поиграть в старые игры про программирование.

While True Learn в очередной раз показалась слишком скучной, я пару дней позалипал в TIS-100, реализуя свой многопоточный процессор, но в конечном итоге осознал, что интереснее не играть в игры про программирование, а самому писать такие игры.

В статье рассказываю, что из этого получилось и на чём я сломался. Под катом —гремучая смесь из ссылок, картинок, теории распределённых систем и способов визуализации Python в 2022 году.

https://habr.com/ru/post/677960/?utm_source=habrahabr&utm_medium=rss&utm_campaign=677960

Доброго времени суток! Меня зовут Алексей. Сейчас я обучаюсь на аналитика данных в "Яндекс Практикум". Дело для меня непривычное, совершенно не связанное с моей предыдущей деятельностью (пока что работаю врачом, иногда пишу рассказы и повести), так что порой некоторые темы даются с большим трудом.

Начинающий аналитик данных с первых дней учёбы сталкивается с необходимостью освоить одну из наиболее важных в его будущей работе библиотек python - pandas. По себе знаю: порой здесь возникает такая путаница в голове, что первые простые задания вызывают ступор. Пройдя множество учебных заданий и успешно сдав несколько проектов, хочу поделиться с такими же новичками, как я сам, парой советов, которые, надеюсь, смогут упростить учебный процесс и первые шаги в новой профессии.

И мой главный совет: "сделайте себе шаблон"!

Не важно, в чём вы пишете код: "Google colaboratory", "Jupiter notebook" или в какой-то иной среде. Не важно, сколько вы пока знаете: если осваиваете профессию с нуля, вносите в шаблон всё, что уже умеете - позже всегда можно удалить лишнее. Шаблон поможет вам быстро сориентироваться в любой новой задаче, напомнит о необходимых манипуляциях.

Постарайтесь найти баланс между общими правилами оформления работы, которые от вас требуют (преподаватели, ревью, заказчики), логикой программирования и вашими личными предпочтениями в ведении документации.

Лично я большую часть учебных проектов выполнил в "Google colaboratory" (далее по тексту просто "колаб"), где предпочитаю следующую структуру шаблона.

https://habr.com/ru/post/670668/?utm_source=habrahabr&utm_medium=rss&utm_campaign=670668

Ранее мы анонсировали JupyterLite — дистрибутив JupyterLab, полностью запускаемый в браузере. Материалом, который будет полезен авторам документации библиотек Python, делимся к старту флагманского курса по Data Science.

https://habr.com/ru/post/659279/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659279

Излучение спутникового радара проходит сквозь облака и позволяет получать снимки в темноте, в дождь и снег, когда оптическая съемка невозможна. При этом, накапливающаяся при прохождении излучения через атмосферные неоднородности временная задержка при обработке данных спутниковой радарной съемки трансформируется в ложные смещения поверхности. Такая задержка не влияет на значение когерентности (вычисляемое в так называемом окне, сильно меньшем характерного масштаба атмосферной помехи), что не позволяет обнаружить и исключить такие помехи непосредственно в процессе построения интерферограмм. Получается, что радарные снимки сделать можно в любое время и при любой погоде, вот только многие снимки оказываются искаженными, порой до неузнаваемости всей площади съемки, и стандартными методами оценки когерентности интерферограмм мы об этом даже не узнаем. Обсуждаемая проблема имеет различные решения, некоторые из которых мы и рассмотрим с примерами Jupyter ноутбуков Live Example S1A_Stack_CPGF_T173 on Google Colab и Live Example S1A_Stack_CPGF_T173 Plus on Google Colab.

Интерферограмма в центре особенно явно зашумлена атмосферной помехой, если присмотреться, то эта же помеха заметна на всех интерферограммах, включающих снимок 2015-04-27. Удаление этого одного снимка позволит полностью избавить всю серию интерферограмм от заметных атмосферных помех.

https://habr.com/ru/post/647781/?utm_source=habrahabr&utm_medium=rss&utm_campaign=647781

Практика в Jupyter Notebook — это основа нашего курса по Data Science. Но интерактивный блокнот можно использовать не только для работы. За подробностями из блога разработчиков Jupyter Notebook приглашаем под кат.

https://habr.com/ru/post/645299/?utm_source=habrahabr&utm_medium=rss&utm_campaign=645299

В предыдущих статьях с примерами Jupyter ноутбуков на Google Colab мы наблюдали эффект "танцующих гор" и потом разбирали, как же это возможно. Смотрите Танцующие горы Ирана по данным спутниковой интерферометрии и Спутниковая интерферометрия для танцующих гор Ирана на Google Colab. В статьях рассказано, как можно посчитать движения территории или отдельных объектов путем анализа радарных спутниковых снимков на примере снимков Sentinel-1. Теперь посмотрим, как можно усложнить себе жизнь (однократно), чтобы получать еще более точные результаты автоматически. Вместо ручного выбора референсного изображения построим всевозможные пары изображений и посчитаем для них интерферограммы, чтобы по полученным сериям смещений с заданной их вероятностью (когерентностью) для перекрывающихся интервалов времени найти наиболее вероятную траекторию движения каждого пикселя поверхности за весь период наблюдения. Хотя я стараюсь обходиться без лишних усложнений наподобии записи в матричной форме вычисления среднего значения двух величин (многие работы по интерферометрии делают именно так — демонстрируют матричные уравнения для нахождения среднего значения для смещений, вычисленных раздельно для восходящей и нисходящей орбиты… хоть это формально и правильно, с точки зрения здравого смысла в этом нет никакого смысла), сегодня без линейной алгебры и матриц обойтись нам не удастся, зато я постараюсь объяснить все это в максимально простой и понятной форме.

https://habr.com/ru/post/597227/?utm_source=habrahabr&utm_medium=rss&utm_campaign=597227