Забота о качестве данных часто кажется малопривлекательной, но, по иронии, именно на нее мы тратим большую часть времени. Возможно, Data Quality — важнейший компонент пайплайна данных, ведь дашборд и аналитика, сгенерированные на основе недостоверных и ненадежных данных, окажутся бесполезными. Команда VK Cloud Solutions перевела статью о том, что такое Data Quality на самом деле и как обеспечивать его на разных уровнях пайплайна.
Читать дальше →

https://habr.com/ru/post/674876/?utm_source=habrahabr&utm_medium=rss&utm_campaign=674876

Наверное, в жизни разработчика, с бэкграундом геймера, возникает мысль о разработке собственного проекта, который точно реализует все детские хотелки и будет лучшим из лучших.

В моей голове подобный проект всегда выглядит, как несбыточная мечта, однако, на протяжении моей карьеры, где на данный момент я - Lead Full Stack Software Development Engineer, где Full Stack - это полный цикл разработки включающий Technical writing, QA, SDET, SDE, Architecture, BA, DBA, UI/UX и так далее, наконец-то сформировался концепт проекта мечты и, собственно, план по реализации, осталось дело за малым.

Читать далее

https://habr.com/ru/post/679798/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679798

Меня все сильнее раздражает, сколько людей готовы записывать в REST API любой интерфейс на основе HTTP. Сегодня приведу в качестве примера SocialSite REST API. Это же вызовы удаленных процедур (RPC). Он просто выкрикивает RPC. Связность между элементами на экране настолько сильная, что это творение заслуживает рейтинга X.

Читать далее

https://habr.com/ru/post/679788/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679788

Хорошо известно, откуда появился GNOME 3, а потом и Unity. Но такое впечатление, что многие забыли о главном — почему были созданы эти окружения. И почему экосистема Linux настолько фрагментирована и разобщена.

Что ж, напомним предысторию в двух словах. В 2006 году корпорация Microsoft пригрозила подать в суд на всех разработчиков Linux с интерфейсом, похожим на Windows 95. Сейчас Microsoft позиционирует себя как дружелюбную компанию, но тогда было иначе. Это была серьёзная угроза.
Читать дальше →

https://habr.com/ru/post/679786/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679786

Начнем повествование с приевшейся, шаблонной, клишированной фразы, мотивирующей сжатие нейронных сетей:

За последние несколько лет нейронные сети достигли значительных успехов в разнообразных приложениях и сферах человеческой (и нечеловеческой) деятельности, превосходя даже человека на ряде задач. Но мощь и гибкость, способность фитировать сложные зависимости, требуют значительных вычислительных ресурсов как на этапе обучения, так и на инференсе, что ограничивает зачастую применение нейронных сетей на мобильных устройствах и при наличии ограниченных вычислительных мощностей.

Поэтому по мере бурного прогресса и развития новых архитектур параллельно идет активная разработка разнообразных подходов по сжатию и повышению эффективности нейронных сетей.

И cегодня я бы хотел рассказать об одном методе, специфичном для популярной нынче архитектуры Transformer.

Поехали!

https://habr.com/ru/post/679782/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679782

В какой степени шрифт-реконструкция должен быть похож на оригинал? Какие черты оригинала сохранить, а какие изменить? И если изменить, то как? Таковы проблемы, с которыми сталкивается каждый реконструктор. Уильям Берксон рассказывает, как работал над своей версией шрифта Caslon.

Читать далее

https://habr.com/ru/post/679780/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679780

В данной статье хочу рассказать про поиск объектов на видео с помощью Python и OpenCV. Помимо обычных видео, можно использовать и камеры.

Полный код и все исходники можно найти на моем Github.

Данный проект является продолжением моей предыдущей статьи - Поиск объектов на фото с помощью Python. Для того, чтобы не тратить много времени на ее изучение, я распишу весь процесс по новой.

Читать далее

https://habr.com/ru/post/678706/?utm_source=habrahabr&utm_medium=rss&utm_campaign=678706

Форум Positive Hack Days 11, проходивший 18–19 мая 2022 года, был по-настоящему грандиозным. В конкурсе по взлому банкоматов в зоне Payment Village борьба развернулась не на шутку — 49 участников, это очень круто! Призовой фонд в этом году составлял 50 000 рублей, и его забрал человек с ником Igor, сломавший виртуальные машины первым. Кстати, его даже не было на мероприятии! :)

В этом году простор для действий был намного больше, и каждая задача на виртуальной машине имела большое количество решений. Благодарим всех участников, а для тех, кто не был на PHDays, приводим ссылки на виртуальные машины и обзор решений.

Кстати, обзор представлен без ссылок на конкретные виртуальные машины. Не сомневаемся, вы с легкостью поймете, какое решение к какой машине подходит. К тому же так у вас будет возможность самим порешать таски.

Читать райтап

https://habr.com/ru/post/679322/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679322

https://habr.com/ru/post/674902/?utm_source=habrahabr&utm_medium=rss&utm_campaign=674902

У фотореалистичных моделей есть множество применений: персонажи в играх, цифровые инфлюенсеры, цифровые помощники, CGI-персонажи и так далее. В перспективе любой человек сможет использовать своего цифрового двойника для взаимодействия с метавселенными.

Художник по созданию цифровых двойников Марлон Нунез на конференции TBD Pro Art выступил с докладом о моделировании реалистичных персонажей. Он описал свой рабочий пайплайн, а также дал несколько советов, как сделать модели героев более правдоподобными. Кроме того, специалисты из студий MY.GAMES поделились опытом того, какие ограничения есть у современных конструкторов персонажей.

Читать далее

https://habr.com/ru/post/679748/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679748

В этой статье я хочу рассказать о не совсем обычном использовании логов — о получении из лог-файлов метрик для Prometheus. Это может быть полезно, когда существующие экспортеры не предоставляют нужные метрики, а писать свой экспортер не хочется или очень затратно.

Читать далее

https://habr.com/ru/post/678046/?utm_source=habrahabr&utm_medium=rss&utm_campaign=678046

Магнитный биопринтер Organ.Aut и одна из кювет. Фото Ирины Найдёновой

Недавно я взял интервью у одного замечательного человека и решил поделиться с вами. Сегодня наш герой — Юсеф Хесуани, управляющий партнер «3Д Биопринтинг Солюшенс».

---

Неприметное двухэтажное здание во дворах вдоль Каширского шоссе. Легкий летний ветерок приглаживает редкие березки у входа в здание. Здесь, на третьем этаже располагается лаборатория компании. Вместе с её Юсефом Хесуани мы пьём кофе в переговорной комнате. В команде он с самого основания лаборатории в 2013 г., когда в Россию перебрался Владимир Миронов, один из ведущих мировых специалистов по биопечати и биофабрикации. Юсеф признаётся, что тогда это направление в регенеративной медицине казалась чем-то на грани научной фантастики. Пока он рассказывает о пути к космонавтике, я через стекло двери в коридор разглядываю сотрудников. Они упаковывают коробки. Всё правильно — лаборатория растёт и в этом здании ей уже становится тесно. Переезд в совместную с МИСиС лабораторию завершится в июне, а пока не до белых халатов и стерильности. Читать дальше →

https://habr.com/ru/post/679528/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679528

Привет, Хабр!

Меня зовут Александр Казанцев, я захабренный старожил с 2007 года. Недавно вместе с ребятами из «Инфосистемы Джет» довелось побывать в жюри конкурса «Технотекст-2021» в номинации «Лучший кейс». Нам предстояло оценивать посты и выбирать лучшие истории, и тогда мы задались вопросом: а есть ли универсальный рецепт, по которому можно написать интересную и полезную статью о проекте? Вопрос показался мне особенно интересным, поэтому я решил изучить публикации с высоким рейтингом и посты участников конкурса, разобрать их на ингредиенты и собрать своего рода поваренную книгу.

Начать варить

https://habr.com/ru/post/672356/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672356

Продолжают ли люди эволюционировать?

Мы, конечно, становимся всё выше — но пример ли это эволюции? Или просто правильное питание и лучшая экология позволяют нам раскрыть свой полный потенциал?

Сравнение роста современных шведов и норвежцев (180 см) и средневековых викингов (170 см) вроде бы показывает, что прогресс есть. Но это легко опровергается сравнением тех же южных корейцев (172,5 см у мужчин) и северных корейцев (165 см). Разница почти такая же, хотя разделение произошло только 74 года назад. И это при том, что южные корейцы не сразу начали жить как-то по-другому. На самом деле в основном этот рост произошел всего за последние 40 лет. В то время как их соседи остались примерно там же, где были.

Экология в Северной Корее отличная, выбросов от предприятий и машин почти нет. Климат — такой же, как и у соседей с юга. Времени прошло немного, сменилось всего лишь несколько поколений. Поэтому этот пример наглядно показывает, что главным в вопросе роста всё-таки является питание (в том числе и женщин в период беременности). Эволюция тут ни при чём. Если взять средневекового крошку-викинга и посадить его на нашу диету, он тоже вырастет здоровяком. Прям как вы!

Но в последние годы у нас всё-таки появилось однозначное доказательство: да, мы эволюционируем. Все больше людей в мире рождаются с третьей артерией в руке. Это пример микроэволюции, происходящей прямо на наших глазах.

Читать далее

https://habr.com/ru/post/679556/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679556

Сталкивались ли вы с потребностью в расширении команды? В жизни менеджера или тимлида часто возникает такая потребность, так как разрастается скоуп, сжимаются сроки, открывается новый проект или новое направление. Такие ситуации обычно сопровождаются страхом допустить ошибку: ведь если с самого начала что-то пойдет не так, ком проблем может «снести» проект в дальнейшем.

Мы взяли на себя задачу рассказать о самых распространенных ошибках ведь гораздо проще учиться на реальных (и чужих) ошибках, чем изучать идеальные (только в теории) кейсы.

В первой статье мы затронем вопросы необходимости расширения команды, а также найма и онбординга. В следующей статье расскажем об экспертизе, коммуникациях и практических идеях для тимлидов и разработчиков.

Читать далее

https://habr.com/ru/post/679506/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679506

Привет, Хабр! На связи Рустем IBM Senior (помидор) DevOps Engineer и сегодня я хотел бы поговорить про Feature Engineering in Data Preprocessing.

Читать далее

https://habr.com/ru/post/679554/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679554

Всем привет! Я Жека Никитин, Head of AI в медтех-стартапе «Цельс».

Сегодня хочу рассказать вам, как у нас устроен процесс собеседований, почему были приняты те или иные решения,какие сохранились слабые места и как мы с этим боремся.

Читать далее

https://habr.com/ru/post/679550/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679550

Есть мнение, что если разработчик работает где-то в маленьком городе, то это приговор: значит, ближайшие лет двадцать придётся делать одни и те же задачи — никаких серьёзных перспектив и изменений не предвидится. Но в реальности дела обстоят иначе. Достаточно не сидеть сложа руки и пользоваться возможностями, которые появляются на пути.

Мы поговорили с разработчиками, которые живут в небольших городах и посёлках, о том, как не дать себе замкнуться в рамках своего места жительства и проложить свой путь развития.

Читать далее

https://habr.com/ru/post/679286/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679286

Купить готовое ПО или разрабатывать самим – один из острых вопросов перед компаниями в эпоху цифровизации. Решение, как правило, зависит от объема ресурсов, которые предприятие готово вложить в это дело, от сроков решения задачи, специфики управления компанией и корпоративных компетенций, которыми она обладает.

Однозначного ответа на вопрос, что окажется быстрее и дешевле, нет: каждый из путей предполагает большое количество подводных камней и факторов, влияющих на конечный результат. Важна разумная комбинация с учётом внешнего и внутреннего контекстов. В этой статье порассуждаем о том, как её достичь.

Читать далее

https://habr.com/ru/post/679526/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679526

Мы продолжаем цикл постов о 3D-моделировании и 3D-технологиях. Бывает такое, что меня спрашивают, в каком софте я работаю, и, получая ответ, люди оказываются несколько ошарашены.

И действительно, хотя в моём списке часто используемых программ есть такие монстры, как ZBrush и Autodesk 3Ds max, это далеко не единственное, чем я пользуюсь. Причём 3дмакс стоит далеко не на первом, и даже не на втором месте. Кроме того, не менее частым вопросом (не на хабре, в социальных сетях) остаётся вопрос “А с какой программы начать?” или “Я ничего не умею, покажите, что делать?” Читать дальше →

https://habr.com/ru/post/679236/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679236