Всем привет. Друзья, делимся с вами переводом статьи, подготовленным специально для студентов курса «Data Engineer». Поехали!

Apache Beam и DataFlow для конвейеров реального времени

Сегодняшний пост основан на задаче, которой я недавно занимался на работе. Я был действительно рад, воплотить её и описать проделанную работу в формате блогпоста, поскольку это дало мне возможность позаниматься дата-инжинирингом, а также сделать что-то, что было бы весьма полезным для моей команды. Не так давно я обнаружил, что в наших системах хранится достаточно большой пользовательского лога, связанных с одним из наших продуктов для работы с данными. Оказалось, что никто не использовал эти данные, поэтому я сразу заинтересовался тем, что мы могли бы узнать, если бы начали регулярно анализировать их. Однако на пути было несколько проблем. Первая проблема заключалась в том, что данные хранились во многих различных текстовых файлах, которые не были доступны для мгновенного анализа. Вторая проблема заключалась в том, что они были сохранены в закрытой системе, поэтому я не мог использовать ни один из моих любимых инструментов для анализа данных. Читать дальше ->

https://habr.com/ru/post/454186/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454186

Ранее каждый раз, когда я видел сообщения о том, что у человека украли телефон, то всегда задавался вопросом: а зачем? Ну, серьезно, зачем воруют смартфоны если:

• его можно отследить по IMEI, а смена IMEI явно не бесплатна;
• на телефоне могут быть установлены блокировки, снять которые так же не бесплатно;
• есть приложения с режимом «Антивор», которые передают фото, видео и аудио;
• даже встроенные возможности Android (и, полагаю, iOS) имеют функцию геолокацию пропавшего устройства;
• устройство может иметь особые приметы, которые довольно сложно устранить «бесплатно»;
• наверняка где-то рядом есть камеры видеонаблюдения, свидетели и т.п.;
• при продаже краденного за него сложно будет выручить большую сумму денег.

Осознавая все это, я действительно не понимал, для чего же воруют телефоны, если, по сути, их легко найти, а денег на этом не заработать? Не понимал до 8 февраля 2019 года, пока у меня у самого не украли телефон.
Читать дальше ->

https://habr.com/ru/post/454190/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454190

В статье речь пойдет об альтернативных каналах поиска персонала, как одном из вариантов решения проблемы нехватки кадров и особенностях работы с этим решением.

Современные тенденции развития общества направленны на ускорение жизни человека, изменяются способы коммуникации и взаимодействия людей. Не отстают от этой тенденции и каналы взаимодействия потенциальных кандидатов с работодателем. Если рекрутер хочет сохранять свою эффективность, быстро находить качественные кадры, то он должен оставаться в тренде последних тенденций. Более наглядно проблему можно представить следующим образом (рис. 1):



Представьте себе, что вы или ваши менеджеры по подбору персонала пользуются всеми известными классическими каналами подбора персонала, которые условно относятся к категории A. Но из-за появления новых каналов коммуникации и быстрого изменения информационной среды появляются новые каналы подбора персонала, которые мы отнесем к категориям B и C. Логично предположить, что эффективность будет выше у рекрутера, который использует все три категории каналов поиска. Соотношение объема каналов поиска представлено на рисунке условно, чтобы продемонстрировать общий смысл.

Я сам (как и мои коллеги из других компаний) не один раз сталкивался в работе с проблемой нехватки персонала, и альтернативные каналы подбора служат очень хорошим решением. Но это не означает, что вам нужно срочно искать альтернативные каналы подбора персонала (которых на данный момент стало достаточно много, и появляются они все чаще), поскольку у этого решения есть определенные условия.
Читать дальше →

https://habr.com/ru/post/454188/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454188

Вчера мы опубликовали первый выпуск в цикле «Кем работать в ИТ». Для него я поговорил с двумя бывшими студентами и деканом факультета Python в GeekBrains. Когда я «смонтировал» рассказы в одну историю, стало жалко, что многое осталось лежать в черновиках.

Поэтому сегодня выкладываю полную расшифровку интервью с Алексеем Петренко, деканом GeekBrains — почти без редактирования и вырывания из контекста. Возможно, оно будет даже более прикладным, полезным и сконцентрированным, чем основной выпуск.

Вот что, например, осталось за кадром: Почему Python не хуже других языков? Какие фреймворки стоит смотреть кроме Django? Где лучше учиться писать — в современной IDE или в блокноте? По каким сайтам и книгам стоит учиться самостоятельно и многое другое.
Читать дальше ->

https://habr.com/ru/post/454182/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454182

В моей коллекции интересных случаев связанных с онлайн-хранением данных появился интересный экспонат — сегодняшнее письмо от Crashplan пользователям «CrashPlan for Small Business».

Данный экспонат порадует занудных скептиков тем что подтверждает их самые смелые ожидания.

Ну а для оптимистов и тех кто никогда не задумывался о том как работают онлайн-бэкапы это может оказаться сюрпризом.
Читать дальше ->

https://habr.com/ru/post/454180/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454180

Всем привет! Меня зовут Виталий Ризо, я фронтенд-разработчик в «Амплифере». Мы сделали Uibook — простой инструмент для визуального тестирования React-компонентов с реальными медиа-запросами. Расскажу, как он работает и чем может быть полезен вам.

Читать дальше ->

https://habr.com/ru/post/454176/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454176

Сегодня мне вдруг захотелось узнать, какую пенсию я получал бы, если бы вышел на пенсию в этом 2019 году. До пенсии мне ещё лет 25-30, но всё же интересно, сколько пенсии я накопил за 15 лет работы в IT (из которых 12 лет работаю в Москве).


Читать дальше ->

https://habr.com/ru/post/454178/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454178

Всем привет, я работаю программистом-исследователем в команде компьютерного зрения Mail.ru Group. Ко Дню Победы в этом году мы решили сделать проект по реставрации военных фотографий. Что такое реставрация фотографий? Она состоит из трех этапов:

• находим все дефекты изображения: надломы, потертости, дырки;
  
• закрашиваем найденные дефекты, основываясь на значениях пикселей вокруг них;
  
• раскрашиваем изображение.
  

В этой статье я детально пройдусь по каждому из этапов реставрации и расскажу, как и где мы брали данные, какие сети мы учили, что у нас получилось, на какие грабли мы наступили.
Читать дальше ->

https://habr.com/ru/post/453872/?utm_source=habrahabr&utm_medium=rss&utm_campaign=453872

Как разработать интернет-магазин, главная цель которого – не выручка, а помощь природе? Магазин, где нет кричащих баннеров, суперакций и списков преимуществ, а есть качественные товары и большая идея – ответственное отношение к окружающей среде.
Читать дальше ->

https://habr.com/ru/post/454110/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454110

Всем привет!

Меня зовут Илья Агеев, я отвечаю за QA Badoo, Bumble и других наших социальных сетей для знакомств.

15 июня приглашаю на ежегодную встречу тимлидов, руководителей отделов и СТО в нашем офисе. Badoo Techleads Meetup пройдет в четвёртый раз, будет целиком посвящен проблеме профессионального выгорания и опыту мотивации сотрудников.

Тема, откровенно говоря, сложная. Но говорить о ней важно и нужно. Как минимум, потому что в индустрии IT с профессиональным выгоранием сталкиваются многие (в этом исследовании, например, говорится о 50% айтишников).

Как мотивировать людей и предотвращать выгорание, на митапе расскажу я и коллеги по цеху, опытные руководители. После каждого доклада будет перерыв, чтобы иметь достаточно времени обсудить и пообщаться.

Регистрация здесь. Обратите внимание, что нужно дождаться подтверждения участия, т.к. количество мест в нашем кафе ограничено. Зато будет онлайн-трансляция.

Бонус: на митапе разыграем два билета на Teamlead Conf!

Адрес: Цветной бульвар, 2 (м.Трубная)
Начало докладов в 12:00, гостей ждем с 11:00.
Трансляция будет на нашем YouTube-канале и в группах VK и FB. Записи опубликуем там же и на Хабре.

Предварительная программа под катом, скоро обновим.
Читать дальше ->

https://habr.com/ru/post/453994/?utm_source=habrahabr&utm_medium=rss&utm_campaign=453994

Меньше недели остается до конференции Apple WWDC, давайте посмотрим, какие ожидания у сообщества разработчиков и какие события произошли в мире iOS-разработки за последние пару недель.
Читать дальше ->

https://habr.com/ru/post/454018/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454018

В этой статье расскажу о том, как я свел статистику по всему контексту в одном месте с помощью BigQuery и Data Studio

У меня появилась необходимость визуализировать данные по всем источникам трафика.

Для данной задачи я использую Data Studio. Google Ads туда подтягивается прекраснейшим образом, а вот с Яндекс Директ все сложнее.

Я для себя выбрал полуручной способ сведения статистики: получение и отправка статистики со своего компьютера.

Я ежедневно получаю статитику в различных разрезах в DataFrame.



И это отлично потому, что в pandas есть библиотека pandas_gbq, которая умеет отправлять DataFrame в BigQuery.
Читать дальше ->

https://habr.com/ru/post/454172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454172

Автор — Дед62@electrotransport.ru

Прошла весна, настало лето, –
Так не пора ли сделать это?

Или еще не пора? А если пора, то какое выбрать моноколесо для поездок на работу?
Читать дальше ->

https://habr.com/ru/post/454070/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454070

Вот и пришло время нашей ежегодной «очной» встречи. 6 июня в пятый раз в Москве пройдет локальная версия нашего крупнейшего мероприятия – VeeamON Forum, на котором мы будем рады видеть наших потенциальных и нынешних заказчиков, а также всех, кто интересуется виртуализацией, облачными инфраструктурами и защитой данных, и, конечно, наших уважаемых читателей.

Сегодня я вкратце расскажу о программе этой конференции — а участие в ней, как и в прошлые годы, бесплатно — и о бонусах для ее участников.


Читать дальше ->

https://habr.com/ru/post/454166/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454166

Материал британской газеты The Register

Мы думали, что шумиха по поводу мобильных широкополосных сетей не может стать ещё более фантастической, но мы ошиблись. Так давайте разберём пять главных заблуждений, касающихся 5G.

1. Китай использует технологии, чтобы шпионить за богобоязненными Западными странами

Нет. 5G – новая технология, а Китай на волне своего подъёма активно её продвигает. У него есть инженеры мирового класса, а его компании могут производить продукцию, которая сравнима или превосходит по качеству продукцию Западных фирм, причём по конкурентной цене.

И больше всего это не нравится США. Поэтому, соответственно необдуманному антипекинскому настрою администрации Трампа, правительство США (с радостной поддержкой их телекоммуникационных компаний) настаивает на том, что продукция 5G из Китая представляет угрозу безопасности, и её никто не должен покупать или использовать.
Читать дальше ->

https://habr.com/ru/post/454072/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454072

Наверняка многие и вас знают или даже видели, каким образом управляются большие автоматизированные объекты, например, атомная станция или завод со множеством технологических линий: основное действо часто происходит в большой комнате, с кучей экранов, лампочек и пультов. Это комплекс управления обычно называютется ГЩУ — главный щит управления для контроля за производственным объектом.

Наверняка вам было интересно, как это все работает с точки зрения аппаратной и программной части, чем эти системы отличаются от привычных персональных компьютеров. В этой статье мы разберемся, как различные данные попадают на ГЩУ, как подаются команды на оборудование, и что вообще нужно, чтобы управлять компрессорной станцией, установкой производства пропана, линией сборки автомобиля или даже канализационно-насосной установкой.
Читать дальше ->

https://habr.com/ru/post/454156/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454156

Повышение привилегий — это использование злоумышленником текущих прав учетной записи для получения дополнительного, как правило, более высокого уровня доступа в системе. Несмотря на то что повышение привилегий может быть результатом эксплуатации уязвимостей нулевого дня, или работы первоклассных хакеров, проводящих целенаправленную атаку, или же грамотно замаскированной вредоносной программой, но все же чаще всего это происходит из-за неправильной настройки компьютера или учетной записи. Развивая атаку далее, злоумышленники используют ряд отдельных уязвимостей, что в совокупности может привести к катастрофической утечке данных.
Читать дальше ->

https://habr.com/ru/post/454160/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454160

В этой статье вы узнаете, как извлечь изображение из хранилища Firebase для Android-приложения.

Читать дальше ->

https://habr.com/ru/post/452318/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452318

Привет, сейчас я расскажу тебе, что будет с перспективным проектом, если с самого начала обратиться к готовым решениям а-ля Wordpress, Open Cart и любым CMS, думая, что это и есть MVP. Основываться буду на трёх-месячном опыте работы на одном из проектов, в GitHub которого за предыдущие 8 месяцев так и не упало ни одного коммита в production ветку.
Читать дальше →

https://habr.com/ru/post/454036/?utm_source=habrahabr&utm_medium=rss&utm_campaign=454036

Сразу скажу, заголовок, возможно, несколько громковат. Мне реально потребовалось выдернуть из протокола всего одну команду для управления диммером. О том как это было сделано и что получилось в итоге читайте дальше в статье.
Читать дальше ->

https://habr.com/ru/post/453234/?utm_source=habrahabr&utm_medium=rss&utm_campaign=453234