Здравствуйте.

В интернете много сервисов, предоставляющих возможности облачных сервисов. С их помощью можно осваивать технологии BigData.

В данной статье мы в домашних условиях произведем установку на платформу EC2 AWS (Amazon Web Services) Apache Kafka, Apache Spark, Zookeeper, Spark-shell и научимся всем этим пользоваться.



Читать дальше ->

https://habr.com/ru/post/452752/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452752

Post-mortem отладка на Cortex-M

Предыстория:

Участвовал я недавно в разработке нетипичного для меня девайса из класса потребительской электроники. Вроде ничего сложного, коробка, которая должна иногда выходить из спящего режима, отчитываться серверу и засыпать обратно.

Практика быстро показала, что отладчик не слишком помогает при работе с микроконтроллером, который постоянно уходит в режим глубокого сна или вырубает себе питание. В основном, потому что коробка в тестовом режиме стояла без отладчика и без меня рядом и иногда глючила. Примерно раз в несколько суток.

На соплях был прикручен отладочный UART, в который я стал выводить логи. Стало легче, часть проблем решилась. Но потом случился assert и все завертелось.

Читать дальше ->

https://habr.com/ru/post/452704/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452704

Многие программисты начали переходить со второй версии Python на третью из-за того, что уже довольно скоро поддержка Python 2 будет прекращена. Автор статьи, перевод которой мы публикуем, отмечает, что основной объём Python 3-кода, который ему доводилось видеть, выглядит как код со скобками, написанный на Python 2. По его словам, он и сам грешит чем-то подобным. Здесь он приводит примеры некоторых замечательных возможностей, доступных лишь тем, кто пользуется Python 3. Он надеется, что эти возможности облегчат жизнь тем, кто о них узнает.



Все примеры, приведённые в этом материале, написаны с использованием Python 3.7. В описании каждой возможности имеются сведения о минимальной версии Python, необходимой для её применения.
Читать дальше ->

https://habr.com/ru/post/452564/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452564

Привет, Хаброжители! Многие пользователи используют R для конкретных задач — тут построить гистограмму, там провести регрессионный анализ или выполнить другие отдельные операции, связанные со статистической обработкой данных. Но эта книга написана для тех, кто хочет разрабатывать программное обеспечение на R. Навыки программирования предполагаемых читателей этой книги могут лежать в широком спектре — от профессиональной квалификации до «Я проходил курс программирования в колледже», но ключевой целью является написание кода R для конкретных целей. (Глубокое знание статистики в общем случае не обязательно.)

Несколько примеров читателей, которые могли бы извлечь пользу из этой книги:

• Аналитик (допустим, работающий в больнице или в правительственном учреждении), которому приходится регулярно выдавать статистические отчеты и разрабатывать программы для этой цели.
• Научный работник, занимающийся разработкой статистической методологии — новой или объединяющей существующие методы в интегрированные процедуры. Методологию нужно закодировать, чтобы она могла использоваться в сообществе исследователей.
• Специалисты по маркетингу, судебному сопровождению, журналистике, издательскому делу и т. д., занимающиеся разработкой кода для построения сложных графических представлений данных.
• Профессиональные программисты с опытом разработки программного обеспечения, назначенные в проекты, связанные со статистическим анализом.
• Студенты, изучающие статистику и обработку данных.

Читать дальше ->

https://habr.com/ru/post/452746/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452746

Привет, друзья. В преддверии запуска курса «Backend разработчик на PHP», традиционно делимся с вами переводом полезного материала.

Программное обеспечение решает все больше и больше повседневных задач, при этом становясь все сложнее и сложнее. Как однажды сказал Марк Андрессен, оно поглощает мир.



В результате в течение последних нескольких лет подходы к разработке и поставке приложений серьезно изменились. Это были сдвиги тектонического масштаба, которые в результате привели к появлению набора принципов. Эти принципы оказались полезными в формировании команды, проектировании, разработке и доставке вашего приложения конечным пользователям. Читать дальше ->

https://habr.com/ru/post/452748/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452748

Здравствуйте, в эфире снова Радио SQL! Разминайте ганглии, расправляйте псевдоподии (или наоборот?) и настраивайтесь на нашу гравитационную волну!

Бдымц!

https://habr.com/ru/post/448368/?utm_source=habrahabr&utm_medium=rss&utm_campaign=448368

Многие прочитав вопрос, сразу же закивают головой. Мол, конечно, существует. И даже начнут примеры приводить, которые на деле оказываются единицами, подавшимися в сферу коучинга или литературного творчества.

В реальности всё выглядит несколько иначе, и доказательством тому есть тысячи успешных фрилансеров, которые, несмотря на топовый рейтинг и довольное узнаваемое имя, не спешат покидать пространство любимой фриланс-биржи. И причин для этого достаточное количество. Давайте разбираться вместе.

Безопасно и надежно

Читать дальше ->

https://habr.com/ru/post/452744/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452744

В этой статье хочу поделится опытом решения задачи запуска автоматизированного тестирования мобильного приложения на Android.

О чем расскажу:

• Как запустить среду автоматического тестирования используя Appium
  (ОС ПК — Windows 10)
• Как избежать некоторых ошибок которые возникают при попытках запуска тестов в гибридном приложении
• Некоторые базовые команды для запуска простейших тестов. Будем использовать Java и JavaScript

Читать далее...

https://habr.com/ru/post/452742/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452742

Примерно в каждой второй теме на Хабре, касающейся космонавтики или электроники, всплывает тема радиационной стойкости. Через новости об отечественной космонавтике красной нитью проходит тематика импортозамещения радстойкой элементной базы, но в то же самое время Элон Маск использует дешевые обычные чипы и гордится этим. А изральтяне в «Берешите» использовали радстойкий процессор и тоже гордятся этим. Да и в принципе микроэлектронная отрасль в России живет по большей части за счет госзаказа с соответствующими требованиями. Наблюдение за регулярными спорами насчет того, как надо правильно строить спутники, показывает, что подготовка участников обычно невысока, а их аргументация отягощена стереотипами, случайно услышанными вырванными из контекста фактами и знаниями, устаревшими много лет назад. Я подумал, что читать это больше нет сил, поэтому, дорогие аналитики, устраивайтесь поудобнее на своих диванах, и я начну небольшой (на самом деле большой) рассказ о самых популярных заблуждениях на тему того, что такое радиационная стойкость интегральных микросхем.


Рисунок 1. Непременная красивая картинка про космическое излучение и хрупкую Землю.
Читать дальше ->

https://habr.com/ru/post/452128/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452128

Сейчас на хайпе тема DevOps. Конвейер непрерывной интеграции и доставки CI/CD внедряют все, кому не лень. Но большинство не всегда уделяют должное внимание обеспечению надежности работы информационных систем на различных этапах CI/CD Pipeline. В данной статье я хотел бы поговорить о своем опыте автоматизации проверок качества ПО и реализации возможных сценариев по его «самовосстановлению».

Источник
Читать дальше ->

https://habr.com/ru/post/451630/?utm_source=habrahabr&utm_medium=rss&utm_campaign=451630

Всем привет, сегодня я хотел бы вам рассказать о некоторых вариантах передачи данных между двумя андройд приложениями и рассмотреть их с точки зрения безопасности. Я решил написать эту статью по двум причинам. Первая, я начал часто сталкиваться с непониманием разработчиков механизмов работы компонентов андройд приложения. Вторая, я перестал понимать на чем основан выбор того или иного механизма при реализации фич и захотел донести как он должен выглядеть на минималках. Читать дальше ->

https://habr.com/ru/post/448198/?utm_source=habrahabr&utm_medium=rss&utm_campaign=448198

Есть у нас в России одна достопримечательность, которая дичайше привлекает иностранцев. Но при этом почти каждый из нас сочтёт её пыткой. Это Транссибирская магистраль: шесть дней на поезде от Москвы до Владивостока. Первый день вы будете спать, на второй ещё как-то выдержите, а вот дальше сойдёте с ума. Или же воспользуетесь дешёвым и практичным методом телепортации с помощью водки.

Каждый раз, когда мы выезжаем за границу, нас спрашивают, что надо знать про Транссиб. А мы не можем толком ответить. В общем, это пост-ликбез про то, как не ударить в грязь лицом перед иностранцами, и про то, что нужно знать про эту поездку. И памятка для иностранцев сразу на английском.

Ну, с попыткой понять, зачем, вот зачем они ездят. И чему радуются. Наш респондент — проводник с многолетним стажем. Читать дальше ->

https://habr.com/ru/post/452690/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452690

Belle использовал метод грубой силы для обыгрывания других компьютеров и людей

Шах и мат: Belle был первым компьютером, играющим в шахматы, разработанным в лабораториях Белла в начале 1970-х

Автор статьи, Аллисон Марш – адъюнкт-профессор истории из Университета Южной Каролины и один из директоров Института наук, технологий и общества имени Энн Джонсон при этом университете.

Шахматы – игра сложная. Это стратегическая игра двух соперников без скрытой информации, в которой все потенциальные ходы противника известны с самого начала. С каждым ходом игроки сообщают свои намерения и пытаются предугадать возможные ответные ходы. Возможность представлять партию на несколько ходов вперёд – это рецепт победы, которым давно интересовались математики и логики.
Читать дальше ->

https://habr.com/ru/post/452706/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452706

В первой части статьи я рассказывал про новый инструмент для бизнеса по подсчету и анализу людского трафика с помощью видеокамер. На рынке представлено довольно много продуктов по подсчету людей, но практически нет таких, которые это делают методом анализа человеческого лица. При распознавании лиц можно получить следующую информацию: пол, возраст, эмоциональный фон и, собственно, самое главное, уникальный идентификатор лица. Последнее нужно для того, чтобы понимать, что это лицо мы видели ранее: тогда-то, столько-то раз, с такой-то периодичностью и т.п.

Данные видеоаналитики прекрасно используются в ритейле, сфере услуг, кафе и ресторанах. Теперь можно более предметно и точно анализировать покупателей: их трафик, уникальность, повторяемость, пол и возраст и, конечно, эмоции. В счетчике по лицам можно наконец-то отделять сотрудников от посетителей, считать длительность обслуживания и выстраивать маркетинговые активности по увеличению лояльности покупателей.

Напомню, что для примера взята одна точка – кафе (по принципу столовой) в Москве, в котором камера установлена на кассе.

Читать дальше ->

https://habr.com/ru/post/452446/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452446

Шифрование, цифровая подпись, защита данных — термины довольно распространенные среди IT-специалистов.

Уже написано очень много интересных публикаций, статей и книг на эти темы. После прочтения одной из них, я решил попробовать свои силы на практике. Так и родился проект, о котором речь пойдет ниже.

Читать дальше →

https://habr.com/ru/post/452736/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452736

Когда Apple представила технологию Bitcode и сделала её обязательной для watchOS и tvOS, компания словно отмахнулись от вопросов, зачем она вообще нужна. Лишь туманно сказала, что она помогает настраивать двоичные файлы и использует последние улучшения компилятора.

С тех пор Bitcode сыграл важную роль в плавном переходе watchOS на 64 бит, где разработчикам даже не пришлось перекомпилировать свои приложения в каталоге. Сама Apple сделала это автоматически: все приложения начали работать на Apple Watch Series 4. Вероятно, вы даже не заметили, что произошла миграция.

Что такое Bitcode? Ну, bitcode с маленькой b — это специфичное для архитектуры промежуточное представление, используемое LLVM, а Bitcode с большой B относится к набору функций, позволяющих встроить это представление в ваш двоичный файл Mach-O, и механизмы, с помощью которых вы можете отдать этот файл в App Store.
Читать дальше ->

https://habr.com/ru/post/452734/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452734

Данной заметкой продолжается


Как мы уже писали в первой статье, есть весьма большое число программ резервного копирования, основанных на rsync.

Из тех, что больше всего подходят под наши условия, я буду рассматривать 3: rdiff-backup, rsnapshot и burp.
Читать дальше ->

https://habr.com/ru/post/452630/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452630

Привет! На связи специалисты «Сбербанк Лизинг». Огромная часть нашей работы связана с документами, поэтому в наших интересах постоянно совершенствовать свою СУД — систему управления документами. До недавнего времени она была, прямо скажем, не лучшей помощницей и отнимала много времени и сил. Не было единого электронного хранилища, автоматизированного сканирования и верификации документов, а также контроля наличия оригиналов в архиве.



Готового решения, которое могло решить все три проблемы, на рынке не существовало, так что мы начали работу над собственным проектом «Электронный DOC.офис». О том, что получилось, расскажем в этом посте.
Читать дальше ->

https://habr.com/ru/post/452368/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452368

И снова здравствуйте! Заголовок статьи говорит сам о себе. В преддверии старта курса «Data Engineer» предлагаем разобраться в том, кто же такие дата-инженеры. В статье очень много полезных ссылок. Приятного прочтения.



Простое руководство о том, как поймать волну Data Engineering и не дать ей затянуть вас в пучину.

Складывается впечатление, что в наши дни каждый хочет стать дата-саентистом (Data Scientist). Но как насчет Data Engineering (инжиниринга данных)? По сути, это своего рода гибрид дата-аналитика и дата-саентиста; дата-инженер обычно отвечает за управление рабочими процессами, конвейерами обработки и ETL-процессами. Ввиду важности этих функций, в настоящее время это очередной популярный профессиональный жаргонизм, который активно набирает обороты.

Высокая зарплата и огромный спрос — это лишь малая часть того, что делает эту работу чрезвычайно привлекательной! Если вы хотите пополнить ряды героев, никогда не поздно начать учиться. В этом посте я собрал всю необходимую информацию, чтобы помочь вам сделать первые шаги.

Итак, начнем! Читать дальше ->

https://habr.com/ru/post/452670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452670

Разработчики базы данных CovenantSQL представили опенсорсную утилиту Cookie Scanner, которая определяет, какие cookies устанавливают сайты и с какой целью.

Обсуждаем, зачем понадобился инструмент и как он работает.

Читать дальше ->

https://habr.com/ru/post/452668/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452668