Мартин Клеппман (Martin Kleppman) – исследователь в Кембриджском университете, работающий над CRDT и формальной верификацией алгоритмов. Его книга «Designing Data-Intensive Applications», опубликованная в 2017 году, стала бестселлером в области хранения и обработки данных. 

Kevin Scott (CTO в Microsoft) однажды сказал: «Эта книга должна быть обязательной для инженеров-разработчиков. Это редкий ресурс, объединяющий теорию и практику, помогающий разработчикам глубже продумывать дизайн и реализацию инфраструктуры и систем обработки данных». Что-то похожее говорил и Jay Kreps — создатель Apache Kafka и CEO Confluent.

А прежде чем заняться академическими исследованиями, Мартин работал в индустрии и стал сооснователем двух успешных стартапов: Rapportive (купленный LinkedIn в 2012 году) и Go Test It (куплен RedGate).

Этот хабрапост – развернутое интервью с Мартином. Примерные темы обсуждения:

• Переход от бизнеса к академическим исследованиям;
  
• Предпосылки написания Designing Data-Intensive Applications;
  
• Здравый смысл против искусственного ажиотажа и рекламы инструментов;
  
• Ненужность теоремы CAP и другие ошибки индустрии;
  
• Полезность децентрализации;
  
• Блокчейны, Dat, IPFS, Filecoin, WebRTC;
  
• Новые CRDT. Формальная верификация на Isabelle;
  
• Дискуссия про event sourcing. Низкоуровневый подход. XA-транзакции; 
  
• Apache Kafka, PostgreSQL, Memcached, Redis, Elasticsearch;
  
• Использование всего этого в реальной жизни;
  
• Порог входа в доклады Мартина и конференция Hydra.
  

Интервью провёл Вадим Цесько (@incubos) — ведущий разработчик в команде Платформы компании Одноклассники. Научные и инженерные интересы Вадима касаются распределённых систем и хранилищ данных, а также верификации программных систем.
Читать дальше ->

https://habr.com/ru/post/457736/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457736

Я один из разработчиков операционной системы Embox, и в этой статье я расскажу про то, как у меня получилось запустить OpenCV на плате STM32746G.

Если вбить в поисковик что-то вроде "OpenCV on STM32 board", можно найти довольно много тех, кто интересуется использованием этой библиотеки на платах STM32 или других микроконтроллерах.
Есть несколько видео, которые, судя по названию, должны демонстрировать то, что нужно, но обычно (во всех видео, которые я видел) на плате STM32 производилось только получение картинки с камеры и вывод результата на экран, а сама обработка изображения делалась либо на обычном компьютере, либо на платах помощнее (например, Raspberry Pi).

Читать дальше ->

https://habr.com/ru/post/457724/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457724

Салют, хабровчане! Перевод следующей статьи подготовлен специально для студентов курса «Инфраструктурная платформа на основе Kubernetes», занятия по которому стартуют уже завтра. Начнем.

Автомасштабирование в Kubernetes

Автомасштабирование позволяет автоматически увеличивать и уменьшать рабочие нагрузки в зависимости от использования ресурсов.

У автомасштабирования в Kubernetes два измерения:

• автомасштабирование кластера (Cluster Autoscaler), которое отвечает за масштабирование узлов;
• горизонтальное автомасштабирование подов (Horizontal Pod Autoscaler, HPA), которое автоматически масштабирует количество подов в развертывании или наборе реплик.

Автомасштабирование кластера можно использовать в сочетании с горизонтальным автомасштабированием подов для динамического регулирования вычислительных ресурсов и степени параллелизма системы, необходимых для соблюдения соглашений об уровне обслуживания (SLA). Читать дальше ->

https://habr.com/ru/post/457742/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457742

Государственные учреждения страны теперь должны делать общедоступным весь разработанный для них код

Оригинальный пост на английском опубликован представителем итальянской государственной команды по цифровизации (Italian Government Digital Transformation Team) — прим. перев.

«Свобода, ведущая народ»

Цифровизация Италии достигла Рубикона. Вступивший в силу закон гласит, что государственные учреждения должны стараться использовать программное обеспечение с открытым исходным кодом в первую очередь, а также публиковать всё разработанное для них ПО как Open Source. На практике реализация закона закреплена в наборе обязательных принципов.

Следуя этим гайдлайнам гос. учреждения могут (и должны) опубликовать всё ПО, приобретённое ранее и приобретаемое с этого момента, на Developers Italia.

Мы впервые упомянули эти правила в 2018 году в статье «Открытое программное обеспечение и государство: онлайн-рекомендации по приобретению и повторному использованию ПО», в которой было анонсировано начало публичных консультаций. В течение этого периода нам прислали много ценных комментариев, которыми гайдлайны были дополнены. Это чётко показало, что пришло время окончательно принять парадигму Open Source.

Спустя несколько месяцев, после одобрения Объединённой конференцией и Европейской комиссией, процесс принятия был завершён, а гайдлайны опубликованы в Official Journal (такая публикация является условием вступления закона в силу — прим. перев.).

Читать дальше ->

https://habr.com/ru/post/457734/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457734

В эфире опять Радио SQL! Сегодня у нас совсем краткий выпуск, посвящённый подведению итогов решения задачки участниками хабросообщества. Я обещал разыграть небольшой приз, так что подвести итоги лучше небольшой, но всё же статьёй. Дописать строчку в оригинальную статью (что я, впрочем, тоже сделал) — было явно недостаточно, заинтересованные лица могут пропустить такое подведение итогов. Поэтому подстраивайте свои ложементы и вытягивайте омматофоры, мы начинаем!

Пиу-пиу!

https://habr.com/ru/post/457722/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457722

Порассуждаем об имплементации map в языке без дженериков, рассмотрим что такое хэш таблица, как она устроена в Go, какие есть плюсы и минусы данной реализации и на что стоит обратить внимание при использовании данной структуры.

Детали под катом.
Читать дальше ->

https://habr.com/ru/post/457728/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457728

29 февраля 2012 наш мир немного изменился к лучшему. Raspberry Pi Foundation анонсировал начало продаж маленьких одноплатных компьютеров под маркой Raspberry Pi. В начале продаж купить устройство было непросто, но понемногу рынок насытился и с июля 2012 вы наконец могли просто пойти в магазин и купить или заказать через интернет первую «Малинку», Raspberry Pi Model B — одноплатный Linux-компьютер с 700 МГц процессором, 0.5 Гбайт ОЗУ, USB, Ethernet и 26 выводами GPIO, позволяющими подключать внешние платы, устройства ввода-вывода и исполнительные устройства. Устройство, построенное на базе относительно недорогой четырехслойной платы, с низкой себестоимостью, с ценой для конечного потребителя $35, сделанное настолько хорошо, что альфа-версия Raspberry Pi Model B стала победителем номинации «Hardware Design» на ARM TechCon 2011.


Читать дальше ->

https://habr.com/ru/post/457666/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457666

Крупная утечка маршрутов повлияла на большие секторы интернета, включая Cloudflare

Что случилось?

24.06 в 10:30 UTC в интернете случился коллапс: на небольшую компанию на севере Пенсильвании хлынул поток трафика из множества маршрутов, проходящих через крупного провайдера Verizon (AS701), — с тем же успехом навигатор мог бы отправить поток машин с многополосного шоссе на узкую улочку. В результате у многих веб-сайтов на Cloudflare и многих других провайдеров возникли проблемы с доступом. Этого вообще не должно было произойти, ведь Verizon не должен был рассылать эти маршруты всему интернету. Чтобы узнать, как так вышло, читайте дальше.

Читать дальше ->

https://habr.com/ru/post/457712/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457712

20-21 июня в Москве проходил Международный конгресс по кибербезопасности. По итогам мероприятия посетители могли сделать следующие выводы:

• цифровая неграмотность распространяется как среди пользователей, так и среди самих киберпреступников;
• первые продолжают попадаться на фишинг, открывать опасные ссылки, приносить в корпоративные сети зловреды с личных смартфонов;
• среди вторых все больше новичков, которые гоняются за легким заработком без погружения в технологии — скачали ботнет в дарквебе, настроили автоматику и следят за балансом кошелька;
• безопасникам остается полагаться на продвинутую аналитику, без которой в информационном шуме очень просто проглядеть угрозу.

Читать дальше ->

https://habr.com/ru/post/457640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457640

Я не тот Пророк, про которого вы, может быть, подумали. Я – тот пророк, которого нет в своем отечестве. В популярную игру «поймай меня, если сможешь» я не играю. Меня не надо ловить, я всегда под рукой. Я всегда занят делом. Не просто работаю, выполняю обязанности и следую указаниям, как большинство, а стараюсь улучшить хоть что-нибудь вокруг себя.

К сожалению, я – человек старой закалки. Мне шестьдесят лет, и я – интеллигент. Сейчас, как и в последние лет сто, это слово звучит либо как ругательство, либо – как оправдание бездействия, слабоволия и инфантильности. Но мне не в чем оправдываться.

Я – один из тех людей, на которых держится наш завод. Но, как следует из первых предложений моего рассказа, до этого факта никому нет дела. Точнее, не было. На днях в наших краях появился некий Король (своего имени он так и не назвал, и общаться было весьма неудобно). Вчера он пришел ко мне. Мы долго разговаривали – если честно, я не ждал, что этот молодой человек окажется настолько образованным, интересным и глубоким человеком. Он и объяснил мне, что я – Пророк. Читать дальше ->

https://habr.com/ru/post/457638/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457638

Сейчас, на пике экономического цикла в такой горячей отрасли как разработка ПО не принято считать деньги. Зачастую этот процесс в принципе позиционируется как творческая деятельность, где не надо ничего обосновывать, а художнику виднее, что и как писать. В частности, на тему юнит-тестов и TDD ведется много споров, но, к сожалению, все они скатываются к бездоказательным заявлениям и эмоциональным выпадам, подтверждаемым пруфами на удачно подобранные статьи и книги методологистов, зарабатывающих на консультациях и продажах тренингов, которые, в свою очередь, не содержат абсолютно никакой статистики или расчетов, либо, напротив, к огульным обвинениям в смузихлебстве и прочих грехах юности.

Читать дальше ->

https://habr.com/ru/post/457632/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457632

Я живу на периферии технологической тусовки. И на периферии в географическим смысле. А это значит, что:

• Я никогда не был на профессиональных конференциях. Просто потому, что никогда не предоставлялось такой возможности.
• Я никогда не покупал обучающие курсы: для меня странно платить за то, что можно изучить самому в этих ваших интернетах или по книгам. Заманчиво, конечно, получить концентрированные знания, подкрепленные выполнением практических заданий, заполучить сертификат. Но на это у меня никогда не было ни средств, ни времени.
• Я адепт цифрового аскетизма: не по своей воле, но как порождение вечной перестройки в нашей стране. В короткие периоды финансовой стабильности я обновляю электронику по остаточному принципу. Вот и сейчас пишу этот текст на Core2Duo десятилетней давности. Все еще жду следующего стабильного плато на кривой моих доходов.
• Раза три в своей жизни я покупал игры. В 90-е. Это были кассеты для отживающего своё Спектрума. На покупку ПО я смотрю с удивлением: когда все пользовались пиратским ПО, то и я пользовался, не понимая сути вопроса. А потом, в начале двухтысячных, полностью перешел на Linux и покупать стало нечего.

Читать дальше ->

https://habr.com/ru/post/457618/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457618

В этом посте я поделюсь тем, как разбирался с написанием DDS синтезатора на Verilog. Он будет использован для генерации синусоидального колебания, частоту и начальную фазу которого можно регулировать и рассчитан для использования с 8-битным однополярным ЦАП. О том, как работает синтезатор хорошо написано в статье журнала Компоненты и Технологии. Для сокращения объема использованной памяти таблицы синуса использована симметрия.

Читать дальше →

https://habr.com/ru/post/457634/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457634

Сегодня практически любой бизнес ощущает потребность в исследовании данных. Data science не воспринимается как нечто новое. Тем не менее, не для всех очевидно, каким должен быть нанимаемый специалист.

Данная статья написана не HR-специалистом, а дата сайнтистом, поэтому стилистика изложения весьма специфична, но в этом есть и преимущество – это взгляд изнутри, позволяющий понять, какие качества data scientist являются необходимыми для профессии, для того, чтобы компания могла положиться на такого человека.

Пролог

Пришло время, когда data science стартап вырос из пеленок — число задач для анализа возросло с непредвиденной скоростью, и эта скорость сразу же перестала компенсироваться автоматизацией. Стало очевидно, что нужны новые мозги в команду…

Как мне сначала казалось, человек требовался вполне определенный: всего лишь обычный дата-что-то-там… программист, аналитик, статистик. Так в чем же сложность составить список требований?

“В инженерном деле, если не знаете, что делаете — не стоит этого делать.”
Ричард Хэмминг

Подошел я к делу как обычно. Достал два листа бумаги. Один озаглавил «Технические навыки», другой — «Профессиональные качества». После этого возникло желание полезть на какой-нибудь ресурс, найти там пачку резюме, выписать списки качеств, выбрать те, что понравятся. Но что-то меня остановило. “Это не мой способ, — сказал я себе. — Я в этом не разбираюсь. Я разбираюсь в задачах..”
Читать дальше ->

https://habr.com/ru/post/457630/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457630

Джеймс Раунд — известный лондонский графический дизайнер и иллюстратор поделится своими секретами по передаче сложных идей визуально привлекательным способом. Узнайте как Джеймс рассказывает истории через данные с помощью реальных примеров его инфографики!

Читать дальше ->

https://habr.com/ru/post/457608/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457608

Давным давно в далекой далекой галактике я написал небольшую статью о специализированных контроллера Piccolo от Texas Instruments, которые предназначены для управления силовыми преобразователями и электроприводом. Данные контроллеры являются очень мощным инструментов разработки во многих задачах и хотелось написать про них что-то еще… простое и полезное.

Недавно меня озадачили разработать контроллер для управления двигателем и соответственно образовалась тема для статьи — сегодня я расскажу о процессе формирования трехфазного ШИМа для управления двигателем, а так же объясню в чем выгодные отличия TMS320F28 от других контроллеров типа STM32F334, STM32G484, XMC4200 и остальных.

В качестве стенда я буду использовать разрабатываемый контроллер, увы, подробно про железную часть я рассказывать не могу. Правда, если я скажу, что контроллер построен на базе связки TMS320F28027 + DRV8353RSRGZT, то вы можете посмотреть в даташит на драйвер и увидеть общий концепт схемотехники + на данном камне есть отладка и reference design на нее открыт.

Читать дальше ->

https://habr.com/ru/post/457548/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457548

В статье показан пример применения Power BI для анализа доступов пользователей на сайте под управлением 1С-Битрикс.
Читать дальше →

https://habr.com/ru/post/457626/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457626

Зураб Белый, руководитель группы, практика Java, рассказывает свою историю работы в проекте для одной крупной компании и делится накопленным опытом.

Как я заселился…

В проект я попал в конце лета 2017 года рядовым разработчиком. Не скажу, что на тот момент мне это сильно нравилось: технологии в проекте использовались старые, коммуникация внутри команды была сведена к минимуму, общение с заказчиком было тяжелым и непродуктивным. Таким встретил меня проект. В то время у меня было только одно желание: побыстрее из него выйти.

Расскажу немного о проекте в целом. Это официальный портал одной крупной компании с общей информацией, новостями, акциям и другим контентом. Все маркетинговые рассылки содержат ссылки на те или иные страницы сайта, т. е. нагрузка стабильно средняя, но в отдельные моменты времени может достигать высоких значений. Особое внимание требует стабильность и доступность веб-приложения — каждая минута простоя сервиса ведет к большим убыткам у заказчика.
Читать дальше ->

https://habr.com/ru/post/457624/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457624

Всем хорошего настроения и температуры за окном пониже. Как и обещал, публикую продолжение статьи по супер-пупер современному OpenGL. Кто не читал первую часть — Суперсовременный OpenGL. Часть 1.

Возможно повезет и я смогу весь оставшийся материал впихнуть в эту статью, это не точно…
Читать дальше ->

https://habr.com/ru/post/457380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457380

Если вы следите за новостями, то наверняка знаете о новой масштабной атаке на российские компании вируса-шифровальщика Troldesh (Shade), одного из самых популярных у киберпреступников криптолокеров. Только в июне Group-IB обнаружила более 1100 фишинговых писем с Troldesh, отправленных от имени сотрудников крупных авиакомпаний, автодилеров и СМИ.

В этой статье мы рассмотрим криминалистические артефакты, которые можно найти после атаки Shade/Troldesh на носителе информации скомпрометированного устройства, а также сопоставим используемые атакующими тактики и техники с «MITRE ATT&CK».

Автор - Олег Скулкин, ведущий специалист по компьютерной криминалистике Group-IB
Читать дальше ->

https://habr.com/ru/post/457592/?utm_source=habrahabr&utm_medium=rss&utm_campaign=457592