Apache Spark, универсальная платформа для крупномасштабной обработки данных, в сочетании с Redis способна обеспечить ускоренные расчеты в реальном времени для таких задач, как анализ временных рядов, прогнозы и рекомендации на основе машинного обучения и т. д.

Spark также способен извлекать датасеты в кэш-память кластера. Это невероятно полезно, когда приложению необходимо многократно запрашивать одни и те же данные. Если вы используете датасет, создание которого достаточно затратно, и который потом используется в вашем приложении не один раз, то этот датасет обязательно нужно кэшировать. Но если вы захотите получить доступ к этому датасету сразу из нескольких приложений, то вам придется поломать голову, как это сделать. Здесь на помощь приходит коннектор Spark-Redis.

Читать далее

https://habr.com/ru/post/703136/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703136

В Google Play сыпятся жалобы на зависания и заторможенность вашего новенького-свеженького приложения на Compose? Вам пригодятся советы из данной статьи, чтобы это исправить.

Читать далее

https://habr.com/ru/post/701422/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701422

В интернете есть десятки ультимативных шаблонов, как сделать питч-дек. Каждый фаундер, сделавший хотя бы один питч-дек, также готов выдать пачку рекомендаций. Каждый фонд имеет свой темплейт. А ответа на вопрос «как сделать питч-дек?» по-прежнему нет.

В этом материале разбираемся: что может входить в питч-дек, на каких стадиях и в каких ситуациях это уместно, нужен ли сторителлинг, важен ли питч (или питч-дек сам себя запитчит), и как же его все-таки сделать?

Читать далее

https://habr.com/ru/post/702970/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702970

Важно: Если вам интересны именно бесплатные программы, то я советую посмотреть мой видеоролик ниже по ссылке - это "байт" на комментарии, лайки и подписку на канал))) Я попробовал сделать максимально не скучный ролик с 2д и 3д анимациями, анимированными титрами, переходами, 5-10 секундными вставками из различных видео и фильмов в качестве смешных перебивок, а так же самих шуток.

Если же вам интересен именно процесс создания данного видео, написание сценария, съёмка, монтаж, озвучка, создание 2д и 3д эффектов, поиск перебивок, а так же создание превью и заставок к видео, загрузка видео на ютуб, его оптимизация, простановка тегов и прочее - советую прочитать именно текстовую статью ниже. Если же вам интересно и то и другое - советую начать с видео))

Читать далее

https://habr.com/ru/post/702436/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702436

За один день - пятницу 9 декабря - мы расскажем, как создавать, развивать и эффективно управлять цифровыми сервисами в крупном банке. И как делать это без потери качества и связи с клиентами. Микросервисы, DevOps, shift-left testing и развитие команды - всё это и многое другое в докладах наших спикеров. Мы уверены на 100%, что каждый наш доклад будет полезен!

Регистрируйтесь и приходите!

https://habr.com/ru/post/702956/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702956

Программное решение nanoCAD BIM Вентиляция базируется на новом ядре EVOS, что позволяет ему выйти на новый уровень информационного моделирования. Многопользовательская работа, вариативность модели, параметризация свойств и многое другое позволяют пользователю ускорить процесс моделирования, повысить качество выпускаемой документации.

Читать далее

https://habr.com/ru/post/702952/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702952

Всем привет, решили затронуть столь любимый жанр сказок о безопасности и в этот вечер поведать историю о преодолении, отрицании и смирении… ну то есть о внедрении средств криптографической защиты. Возможно, и вы сталкивались с подобным, но не на страницах книг, а в реальной жизни. Как говорится, все совпадения случайны.

Итак...

В двоичном царстве, в восьмибитном государстве жил-был мудрый царь Айтидон.

Читать сказку

https://habr.com/ru/post/702944/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702944

Минидиск, один из самых приятных и наиболее бесполезных носителей звука, был выпущен ровно 30 лет назад, в ноябре 1992 года. Тогда в продажу поступило первое устройство — условно портативный плеер и рекордер Sony MZ-1. В 2002 году формат еще был вполне актуален, выпускался полный ассортимент устройств от портативных плееров до магнитол в автомобиль. Появилась возможность копировать треки с компьютера, хотя и с серьезными ограничениями. В 2012 году минидиск все еще поддерживался производителем, хотя последнее новое устройство было выпущено в 2006-м. В 2022 году формат мертв. Да что там, окончательно потеряли актуальность все физические носители данных, кроме разве что флешек и карт памяти. Наступила эпоха тотального стриминга данных из разнообразных облаков, и больше не надо изучать полку с дисками, чтобы найти любимый альбом.


Впрочем, у меня дома минидиск живее всех живых. Недавно моя коллекция пополнилась еще одним очень интересным экспонатом. Это стационарный минидисковый рекордер Sony MDS-JA30ES, выпущенный в 1998 году. Это довольно нестандартное устройство: большой, тяжелый аппарат с классическим дизайном, принадлежащий серии ES, в которой компания Sony традиционно выпускала наиболее качественные компоненты. Это, если хотите, аудиофильское устройство, в котором какие-то решения действительно влияют на объективные характеристики, а некоторые просто призваны радовать владельца крайне недешевой техники без какой-либо реальной пользы. Давайте обсудим разницу между объективным и субъективным, и заодно попробуем ответить на вопрос: как так получилось, что в аудиофильском устройстве используется сжатие с потерями, наподобие MP3.
Читать дальше →

https://habr.com/ru/post/702948/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702948

Актуальность XML в 2022 году была бы под вопросом, но все еще остается много legacy систем, которые могут предоставлять данные в этом формате, поэтому нам приходится с ним работать. XML популярен в travel индустрии. Например, GDS (международные системы бронирования, более подробно можно почитать в википедии) или информационная система Darwin ассоциации железнодорожных транспортных компаний Великобритании активно используют его. Поэтому, я надеюсь, что эта статья будет кому-то полезна. В ней рассмотрена пара подходов к парсингу xml в Golang: обычный и потоковый, пользовательский парсинг поля и работа с различными кодировками. Мы будем использовать пакет encoding/xml из стандартной библиотеки. Если вы уже работали c encoding/json, то будет много похожего, но некоторые различия все же есть.

Читать далее

https://habr.com/ru/post/702918/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702918

Зональная Диаграмма со слоем затемнения вплоть до текущего момента времени

Читать далее

https://habr.com/ru/post/702890/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702890

Привет, друзья!

Представляю вашему вниманию перевод этой замечательной статьи, в которой рассказывается о разработке приложения с помощью React Query.

Репозиторий с кодом проекта

Прим. пер.: автор рассказывает лишь о ключевых особенностях приложения, поэтому я рекомендую клонировать репозиторий, установить зависимости и запустить сервер для разработки, чтобы иметь возможность выполнять необходимые операции при чтении статьи. Обратите внимание: если у вас возникнут проблемы при запуске сервера для разработки с помощью команды npm start, перенесите переменные, определенные в этой команде в файле package.json, в файл .env:

SKIP_PREFLIGHT_CHECK=true
TSC_COMPILE_ON_ERROR=true
ESLINT_NO_DEV_ERRORS=true

И отредактируйте команду start следующим образом:

"start": "react-scripts start"

Руководство по React Query

Читать дальше →

https://habr.com/ru/post/702876/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702876

На Xakep.ru ежедневно публикуются самые актуальные новости из мира информационной безопасности, а в конце каждого месяца мы подводим итоги. В этом месяце: в сети появился эксплоит для ProxyNotShell, американские правоохранители борются с теневой библиотекой Z-Library, а ее операторы арестованы, Палмер Лаки показал VR-гарнитуру, которая может убить пользователя, эксперты обратили внимание на злоупотребления IPFS, инженеры Google борются с нелегальным использованием Cobalt Strike и другие интересные события прошедшего ноября.

Читать далее

https://habr.com/ru/post/702934/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702934

Лучшие delivery-практики приходят от набивания шишек, из книг, или от коллег по сообществу. Одним осенним вечером мы решили собрать в Питере встречу и обсудить свежие истории из жизни Delivery-менеджеров Кошелька, Тинькофф Кассы и HeadHunter. Но, как мы знаем, если этого нет в инстаграме на ютубе, значит этого никогда не было. Так что внутри статьи вы найдёте описание и записи наших докладов.

Читать далее

https://habr.com/ru/post/702796/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702796

О том, что такое инфраструктурная документация и чем она полезна как аутсорсерам, так и владельцам проектов, мы писали в предыдущей статье. Теперь настало время поговорить о грустном: инфраструктурная документация не вечна… Мало того, что она в принципе изменчивая натура, так ещё и случается так, что жизненный цикл её конечен. Или нет?..

Расскажем сегодня, почему не стоит пугаться словосочетания «жизненный цикл» и может ли он действительно закончиться, или всё новое — хорошо забытое?..

Документация живёт и побеждает

Документация не бывает статичной; она всегда претерпевает изменения — обновляется, удаляется, восстанавливается или меняет структуру. Эти изменения и составляют жизненный цикл инфраструктурной документации. Его необходимо сформировать как процесс и приучать к нему сотрудников.

Итак, жизненный цикл документации состоит из нескольких этапов, которые могут варьироваться в зависимости от специфики компании и продукта. Но есть в их перечне обязательные: Читать дальше →

https://habr.com/ru/post/702922/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702922

Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например, (ID организации, ID сотрудника).

Как больно наступить на грабли в совсем простом, казалось бы, запросе?

Читать далее

https://habr.com/ru/post/702902/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702902

Подводим итоги работы Российских аналогов за ноябрь 2022 года и рассказываем о том, каких-же сервисов и продуктов больше всего не хватало в условиях введённых санкций.

Читать далее

https://habr.com/ru/post/702920/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702920

В этом году в продаже появились батарейки нового поколения Duracell Optimum, на упаковке которых утверждается, что у них в 30 раз больше время работы (конечно со звёздочкой). Я их купил, протестировал и сравнил с другими батарейками.


Читать дальше →

https://habr.com/ru/post/702916/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702916

Все, что смотрит в бесконечную даль Интернета, находится в той или иной степени под угрозой атаки вездесущими ботами, хакерами, школьниками и прочими темными сущностями глобальной сети. Это не в последнюю очередь касается мощностей арендных серверов (выделенных или VPS/VDS). Провайдер может обеспечивать базовый функционал защиты от атак на свою инфраструктуру, но то, что юзер творит со своей машиной, провайдера абсолютно не касается. Разве что за доп. плату он может добавить некоторые настройки к VPS, мониторить и фильтровать трафик, поступающий с определенной интенсивностью. Поэтому хочешь не хочешь, а приходится задуматься об обеспечении безопасности своего сервиса вот этими вот маленькими ручками, желательно с минимальными временными и материальными издержками.

Под катом рассмотрим несколько простых настроек, которые сведут к минимуму угрозу для вашего VPS, а в конце статьи рассмотрим пару более сложных, но эффективных техник защиты. Примеры команд приведены для ОС Ubuntu.

Поехали!

https://habr.com/ru/post/702912/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702912

В данной статье делюсь опытом создания прототипа TMS (Transportation Management Systems) – ИТ-решения для планирования и контроля исполнения перевозок (доставок/поставок) товаров, оборудования и людей, «собственными силами» или, так сказать, сделанного «на электронной коленке из подручных средств».

Создание «на коленке» компонентной базы такого ИТ-решения, как то – «вычислительный движок» для оптимизации маршрутов, геокодер, обработчик дорожных графов для вычисления «матрицы расстояний» (расстояний и продолжительностей при перемещении между каждой возможной парой точек доставки/поставки из решаемой задачи), геоинформационный визуализатор и др., представляется утопичным: за разумное время в одиночку - почти невозможно. Посмотрим на мой путь, который вы можете пройти сами, вместе со мной или в комбинированном режиме.

На дворе непростые времена: общий экономический кризис, специфическое состояние ИТ-отрасли и рынка труда (как в сегменте ИТ, так и по направлению, связанному с логистикой), а также специфика ситуации на вашем предприятия и с вашей ИТ-службой, могут заставить искать какие-то нестандартные пути для получения такого рода ИТ-решения для автоматизации транспортной логистики. Например, путем создания и внедрения TMS «из подручных средств». Речь пойдет о подходе, в рамках которого ИТ-решение конструируется из доступных, относительно свободно распространяемых компонентов, а вам предлагается писать связующий программный код для получения законченного прикладного ИТ-решения. И создавать это решение можно на «простеньком» компьютере – без использования продвинутого «железа» и «софта», без «облаков» и т.д., т.е. на своей «электронной коленке».

Читать далее

https://habr.com/ru/post/702910/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702910

Всем привет! Недавно вышла моя книга и в тематических постах мне задавали вопросы насчет издания книги и что я для этого сделал. Попробую описать свой путь (именно мой, без претензии на истину в последней инстанции), подвести итоги и дать осторожные рекомендации.

Читать далее

https://habr.com/ru/post/702900/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702900