Привет, Хабр.

Меня зовут Владимир Евсеев, я Senior Java developer, Teamlead в SSP SOFT.

Наша команда приступила к масштабному проекту: системе, обеспечивающей транспортный уровень документооборота банка. Сегодня я расскажу, как мы справились с первым этапом: выстроили магистраль, способную передавать около 150 000 файлов в сутки, или 1,5 терабайта информации. Поделюсь, что получилось и что еще предстоит довести до совершенства.

Читать далее

https://habr.com/ru/post/710770/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710770

В 2022 г. в результате хакерских атак блокчейны потеряли токенов более чем на 1 млрд. долларов США. Самые крупные ограбления произошли в результате атак на блокчейн-мосты. Что такое блокчейн-мост? Какие уязвимости он в себе таит? Есть ли у этой технологии будущее?

Читать далее

https://habr.com/ru/post/709216/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709216

В этой статье поговорим о Greenplum — СУБД, основанной на PostgreSQL. Разберём её общую архитектуру, способы хранения данных, а также перечислим проблемы, с которыми можно столкнуться в ходе эксплуатации.

Читать далее

https://habr.com/ru/post/708124/?utm_source=habrahabr&utm_medium=rss&utm_campaign=708124

Привет, читатель!

Я всегда увлекался рассказами писателей фантастов типа Ф. Дика или А. Азимова. Меня будоражили картины грядущего будущего, с его футуристичными зданиями, беспилотными автомобилями и роботами. Но, я почему-то никогда не задумывался о том, какая экономика и философия должна была поддерживать это будущее и какое место в этом мире будет отводиться человеку.

Читать далее

https://habr.com/ru/post/707818/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707818

Частая проблема при разработке распределённых систем состоит в следующем. Предположим, вы отправили системе запрос, и этот запрос обрабатывается очень долго. При этом внутри системы он распадается на запросы к нескольким внутренним микросервисам, которые могут превратиться в несколько подзапросов и выполняться параллельно. Как в этом случае определить, что тормозит систему? На помощь приходит Jaeger — сервис для сбора и отображения трейсов в распределённых системах.

Читать далее

https://habr.com/ru/post/704464/?utm_source=habrahabr&utm_medium=rss&utm_campaign=704464

Платформа Solana является одной из самых необычных. Чтобы понять Solana недостаточно прочитать белую бумагу, нужно ещё понимать как работают распределенные системы, как они синхронизируются, как ведется учёт времени и многое другое.

Перед вами перевод Белой Книге, где описывается основная концепция Solana - доказательство истории (Proof-of-History, PoH).

Материал предназначен людям, которые понимают Ethereum и хотят дополнить свою копилку знаний новой архитектурой блокчейна. Перевод доработан через расширение пояснительной части, там где это показалось полезным.

Читать далее

https://habr.com/ru/post/700696/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700696

Apache Cassandra - это распределенная NoSQL база данных. В этой статье будут описаны основные механизмы передачи, репликации и поддержания согласованности данных внутри сети.

Читать далее

https://habr.com/ru/post/699104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699104

При проектировании системы знание анти-паттернов и подвохов зачастую оказывается более полезным, чем знание самих паттернов. Отталкиваясь от этой идеи, я решил написать данную статью, чтобы рассказать о факторах, которые, на мой взгляд, приведут к созданию ненадёжных систем. В её основе лежит мой собственный опыт проектирования преимущественно распределённых корпоративных приложений. Будет здорово, если ниже вы поделитесь собственным опытом и полезными идеями по теме. Читать дальше →

https://habr.com/ru/post/698014/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698014

Сегодня у нас — экшен, основанный на реальных событиях. Будем переобуваться в воздухе и на лету менять архитектуру высоконагруженной системы.

Действие разворачивается на базе очень большой track & trace системы класса big data. В ней давно откладывали переход на шардированную архитектуру хранилища. Поэтому главному герою предстоит справиться справиться со злом, пробудившимся в системе под нагрузкой: деградацией производительности, полкой по блокировкам и алертами о перегрузке.

В конце — как обычно, хэппи-энд. Наш герой бесстрашно меняет архитектуру решения на лету без downtime (DT) и обеспечивает штатную работу системы. Зло повержено, а отважный инженер купается в овациях!

Статья написана по мотивам доклада на конференции Saint Highload++ 2022. Если не хотите читать — можно посмотреть видео-версию выступления.

Читать далее

https://habr.com/ru/post/691410/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691410

В этой статье я опишу один способ, помогающий определить, когда инвалидировать записи кэша. В качестве примера я приведу специфическую конфигурацию, которая, тем не менее, должна получиться достаточно универсальной, а в заключении поста расскажу, как обобщить ее еще сильнее. Читать дальше →

https://habr.com/ru/post/690764/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690764

Несколько месяцев назад мне захотелось сдуть пыль со своего аккаунта в Steam и поиграть в старые игры про программирование.

While True Learn в очередной раз показалась слишком скучной, я пару дней позалипал в TIS-100, реализуя свой многопоточный процессор, но в конечном итоге осознал, что интереснее не играть в игры про программирование, а самому писать такие игры.

В статье рассказываю, что из этого получилось и на чём я сломался. Под катом —гремучая смесь из ссылок, картинок, теории распределённых систем и способов визуализации Python в 2022 году.

Читать далее

https://habr.com/ru/post/677960/?utm_source=habrahabr&utm_medium=rss&utm_campaign=677960

Решения в области дистанционного банковского обслуживания юридических лиц (ДБО ЮЛ) довольно продолжительное время строились на монолитных автоматизированных системах подрядчика. Вначале было Legacy от BSS, потом решение от R-Style SoftLab. В таких монолитах нет ничего плохого, это отличный базис, который не просто поддерживает жизнеспособность системы, но и до определенного момента оставляет простор для развития. Однако есть в них и минусы, и чем больше массив становится, тем острее они ощущаются.

Читать далее

https://habr.com/ru/post/677472/?utm_source=habrahabr&utm_medium=rss&utm_campaign=677472

При всех достоинствах Kafka как распределенного хранилища потока сообщений, боль вызывало раздельное хранение метаданных (топологии разделов, конфигурации кластера и прочего) и необходимость запуска в кластере рядом с Kafka еще и Apache Zookeeper. Побочным эффектом такого соседства (кроме дополнительных забот об администрировании и мониторинге) является долгое время восстановления после сбоя при больших размерах кластера, значительном количестве разделов или сложной топологии групп. Но ситуация улучшается и отличная новость появилась полторы недели назад в KIP-833, что в ближайшей версии Kafka 3.3 новый протокол согласования метаданных (KRaft), работающий внутри Kafka без Zookeeper, будет признан Production-Ready и далее постепенно зависимость от Zookeeper будет помечена как deprecated и удалена. В этой статье мы поговорим об особенностях протокола KRaft и разберемся как настроить новый кластер Kafka без необходимости установки Zookeeper.

Читать далее

https://habr.com/ru/post/670440/?utm_source=habrahabr&utm_medium=rss&utm_campaign=670440