Чёрная пятница уже началась, но ещё можно успеть проверить самое важное в проекте, чтобы не быть крайним, если вдруг что-то случится с сайтом :-)



Ведь как оно частенько бывает: отдел маркетинга\отдел продаж\коммерческий департамент или лично собственник бизнеса вроде просчитали всё перед акцией (типа Чёрной пятницы) — но сайт не выдержал нагрузки, и кто же виноват?..



Впрочем, наша задача — не разбирательствами заниматься, а помочь сделать так, чтобы этого вовсе не случилось. В этой статье мы собрали советы, которые назвали универсальными: с одной стороны, некоторые моменты довольно очевидны, с другой — про очевидное, когда всё в огне, тоже можно забыть. Ну и это всё будет полезно любому проекту, вне зависимости от профиля и масштабов бизнеса.



Итак, поехали.
Читать дальше →

https://habr.com/ru/post/701528/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701528

Привет, Хабр! Меня зовут Сергей Рабинович, я руковожу производственным отделом департамента e-commerce в одной крупной российской ИТ-компании. В этой статье расскажу, на что стоит обратить внимание при проектировании и масштабировании интернет-магазина, и поделюсь рекомендациями, как обеспечить устойчивость к падениям, а не тушить пожар после очередного сбоя.

https://habr.com/ru/post/700326/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700326

Пастух весь день зависает в смартфоне, при этом его стадо коров остаётся под присмотром. Оператор на нефтяном месторождении прогнозирует поломку сложного агрегата и заранее сообщает о проблеме, чтобы вовремя её решить. Казалось бы, что может быть общего у этих несвязанных вещей… Ответ прост. Им облегчает работу IoT. Предлагаю вам небольшую экскурсию, где мы с вами погуляем вдоль вольеров зоопарка устройств, подивимся его разным «живностям» и окунёмся в Industrial Internet of Things – промышленный интернет вещей.

Я — Владимир Плизга, занимаюсь разработкой backend IoT-платформы AggreGate. Область интернета вещей (IoT, Internet of Things) открывает много интересных и необычных кейсов применения. Сегодня я поделюсь некоторыми из них и помогу вам систематизировать знания в этой сфере.

https://habr.com/ru/post/679544/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679544

В прошлой работе автор представил описание архитектуры платформы приемной коммисии для обработки миллиарда абитуриентов за один день. В этой работе автор предлагает разработать, используя Spring + JDBCTemplate и Kafka микросервисы для предложенной архитектуры.

https://habr.com/ru/post/687588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=687588

Вечером 30 марта 2022 года (среда) в формате онлайн мы проводим Java/С++/ C#/TS/JS Hiring day.

Приглашаем всех заинтересованных в разработке на Java, С++, C#, JS, TS принять участие!

На митапе в течение часа мы расскажем:

· О разработке различных механизмов платформы корпоративных и облачных приложений, их внутреннем устройстве и принципах работы

· Опыте разработки highload-решений, которые ежедневно используют миллионы людей

https://habr.com/ru/post/657411/?utm_source=habrahabr&utm_medium=rss&utm_campaign=657411

В статье на реальных кейсах из разных сфер разберём, почему сайты не справляются с ростом нагрузки. Для соблюдения NDA мы не называем заказчиков, а также опускаем детали, которые могли бы их раскрыть.

https://habr.com/ru/post/598335/?utm_source=habrahabr&utm_medium=rss&utm_campaign=598335

Все кто хоть раз касался разработки I/O интенсивных приложений, наверное, задумывался о повышении их производительности. Особенно когда у проекта много внешних хранилищ и они находятся по всему миру. Давайте разберем какие есть инструменты с их плюсами и минусами и как их лучше использовать на примере конкретного проекта, в котором принимал участие Дмитрий Бундин, старший Big Data-разработчик в Grid Dynamics.

https://habr.com/ru/post/596077/?utm_source=habrahabr&utm_medium=rss&utm_campaign=596077

Переехать в микросервисы можно двумя способами. Можно построить платформу — это надежно, но очень сложно. Или можно поднять Kubernetes и начать в него коммитить новые сервисы. Переезд проходит быстро и легко, но редко получается то, на что вы рассчитываете. Например, вместо микросервисной структуры вы можете обнаружить распределенный монолит.

Многие при этом не задумываются, правильно ли они пилят микросервисы. Как в синдроме утенка: увиденное самым первым становится единственно верным решением.

Меня зовут Олег Федоткин, я Head of PaaS СберМаркет, мы занимаемся той самой платформой, которая помогает разработчикам лучше, удобнее и быстрее писать микросервисы. Мы стандартизируем всю разработку, стараясь снизить Time to Market для новых фич. Но это всё равно очень сложно. Поэтому сегодня я разберу самые распространенные микросервисные проблемы.

https://habr.com/ru/post/594179/?utm_source=habrahabr&utm_medium=rss&utm_campaign=594179

Ещё лет 5 назад на собеседованиях с backend-разработчиками был популярен вопрос: как переименовать колонку в высоконагруженной таблице (возможны вариации: как сделать любой другой alter table)?

Вопрос всё ещё часто звучит на собесах. И актуальность его выросла, так как за последние 5 лет стало намного больше масштабных проектов с высокой нагрузкой.

https://habr.com/ru/post/568240/?utm_source=habrahabr&utm_medium=rss&utm_campaign=568240

Как считает Евгений Россинский, СТО должен быть одновременно и стратегом в настоящем, и мечтателем, смотрящим в будущее. Стратег должен очень хорошо понимать, где находится сейчас — «чтобы что-то улучшить, надо сначала померить и найти метрику качества». А мечтатель должен любить свое дело, чтобы заряжать людей вокруг и двигать дело вперед.

Такой же стиль у него в Программном комитете HighLoad++ — находить интересных спикеров и животрепещущие темы, чтобы показать их широкой аудитории и продвинуть в будущее. Накануне конференции мы встретились с Евгением, чтобы расспросить о докладах и спикерах HighLoad++ Весна 2021. Что было бы интересно, а что — просто обязательно надо идти и слушать, если вы разработчик высоконагруженных систем.

https://habr.com/ru/post/538464/?utm_source=habrahabr&utm_medium=rss&utm_campaign=538464

Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHouse, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на ClickHouse, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — ClickHouse тогда напоминал минное поле.



Три года спустя ClickHouse стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на ClickHouse десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас ClickHouse все еще не беззаботная прогулка, но уже и не минное поле.



Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. На прошедшей HighLoad++ 2019 Александр, один из пионеров использования ClickHouse, рассказал, что сейчас из себя представляет эта СУБД. Мы узнаем про основные особенности ClickHouse: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на ClickHouse.

https://habr.com/ru/post/328784/?utm_source=habrahabr&utm_medium=rss&utm_campaign=328784

С 2019 года в России действует закон об обязательной маркировке. Закон распространяется не на все группы товаров, и сроки вступления в силу обязательной маркировки для товарных групп разные. Первыми под обязательную маркировку попадают табак, обувь, лекарства, позднее добавятся и другие товары, например, духи, текстиль, молоко. Это законодательное нововведение побудило к разработке новых ИТ-решений, которые позволят отследить всю цепочку жизни товара с момента производства до покупки конечным потребителем, всем участникам процесса: как само государство, так и все организации, реализующие товары с обязательной маркировкой.



В Х5 система, которая будет отслеживать товары с маркировкой и обмениваться данными с государством и поставщиками, получила название “Маркус”. Расскажем по порядку как и кто ее разрабатывал, какой у нее стек технологий, и почему нам есть чем гордиться.




Читать дальше →

https://habr.com/ru/post/509714/?utm_source=habrahabr&utm_medium=rss&utm_campaign=509714

Увеличение активности обмена данными между микросервисами зачастую является проблемой в архитектуре современных IT решений. Выжать максимум и выжить любой ценой — серьёзный вызов для любой разработки. Поэтому поиск оптимальных решений — это не прекращающийся процесс. В статье кратко изложены проблемы, которые могут возникнуть при высоконагруженном использовании http запросов и пути их обхода.

https://habr.com/ru/post/495308/?utm_source=habrahabr&utm_medium=rss&utm_campaign=495308

Всем привет! Сегодня хочу поделиться опытом изучения языка и быстрой реализации высоконагруженного сетевого проекта, использующего так популярные и востребованные сейчас неблокирующие асинхронные сетевые соединения, на новом, красивом, элегантном и очень эффективном языке Rust.

Особый упор в посте сделаю на быстрое и ясное объяснение возможностей языка и платформы специалистами, имеющим большой опыт в веб-разработке, ибо сам таким и являюсь. Существует заблуждение, что кривая вхождения в Rust — очень-очень крутая. Но я покажу, что это далеко не так. Наливаем кофе и погнали!
Читать дальше ->

https://habr.com/ru/post/477342/?utm_source=habrahabr&utm_medium=rss&utm_campaign=477342

Мало хостеров предлагает тарифы VDS с высокой тактовой частотой процессора, хотя кажется, что всё просто: вставил в сервер i9 помощнее, настроил биллинг и готово.



Когда мы готовили тарифы Hi-CPU, то выяснили, что:

• серверы с i9 потребляют тонны электричества


• поймать баланс и сделать выгодный тариф на качественном железе непросто


• ЦОДы предпочитают с таким не связываться

https://habr.com/ru/post/466925/?utm_source=habrahabr&utm_medium=rss&utm_campaign=466925

Команда TestMace продолжает публикацию переводов об интересных моментах web-сферы. На очереди описание Amazon Prime Day с точки зрения разработки высоконагруженных сервисов. Приятного чтения!







Уже по традиции я бы хотел рассказать вам о некоторых преимуществах AWS, которые помогли нам запустить такое масштабное мероприятие и справиться с высокой нагрузкой. Из статей How AWS Powered Amazon’s Biggest Day Ever и Prime Day 2017 – Powered by AWS вы можете узнать, как мы обрабатывали результаты прошлых распродаж Prime Day и что мы предприняли для оптимизации своих систем и процессов.



В этот раз я хотел бы остановиться на трех особенностях AWS, которые помогли нам справиться с рекордными показателями трафика и продаж во время Prime Day: инфраструктуре обработки видео, инфраструктуре базы данных и инфраструктуре вычислений. Познакомимся с каждым из них поближе.
Читать дальше ->

https://habr.com/ru/post/465001/?utm_source=habrahabr&utm_medium=rss&utm_campaign=465001

Привет, Хабр!



Поделюсь опытом о том, как собрали собственную систему персонализации на базе «знаний» о потенциальном покупателе.







Единственное чем отличалось наше решение от классических — это использование комбинированной связки ряда решений и удовлетворял списку требований:

• сервис должен был работать сразу на N сайтах


• динамическая сегментация аудитории


• Коллаборативная фильтрация для целей прогнозирования в разных состояниях сегментов аудитории


• предварительно сгенеренная статика в виде рекомендованного контента + динамический подмес товаров на основе анализа кликстрима


• изменение контента, практически в реал-тайме, из оперативной памяти, с учетом динамических коэффициентов

https://habr.com/ru/post/462887/?utm_source=habrahabr&utm_medium=rss&utm_campaign=462887

Меня зовут Сергей, я из компании ITSumma, и я хочу вам рассказать, как мы подходим к резервированию в Kubernetes. В последнее время я много занимаюсь консультативной работой по внедрению разнообразных devops-решений для различных команд, и, в частности, плотно работаю по проектам с использованием K8s. На конференции Uptime day 4, которая была посвящена резервированию в сложных архитектурах, я выступал с докладом о резервировании «кубика», и вот его вольный пересказ. Только заранее предупрежу, что он является не непосредственным руководством к действию, а скорее, обобщением размышлений на указанную тему.







В принципе мониторинг и резервирование — это два основных инструмента повышения отказоустойчивости любого проекта. Но ведь в кубере всё балансируется само, скажете вы, всё масштабируется само, и если что-то произойдёт — поднимется само… То есть, при первом поверхностном исследовании темы, на вопрос, кто как подходит к резервированию K8s, интернет ответил мне «а зачем?» Многие думают, что кубер представляет собой такую магическую штуку, которая избавляет от всех инфраструктурных проблем и делает так, что проект никогда не упадет. Но… мир не то, чем кажется.
Читать дальше ->

https://habr.com/ru/post/452078/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452078