Как собрать платформу обработки данных «своими руками»?
|
|
Четверг, 28 Июля 2022 г. 11:06
+ в цитатник
Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна дверь закрылась — другая открылась. Альтернатива зарубежным решениям есть: платформу обработки данных можно создать своими силами. Расскажем, как мы в ITSumma это сделали, какие компоненты использовали, с какими ограничениями столкнулись и зачем вообще всё это нужно.
Предыстория (очень короткая)
Один заказчик, который заинтересовался нашими компетенциям в построении инфраструктур, предложил крупный интеграционный проект. Архитекторы клиента придумали сложную и большую платформу, которая включала в себя машинное обучение, обработку данных и управлялась с помощью Kubernetes. Нам поставили задачу реализовать проект платформы, настроить связность элементов, построить и запустить инфраструктуру в эксплуатацию.
В итоге всё прошло хорошо и заказчик доволен. А у нас возникла идея скомпоновать свою платформу — такую, чтобы она была доступной не только большому бизнесу, но и компаниям среднего и малого масштаба. То есть сделать так, чтобы можно было получать большие возможности и не платить при этом огромные деньги.
Читать дальше → https://habr.com/ru/post/679516/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679516
Метки:
apache
big data
apache hadoop
bigdata
большие данные
diy или сделай сам
greenplum
apache kafka
apache spark
data engineering
clickhouse
itsumma
блог компании itsumma
apache nifi
apache airflow
обработка больших данных
debezium
bigdata platform
bigdata analytics
apache superset
-
Запись понравилась
-
0
Процитировали
-
0
Сохранили
-