Пятого июня Apache Software Foundation впервые за два года выпустила обновление фреймворка для разработки и выполнения распределённых программ Apache Hadoop. Версия Apache Hadoop 2.8 получила ряд улучшений, связанных с облачными технологиями и безопасностью.

/ фото Jermaine Janszen CC

Хотя большинство клиентов используют фреймворк для работы с физическими кластерами и устройствами хранения в собственных дата-центрах, новая версия делает упор на функции для пользователей, работающих с Hadoop в облачных инфраструктурах. Значительный вклад в релиз сделали такие компании, как Microsoft и Amazon Web Services, поэтому одним из нововведений является поддержка Microsoft Azure Data Lake.

Релиз Apache Hadoop 2.8, явившийся результатом двухлетней работы и вобравший в себя почти 3 тыс. коммитов, также получил важные улучшения в безопасности, включая защиту от атак вида Cross-Frame Scripting (XFS) в Hadoop UI и атак Cross-Site Request Forgery (CSRF) в Hadoop REST API.

Значительные улучшения были произведены в области масштабирования, производительности и безопасности у клиента S3A, предназначенного для работы с данными в облаке Amazon S3. Разработчикам удалось достигнуть скорости работы клиента, которая не уступает закрытому решению Amazon EMR.

Также были сделаны улучшения в WebHDFS: реализована фильтрация CSRF-атак, поддержка OAuth2, разрешение/запрет снапшотов. Была улучшена интеграция с другими приложениями благодаря вынесению hdfs-клиента в отдельный JAR-файл.

Разработчики также изменили систему для планирования заданий и управления кластером YARN, чтобы упростить облачные разработки. Это позволит операторам адаптироваться к нагрузке на систему, при необходимости масштабируя кластеры Hadoop.

Полный список функций, улучшений и исправлений Apache Hadoop 2.8 можно найти по ссылке.

P.S. О чем еще мы пишем в Первом блоге о корпоративном IaaS:

• На что обратить внимание при выборе услуги облачного PCI DSS хостинга
• Знакомство с vCloud Director 8.10: обзор функциональных изменений
• vCloud Director 8.10: для чего нужны Virtual Machine Affinity Rules
• Тонкости импорта vApp в vCloud Director
• vCloud Director: как создать безопасное подключение между двумя организациями
• vCloud Availability: глубокое погружение в репликацию трафика

https://habrahabr.ru/post/330336/