Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 89 сообщений
Cообщения с меткой

датацентр - Самое интересное в блогах

Следующие 30  »
rss_rss_hh_new

Датацентр ВКонтакте

Среда, 05 Июля 2017 г. 16:27 (ссылка)

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — датацентр ИЦВА.



image



Как построить датацентр?



ЦОД (центр хранения и обработки данных, он же датацентр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.



Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:


  • Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.

  • Система охлаждения. Даже игровая видеокарта в Вашем домашнем компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.

  • Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.



Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного датацентра нужно кое-что ещё. А именно:


  • Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.

  • Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.

  • Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.

  • Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.

  • Система видеонаблюдения.



Мы верим, что у Вас получится отличный датацентр. А пока посмотрим, как выглядит наш.



Добро пожаловать в ИЦВА



Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании датацентра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.



В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тб/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.



В пике датацентр генерирует более 1 Тб/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.



image



Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.



Электроснабжение



Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания датацентра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):



image



Схема электропитания в штатном режиме



Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:



image



Схема электропитания при аварии на вводе



Если всё совсем плохо, и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.



image

Источники бесперебойного питания



image

А это аккумуляторы для них — внешне очень похожи на автомобильные…



image

… только занимают несколько больших помещений



Дизель-генераторные установки (ДГУ) поддерживают жизнь в датацентре во время затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.



image

Дизель-генераторные установки



Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:



image

Статический переключатель нагрузки + ручной байпас Digital Energy



Система охлаждения



Для комфортной жизни оборудования в машинных залах нужно поддерживать определенный температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).



У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.



Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.



image

Внутренние блоки прецизионных кондиционеров



image

Внешние блоки прецизионных кондиционеров



Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:



image

Холодный коридор машинного зала



С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.



image

Горячий коридор машинного зала



Структурированная кабельная система



Километры бережно уложенных проводов. Здесь не нужны слова.



image



image



image



image



image



image



Система пожаротушения



В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.



image

Баллоны с хладоном



image

Манометр



Мониторинг



Все показатели здоровья датацентра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).



image

Мониторинг электроснабжения



image

Мониторинг системы охлаждения



Система контроля доступа и охрана



На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.



Подведём итоги



ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.



Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой датацентром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального датацентра в вакууме равен 1.0. ИЦВА — не идеальный датацентр в вакууме, но мы планомерно работаем над снижением этого показателя.



Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.



Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим датацентром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.



image



P.S. Статьи о технической стороне ВКонтакте также можно читать в нашем блоге на русском и английском языках. Задать вопрос автору можно в официальном сообществе.
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/332430/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
bcinform

Полезные компании на БЦИнформ

Среда, 27 Апреля 2016 г. 09:53 (ссылка)


«ОБИТ» – телекоммуникационные услуги частным клиентам и организациям в России и Казахстане.



5582936__2_ (700x563, 123Kb)
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
bcinform

Полезные компании на БЦИнформ

Пятница, 08 Апреля 2016 г. 09:41 (ссылка)


«ОБИТ» – предоставление качественных и надежных услуг связи корпоративным клиентам, объектам коммерческой недвижимости, операторам связи, жильцам новостроек и домов повышенной комфортности.



5582936__2_ (700x563, 123Kb)
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
bcinform

Полезные компании на БЦИнформ

Среда, 30 Марта 2016 г. 09:49 (ссылка)


«ОБИТ» – предоставление качественных и надежных услуг связи корпоративным клиентам, объектам коммерческой недвижимости, операторам связи, жильцам новостроек и домов повышенной комфортности.



5582936_obit (700x563, 123Kb)
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
bcinform

Полезные компании на БЦИнформ

Четверг, 28 Января 2016 г. 09:45 (ссылка)


«ОБИТ» оказывает телекоммуникационные услуги частным клиентам и организациям в России и Казахстане. За время работы компании реализовано свыше 720 крупных проектов, приобретено более 6 500 бизнес-клиентов.



5582936_bcinform_obit (300x300, 13Kb)
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
ИНФОРМЕР

Севастопольский "патриотизм" с пропиской в Париже

Понедельник, 29 Июня 2015 г. 17:16 (ссылка)


Интернет настолько плотно вошел в нашу жизнь, что отправляя и получая электронную почту, общаясь в социальных сетях и на форумах, читая новости, мы совершенно не задумываемся - как все это происходит. 

Читать далее...
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Аноним

Среда, 01 Декабря 1970 г. 03:00 (ссылка)

Комментарии ()КомментироватьВ цитатник или сообщество

Следующие 30  »

<датацентр - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda