Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 1475 сообщений
Cообщения с меткой

инфраструктура - Самое интересное в блогах

Следующие 30  »
FreeKaliningrad

На улице Нерчинской в Калининграде появятся новые дорожные знаки

Пятница, 24 Июня 2016 г. 08:14 (ссылка)
freekaliningrad.ru/on-the-s..._articles/

С 13 июля на ул. Нерчинской планируется установить
дорожные знаки «Остановка запрещена».
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

В Калининграде на время одним мостом станет меньше

Понедельник, 20 Июня 2016 г. 14:24 (ссылка)
freekaliningrad.ru/in-kalin..._articles/

В администрации Калининграда принято решение
о закрытии движения по мосту «Высокий»
через реку Преголя.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

Глава Калининграда готов общаться с горожанами через микрофон

Пятница, 17 Июня 2016 г. 20:49 (ссылка)
freekaliningrad.ru/the-head..._articles/

В воскресенье, 19 июня, в 20.30 в эфире «Каскад»
выйдет программа «Городской курьер».
На этот раз программа посвящена городской
жизни.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

В Калининградской области временно прекращается движение на одной из трасс

Среда, 15 Июня 2016 г. 15:56 (ссылка)
freekaliningrad.ru/in-the-k..._articles/

С 20.00 16 июня до 8.00 17 июня в связи с проведением
работ по ремонту железнодорожного переезда
временно прекращается движение транспорта
на двадцать восьмом километре автомобильной
дороги «Правдинск – Знаменск - «Калининград
- Черняховск - Нестеров».
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Кибербезопасность на бескрайних морях

Вторник, 14 Июня 2016 г. 15:11 (ссылка)





Сложно переоценить значение индустрии морских перевозок для современного общества: 90% товаров перемещается именно по морю. Мореходство, как и любая другая крупная сфера деятельности, развивается параллельно с течением технического прогресса: суда увеличиваются, а команды уменьшаются, так как все большее количество процессов автоматизируется. Времена, когда находящееся в море судно было фактически полностью отрезано от остального мира, давно в прошлом. В наши дни некоторые бортовые системы получают обновления во время плавания, у команд есть выход в интернет. Вопросы кибербезопасности объектов сферы морских перевозок стоят довольно остро.



Согласно отчету ENISA «Analysis of cyber security aspects in the maritime sector» от ноября 2011 года, «озадаченность вопросами кибербезопасности в морском секторе находится на низком уровне, либо вообще отсутствует» [1]. Малую обеспокоенность вопросами, связанными с киберугрозами, отмечают и аналитики компании CyberKeel, специализирующейся на безопасности морской индустрии. Они отмечают тот факт, что многие занятые в морской сфере привыкли быть частью «практически невидимой» отрасли, незаметной простому обывателю. «Чаще всего, если обычный человек не живет около значительного порта, он не может представить себе действительных масштабов всей индустрии», — говорится в их отчете [2]. «Вместе с растущей опорой на автоматизацию, значительно обостряется риск внешнего вмешательства и срыва работы ключевых систем; хакеры могут помешать управлению судном или работе навигационных систем, обрубить все внешние коммуникации судна или заполучить конфиденциальные данные», — говорится в отчете Allianz о безопасности судоходства за 2015 год [3]. Вопрос актуальности тематики еще осложняется тем, что, по данным Reuters, далеко не вся информация об успешно проведенных атаках получает широкую огласку: часто владельцы бизнеса могут умалчивать ее, опасаясь таких последствий, как потеря имиджа, претензий со стороны клиентов и страховых компаний, начала расследований, проводимых сторонними организациями и государственными органами [4].



Для того чтобы продолжить разговор о кибербезопасности судоходства, следует вкратце осветить специфические для этой сферы информационные системы и технологии.



AIS (Automatic Identification System) — автоматическая идентификационная система. Служит для передачи идентификационных данных судна (в том числе о его грузе), информации о его состоянии, текущем местоположении и курсе. Также используется для предупреждения столкновений судов, мониторинга их состояния, с ее помощью владелец может следить за своим кораблем. Обеспечивает коммуникацию между судами. Устройство работает посредством передачи сигналов в УКВ-диапазоне между судами, плавающими ретрансляторами и береговыми AIS-шлюзами, которые подключены к интернету. Все суда, совершающие международные рейсы, суда вместимостью более 500 регистровых тонн, а также все пассажирские суда должны быть оснащены AIS. Система работает на морской поисково-спасательной технике.



ECDIS (Electronic Chart Display and Information System) — электронно-картографическая навигационно-информационная система, собирает и использует сообщения AIS, данные с радаров, GPS и прочих судовых датчиков (с гирокомпаса) и сопоставляет их со вшитыми картами. Используется для навигации, автоматизации некоторых задач судоводителя и повышения навигационной безопасности мореплавания. Стоит отметить, что до 2019 года ECDIS должны быть обязательно установлены на всех судах. Система обычно представляет из себя подсоединенную к судовым датчикам и приборам рабочую станцию (или две — для мониторинга и для планирования курса), на которой установлен ECDIS-софт.



VDR (Voyage Data Recorder) — регистратор данных рейса, бортовой самописец, аналог «черного ящика», используемого в авиации. Основные задачи — запись важной рейсовой информации судна, включая как технические и курсовые данные, так и голосовые записи с капитанского мостика, и ее сохранение в случае чрезвычайной ситуации.



TOS (Terminal Operating System) — IT-инфраструктура, служащая целям автоматизации процессов, происходящих с грузами в порту — их погрузку и разгрузку, инвентаризацию и мониторинг движения по территории порта, оптимизацию складирования и поиск нужных в данный момент контейнеров, обеспечение дальнейшего транзита. Самый сложный и неоднородный пункт списка, так как на практике может являться как целостным продуктом конкретного вендора, так и совокупностью систем (в том числе широкого назначения), выполняющих различные задачи.



CTS (Container Tracking System) — система, позволяющая отслеживать движение контейнеров посредством GPS и, реже, других каналов передачи данных. Большинство компаний, занятых в данной сфере, также предлагает и отслеживающие устройства для других сфер, к примеру персональные трекеры для туристов, решения для отслеживания автотранспорта и пр.



EPIRB (Emergency Position Indicating Radio Beacon) — аварийный радиобуй, передатчик, подающий при активации сигнал бедствия, передача которого, в зависимости технологии исполнения, может осуществляться через спутник, в диапазоне УКВ или же комбинировано. Кроме сигнала бедствия, некоторые EPIRB могут также передавать информацию о судне (при синхронизации с AIS).







Радиобуй EPIRB



Исследования, проведенные в последние несколько лет, а также информация об инцидентах, которая все-таки стала доступна широкому кругу лиц, лишь подтверждают опасения о безопасности морского сектора.



Автоматическая идентификационная система AIS



Большое исследование, посвященное безопасности AIS, было проведено исследователями компании Trend Micro. Результаты исследования были представлены на конференции Black Hat Asia 2014 [6]. Рассматривались два направления атаки: первый — на AIS-провайдеров, собирающих данные с AIS-шлюзов, установленных на побережьях для сбора информации AIS и далее для предоставления коммерческих и бесплатных сервисов в реальном времени (например, MarineTraffic).







Внешний вид AIS-устройства



Второй тип атаки — на уровне радиопередачи, т. е. самого протокола AIS. Атака на протокол была проведена с использованием SDR (software-defined radio). Архитектура протокола была разработана достаточно давно, механизмы валидации отправителя и шифрование передаваемых данных не было предусмотрено, так как вероятность использования дорогого «железного» радиооборудования для компрометации технологии расценивалась как низкая. Исследование показало возможность следующих сценариев:




  • изменение данных о судне, включая его местоположение, курс, информацию о грузе, скорость и имя;

  • создание «кораблей-призраков», опознаваемых другими судами как настоящее судно, в любой локации мира;

  • отправка ложной погодной информации конкретным судам, чтобы заставить их изменить курс для обхода несуществующего шторма;

  • активация ложных предупреждений о столкновении, что также может стать причиной автоматической корректировки курса судна;

  • возможность сделать существующее судно «невидимым»;

  • создание несуществующих поисково-спасательных вертолетов;

  • фальсификация сигналов EPIRB, активирующих тревогу на находящихся поблизости судах;

  • возможность проведения DoS-атаки на всю систему путем инициирования увеличения частоты передачи AIS-сообщений.



Кроме того, стоит отметить, что персонал судна может выключать свою AIS, становясь «невидимкой» (по данным CyberKeel, довольно распространенная практика для прохождения опасных участков акватории, таких как Аденский залив, «вотчину» сомалийских пиратов), а в некоторых случаях менять транслируемую информацию вручную.



Нанесение на AIS-карты несуществующего военного корабля страны А в территориальных водах страны Б может спровоцировать дипломатический конфликт. Кроме того, атака злоумышленника также может привести к отклонению судна с курса в результате подмены сообщений о возможном столкновении с ним или к «заманиванию» в определенную точку акватории путем создания ложного сигнала аварийного радиобуя.



Навигационная система ECDIS



3 марта 2014 года NCC Group выпустила отчет, касающийся безопасности ECDIS-систем. В отчете были представлены результаты исследования системы одного из ведущих вендоров (название в отчете не указывается) [7]. Отмечается, что большинство систем этого класса, представляют из себя комплект приложений, установленных на рабочую станцию под управлением ОС семейства Windows (часто XP) и расположенный на мостике судна. К рабочей станции с ECDIS, посредством бортовой LAN-сети, из которой чаще всего есть доступ в интернет, подключены другие системы: NAVTEX (навигационный телекс, унифицированная система передачи навигационной, метеорологической и другой строчной информации), AIS, радары и GPS-оборудование, а также другие датчики и сенсоры.







Интерфейс системы ECDIS



В комплекте с ECDIS-системами обычно не поставляется никаких средств информационной защиты. Стоит также отметить, что Windows-системы, развернутые на судах, которые долго находятся в рейсах, далеко не всегда успевают получить даже критически важные обновления безопасности в разумные сроки. Уязвимости, найденные исследователями из NCC, в основном связаны c сервером Apache, устанавливаемым в комплексе с системой. Внедрить вредоносный код может как внешний нарушитель через интернет, так и член команды через физический носитель, использующийся для обновления или дополнения навигационных карт. Найденные уязвимости позволяли считывать, скачивать, перемещать, заменять и удалять любые файлы, находящиеся на рабочей станции. При таком развитии событий, атакующий получает доступ к чтению и изменению данных со всех сервисных устройств, подключенным к бортовой сети корабля.



Корректная работа ECDIS-системы очень важна, ее компрометация может привести к самым неблагоприятным последствиям — травмам и даже смертям людей, загрязнению окружающей среды и большим экономическим убыткам. «Замершее» судно, потеряв возможность корректной навигации, перекроет оживленный канал или шлюз на неопределенный срок, что вызовет при определенном стечении обстоятельств огромные экономические убытки. Танкер, перевозящий нефть или другие химические продукты и севший на мель из-за навигационных ошибок, — готовый сценарий экологической катастрофы.



Регистратор данных рейса VDR



Как было сказано выше, VDR является аналогом самолетного «черного ящика». Данные, полученные с устройства, крайне важны при расследовании инцидентов, аварий и катастроф, произошедших на море.







Так выглядит VDR



15 февраля 2012 года, находящиеся на борту итальянского частного танкера Enrica Lexie морские пехотинцы, чьей задачей была охрана судна от возможного нападения пиратов, по ошибке открыли огонь на поражение по индийскому рыболовному судну и убили двоих граждан Индии. С бортового самописца танкера исчезли данные с сенсоров и голосовые записи за промежуток времени, когда произошел инцидент [9]. Назывались две версии причины случившегося: перезапись данных самим VDR и умышленное уничтожение улик. Пропажа данных естественно осложнила расследование, породившее дипломатический конфликт Индии и Италии и закончившееся только 24 августа 2015 года.



Пару недель спустя после событий на Enrica Lexie, первого мая 2012-го, сингапурский грузовоз Prabhu Daya протаранил рыболовное судно в прибрежных водах Индии, в районе Керала, и скрылся с места происшествия. В результате столкновения, погибли трое рыбаков. После того как индийские правоохранительные органы начали расследование, в прессе всплыла интересная деталь: «Во время прибытия должностных лиц на сингапурское судно, один из членов вставил USB-носитель в VDR; это привело к стиранию с него всех файлов и голосовых записей. В последствии, несмотря на все старания экспертов, данные восстановить не удалось» [9].



Производителем регистратора VDR, установленном на итальянском судне Enrica Lexie, была компания Furino. Позже одно из устройств этой компании (самописец VDR-3000) был исследован сотрудниками компании IOActive. Исследуемое устройство состояло из двух модулей: DCU (Data Collection Unit) и DRU (Data Recording Unit). Модуль DCU представлял из себя Linux-машину с набором интерфейсов (USB, IEEE1394 и LAN) для подключения к судовым сенсорам, датчикам и другим системам, а также оснащенную HDD с частичной копией данных второго модуля. Внутри защищенного от агрессивных внешних воздействий модуля DRU находился стек из флеш-дисков, рассчитанных на запись данных за 12-часовой период. Устройство собирало и хранило всевозможные навигационные и статистические данные судна, звукозаписи разговоров на мостике судна, все радиопереговоры и радарные снимки. По итогам работы были продемонстрированы такие возможности, как изменение и удаление данных как с диска DCU, так и с DRU, а также возможность удаленного исполнения команд с привилегиями суперпользователя, что полностью компрометирует данное устройство [10].



Дела Enrica Lexie и Prabhu Daya, явно отражают, что удаление данных на VDR может крайне осложнить, либо же полностью завести в тупик расследование инцидента, произошедшего на море. Более того, если у злоумышленников есть возможность редактирования данных на самописце и их подмены, существует большая вероятность организации подлога, что направит расследование в ложное русло.



TOS и прочие портовые системы



Портовые информационные системы без сомнения являются самыми сложными и обширными IT-структурами в судоходстве. «Если ты видел один порт — ты видел один порт» — расхожая фраза, ведь каждый порт в целом и с точки зрения информационных систем уникален. Однако многое говорит о том, что кибербезопасности портов уделяется чрезвычайно мало внимания.







Оператор TOS за работой



Командор береговой охраны США Джозеф Крамек в монографии о кибербезопасности основных американских портов пишет следующее: «Из шести проверенных портов, только в одном была проведена оценка рисков кибербезопасности; ни один порт не имел плана реагирования на инциденты в рассматриваемой сфере. Более того, из 2,6 млрд долл., выделенных по программе грантов на защиту портов, созданной после событий 11 сентября 2001 года, менее 6 млн были потрачены на проекты, связанные с кибербезопасностью» [11]. Другими факторами риска, отмеченными автором, являются обслуживание некоторых систем компаниями, не имеющими отношения к порту, работа сотрудников со своих устройств, отсутствие практики проведения инструктажа по кибербезопасности среди персонала.



Самый знаменитый инцидент, связанный с портовой кибербезопасностью, произошел в порту Антверпена в 2012 году [12]. Краткая схема, по которой контрабанда поставлялась в Европу, заключалась в следующем: в контейнеры, в которых перевозились зарегистрированные и должным образом оформленные товары, прибывающие из Латинской Америки, в порту отправки догружались контрабандные товары (в основном, наркотики и оружие). По прибытии в Европу «IT-департамент» банды перехватывал 9-знаковые PIN-коды, используемые для проведения операций с контейнерами в системах DP World. Эти коды необходимы для проведения операций с портовыми системами погрузки—разгрузки. После того как контейнер с контрабандой прибывал в Антверпен, контрабандисты, подключенные к одной из портовых беспроводных сетей, отдавали команду погрузочным системам перемещать «заряженный» контейнер на свой грузовик до приезда владельца. Оперативная работа, начавшаяся после жалоб компаний о периодической пропаже контейнеров, привела к серии обысков и рейдов в Дании, Нидерландах и Бельгии. Были найдены оружие, наличные и кокаин, пятнадцать человек были задержаны. Забавно, что подобный технологический подход к контрабанде фигурировал в массовой культуре за несколько лет до событий в Антверпене: во втором сезоне телесериала «Прослушка» (The Wire) история развивается вокруг американского порта Балтимор (по сюжету одной из серий, преступники подкупают рабочих доков для подмены записей о контейнерах, в которых перевозятся наркотики). Джим Гирмански, бывший агент ФБР, ныне — председатель компании Powers International, предоставляющей услуги охраны и мониторинга в сфере логистики, заявляет, что «антверпенское» дело его не удивило, потому что большинство транспортных компаний не имеют ни малейшего понятия о том, как защитить доставляемый контейнер [13].







Изображение: Bloomberg



По последним оценкам, ежегодно по морю перевозится более 420 млн контейнеров ежегодно, и только 2% подвергаются проверкам с досмотром, так что о реальных объемах контрабанды, перевозимой даже в «легальных» контейнерах, трудно даже строить догадки. Помимо наркоторговцев и контрабандистов, дырами в безопасности портовых и прочих логистических систем могут в перспективе воспользоваться и террористические и радикальные группировки, к примеру организовать доставку взрывных устройств в нужный город и, возможно, за чужой счет.



CTS, GPS и системы спутниковой связи



Морская индустрия активно пользуется спутниковыми технологиями SATCOM (Satellite Communications) для доступа в интернет, связи судно—судно и судно—суша, GPS/DGPS для определения местоположения и навигации, а также отслеживания перевозимых грузов.



На конференции Black Hat USA 2015 исследователем компании Synack Колби Муром был представлен отчет о безопасности систем GPS-трекинга Globalstar [14]. Помимо коммерческих грузоперевозок, предлагаемые компанией решения используются также в добывающей промышленности, системах экологического мониторинга, автопромышленности, маломерных судах и многих других сферах. Проведенное исследование показало, что эксплуатация найденных уязвимостей приводит к перехвату и подмене информации или глушению сигнала.



Как и в случае с AIS, раскрытие проблемы Globalstar стало возможным в связи с развитием технологий SDR, их относительными простотой и дешевизной. В сети Simplex, основанной на радиопередаче, используемой компанией Globalstar для передачи данных между трекерами, спутниками и наземными станциями, отсутствуют механизмы аутентификации и шифрования, обслуживающие работу систем, а механизм передачи данных, работающий только в одну сторону, не представляет возможности валидации переданных данных. Мур уверен, что данная проблема присутствует не только в Globalstar [15].



Спутниковые системы связи (SATCOM), в том числе связывающие через интернет суда друг с другом и с «большой землей», также содержат большое количество уязвимостей, сообщается в отчете IOActive [16]. Проверка терминалов спутниковой связи, используемых в судоходстве и в других секторах (авиации, военном комплексе) и производимых ведущими компаниями индустрии (Harris, Hughes, Cobham, JRC, Iridium), выявила такие критические бреши в безопасности, как использование устройствами незащищенных или даже недокументированных протоколов, заведенные «фабрично» учетные записи, возможность эксплуатирования функции сброса пароля, бэкдоры. Однако вся конфиденциальная информация, полученная в ходе проверок и исследований, включая технические аспекты и процедуры проведения проверок, а также информацию о возможностях эксплуатации уязвимостей, после передачи ее вендорам и регулирующим комиссиям, не была выложена в открытый доступ.



Другой показательный случай компрометации спутниковых систем произошел в июле 2013 года. Студенты из Техасского университета в Остине смогли отклонить от курса яхту стоимостью в 80 млн долл., используя оборудование, цена которого не превышала 3 тыс. долл. С помощью имитатора GPS-сигналов (используются, к примеру, при калибровке оборудования) дублируя сигнал настоящего спутника и постепенно повышая мощность, им удалось «убедить» навигационную систему судна принимать сообщения спуфингового устройства и отбрасывать сигнал настоящего спутника как помехи. После того как навигационная система начала ориентироваться по данным двух спутников и атакующего устройства, исследователям удалось отклонить судно от первоначального курса [17].



В заключение можно сказать о плохой подготовленности столь важной для любой страны индустрии к временам, когда кибератаки уже не являются чем-то новым и их широко используют в своих интересах государства и различные активистские, преступные и террористические группировки. Помимо уязвимостей ПО и других дыр в защите этих систем, также остро стоит и проблема невозможности мгновенного применения обновлений безопасности для систем на судах, находящихся в рейсе или отдаленных портах. Остается лишь надеяться, что вышеуказанные проблемы не превратят морские перевозки в «бомбу замедленного действия» и масштабные работы по исправлению проблем и «закаливанию» рассмотренных систем начнутся раньше, чем появятся серьезные прецеденты.



Список источников:



  1. Analysis of cyber security aspects in the maritime sector, ENISA, 10.2011.

  2. Maritime Cyber-Risks, CyberKeel, 15.10.2014.

  3. Safety and Shipping Review 2015, H. Kidston, T. Chamberlain, C. Fields, G. Double, Allianz Global Corporate & Speciality, 2015.

  4. All at sea: global shipping fleet exposed to hacking threat, J. Wagstaff, Reuters, 23.04.2014.

  5. MARIS ECDIS900, MARIS brochure.

  6. AIS Exposed: Understanding Vulnerabilities & Attacks 2.0 (video), Dr. M. Balduzzi, Black Hat Asia 2014.

  7. Preparing for Cyber Battleships – Electronic Chart Display and Information System Security, Yevgen Dyryavyy, NCC Group, 03.03.2014.

  8. Voyage Data Recorder of Prabhu Daya may have been tampered with, N. Anand, The Hindu, 11.03.2012.

  9. Lost voice data recorder may cost India Italian marines case, A. Janardhanan, The Times of India, 13.3.2013.

  10. Maritime Security: Hacking into a Voyage Data Recorder (VDR), R. Samanta, IOActive Labs, 09.01.2015.

  11. The Critical Infrastructure Gap: U.S. Port Facilities and Cyber Vulnerabilities, Comdr (USCG) J. Kramek, Center for 21st Century Security and Intelligence at Brookings, 07.2013.

  12. The Mob’s IT Department: How two technology consultants helped drug traffickers hack the Port of Antwerp, J. Robertson, M. Riley, Bloomberg Businessweek, 07.07.2015.

  13. To Move Drugs, Traffickers Are Hacking Shipping Containers, A. Pasternack, Motherboard, 21.10.2013.

  14. Spread Spectrum Satcom Hacking: Attacking the Globalstar Simplex Data Service, C. Moore, Black Hat USA 2015.

  15. Hackers Could Heist Semis by Exploiting This Satellite Flaw, K. Zetter, Wired, 30.07.15.

  16. A Wake-Up Call for SATCOM Security, R. Santamarta, IOActive, 09.2014.

  17. University of Texas team takes control of a yacht by spoofing its GPS, B. Dodson, gizmag, 11.08.2013.


Original source: habrahabr.ru.

https://habrahabr.ru/post/303198/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

В Калининграде ограничат движение в конце Московского проспекта

Вторник, 14 Июня 2016 г. 22:22 (ссылка)
freekaliningrad.ru/in-kalin..._articles/

По обращению ЗАО «ВАД» с 21 июня закроется
движение транспорта по боковому проезду
по четной стороне Московского проспекта
от дома № 188 до дома № 208.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
vzglyad

Как создавалась инфраструктура Украины

Четверг, 09 Июня 2016 г. 05:39 (ссылка)
businessgrant.com.ua/novost...rainyi.htm




Большинство российских мульти-богачей сохранили состояние и после прихода Советской власти. Помещики и капиталисты безумно опирались прихода власти большевиков и поэтому были безжалостно уничтожены» – этот тезис вбивали в головы всем, кто учился в советской школе.



Перечень «богачей которые сопротивлялись» и чье имущество было отобрано «на нужды трудового народа» как правило, ограничивали представителями дворянских семей, чьи земли сначала раздали крестьянам. Но вот беда – эти люди не были самыми в России.

Фамилии влиятельных предпринимателей «раскулаченных» большевиками в 1917, коммунистическая история не зря старалась обходить стороной. Выглядит феноменом, но почти все, действительно богатые российские бизнесмены («деловые люди», как говорили тогда) странным образом приход большевиков пережили, иногда – сохранив долю имущества, а некоторые еще и умудрились нежится с этого социального катаклизма.



Более подробно читайте на сайте : http://businessgrant.com.ua/novosti/kak-sozdavalas-infrastruktura-ukrainyi.htm

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

В Калининграде ограничили учебную езду по нескольким улицам (список)

Среда, 08 Июня 2016 г. 21:09 (ссылка)
freekaliningrad.ru/in-kalin..._articles/

В администрации Калининграда внесли изменения
в перечень улиц и мостов областного центра,
по которым запрещается учебная езда.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
FreeKaliningrad

В Калининграде ограничили движение грузовиков по асфальтовым дорогам

Понедельник, 06 Июня 2016 г. 16:46 (ссылка)
freekaliningrad.ru/in-kalin..._articles/

С 6 июня на региональных дорогах, имеющих
асфальтобетонное покрытие, планируется
ввести летнее ограничение движения для
большегрузного транспорта.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Schneider Electric получила премию DCS Awards за инновационные решения

Четверг, 02 Июня 2016 г. 19:44 (ссылка)

Крупная французская компания Schneider Electric получила престижную европейскую премию DCS Awards в номинации на «Лучшее решение по энергоснабжению центров обработки данных». Инновационные решения для дата центров позволят очень быстро, эффективно и экономически выгодно разворачивать инфраструктуру на любых объектах, вне зависимости от их площади, местности и расстояний.







Компания Schneider Electric предлагает готовые конфигурации, в которые входят модули электропитания, охлаждения и ИТ-оборудования. Это обеспечивает гибкость работы с инфраструктурой ЦОД. Перед тем, как отправить готовые рабочие модули заказчику, функциональные блоки проходят заводские испытания и проверяются инженерами. Примечательно, что заказчики получают только то оборудование, которое им требуется в настоящий момент. Все происходит по принципу «оплата по мере роста». Таким образом на старте разворачивания своего проекта владельцам удается снизить капитальные затраты в модернизацию мощностей. Но в тоже время дата центры могут соответствовать меняющимся требованиям бизнеса и модернизироваться по мере необходимости.



Читать дальше →

https://habrahabr.ru/post/302496/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
lj_zyalt

Самая плохая велодорожка в мире

Понедельник, 23 Мая 2016 г. 10:05 (ссылка)

Я был уверен, что меня невозможно удивить, особенно городской инфраструктурой. Ну чего я не видел? На прошлой неделе в Кишиневе я понял, что не видел велодорожки! Того, что сделали молдаване, не делал еще никто.


Кишиневская велодорожка по праву занимает первое место в рейтинге самых плохих и нелепых велодорожек в мире! Смотрите сами...



01. Нарисовать ее решили просто краской на тротуарах.


02. Авторы не подумали над тем... Блин, да они вообще ни над чем не подумали! Вот что бывает, когда в голове вместо мозгов мамалыга...


03. Здесь под велодорожку отдали одну сторону пешеходного бульвара... А-ха-ха-ха!


04. Но самое смешное начинается здесь. Ну а что? "Насяльника сказал сделать 2 метра от бордюра – мы и сделали!"


05. Это очень смешно.


06. Пересечение с дорогой


07. Я вначале думал, что это линия, показывающая туристический маршрут. Знаете, иногда в городах делают такие.


08. Если что, велодорожка слева...


09. Да, в половине случаев на ней парковка.


10.


11. Велодорожка идет через мост.


12. Полоса препятствий


13. Что-то пошло не так.


14.


15. Самое удивительное, что по этой велодорожке стараются ездить велосипедисты.


16. Молдавский велосипедист должен страдать.


17.


18. Теперь вы видели всё.








Как правильно делать велодорожки
Город для людей на велосипедах Вредные советы для Москвы







Благими намерениями выложена велодорожка в ад
Декоративная велодорожка на Пятницкой

В Москве завелся вредитель...



http://varlamov.ru/1734354.html

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Судный день: К чему приводят скрытые ошибки асинхронной обработки данных при росте нагрузки

Суббота, 14 Мая 2016 г. 10:50 (ссылка)





В нашем блоге мы рассказываем не только о развитии своего продукта — биллинга для операторов связи «Гидра», но и описываем сложности и проблемы, с которыми сталкиваемся на этом пути. Ранее мы уже описывали ситуацию, в которой бесконтрольный рост таблиц в базе данных одной компании-пользователя нашей системы привел к настоящему DoS.



Сегодня речь пойдет о еще одном интересном случае внезапного сбоя, который сделал «день смеха» 1 апреля этого года совсем не смешным для службы поддержки «Латеры».



Все пропало



Один из операторов связи и, по совместительству, клиентов нашей компании, пользовался биллингом «Гидра» на протяжении нескольких лет. Изначально все было хорошо, однако со временем стали возникать проблемы — к примеру, различные элементы системы могли работать медленнее положенного.



Однако утром первого апреля спокойный ход событий был нарушен. Что-то пошло не так — в техподдержку обратились крайне возбужденные представители клиента. Оказалось, что часть абонентов, не оплативших доступ в интернет, получила его (что не самое страшное), а пользователям, которые все оплачивали вовремя, доступ был заблокирован — и вот это уже вызвало просто бурю недовольства.



Служба поддержки была поднята по тревоге. Предстояло максимально быстро найти и устранить проблему.



Горячий день



Зайдя на биллинговый сервер, инженеры техподдержки первым делом обнаружили, что полтора часа назад закончилось место в основном табличном пространстве рабочей БД. В результате этого остановилось несколько системных процессов биллинга — в частности, обновление профилей в модуле provisioning (отвечает за управление доступов абонентов к услугам). Техподдержка выдохнула и, предвкушая скорый обед, быстро увеличила табличное пространство и запустила процессы.



Это не помогло — абонентам легче не стало. Клиент тем временем начал паниковать: поток возмущенных звонков «я заплатил, но ничего не работает» начал заваливать его колл-центр. Разбирательство продолжилось.



На сервере RADIUS-авторизации, который за несколько дней до этого переехал на новое «железо», инженеры обнаружили сильнейшее замедление работы. Быстро выяснилось, что оно приводило к тому, что в БД сервера авторизации содержались неактуальные данные о пользовательских профилях — именно поэтому биллинг ошибочно открывал доступ в интернет одним абонентам и закрывал его тем, кто оплачивал услуги вовремя. Однако причина столь драматического падения производительности оставалась неясной.



Для избавления от неактуальных данных было решено повторно отправить в RADIUS-сервер из провиженинга правильные данные, по сути дела реплицировать всю информацию заново. Эта операция изначально задумывалась как средство, которое применяется в отчаянном положении при разрушении БД.



Через несколько минут стало понятно, что повторная отправка данных не просто не помогла, но существенно ухудшила ситуацию. Задержка от оплаты до включения доступа у абонентов выросла, по нашим расчетам, до нескольких часов.



Единственное, что можно было сделать дополнительно — предварительно очистить данные в кэше перед репликацией, но это привело бы к отказам в обслуживании для абонентов, у которых все было хорошо (а их было большинство), и на это пойти мы не могли.



В итоге решено было разбирать проблему по шагам, поделив ее на этапы и проверяя элементы системы на каждом из них. Это позволило реконструировать ход событий того дня, в конце концов понять причину и устранить проблему.



Лирическое отступление: Когда город засыпает



Итак, в ночь на 1 апреля биллинг начал генерировать новые данные для абонентских профилей на замену старым — если абонент не оплатил услугу, то нужно было отобрать у него доступ к ней. На этом шаге модуль provisioning сгенерировал большое количество новых профилей и асинхронно отправил их во внутреннюю очередь сообщений Oracle. Поскольку напрямую с очередями Oracle работать извне с нашим стеком технологий неудобно, для их дальнейшей передачи используется «прослойка» в виде брокера сообщений Apache ActiveMQ, к которому подключается RADIUS-сервер, записывающий данные в MongoDB.



Биллинг должен отправлять данные об измененных абонентских профилях в строгом порядке. Чтобы порядок соблюдался и не происходило «путаницы» профилей на отключение и подключение, в системе реализован специальный процесс, который выбирает данные из очереди ActiveMQ и записывает их в MongoDB.



Приходит понимание



Система была развернута таким образом, что ActiveMQ и MongoDB находились на разных серверах, при этом в используемой конфигурации ActiveMQ не требовалось подтверждения получения сообщений — все отправленное из очереди считалось по умолчанию принятым. Нужно было лишь входящее соединение, затем данные отправлялись до исчерпания лимитов буферов ОС принимающей стороны.



Ранее иногда случались случаи потери связи RADIUS-сервера с ActiveMQ — на такой случай мы предусмотрели функциональность восстановления соединений. Для детектирования случаев потери связи был реализован специальный механизм, использующий протокол STOMP — в нем есть настройка передачи heartbeat-пакетов. Если такой сигнал не получен, то соединение считается утерянным и принудительно переустанавливается.



Когда мы все это осознали, причина проблемы стала сразу понятна.



Сообщения из ActiveMQ всегда извлекаются в том же потоке исполнения, который записывает данные в профили абонентов. Извлечение и запись — то, что он делает по порядку, и если запись задержалась, то поток не может «достать» следующий пакет. И если в нем содержался heartbeat, то он не будет получен — и другой поток, который проверяет наличие таких пакетов, будет считать соединение потерянным и попытается его переустановить.



Когда соединение переустанавливается, тот сокет и его буфер, которые использовались, закрываются, и все данные, которые там лежали и еще не были разобраны приложением, оказываются потерянными. При этом ActiveMQ пребывает в уверенности относительно успешности отправки, поскольку подтверждения получений не требуется, а принимающая сторона регулярно переустанавливает соединение.



Получается, что часть обновлений профилей остается потерянной, но дальнейшая работа системы продолжается. В итоге реплицированный кэш базы данных оказывается частично невалидным, хотя многие обновления все же доходили.



Вывести проблему из острой фазы удалось с помощью увеличения heartbeat-таймаута до большего числа — это позволило потоку, обрабатывающему данные, дождаться записи и успешно обработать все сообщения. После этого работоспособность системы была полностью восстановлена, а в базу данных авторизационного сервера попала корректная информация. В общей сложности с момента поступления заявки от клиента до завершения разбирательств прошло шесть часов.



Кризис миновал, можно было выдохнуть, однако теперь требовалось понять, что послужило причиной такой некорректной работы, и предотвратить возможность повторения подобных сбоев.



Поиск причин



Как всегда бывает в моменты масштабных аварий, друг на друга наложились сразу несколько факторов — каждый по отдельности не привел бы к столь плачевным последствиям, но сработал эффект «снежного кома».



Одной из причин стало желание руководства нашего клиента, видеть все платежи от всех клиентов в один день. Именно поэтому система была настроена таким образом, чтобы все списания и зачисления происходили в первый день нового месяца.



Этот процесс устроен так: в биллинге по каждому абоненту ведется электронный документ, в котором учитывается факт оказания услуги. Каждый месяц такой документ создается заново. За несколько часов до окончания месяца происходит проверка баланса — документы анализируются, и на основании этого анализа абоненты после полуночи либо вновь получают доступ к услугам, либо теряют его.



Поскольку такие проверки баланса у этого клиента происходят одномоментно в начале нового месяца, то первого числа каждого месяца нагрузка на систему всегда возрастает. Этому способствует не только необходимость проанализировать всех клиентов и отключить неплательщиков — тех из них, кто сразу же решит оплатить услуги, нужно быстро «допустить» к услугам снова и корректно этот факт учесть.



Все это работает благодаря двум важным системным процессам. Один из них отвечает за выполнение команд на отключение абонентов. Когда биллинг понимает, что абонента нужно отключить, он через встроенный модуль provisioning отправляет команду на прерывание его сессии доступа.



Второй процесс — предотвращение установления новой сессии отключенным абонентом. Для этого в независимую базу данных авторизационного сервера с пользовательскими конфигурациями нужно реплицировать данные из provisioning-модуля «Гидры». Это позволяет всем частям системы знать о том, что определенных абонентов обслуживать сейчас не нужно.



Важное замечание: очевидно, что подобное желание видеть все деньги от всех абонентов в один день не способствует равномерному распределению нагрузки на систему. Напротив, в ходе «судного дня» для абонентов она вырастает в разы — причем, как на биллинг, так и на сервисы приема платежей. Кроме того, такая конфигурация способствует увеличению оттока пользователей (о том, как с ним бороться, мы рассказывали здесь и здесь).



Вторая причина — желание сэкономить на инфраструктуре и отказ от разумного разнесения сервисов. Для биллинга был закуплен менее мощный сервер, чем было необходимо. Четыре года он отработал без проблем, однако объём данных в БД рос, кроме того, на сервер постепенно «навешивались» требовательные к ресурсам дополнительные сервисы (внешняя отчетная система на Java-машине, новый модуль provisioning также с использованием Java-машины и т.д.), а рекомендации инженеров, говоривших о необходимости разнесения сервисов, откладывались в долгий ящик с аргументом «работает же».



Две из четырех предпосылок будущего сбоя уже были в наличии. Но даже в этом случае масштабных проблем удалось бы избежать, если бы не две трагических случайности, которые случились одновременно в самый неподходящий момент.



Незадолго до 1 апреля наконец удалось получить отдельный сервер для авторизационной БД с профилями абонентов. Как выяснилось позже, RAID-массив на этом сервере оказался дефектным, и на нем авторизация при определенном уровне нагрузки тормозила еще сильнее, чем на старом «железе». Ни на одной из более чем 100 других инсталляций «Гидры» эта ошибка не проявлялась из-за того, что в нормальных условиях сервис авторизации работает быстро и ресурсов хватает с большим запасом.



Непосредственным триггером аварии, вероятно, следует считать закончившееся место в табличном пространстве, которое привело к тому, что начали накапливаться изменения профилей. Как только свободное место вновь появилось, все эти изменения были обработаны и в дефектный RADIUS-сервер через системные очереди устремился поток репликационных сообщений, которые не смогли примениться.



Определенные подозрения о возможном баге возникали и до описываемой ситуации — периодически у некоторых единичных абонентов в базе сохранялись неправильные профили. Однако вычислить проблему до первого числа нового месяца не удалось — событие было очень редким и расширенное логирование не помогло вовремя «отловить» ошибку (в том числе по причине переезда на новый сервер).



Предотвращение проблем в будущем



Устранив сбой и разобравшись в его причинах, уже в спокойной обстановке мы внесли корректировки, призванные исключить повторение ситуации в будущем. Вот, что мы сделали:


  • Прежде всего, в ActiveMQ была добавлена функциональность требования подтверждения доставки отправленных данных. При этом подобное подтверждение работает в кумулятивном режиме — сервер подтверждает получение не каждого сообщения, а некоторой их пачки (раз в пять секунд). Логика обработки сообщений поддерживает повторную обработку очереди начиная с определенного момента, даже если какие-то из данных уже попали в БД.

  • Кроме того была увеличена частота отправки heartbeat-пакетов — вместо пяти секунд время увеличилось до нескольких минут. В дополнение к механизму heartbeat соединение к брокеру сообщений стало устанавливаться с опцией keepalive с небольшими интервалами проверки активности соединения (несколько десятков секунд против пары часов, устанавливаемой операционной системой по умолчанию).

  • Также производились тесты, в ходе которых при отправке сообщений случайным образом перезапускались разные модули системы. В ходе одного из таких тестов какая-то часть данных все равно оказывалась потерянной. Тогда был заменен сам «движок» базы данных MongoDB — перешли на использование WiredTiger. Мы планировали сделать это раньше, но по случаю тестов решили совместить переезд.



Внесенные изменения позволили свести число потерянных пакетов к нулю и предотвратить возникновение подобных проблем в будущем даже в условиях очень «агрессивной среды».



Кроме того, по рекомендациям инженеров техподдержки «Латеры» сервисы системы были разнесены на разные серверы (деньги на них быстро нашлись). Это удалось успеть сделать до 1 мая — следующего дня массовых биллинговых операций.



Главный урок



Тревожные «звоночки», сигнализирующие о возможных проблемах, звучали и в марте, но выявить их до наступления планового всплеска активности не удалось. Если бы этого всплеска не было, или он произошел бы в другом месте — не на «тормозящем» RADIUS-сервере с максимальной скоростью последовательной записи 5 МБ/сек, то с высокой долей вероятности инженерам удалось бы локализовать проблему в апреле. Им не хватило буквально нескольких дней.



Все это подводит к выводу о том, что в том случае, если существуют подозрения на наличие не до конца понятных проблем с работоспособностью систем, а также ожидается всплеск активности, то стоит также быть готовым, что именно в этот момент все пойдет по максимально неблагоприятному сценарию. При наличии таких подозрений необходимо интенсивнее проводить поиск возможных проблем, чтобы успеть разобраться с ними до серьезного повышения нагрузки.



Другие технические статьи от «Латеры»:







Original source: habrahabr.ru.

https://habrahabr.ru/post/283548/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<инфраструктура - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda