Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 1681 сообщений
Cообщения с меткой

ibm - Самое интересное в блогах

Следующие 30  »
rss_rss_hh_new

Будущее за флэш-памятью: IBM FlashSystem

Вторник, 23 Августа 2016 г. 10:17 (ссылка)

Время — ключевой фактор в бизнесе, особенно в критически важных бизнес-приложениях. Те, кто видел фильм «Аполлон-13», или люди постарше, помнящие этот злополучный космический полет, знают, что бывает, когда критически важные системы выходят из строя. По сюжету фильма три американских космонавта отправляются на Луну, но в пути космический аппарат взрывается и получает серьезные повреждения, а они лишь чудом остаются в живых. Космонавтам удается вернуться домой только благодаря героическим усилиям и толике везения. К счастью, последствия сбоя критически важных бизнес-приложений редко бывают столь же серьезными (по сравнению, скажем, с приложениями, от которых зависит работа служб и учреждений, например, в отделениях интенсивной терапии, авиадиспетчерских службах и т. д.). Но с другой стороны — сбои таких приложений напрямую отражаются на жизнеспособности компании: если системы работают безупречно, компания экономически здорова и развивается, если нет — она с трудом удерживается на плаву.











К разряду критически важных для бизнеса относятся приложения для самых разных задач, например: бизнес-аналитика (BI — business intelligence), оперативная транзакционная обработка (OLTP — online transaction processing), оперативная аналитическая обработка (OLAP — online analytical processing), инфраструктура виртуальных рабочих столов, высокопроизводительные вычислительные системы и приложения для доставки содержимого (облачные системы хранения, предоставление видео по запросу и т. д.). Все эти важные задачи объединяет одно: высокие требования к скорости работы, ведь от нее зависит то, насколько быстро руководство, сотрудники, клиенты и другие ключевые деловые партнеры получат доступ к нужной информации.



Невозможность быстро получить доступ к важным данным и обработать их приводит к существенным деловым и финансовым рискам. В частности, такие задержки вызывают:



— Неспособность своевременно и правильно оценить ситуацию — не имея доступа к критически важным данным в нужное время и в нужном месте, люди не видят полной картины происходящего и, как следствие, принимают неправильные решения, допуская совершенно необязательные ошибки.



— Резкое снижение способности прогнозировать результаты бизнеса — качество финансовых прогнозов на уровне отдельного проекта, отдельного направления деятельности и всей компании зависит от возможности своевременно получать самые точные данные. Не имея доступа к таким данным, компания не может их проанализировать, что негативно отражается на ее деятельности.



— Рост недовольства клиентов — во многих отраслях (финансовые услуги, здравоохранение, туризм и т. п.) качество сервиса напрямую зависит от наличия мгновенного доступа к актуальной информации, особенно в связи с тем, что современный клиент ожидает обслуживания в круглосуточном режиме 7 дней в неделю и 365 дней в году. В этих условиях неспособность оперативно предоставить клиентам нужную информацию не только означает упущенную прибыль, но и зачастую ведет к потере клиента, а то и доли рынка.



— Слишком большие объемы, разнообразие и скорость поступления информации — взрывной рост объемов данных ведет к неизбежному падению производительности основных приложений на многих предприятиях. Увеличение задержек становится источником недовольства пользователей, и предприятия упускают возникающие возможности.



Руководителям отделов ИТ, ищущим решение этих проблем, которое бы имело оптимальное сочетание функционала, времени внедрения, масштабируемости и стоимости систем, не позавидуешь. В конечном счете, верное решение может оказаться далеко не очевидным.



Постановка задачи (подсказка: скорость процессора — неправильный ответ)



Как правило, на замедление работы системы отдел ИТ реагирует в первую очередь добавлением или модернизацией процессоров и памяти. Однако слишком часто прирост производительности от этой модернизации минимален, тогда как стоимость высока. Второй метод, зачастую сопутствующий первому, по крайней мере, применительно к базам данных, — это оптимизация инструкций SQL. Предприятия тратят на нее миллионы долларов и даже получают какие-то результаты. Но упускают из виду тот факт, что и самая идеальная база данных будет бессильна перед низкой скоростью работы системы хранения данных, а именно последняя часто и является источником проблемы.



Действительно, первопричина проблем с производительностью приложений зачастую кроется в системе хранения данных, а не в скорости процессора или нехватке памяти. Когда процессор простаивает в ожидании информации от системы хранения, драгоценное время и ресурсы расходуются впустую. А учитывая то, что в последние 20 лет вычислительная мощность процессоров растет в геометрической прогрессии, этот простой становится все больше и больше. Проще говоря, вычислительные ресурсы современных процессоров намного превосходят скорость, с которой жесткие диски могут доставлять им данные. Особенно остро этот разрыв в производительности ощущается в серверах баз данных, где количество операций ввода-вывода обычно гораздо больше, чем в других системах. В итоге сверхбыстрые процессоры и огромная пропускная способность часто задействованы далеко не на полную мощность, потому что на доступ к данным на жестких дисках уходит по несколько миллисекунд, что для современных процессоров — целая вечность. А когда серверы долго ждут данных от систем хранения, пользователи долго ждут ответа от серверов. Вот где реальный источник проблемы с низкой скоростью операций ввода-вывода.



Эта проблема обусловлена чисто физическими причинами. Перемещение данных на твердотельных накопителях и через сеть происходит на скорости, сопоставимой со скоростью тока в электрической цепи, т. е., по сути, скорости света, тогда как жесткие диски — это устройства механические, считывающие информацию за счет вращения пластины. Таким образом, при всей своей надежности и работоспособности жесткие диски в плане скорости доступа являются однозначно самым слабым звеном в цепи передачи информации.



Недостатки традиционных путей обхода проблемы со скоростью HDD



Проблемы с производительностью из-за неэффективности жестких дисков пытаются решать несколькими способами, в частности, созданием массивов JBOD (just a bunch of disks — просто набор дисков) или RAID (redundant array of independent disks — избыточный массив независимых дисков). С увеличением количества дисков появляется возможность распределять операции ввода-вывода, осуществляемые базой данных, по нескольким дискам. К сожалению, это дает слишком скромный прирост производительности HDD.



Еще принято перемещать часто используемые файлы на отдельный диск. Скорость операций ввода-вывода у одного диска при этом действительно вырастает до своего максимума, только вот даже на максимуме эта скорость по-прежнему невысока. В лучшем случае один жесткий диск выдает ~200, без применения дополнительного функционала, операций ввода-вывода в секунду (IOPS — input/output operations per second), что в разы ниже скорости, которая могла бы сократить разрыв в производительности между процессором и HDD.



Третьим традиционным способом повысить производительность HDD является замена JBOD на RAID. Производительность в результате действительно вырастает, особенно если подключить диски к контроллеру с бОльшим кэшем, который будет распределять данные по разным дискам. Но при этом, чтобы достичь высокой скорости операций ввода-вывода, ожидаемой пользователями, потребуется такое количество дисков, что их стоимость, занимаемое пространство, энергопотребление, тепловыделение и вес окажутся просто-напросто неприемлемыми.



Ответ: системы хранения только на базе флэш-памяти



Разрыв в производительности между вычислительной мощностью серверов и системами хранения данных на жестких дисках, особенно остро ощущаемый в критически важных бизнес-приложениях, требует принципиально иных, более быстрых систем хранения.



Системы хранения на базе флэш-памяти — это устройства с твердотельными накопителями, призванные решить проблему с недостаточной скоростью операций ввода-вывода; их скорость доступа к данным и операций ввода-вывода в разы лучше, чем у жестких дисков. Эти системы хранения могут дополнять или полностью заменять традиционные массивы из жестких дисков для многих критически важных бизнес-приложений, включая ERP-системы, транзакционные базы данных и аналитические приложения (бизнес-аналитика и т. п.). Более того, в связи с постепенным снижением цен на эти новые устройства сегодня вполне возможно построить целую систему хранения на базе одной флэш-памяти.



В широком смысле слова под SSD (solid state drive — твердотельный накопитель) понимается любое устройство ввода-вывода данных, лишенное механических компонентов. Однако в последнее время термин SSD используется в основном для обозначения твердотельных накопителей, имеющих традиционный форм-фактор жесткого диска и идущих ему на смену. SSD-накопители такого форм-фактора не следует путать с системами хранения на базе флэш-памяти. Интерфейсы и контроллеры таких SSD-накопителей основываются на традиционных для жестких дисков технологиях, которые создавались исходя из присущих HDD задержек доступа и ограничений пропускной способности. Системы же хранения на базе флэш-памяти изначально разрабатывают исходя из особенностей этой технологии и в расчете на быстрый контроллер FPGA, ставя цель минимизировать задержку и получить максимальную пропускную способность.



У современных систем хранения на базе флэш-памяти время ожидания операций ввода-вывода сокращено за счет того, что скорость доступа в 250 раз быстрее, чем у жестких дисков (0,2 мс против 5 с). А увеличение скорости доступа в свою очередь позволяет флэш-памяти выдавать в 2000 раз больше операций ввода-вывода в секунду, чем у HDD (400 000 с лишним IOPS против 200). Такое улучшение может резко сократить задержки доступа к информации, обусловленные медлительностью системы хранения.



Внедрение технологий флеш накопителей или замена существующих дисков позволяет, серверам любой архитектуры, увеличить возможности ЦПУ по количеству выполняемых задач за единицу времени. Так на примере IBM Power Systems прирост производительности сервера при работе с БД Oracle достигал до 40% на открытых тестированиях, что позволяет значительно увеличить эффективную утилизацию существующей инфраструктуры. То есть сервер без изменения конфигурации сможет выполнять на 40% больше запросов за тот же период времени.



Семейство IBM FlashSystem



IBM считает флэш-память стратегически важной технологией хранения данных и ставит своей целью быть в авангарде разработки систем хранения только на базе флэш-памяти. (Одним из следствий этой политики стала покупка в октябре 2012 года компании Texas Memory Systems (TMS) — высококлассного производителя мощных и надежных систем хранения на базе флэш-памяти.)



Целенаправленное использование IBM FlashSystem помогает предприятиям повысить свою гибкость и эффективнее задействовать аналитику — персонал в любой момент может оперативно получить информацию, которая всегда актуальна, поскольку поступает в режиме реального времени, а не с большими задержками. Кроме того, эта система способствует оптимизации центров обработки данных и консолидации ресурсов, в результате чего растет эффективность бизнес-процессов и работы критически важных приложений. Повышается и устойчивость систем, причем без потерь производительности и доступной емкости.



Системы хранения только на базе флэш-памяти имеют емкость больше, чем у всех предыдущих технологий хранения данных. Это объясняется тем, что они не требуют дополнительных батарей для копирования DDR-кэша в случае отключения электроэнергии, равно как и обходятся без большого количества дорогих модулей DDR-памяти. Объем нужной им DDR-памяти минимален — она служит в качестве буфера записи для флэш-памяти и хранилища метаданных во время работы. Электропитание, необходимое, чтобы в моменты отключения электроэнергии скопировать небольшой кэш и метаданные на флэш-память, обеспечивается маленькими батареями. Система хранения данных только на базе флэш-памяти с 57-ю терабайтами адресуемой памяти и высоким уровнем доступности имеет размер всего 2U.



В продуктах IBM FlashSystem применяется технология FlashCore которая позволяет используя тип носителя многоуровневого класса MLC получить показатели сроков хранения и производительности не хуже, чем SLC.



Системы хранения FlashSystem способны на 1 000 000 операций чтения в секунду с задержкой менее 100 микросекунд и при этом настолько компактны, что в одном отсеке 2U можно разместить устройства емкостью до 57 ТБ. Другим немаловажным преимуществом является высокий уровень доступности и надежности, обязательный для предприятий: отсутствие компонентов, отказ которых приводит к отказу всей системы, наличие нескольких уровней коррекции данных, резервных микросхем и компонентов с поддержкой «горячей замены».



Продукты IBM FlashSystem имеют наименьшую задержку и наивысший показатель IOPS среди конкурентов и при этом привлекательны с точки зрения совокупной стоимости владения. Нужно учесть что сравниваются не отдельные параметры а совокупность времени отклика и количества операций ввода-вывода. Они могут использоваться в качестве систем хранения т. н. уровня 0 (Tier 0, т. е. превосходящего по возможностям традиционный уровень Tier 1 — системы хранения данных, необходимых для первоочередных задач предприятия) в комбинации с SVC (IBM System Storage SAN Volume Controller). Также IBM FlashSystem будут особенно полезны, когда работоспособность критически важных бизнес-приложений напрямую зависит от охлаждения, низкого энергопотребления и компактного размера. На сегодня представлены две основные модели IBM FlashSystem 900 и IBM FlashSystem V9000. Первая занимает 2 юнита и обеспечивает высокую производительность в то время как вторая система занимает 6U и дополнительно к высоким показателям обладает набором High End функционала. Что позволяет оптимизировать использование объёма, более эффективно распределять нагрузки, создавать кластера хранения как в пределах датацентра так и географически разнесённые. В ближайшие дни планируется к запуску новейшая разработка которая увеличит портфель предлагаемых систем и добавит функционал в линейку IBM FlashSystem.



Экономические выгоды IBM FlashSystem



Системы хранения только на базе флэш-памяти имеют не только технические преимущества, но и ряд экономических выгод по сравнению с традиционными системами на базе HDD. Например, стоимость лицензирования ПО для систем хранения IBM FlashSystem на 50 % ниже, чем у систем на базе HDD.



К тому же гораздо меньший размер и более высокая плотность хранения данных позволяют значительно сократить занимаемую площадь. Как отмечалось выше, система хранения данных только на базе флэш-памяти с 57-ю терабайтами адресуемой памяти и высоким уровнем доступности имеет размер всего 2U. Таким образом, в одной стойке можно разместить систему емкостью более чем 1 петабайт.



Системы хранения данных только на базе флэш-памяти также гораздо более энергоэффективны, чем сопоставимые системы на базе HDD, — затраты на электроэнергию ниже на 75 %.



— Стоимость лицензирования ПО для IBM FlashSystem на 50 % ниже, чем у систем на основе HDD.

— IBM FlashSystem занимает значительно меньше места и экономит до 75 % электроэнергии по равнению с HDD.

— Стоимость эксплуатационной поддержки систем на базе флэш-памяти на 35 % ниже по сравнению HDD

— Совокупная стоимость системы хранения данных только на базе флэш-памяти на 31 % меньше, чем у HDD



Переход на флэш-память



Залогом максимальной отдачи и экономической эффективности флэш-памяти является стратегическое ее использование. Система хранения только на базе флэш-памяти полезна многим приложениям, но далеко не всем; в первую очередь она нужна основным приложениям предприятия. Ключ к высокой производительности приложений, удовлетворению пользователей оптимальной совокупной стоимости владения лежит в умении идентифицировать те приложения, которые выиграют от перехода на системы хранения только на базе флэш-памяти, и те, которым хватит традиционных систем на базе HDD или же гибридных систем на основе комбинации этих технологий.



Низкая производительность приложений обычно связана с большим объемом одновременных и зачастую высокосложных запросов к базе данных. Если слабым звеном при этом является подсистема ввода-вывода, то необходимо выявить компоненты базы данных, которые работают под наибольшей загрузкой и таким образом вызывают задержку в операциях ввода-вывода.



В некоторых случаях на системы хранения на базе флэш-памяти переносят целые базы данных. Обычно это БД со стандартно высоким объемом одновременных запросов или регулярным случайным доступом ко всем таблицам БД, когда вычленить подмножество наиболее часто используемых файлов не представляется возможным.



Хорошо подходят для переноса на системы хранения на базе флэш-памяти также БД малого и среднего размера, потому что такие решения крайне привлекательны по цене, особенно по сравнению с RAID-системами. Аналогичное справедливо для крупных баз данных с большим количеством запросов на чтение.



Другие доводы в пользу флэш-памяти — это такие недостатки больших дисковых массивов из HDD, как большая занимаемая площадь и высокое энергопотребление.



Дополнительные ресурсы



Для получения дополнительных сведений о системах хранения только на базе флэш-памяти и семействе IBM FlashSystem предлагаем ознакомиться со следующими источниками:



Видео: «Практический взгляд на флэш-память»



Видео: «Будущее за флэш-памятью от IBM»



Видео: «Где нужна флэш-память»



Видео: «Флэш-память против дисков»



Видео: «Системы хранения на базе флэш-памяти — настоящий прорыв»



Технический документ: «Повышение производительности БД Oracle в связке с IBM FlashSystem»



«Флэш-память или SSD: для каких целей нужна IBM FlashSystem»



«Преимущества IBM FlashSystem в среде VDI»



«Лучшие методики использования SVC и FlashSystem 820»



«Руководство по решению: IBM FlashSystem в БД на базе OLAP»



«Пример внедрения: система хранения данных на базе флэш-памяти применяется компанией Rathbone Brothers Plc для управления инвестициями на миллиарды долларов»



«Пример внедрения: Sprint повышает производительность в 45 раз и резко улучшает качество обслуживания клиентов, внедрив сверхбыструю систему хранения на базе флэш-памяти IBM»

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/308304/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Pokemon Go и IBM Watson: когда AI встречается с AR

Пятница, 12 Августа 2016 г. 16:33 (ссылка)





Pokemon Go практически сразу после релиза стала чрезвычайно популярной игрой. Благодаря этому приложению миллионы любителей мобильных игр стали в день проходить просто огромные расстояния. Некоторые пользователи, увлекшиеся Pokemon Go, выполняют и перевыполняют свои обычные нормы по количеству пройденных за день шагов.



Найти некоторых покемонов бывает очень непросто — да и что бы это была за игра, если бы ее можно было пройти за несколько часов? Карманных монстров различных видов приходится искать неделями, и далеко не всегда такие поиски успешны. Поэтому ряд разработчиков занялся поиском способов облегчить жизнь игрокам в Pokemon Go. Разработчик из Сан Франциско по имени Майкл Су (Michael Hsu) привлек к поискам когнитивную систему IBM Watson.



Майкл принял участие в хакатоне AT&T Shape Tech Expo и создал полезное для многих любителей Pokemon Go приложение. Сам он очень увлекся покемонами. По его собственному признанию, он является «охотником на карманных монстров» с момента релиза приложения.



Чтобы упросить задачу поиска зверьков на карте, Су стал искать доступный и подходящий для решения своей задачи API. Практически сразу же разработчик увидел новый Watson Visual Recognition API, и решил использовать его для своих целей.









Су создал приложение, которое периодически делает скриншоты в приложении Pokemon Go. Watson Visual Recognition API используется для анализа изображений. Если покемон есть на скриншотах, когнитивная система об этом сообщает. Система собирает эту информацию и уведомляет игроков в Pokemon Go о том, где находятся покемоны определенных видов.



По словам Стефании Качмарчик, представителя IBM Digital Group, новое приложение показывает, насколько легко использовать сейчас возможности, предлагаемые когнитивной системой. «Вы получили возможность использовать результаты многих лет исследований и разработок нашей компании в виде сервиса, когда пользователь может сказать: „У меня есть фото, что это?“, — говорит Качмарчик. Приложение с использованием Watson Visual Recognition API было создано менее, чем за сутки. Без указанного сервиса разработка такого приложения заняла бы гораздо больше времени.



«Watson может отслеживать покемонов по всему миру, а игроки благодаря сервису увидят, где и какие покемоны прячутся», — комментирует Качмарчик возможности программы.



Вскоре исходный код приложения будет выложен на GitHub, и другие разработчики смогут с ним ознакомиться. При желании можно модифицировать приложение.

Original source: habrahabr.ru.

https://habrahabr.ru/post/307648/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Страна выученных уроков: блокчейн – опыт первых пилотных проектов

Вторник, 09 Августа 2016 г. 09:48 (ссылка)

Уроки после первых пилотных проектов с блокчейн



Автор: Владимир Алексеев, ведущий системный архитектор, IBM Россия и СНГ







После первых пилотных проектов с технологией блокчейн возникла небольшая пауза, которую я решил посвятить анализу пройденного и попытаться понять, как лучше подходить к исследованию новой технологии и каких результатов стоит ожидать.



В итоге все получилось свести к 10 основным пунктам, которые являются выводами по результатам практических упражнений в рамках проектов для крупных банков России.



1. Блокчейн – действительно новая технология на рынке



В первый раз блокчейн упоминался в 2008 году в статье Сатоши Накамото про биткоин (Bitcoin: A Peer-to-Peer Electronic Cash System), причем технология была описана как сервер временных меток. И только несколько лет назад блокчейн стали воспринимать как отдельную технологию без привязки к биткоину. Упрощенно блокчейн можно представить как распределенный реестр или распределенную систему хранения записей, доступ к которой есть у любого участника сети. Все записи при попадании в блокчейн формируются в блоки, которые связаны в одну цепочку (blockchain из англ. – цепь блоков).







По грубой оценке, технология представлена на рынке не более 5 лет, а крупные финансовые организации стали проявлять больший интерес и проводить пилотные проекты буквально год-два назад. Крайне редко можно найти информацию об использовании технологии в продуктивных системах крупных компаний. Условно внедрения можно разделить на два типа: стартапы или финтех компании, направление бизнеса которых связано с блокчейн (Ethereum, Everledger и т.п.), и пилотные проекты крупных финансовых организаций по всему миру. Все это показывает, что мы лишь в начале пути и, по сути, создаем историю.



2. Блокчейн более эффективен не в рамках одной организации, а при наличии экосистемы



Несмотря на то, что существует ряд сценариев возможного использования технологий внутри организации (compliance, к примеру), большую эффективность имеют кейсы, когда ведется обмен информацией между несколькими компаниями. Одними из первых направлений исследований в индустрии были сценарии развертывания supply chain на блокчейн (пример лизинга машин, сборки самолета), а также обмен финансовыми транзакциями между банками по всему миру без регулятора (задача в рамках консорциума R3). От блокчейна, в первую очередь, больше ждут изменений в финансовой экосистеме за счет снижения или даже исчезновения роли регулятора.







3. Бизнес-сообщество – фундамент успешных исследований технологии блокчейн.



Что блокчейн привнес действительно нового в индустрию, так это абсолютно новый формат работы между организациями. Действительно, до этого партнерства между компаниями были обычной практикой (альянс IBM и Apple как пример). Блокчейн, можно сказать, заставил организации кооперироваться на уровне исследований и разработок (Research and development, R&D), причем не сколько в ИТ индустрии, а в финансовом секторе. Достаточно вспомнить консорциум R3, который во время основания в середине 2015 года состоял из 12 банков, а сейчас насчитывает больше 40. Что же заставляет банки объединяться и действовать совместно? Как уже упоминалось в первом пункте, блокчейн – крайне новая и быстро развивающаяся технология для всех участников рынка. Поэтому нельзя сказать, что она обладает достаточным уровнем зрелости для немедленного использования в продуктивных системах. Значит, необходимо исследовать возможные пути использования технологии, анализировать узкие места, проблемы, преимущества. А это как раз задача R&D.







Недаром организации выкладывают разработанный код в открытые сообщества для обмена друг с другом. Одним из самых известных примеров является консорциум HyperLedger (созданный в рамках Linux Foundation), куда компания IBM, к примеру, выложила более 44 000 строк кода для общего использования.



Вторым пунктом, почему бизнес-сообщество важно для реализации блокчейн – это урок из пункта 2: большая польза от использования блокчейн будет для экосистемы организаций, которые обмениваются информацией, но не доверяют друг другу. Блокчейн может существенно упростить и улучшить обмен и хранение информации в рамках открытого или закрытого сообщества организаций.



Важный вывод – если вы приняли решение адаптировать технологию блокчейн у себя в организации, то активно участвуйте в обсуждении в рамках бизнес-сообщество. За счет этого вы сможете как и привнести свои идеи, так и получить новые, найти партнеров и экспертизу.



4. Сложнее выбрать правильный сценарий использования технологии, нежели реализовать его технически



Опыт первых проектов явно продемонстрировал, что большая часть времени уделялась поиску сценариев (use-case) для дальнейшей проработки. И, к сожалению, большинство проектов не имело в конце так называемого «вау-эффекта» для бизнеса – вопрос о выгодах блокчейна оставался открытым. В ряде случаев, пилотные проекты оказывались лишь демонстрацией возможностей технической команды по программированию на одной из реализаций блокчейн. Таким образом, несмотря на опасения рынка в неготовности технологии к промышленному использованию, куда важнее не доказывать обратное, а понимать, какой эффект от внедрения блокчейна получит компания. И только после этого приступать к технологической реализации. В противном случае, пилотные проекты будут делаться ради пилотных проектов.







Вывод: не нужно поддаваться волне на рынке и делать пилоты в области блокчейн лишь для пробы технологии. Технологическая реализация – самый легкий этап тестирования технологии. Необходимо сначала точно определить возможные области, где внедрение блокчейна сможет принести пользу.



5. Блокчейн – это не только технологическая инновация



На рынке идет обсуждение, куда относить технологию блокчейн – к технологической или экономической революциям. Опыт первых пилотов показал, что организации больше ждут качественных изменений в финансовых процессах, нежели ожидают оптимизации ИТ инфраструктуры как результата внедрения технологий. Блокчейн способен привнести на рынок абсолютно новые модели взаимодействия между компаниями без участия регуляторов, что делает его не просто очередной новой технологической инновацией.



Вывод: блокчейн, скорее, это совокупность как новых инноваций в технологиях, так и новых подходов в экономических моделях.



6. Наибольшие сложности связаны с вопросами масштабируемости и безопасности



Одними из первых вопросов, поднимаемых при обсуждении перспектив блокчейна, являются масштабируемость и безопасность.

Вопрос масштабируемости тесно связан и с производительностью – в текущий момент сложно предсказать скорость вычисления нового блока в сети для каждого нового внедрения. Единственный известный факт в рамках крупного внедрения – это 8 минут на блок для биткоина. Сколько будет вычисляться новый блок в любой другой сети – неизвестно и необходимо тестирование.







К тому же, если скорость и удовлетворяет потребностям, факты изменения производительности в зависимости от числа узлов в сети (а это и есть масштабируемость), остаются неизученными.



Вопросы и в области безопасности логичны, так как если копия распределенного реестра есть у каждого участника, то как убедиться, что данные действительно верны и не могут быть изменены?



И, если эти или схожие вопросы можно объяснить спецификой реализации технологии, то с другой стороны, рынок стал ожидать, что блокчейн безопасен во всем и способен решить все актуальные проблемы, связанные с безопасностью. Это не так. Да, технология обладает определенными механизмами защиты, но это отнюдь не значит, что в ней решены все вопросы. Не стоит полагать, что блокчейн, к примеру, однозначно решает проблему потери первичных ключей.



Вывод: не стоит рассматривать блокчейн как решение для высоконагруженных транзакционных систем (например, банковский процессинг) в связи с нехваткой практических знаний о производительности сети — на текущий момент крайне мало примеров внедрений или индустриальных тестов. В вопросах безопасности не стоит полагаться на знание, что блокчейн способен решить все проблемы безопасности – рекомендуется рассматривать блокчейн также, как и любую другую новую технологию и тщательно анализировать возможные уязвимости.



7. Индустрия мало подготовлена к использованию распределенных реестров – отсутствуют должные нормативно-правовые меры



Как уже упоминалось, блокчейн предлагает организациям новый уровень взаимодействия между ними – без использования регулятора. Несмотря на перспективы этого подхода (создание «коллективной ответственности», снижение издержек при работе регулятора и т.п.), на текущий момент индустрия не обладает достаточным опытом использования такого подхода. Логично, что нормативно-правовые меры отсутствуют. Уже сейчас видно, что после успешной технической реализации блокчейн-технологий компании сталкиваются с проблемами регулирования и, тем самым, тормозят широкое использование технологии в продуктивных системах.



В рамках финансовой отрасли для успешного развития блокчейна крайне важна позиция национального банка страны. Как показывает практика, более эффективным способом участия нацбанка в апробации технологии является совместная работа с банками, нежели противодействие распространению технологии на рынке. Стоит отметить, что большое число нацбанков в мире придерживается позиции возглавить движение по развитию блокчейн, а не сопротивляться этому.



Вывод: для успешного внедрения блокчейн организациям необходимо выделять ресурсы не только для технологических пилотов, но и для решения юридических вопросов. И большие сложности находятся как раз в юридическом поле, а не в техническом.



8. Не стоит ожидать молниеносного возврата инвестиций в блокчейн – это такая же технология, требующая времени на внедрение и адаптацию



Даже удивительно, что из-за ажиотажа вокруг тех изменений, которые блокчейн может принести на рынок («блокчейн – новый Интернет»), компании стали закрывать глаза на обыденные вопросы, связанные с внедрением любой новой технологии: поддержка, интеграция с текущими системами. И, стоит признать, после успешного завершения пилотных проектов, волна энтузиазма резко снижается, так как организации переходят к фазе анализа, как внедрять технологию. И здесь возникают вопросы отсутствия навыков у персонала для поддержки, масштабирования системы при увеличении нагрузки, интеграции и обмена данными с существующими системами.







Вывод: не нужно считать блокчейн отдельной изолированной частью вашей ИТ инфраструктуры – вопросы интеграции и поддержки по-прежнему остаются актуальными. Уже на начальных этапах пилотных проектов стоит оценить место блокчейн технологий в общей архитектуре организации.



9. Блокчейн может быть внедрен раньше в областях, не связанных с финансами



Безусловно, наибольший интерес к технологии проявляет финансовый сектор и, в особенности, банки. С другой стороны, высокий спрос и ажиотаж не всегда приводят к практическим действиям и внедрениям. Бывает, что банки увлекаются погоней друг за другом, стремясь обогнать конкурентов и показать инновационность больше, чем фокусируются на успешном внедрении технологии и получения выгоды от ее использования.







Тем временем появилось довольно большое количество стартапов, которые предлагают сервисы на базе блокчейн в не связанных с финансами отраслях. К примеру, блокчейн может использоваться для хранения информации о бриллиантах, на рынке недвижимости, для учета земельных кадастров, облачного хранения данных и учета прав интеллектуальной собственности.



Вывод: компаниям не из финансовых отраслей не стоит ждать результатов внедрений банков, а начинать самим искать способы применения технологии блокчейн. В отсутствие ажиотажа и в условиях возможно более легких нормативно-правовых норм шансов на успешное внедрение технологии может быть значительно больше, чем у банков.



10. Блокчейн — технология, которая действительно сможет поменять индустрию



Несмотря на все опасения рынка, связанные с новизной технологии и ее неготовности к промышленному внедрению, блокчейн способен качественно поменять банковскую и не только индустрии. А именно изменить способы взаимодействия между компаниями: организациям придется уметь «договариваться» без участия органов регулирования. Безусловно, должно пройти какое-то время (по разным оценкам, от 2-3 лет) для апробации технологии, но то, что блокчейн перспективен, ясно уже сейчас.
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/307396/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Физики из Дельфтского технологического университета создали атомное хранилище данных

Понедельник, 08 Августа 2016 г. 12:24 (ссылка)

Команда специалистов из Дельфтского технологического университета (Нидерланды) создали хранилище данных, способное хранить информацию на уровне атомов. Данные можно записывать и стирать, устройство перезаписываемое. Каждый атом в хранилище представляет собой один бит информации.







Технология, принцип работы которой ученые опубликовали в авторитетном издании Nature Nanotechnology, позволяет записывать данные с очень высокой плотностью — около 500 ТБ на квадратный дюйм (6.5 см2). Теоретически такое хранилище данных в форме куба с длиной стороны в 0,1 мм может хранить все содержимое Библиотеки Конгресса США. Ученые уже продемонстрировали прототип рабочего устройства с емкостью в 1 КБ.



Физики могут работать с единичными атомами вот уже четверть века. Не новая и идея субатомного хранилища данных. Но реализация такого проекта была невозможна в силу ряда причин, одна из которых — отсутствие необходимых технологий. Кроме того, атомы большинства элементов склонны менять свое местоположение под воздействием положительных температур. Поэтому ученым потребовалось много времени для поиска подходящего материала и процесса, позволяющих идентифицировать отдельные атомы и работать с ними.



В 90-х годах группа ученых смогла выложить из 35 отдельных атомов ксенона слово «IBM». Сейчас идею развили и усовершенствовали. Вместо ксенона взяли хлор, и расположили атомы этого элемента на подложке из меди.









Ученые сформировали ячейку памяти из массива прямоугольных блоков. Размер массива — 12*12. Каждый блок содержит атомы хлора, расположенные на подложке из меди. Блоки заполнены не полностью, между атомами хлора есть пустые места. Комбинация этих пустых мест и атомов позволяет записывать данные в двоичном коде. Атомы и пустые места можно менять местами примерно так, как это делается в «пятнашках». Таким образом, записанную информацию можно менять или вовсе стирать.



Память такого типа состоит из блоков емкостью 8 байт. Каждый блок помечается собственным маркером, который позволяет идентифицировать расположение блока на медной подложке. Изменения в расположении фиксируются. Таким образом, память такого типа может быть прочитана и перезаписана в автоматическом режиме при помощи маркеров размером с атом.



У такого метода записи информации есть несколько преимуществ. Одно из них — возможность использования жидкого азота вместо жидкого гелия. В этом случае работать можно с температурой не -210°C, а -196°C. Таким образом, затраты на поддержание температуры жидкого азота несколько ниже, чем затраты на поддержание температуры жидкого гелия. Второе преимущество — высокая надежность записи данных (в сравнении с другими схожими методами). Здесь этот показатель достигает 99%.





Как считываются данные? «Промежутки» между атомами определяются при помощи мощного туннельного сканирующего электронного микроскопа. Система получает «картинку», которая анализируется и переводится в «цифру». Компьютер показывает, что именно записано в массиве атомов хлора. Если нужно перезаписать данные, дается специальная команда, и через 10 минут структура блоков и атомов меняется, в конце процесса данные можно считать записанными.



Размер опытного образца, созданного учеными — около 100 нанометров. Размер такого элемента составляет 96*126 нанометров. Атомами манипулируют при помощи иглы сканирующего электронного туннельного микроскопа.



Пока что предложенная технология далека от возможности коммерческого использования. Во-первых, дата-центрам будет сложно работать с жидким азотом. Это сложно организовать и с технической точки зрения, плюс довольно высокие затраты энергии на поддержание сверхнизких температур. Кроме того, цикл чтения или записи занимает целых 10 минут. Это очень много. Но ученые говорят, что это как раз не проблема, процесс можно ускорить до показателя в 1 мегабит в секунду.



Напомним, что корпорация IBM уже довольно давно научилась работать с отдельными атомами на медной подложке. В 2013 году наши специалисты сняли целый мультик, двигая молекулы (монооксид углерода) в нужные места. Результат — видео, получившее название «Мальчик и его атом» (A Boy and His Atom).





Каждая точка в мультике — это молекула того самого монооксида углерода, СО. Это соединение еще называют «угарным газом». Молекулы СО расположены на поверхности меди. Для увеличения используется туннельный электронный микроскоп. В рамках проделанной работы в IBM создали 242 отдельных кадра, которые и были затем преобразованы в это видео. Все объекты, по словам создателей мультика, были увеличены в 100 миллионов раз.



В работе участвовало 4 человека, на все было потрачено около 10 дней. При этом никакой автоматизации не было, все делалось вручную.









Вот так создавался мультик:






Original source: habrahabr.ru.

https://habrahabr.ru/post/307336/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Для квантового компьютера IBM опубликованы первые программы

Пятница, 05 Августа 2016 г. 13:55 (ссылка)





Квантовыми вычислениями сейчас занимаются почти все крупные компании, связанные с информационными технологиями. IBM, Google, Microsoft — все проводят исследования в этой сфере. Корпорация IBM успешно создала собственную 5-кубитную квантовую микросхему. На основе микросхемы был создан квантовый компьютер с названием IBM Quantum Experience. Четыре кубита используются для работы с данными, а пятый — для коррекции ошибок во время проведения вычислений (ошибки без коррекции — ахиллесова пята квантовых компьютеров). Это оборудование установлено в одной из исследовательских лабораторий IBM, которая находится в штате Нью-Йорк, США.



В мае наша компания анонсировала открытие общего доступа к этому квантовому компьютеру. С его помощью пользователи могут проверить работу своих экспериментальных программ на реальной системе. Мы считаем, что в будущем такие квантовые компьютеры будут использоваться во многих сферах. Причем обычному пользователю они не очень пригодятся, в игры на них не поиграть. А вот для промышленности, науки, энергетики — здесь такие системы очень даже нужны. Скорее всего, уже в недалеком будущем специалисты различных сфер смогут работать с такими компьютерами по удаленной схеме — через облачные сферы, подобные тому, что запущен корпорацией IBM.



Сейчас IBM Quantum Experience доступен только для исследователей. Для получения возможности поработать с системой нужно четко указать задачи, для которых необходимо задействовать ресурсы этого сервиса. Квантовый компьютер IBM является универсальной системой, способной справиться с любыми квантовыми алгоритмами. Это выгодно отличает такой компьютер от адиабатических квантовых систем.







Благодаря универсальности IBM Quantum Experience может решать ряд задач гораздо более эффективно, чем это могут сделать обычные компьютеры, пускай и сверхпроизводительные. В основном это задачи следующего характера:

• Быстрая обработка огромных баз данных;

• Оптимизация процессов, характер которых близок к так называемой задаче коммивояжера;

• Анализ и обработка научных данных с выявлением определенных закономерностей;

• Разложение чисел на простые множители при помощи алгоритма Шора. Если квантовые системы начнут работать с такими операциями, о криптографии в современном ее виде придется забыть.









Что касается последнего примера, то квантовый компьютер IBM может работать с этим алгоритмом. Но для действительно эффективной работы требуется больше кубитов. К 2025 году наша компания собирается собрать систему, содержащую от 50 до 100 кубитов. В этом случае уже можно говорить о начале работы над сложными практическими задачами.







С мая этого года с квантовым компьютером IBM смогли поработать многие специалисты из различных сфер. Некоторые представили собственные программы для IBM Quantum Experience. Больше всех алгоритмов представила астрофизик Кристин Морано из Калифорнийского технологического института (США). По словам Морано, это наиболее простые квантовые алгоритмы, например, алгоритмы Гровера и Дойча — Йожи, написанные на Python. Морано предлагает пользователям, имеющим доступ к IBM Quantum Experience, модифицировать эти программы для себя и опробовать их работу на квантовой системе.

Original source: habrahabr.ru.

https://habrahabr.ru/post/307172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод] Интервью с мамой, банковским программистом на COBOL'е

Среда, 20 Июля 2016 г. 16:09 (ссылка)



Фото из Гугла, это не мама автора



Моя мама начала работать в одном из крупнейших банков ЕС ещё до моего рождения, а я всегда был неравнодушен к её специальности, особенно в последние годы, поскольку сам стал программистом. Меня много раз просили взять у нее интервью, и я, наконец, решил это сделать.



Объясню немного



Мир банковского программного обеспечения — это другая вселенная. Она сильно отличается от той, к которой привыкло большинство из нас. Я публикую этот пост на HN и на Reddit. Публикую интервью не в виде вопросов-ответов, а в виде рассказа. Я добавил некоторые вопросы и ответы в нижнюю часть поста.



1991



Год, когда она начала внутреннее обучение в банке Nordea, который тогда назывался Nordbanken (Северный банк). В 2001 году его переименовали в Nordea. Во время обучения она должна была проходить различные тесты, в первую очередь тест IQ, чтобы показать, что она обладает интеллектом, достаточным для работы в этой области. Тест на психологическую устойчивость — что у неё достаточно нервов для этой специфической работы и тест на многозадачность, который она завалила с оценкой 22/100. Остальные тесты она прошла успешно и заняла одну из 16 доступных позиций.



Должность звучала «как программист мэйнфреймов IBM на языке COBOL», и до сих пор, уже 25 лет, моя мама работает на этой должности в том же банке.



Эта позиция в банке самая важная, по крайней мере, с технической точки зрения. Если, скажем, мама и члены её команды одновременно бросят работу, банк разорится в лучшем случае в течение нескольких недель. Её коллектив работает посменно с круглосуточной доступностью. Помню, когда я был младше, она брала такси и ехала на работу посредине ночи, в воскресенье, чтобы исправить взаимную блокировку.





Мой брат (ему 1 год, он слева), моя мама и я (справа)



COBOL...



… это не такой крутой язык программирования как функциональный Haskell или Golang для параллельных вычислений. COBOL — это императивный, процедурный язык, а с 2002 года — объектно-ориентированный. В самом языке ничего плохого нет, проблема в том, что его почти никто не знает, как минимум в контексте программирования мэйнфреймов. Моя мать — вторая из самых молодых членов команды, а она родилась в 1964 году. У самого молодого из персонала разница с ней в два года. Это глобальная проблема, поскольку почти все крупнейшие банки в мире работают с мэйнфреймами IBM и COBOL у них — основной язык программирования. У банков помельче ситуация лучше, они обычно работают, например, на Java, без мэйнфреймов.



Мама раньше спрашивала меня, не хочу ли я изучить этот язык, но я тогда уже работал с более продвинутыми технологиями вроде Postgres, Redis, Node, Crystal, PHP и всегда отвечал «Да ни за что!». Мне до сих пор интересно то, что она делает, но такие типы систем вызывают, кажется, самое плохое ощущение корпоративщины, которое только можно представить и которого мне хотелось бы избежать.



Правда, я могу только представить жирную зарплату 20-летнего программиста старого мэйнфрейма, потому что возраст в этом случае бесценен.



Базы данных



Их основная база данных называется IMS. Это иерархическая база данных, созданная IBM для программы Apollo. Между собой они называют её DL/1, Язык Базы данных 1 (Database Language One). Они пытаются мигрировать на DB2, реляционную базу данных, которая понимает нормальный SQL. Но, учитывая огромный объем данных, которые хранит банк Nordea, такая задача займёт несколько лет. Нужно не просто переместить данные из IMS в DB2, в дополнение надо обновить модули для загрузки и сохранения данных из DB2 вместо IMS, а модулей тысячи, многие из них были разработаны программистами, которые либо умерли, либо вышли на пенсию.



Каждая транзакция хранится в DB2. Они избегают записей в IMS насколько это возможно, и только считывают из неё данные, пока их новая купленная система не интегрируется полностью, и они не смогут хранить данные там.



IMS — чрезвычайно старая и очень медленная (для некоторых задач).

Поиск данных может занять несколько часов. Ха, а мы тут спорим о том, что у MySQL скорость выполнения запросов на две миллисекунды выше, чем у Postgres. Немного иронично.



Они также используют плоскую файловую структуру для целого ряда задач, которые сами по себе делятся на несколько подвидов, поддерживаемых IMS. Один из примеров — GSAM, из-за которого маме не раз приходилось мчаться на работу на такси. И всё из-за модулей, работающих с одним и тем же GSAM-файлом одновременно, создавая взаимные блокировки.



Давайте поговорим о размере их баз данных. DB2 хранит данные только о транзакциях, и транзакции отличаются по размеру, в зависимости от типа счетов, между которыми протекает транзакция. Частные счета, как мой личный банковский счет, на порядок проще, чем корпоративные счета. Каждая транзакция весит где-то от 500б до 2Кб, в среднем примерно 1Кб.



Сейчас их база данных DB2 хранит 11 миллиардов транзакций, а закон требует хранить каждую транзакцию в течение 10 лет, а по факту — 11 лет. На данный момент транзакциям только 7 лет, а их количество, предположительно, растёт на 5-8% каждый год, и так, пока они не дождутся 11 лет, когда можно будет уничтожить записи старше 11 лет.



Получается, сегодня DB2 хранит около 10Тб данных, и это только транзакции. Через четыре года это превратится приблизительно в 13-14Тб.



Большая часть оставшейся информации хранится в IMS. Эти данные сильно отличаются по объёму, так что трудно оценить размер, но я предполагаю, что их намного больше, чем в DB2.



Ещё они хранят некоторые данные на лентах, а их программы указывают машине загрузить или сохранить данные с конкретной ленты. Это довольно круто!



IDE



У всех есть что-то вроде IDE или текстового редактора, правда? У них, вот, есть. Их IDE называется ISPF и напоминает операционную систему. ISPF можно расширять, и часть, которую можно назвать IDE — это расширение ISPF под названием Endevor.



ISPF напрямую связана с мэйнфреймом, и у них нет такого понятия, как локальная среда разработки.





Интерфейс ISPF, найденный в интернете



Пакетная обработка



Примерно 80% их систем — пакетная обработка. Это задачи, которые запускаются в определенное время или интервал времени, выполняя какую-нибудь обработку данных или отправляя данные в другие банки, агентства или ещё куда-то. Например, когда я покупаю банку кока-колы, деньги снимаются с моего счета, но фактически деньги никуда не поступают, пока одно из их пакетных заданий не проведёт эту операцию. Эти задания, как правило, выполняются в ночные часы, поэтому обычно требуется день, чтобы операции между банками завершились. Транзакции внутри банка обычно мгновенные, поскольку выполняются сразу.



Пакетные задания работают с гигабайтами, иногда терабайтами данных, и в некоторых случаях могут занять несколько часов. Хотелось бы посмотреть, как мэйнфреймы IBM внезапно переходят на полную мощность в их датацентрах в ту секунду, когда на часах 00:00. Это было бы офигенно!



Проблемы, с которыми сталкиваются банки



У банков, которые работают на мэйнфреймах, множество проблем, которые они должны решать, но времени на это, к сожалению, не хватает.



Программисты становятся старше, не многие хотят учиться, а время, через которое новый сотрудник сможет уверенно выполнять свои функции, составляет 2-3 года, и даже после этого он может попасть в нетипичную ситуацию.



Есть программы, которым десятки лет: никто не понимает, как они работают, а человека, который их писал, уже давно нет.



Многие банки хотят приобрести новые крутые системы, чтобы заменить старые, а все их программисты в один голос заявляют: «это не сработает, нашего монстра нельзя ничем заменить».



Отчасти, причина огромного размера их систем в том, что они изначально допустили ошибку и начали подстраивать свою систему под другие системы. Хороший пример: мы создаём RESTful-сервисы, в которых программы, которым нужно получить от нас данные, подстраивают свои системы под нашу. В некоторых банках всё не так, и они посылают данные другим системам, например, налоговым службам, а налоговые службы могут в любой момент обновить свои системы, которые, в свою очередь, сломают те, что банки используют для отправки данных.



Банковские системы также чрезвычайно продвинутые. Личный банковский счет сильно отличается от корпоративного банковского счета. В дополнение существует как минимум 50 различных видов банковских счетов для каждого из типов. А в случае с Nordea, есть ещё и шведские правительственные счета, которые отличаются от личных и корпоративных. Думаю, что существуют финские правительственные счета и, возможно, часть датских, которые тоже чем-то отличаются.



В заключение



Будет очень интересно послушать, что банк Nordea и другие банки собираются делать в ближайшие годы, и какие новые технологии они собираются реализовывать.



Q&A



Почему ты решила программировать на мэйнфрейме IBM на COBOL?

— Я всегда хотела «работать с компьютерами», но не искала эту конкретную работу. Я увидела объявление в газете, подала резюме и получила работу. Правда, на тот момент у меня уже было немного опыта в сфере компьютерных систем.



Что тебя больше всего шокировало?

— Мой коллега однажды забыл добавить точку в конце инструкции для программного модуля в самой важной части нашей системы, которую мы называем «кассой». Она отвечает за обработку всех денег. В результате на 16 часов остановилась работа всего банка, исключительно из-за модуля, который продолжал выполняться, хотя должен был остановиться после той инструкции. Это буквально повесило нашу систему, устроив, можно сказать, DoS-атаку самой себя.



Как ты думаешь, какое будущее ждёт банки, работающие в той же инфраструктуре, как Nordea?

— Большинство банков признало, что нужно заменить старые мэйнфреймы на более современные. Nordea купил новую систему, которой обещал заменить текущую в течение 4-х лет, но банк обслуживает несколько стран, и в реальности 4 года уйдёт только на одну страну, так что в общей сложности — 16 лет.



Банки и финансовые системы, которые не поняли этого, окажутся в очень сложной ситуации. Хотя мне до сих пор кажется, что мы будем использовать инфраструктуру IBM.



С какими проблемами тебе пришлось столкнуться как женщине-программисту, которая начала работать в 90-х?

— Совершенно никаких проблем не было. В моём коллективе есть несколько женщин, но мужчин больше. Меня это не особо беспокоит.



Ты работаешь над одним модулем и, возможно, над одной кодовой базой больше 20 лет. Это вообще надоедает?

— Да, определенно, как и в других сферах деятельности. Но за время работы здесь я создала множество абсолютно новых систем по разным финансовым направлениям, и это всегда было интересно. К сожалению, с этого момента мы уже никогда не создадим ничего нового, только будем поддерживать текущее и ждать новую систему, которую купили для замены.



Насколько страшно писать код для банка?

— Очень страшно, особенно, когда мы делаем изменения на главном сервере по воскресеньям. Когда мы что-то там меняем, крупные блоки системы нужно переводить в оффлайн. Один из этих блоков — вся IMS. В этот промежуток времени может случиться что угодно, но у нас очень надежная тестовая система, так что, как правило, всё проходит без проблем.



Ты когда-нибудь допускала серьёзные ошибки в работе?

— Определенно, одну довольно серьёзную ошибку я сделала еще в 1997 году, когда мой младший сын (это я, автор) только пошёл в детский сад и кончился мой декретный отпуск. У нас есть накопительная пенсионная система. Этот тип банковских счетов в то время был не закрытым, а по закону нельзя было снимать деньги с этого счета пока не исполнится 55 лет. Поскольку счета не были закрытыми, при наличии номера банковского счета деньги можно было снимать. Поэтому решение было простым — не давать клиентам номера их банковских счетов.



Я ухитрилась облажаться и изменила модуль, который стал добавлять номер счета в письмо, отсылаемое клиенту по почте. Клиенты начали снимать деньги (с которых еще не списали налоги!) со своих пенсионных счетов раньше, чем им полагалось по закону.



Это повлекло за собой огромное внутреннее расследование. Вмешалось шведское правительство, нас атаковали финансовая инспекция и СМИ. Это всё — я.



Какая у тебя рабочая атмосфера?

— Мы недавно переехали в более «модное» место. Раньше у нас были личные столы, а теперь «выбирай любое доступное место» — открытое пространство. Мне это совсем не нравится.



(Перевод Наталии Басс)


Original source: habrahabr.ru.

https://habrahabr.ru/post/306046/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Мониторинг и управление инфраструктурой ЦОД

Пятница, 08 Июля 2016 г. 11:42 (ссылка)

Мониторинг и управление инфраструктурой дата центра требует постоянного контроля. С каждым годом выходит все больше и больше новинок, которые применяются в машинных залах ЦОД. В связи с этим операторам дата центров нужны инструменты для мониторинга и управления, способные снизить нагрузку и автоматизировать рутинную работу, тем самым упрощая жизнь персоналу и давая им возможность заниматься более уникальной, нестандартной работой. Также повышается надежность и эффективность ЦОД. Предлагаю Вашему вниманию разработчиков: LogicMonitor, Cisco Systems и Vigilent, о которых пойдет речь ниже.







LogicMonitor



Компания LogicMonitor — занимается разработкой и мониторингом сети, управлением системы и управлением компьютерной сети для управления дата центром. Она смога привлечь порядка $130 млн. в форме частного акционерного капитала. Данная сума в 10 раз превышает средства, которые были собраны с предыдущих раундов финансирования. Главный офис компании находиться в Санта-Барбаре, штат Калифорния (США). Компания основана в 2007 году, она разрабатывает программное обеспечении для мониторинга сетевой инфраструктуры ЦОД и управления многими система внутри самого дата центра, предоставляет клиентам доступ к данным сервисам через облако. Клиентов в компании начисляется более 1 тис. Свою клиентскую базу удалось оперативно расширить за счет таких компаний как: JetBlue Airways, Zendesk, Trulia, National Geographic, Citrix.



Операторы дата центров могут контролировать работу серверов, сетевых коммутаторов, системы хранения данных и оборудования для распределения электроэнергии внутри ЦОД. Функционал продукта также распространяется на управление вычислительными мощностями внутри корпоративного дата центра или через облако. Конкуренцию компании LogicMonitor в данном направлении составляют такие компании как: IBM, Hewlett Packard Enterprise. Ее использую также программные агенты — «коллекторы» (collectors), они собирают информацию и пересылают в облачную платформу для дальнейшей аналитической обработки.



Собрав значительную сумму, компания LogicMonitor будет использовать данные средства для удовлетворения растущих потребностей в быстро развивающей IT-индустрии и укрепит свои позиции на мировом рынке. Данные средства помогут развивать собственный инженерно-технический отдел, интенсифицировать продажи, расширять проекты по маркетингу и укреплять позиции на мировом рынке.









Cisco Systems



Одно из основных направлений компании — узнать больше о том, что происходит на серверных фермах и направить все свои сили на разработку решений мониторинга дата центра, аналитической обработки собранной информации и данных со всей инфраструктуры ЦОД. Ранее компания уже анонсировала эту технологию мониторинга перемещения данных между серверами в корпоративных и коммерческих дата центрах. Данная технология поможет найти подходящее решение по оптимизации аппаратного обеспечения, что даст возможность более эффективно обслуживать рабочие нагрузки. Она также помогает инженерам ЦОД в оперативном поиске и исправлении технических сбоев и устранении бреши в системе безопасности.



Компания Cisco планирует использовать специальное программное обеспечение, которое будет установлено на серверное оборудование внутри машинных залов самого ЦОД, встроенных в чипы датчиков. Подобные программно-аппаратные комплексы будут напоминать своеобразные виртуальные датчики. С их помощью получится отслеживать разные проблемы — каждый датчик способен отслеживать до 1 миллиона цифровых событий в секунду. Данный отчет поступает в другое программное обеспечение Cisco, где он обрабатывается с использованием алгоритма искусственного интеллекта и предоставляет подробный отчет и рекомендации относительно оптимизации дата центра на всех его уровнях, он называется Tetration Analytics.









Vigilent



Компания представила свой новый комплект программного обеспечения, который направлен на оптимизацию теплового режима. Это является стратегически важной инфраструктурой дата центра, использующей искусственный интеллект. Называется — Vigilent Prescriptive Analytics. В его состав входит сразу 3 модуля: Reliability Assurance, Capacity Optimization и Energy Efficiency.



Программное обеспечение информирует о возможных будущих проблемах в управлении тепловым режимом дата центра, используя аналитический алгоритм, и предоставляет отчет с подробными рекомендациями для того, чтоб избежать подобных проблем. Оно позволяет свести риски к минимуму, такие как: возникновения неисправности оборудования от несвоевременного техобслуживания; недостаточное резервирование системы охлаждения (что является очень важным фактором для инфраструктуры ДЦ), что может вызвать «холодные точки» (когда происходит переохлаждение определенных мест в машзале) и «горячие точки» (недостаточное охлаждение в определенных местах в машзале), что в последствии ведет к не эффективном использованию ресурсов дата центра.



Модуль Reliability Assurance — он определяет фактические нагрузки на систему охлаждения ДЦ и помогает оптимально подобрать нужный режим для определенных мест, для избежания ненужной избыточности.









Модуль Capacity Optimization — помогает оптимизировать холодопроизводительность с учетом прогнозируемой погоды и избегать даунтаймов по причине экстремальных погодных условий.



Модуль Energy Efficiency — предоставляет отчет и рекомендации по эффективном использовании электроэнергии и экономии, когда это возможно.
Original source: habrahabr.ru.

https://habrahabr.ru/post/246903/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

IBM поможет российским компаниям в геологоразведке и нефтедобыче

Пятница, 01 Июля 2016 г. 11:03 (ссылка)





Наша компания занимается множеством различных проектов в самых разных сферах. Это и создание концепции умных городов, улучшение качества обучения детей, разработка памяти нового типа, создание новых методов предотвращения взломов компьютерных систем. Сейчас мы решили принять участие в новом проекте, имеющем непосредственное отношение к проведению геологоразведывательных работ в России. В рамках этого проекта планируется создать новые IT-инструменты и ПО для оптимизации процессов геологоразведки. Кроме того, этот проект имеет отношение к проектированию, разработке и эксплуатации месторождений нефти.



Важное значение в Российской Федерации играет добыча нефти, этого отрицать нельзя. Поэтому мы совместно с «Газпром нефтью» начали совместную работу по оптимизации методов различных процессов нефтедобычи. В процессе этой работы будут применяться сервисы IBM для когнитивного анализа данных, машинного обучения и обработки больших объемов данных. Эти технологии, как рассчитывают специалисты, помогут найти новые способы повышения эффективности разработки месторождений с одновременным увеличением коэффициентом извлечения нефти. Это, в свою очередь, позволит сократить затраты на проведение геологоразведывательных работ и нефтедобычи.







Для тестирования всего перечисленного выше выбран пилотный проект: оптимизация процесса заводнения на ряде зрелых месторождений «Газпром нефти». Критериями успеха будут считаться сокращение объемов закачки и рост коэффициента извлечения нефти (КИН). Заводнением называется способ поддержания пластового давления путем закачки воды в пласт.



«Цифровые технологии меняют всю нашу жизнь, в том числе и подходы нефтяных компаний к выбору вариантов разработки и эксплуатации месторождений. Новейшие способы работы с информацией позволяют повысить эффективность использования собираемых на месторождениях данных, принимать на их основе более проработанные и взвешенные решения. Именно на это нацелено одно из направлений нашей Технологической стратегии — оптимизировать разработку активов при помощи современных информационных технологий», — говорит первый заместитель генерального директора «Газпром нефти» Вадим Яковлев.







«Проекты технологического сотрудничества позволяют достичь синергии в прикладных индустриальных исследованиях. Видя огромный научный потенциал России, мы рады объединить усилия с компанией „Газпром нефть“ в разработке новейших информационных решений для нефтегазовой отрасли», — комментирует проект Джон Брантли, генеральный менеджер IBM по направлению химии и нефтехимии.

Для работы в указанной сфере у нашей компании есть подразделение «Химии и нефтепродуктов». Оно предлагает ряд решений и инструментов для повышения эффективности работы компаний, которые работают этой сфере. Когнитивные технологии IBM, включая систему IBM Watson помогают анализировать и структурировать огромные массивы информации. К примеру, мы помогаем объединить и унифицировать данные из различных источников: внутренней документации компании, сотен книг и журналов, публикаций ученых и специалистов по химии и нефтехимии.



Watson может отвечать на вопросы по оборудованию, методам и процедурам, имеющим отношение к нефтегазовой промышленности. Когнитивная система может выделять важные элементы из неструктурированных массивов данных типа журналов операций, данных обслуживания промышленных систем, отчетов и исследований.



Вот примеры вопросов, на которые может ответить IBM Watson: «Кто является экспертом в области разведки и нефтедобычи в арктических широтах?» или «Какие операции по нефтедобыче и в каком количестве проводились в Мексиканском заливе?». Ответы система дает моментально.



«Газпром нефть» — не первая нефтедобывающая компания, с которой работает IBM. Еще в 2014 году мы начали работу с Repsol, помогая испанской энергокомпании увеличить эффективность вложения средств в собственное развитие. В частности, когнитивные вычисления помогли оптимизировать массу бизнес-процессов Repsol. Также мы помогали австралийской компании Woodside улучшить работу объектов управления в своей инфраструктуре. Все эти проекты оказались успешными, и мы решили реализовать новый проект, уже в сотрудничестве с российскими партнерами.

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/151092/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

IBM Watson перенесет вас на Уимблдон

Четверг, 30 Июня 2016 г. 23:54 (ссылка)





Те любители тенниса, кому удалось получить в этом году билет на Уимблдонский турнир (начало – 27 июня), могут считать себя счастливчиками. Наблюдать за известнейшим турниром, где сражаются чемпионы – одно удовольствие. Но если вы болеете, сидя перед экраном своего ТВ или просматривая игру с планшета, не расстраивайтесь. Впечатления от игры будут практически те же, что и у человека, который видит корт своими глазами. Технологии IBM помогают усилить эффект личного присутствия для тех, кто не смог (или не захотел) посетить турнир.



Кроме того, наша система будет анализировать тысячи и тысячи сообщений болельщиков в социальных сетях, включая Twitter, Facebook, Instagram. IBM Watson будет изучать разные сообщения, и не только те, которые имеют отношение к теннису. В прошлом году облачные сервисы нашей компании только в Twitter анализировали около 400 сообщений в секунду. Мониторинг велся также в Facebook, Instagram и ряде других социальных сетях. Зачем? Все объясняется просто.



Дело в том, что число зрителей Уимблдона в прошлом году достигло 71 миллиона человек. Большинство зрителей хотят не просто наблюдать за игрой, но и получать дополнительную информацию о матчах любимых спортсменов. И специальное приложение Уимблдонского турнира (под iOS и Android) помогает быстро и без проблем доставлять такую информацию. А именно — персонализированный поток сообщений из социальных сетей. Одна из задач нашей когнитивной системы на турнире — определение эмоций зрителей. Наблюдать за переживаниями посетителей чемпионата когнитивная система будет при помощи камер. И по результатам таких наблюдений IBM Watson без труда сможет понять, за какого спортсмена вы болеете. Соответственно, вы будете получать больше информации по данному игроку.









Что касается дополнительной информации об игре, то приложения для Уимблдона, созданные на основе платформы IBM Watson, помогут зрителю получить данные о том либо ином игроке в процессе его участия в чемпионате. Пользователь сможет просмотреть подробную информацию о характеристиках игрока, его прошлых победах и поражениях. Будет постоянно демонстрироваться и статистика по всей игре — при желании можно переключиться на отдельных участников турнира.





Данные по игрокам на момент 2013 года. Сейчас информация еще более подробная



Приложение можно персонализировать, давая приоритет релевантному контенту по любимым игрокам или отдельным играм. Приложение работает с данными, накопленными за восемь лет проведения турнира.



На самом чемпионате IBM Watson будет использовать 3.2 млн опорных данных с 19 кортов в течение 13 дней. Точность при этом должна составить около 100%. Получаемую в ходе игры информацию когнитивная система будет предоставлять комментаторам, которые получат значительную помощь в процессе наблюдения за игрой.



Всего за четыре секунды эксклюзивные данные, предоставленные системой IBM Watson, будут разосланы на мобильные телефоны множества зрителей по всему миру.









Также IBM будет следить за информационной безопасностью турнира. Наша компания в состоянии определить и блокировать тысячи подозрительных информационных событий, происходящих в течение турнира. К примеру, в прошлом году число кибератак во время проведения Уимблдона возросло на 500%.



Сейчас IBM работает не только с Уимблдоном. Также наша компания сотрудничает с Australian Open, French Open и US Open. В этом году наша компания добавит в существующую систему работы с данными Уимблдона следующие направления:


  • Предоставление информации в режиме реального времени. Зрители получают персонализированную информацию о матче, игроках, предыдущих чемпионатах. Также добавлена таблица чемпионов всех времени и данные о новых достижениях, которые пользователи приложений для Уимблдона получат сразу же.

  • Социальное взаимодействие. Вопросы зрителей со всего мира будут передаваться тем, кто наблюдает за турниром непосредственно в Уимблдоне. Понятно, что посетители турнира сами должны согласиться на получение вопросов, и при желании смогут на них ответить. Если вопросы человек получать не хочет, то приложение не будет его тревожить.

  • Анализ игры. Поклонники тенниса получают результаты игры в режиме реального времени плюс анализ происходящего на поле. Сервис SlamTracker позволяет зрителям отправлять информацию о турнире в свои аккаунты социальных сетей.



Как результат — зрители, которые наблюдают за турниром со своих планшетов, телефонов, ТВ, получат впечатление личного присутствия на игре. Из года в год разница впечатлений непосредственных «участников событий» и зрителей, наблюдающих за игрой, удаленно становится все менее заметной. Во многом это нивелирование дистанции стало возможным благодаря IBM Watson и другим сервисам и технологиям нашей компании. Напомним, что IBM является партнером Уимблдона начиная с 1990 года. За 26 изменилось многое. И большинство таких изменений – положительны.

Что же, осталось только пожелать удачного просмотра и победы спортсмена, за которого вы болеете!
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/304524/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<ibm - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda