Привет, Хабр!

Прошло всего лишь каких-то 11577635 секунд с конца осенней школы GoTo в ИТМО. Неделя направления Распределённых систем началась с прототипирования распределённой системы на Cloud Haskell. Мы начали бодро и потому быстро выяснили, что существующую документацию без PhD понять сложновато — и решили написать методичку.

Под катом введение в p2p cloud haskell, немножко функционального стека прототипирования РС, мотивация и «но зачем».
Читать дальше ->

https://habrahabr.ru/post/351496/

Это вторая статья из серии статей об оптимизации кода. Из первой мы узнали, как находить и анализировать узкие места в коде, снижающие производительность. Мы предположили, что главная проблема в примере — медленное обращение к памяти. В этой статье рассмотрим, как снизить расходы при работе с памятью, а следовательно, и увеличить скорость программы.

Читать дальше ->

https://habrahabr.ru/post/351482/

На прошлой неделе при поддержке Redmadrobot SPB в рамках SPB Kotlin User Group прошла встреча со Станиславом Ерохиным, разработчиком из JetBrains. На встрече он поделился информацией о разрабатываемых возможностях следующей мажорной версии Котлина (под номером 1.3).

В этой статье мы подытожим полученный материал, расскажем о планах.

Читать дальше ->

https://habrahabr.ru/post/351516/

Программист Трэвис Фишер, перевод статьи которого мы публикуем сегодня, решил рассказать о самых полезных, с его точки зрения, модулях и вспомогательных инструментах для JS-разработки. Полезными он считает технологии, которыми пользуется постоянно и в ценности которых убедился на собственном опыте. В частности, речь пойдёт о библиотеках и утилитах, предназначенных для серверной и клиентской разработки на JavaScript. Трэвис говорит, что не стремился к тому, чтобы включить в свой материал нечто узкоспециализированное, или сделать что-то вроде очередного awesome-списка, которые сами по себе весьма полезны, но обычно оказываются несколько перегруженными. Здесь речь пойдёт лишь о том, самом лучшем, что он с полной уверенностью может порекомендовать другим.


Читать дальше ->

https://habrahabr.ru/post/351480/

(source)

Иногда мне приходится рассказывать другим людям как работает машинное обучение и, в частности, нейронные сети. Обычно я начинаю с градиентного спуска и линейной регрессии, постепенно переходя к многослойным перцептронам, автокодировщикам и свёрточным сетям. Все понимающе кивают головой, но в какой-то момент кто-нибудь прозорливый обязательно спрашивает:

А почему так важно, чтобы переменные в линейной регрессии были независимы?

или

А почему для изображений используются именно свёрточные сети, а не обычные полносвязные?

"О, это просто", — хочу ответить я. — "потому что если бы переменные были зависимыми, то нам пришлось бы моделировать условное распределение вероятностей между ними" или "потому что в небольшой локальной области гораздо проще выучить совместное распределение пикселей". Но вот проблема: мои слушатели ещё ничего не знают про распределения вероятностей и случайные переменные, поэтому приходится выкручиваться другими способами, объясняя сложнее, но с меньшим количеством понятий и терминов. А что делать, если попросят рассказать про батч нормализацию или генеративные модели, так вообще ума не приложу.

Так давайте не будем мучить себя и других и просто вспомним основные понятия теории вероятностей.

Читать дальше ->

https://habrahabr.ru/post/351400/

Под моим надзором примерно 1000 железных серверов, VPS даже не начинаю считать. Пару десятков из них обладают весьма критичными данными. И банальный ssh с ключами в стандартной ситуации не достаточно безопасен. Не все «кожаные люди» берегут ключи, поговорим как защититься от возможности потери ключа пользователем.
Читать дальше ->

https://habrahabr.ru/post/351310/

Аккумуляторные батареи (АКБ) — уязвимое звено многих систем бесперебойного питания ЦОД. Проблемы — большой вес, требующий усиления несущих конструкций помещений, где размещаются такие батареи, сильная зависимость их характеристик от температуры, что вынуждает использовать средства кондиционирования, недолговечность — быстрый выход из строя ведет к частой замене с соответствующими затратами. Все это относится к традиционным, свинцово-кислотным аккумуляторам, которые на данный момент доминируют в проектах.

Специалисты возлагают надежды на новое поколение аккумуляторов, прежде всего на литий-ионные, которые лишены многих недостатков свинцово-кислотных АКБ и имеют отличные перспективы использования в самых разных областях, включая промышленность, системы связи, центры обработки данных и пр.
Читать дальше ->

https://habrahabr.ru/post/351140/

Здравствуй, Хабр. Мы бы хотели представить тебе краткую версию годового отчета по кибер- и инфобезопасности за 2017 год, написанный нами совместно с главным партнером — Wallarm, предоставившим информацию по наиболее заметным уязвимостям и взломам.

В 2017 году компании Qrator Labs и Wallarm отметили растущую диверсификацию угроз из-за увеличивающегося множества возможных векторов атаки. Диапазон критических уязвимостей современной глобальной сети настолько широк, что злоумышленники могут выбирать из различные способы создания проблем для практически любой организации. И все большее количество инструментов может работать автоматически, делая централизованное управление излишним.

Если 2016 год можно назвать годом ботнетов и терабитных атак, то 2017 год был годом сетей и маршрутизации. Такие инциденты как спровоцированная Google утечка маршрутов сетей Японии, перехват чужого трафика Level3 в Соединенных Штатах и «Ростелекомом» в России, как и многие другие, демонстрируют устойчивые и высокие риски, связанные с человеческими факторами, основанные на бесхозяйственности и недостаточной автоматизации процессов. Храбрый инженер, уверенно останавливающий важный автоматический сценарий, может создать серьезные проблемы в доступности сетевых ресурсов.


Динамика количества атак за 2016–2017 гг
Читать дальше ->

https://habrahabr.ru/post/351466/

Сетевая архитектура LTE

На прошедшей конференции по безопасности сетей и распределённых систем в Сан-Диего NDSS 2018 было немало интересного, но самое большое внимание привлёк доклад американских исследователей из Университета Айовы и Университета Пердью по уязвимостям в сетях связи четвёртого поколения (4G): LTEInspector: A Systematic Approach for Adversarial Testing of 4G LTE (pdf). Такое внимание объяснимо, учитывая широкую распространённость сетей 4G LTE.

Исследователи сосредоточились на анализе трёх критических процедур, которые используются в протоколе:

• Attach — процедура, которая связывает абонентское устройство с сетью (например, при включении телефона).
• Detach — осуществляется при выключении устройства или отключении сети (например из-за плохого качества сигнала или если телефон не может пройти проверку подлинности в сети).
• Paging — этот протокол является частью установки вызова, чтобы форсировать на устройстве повторный приём системной информации, а также сообщений экстренного характера.

Читать дальше ->

https://habrahabr.ru/post/351470/

Скрытые марковские модели (Hidden Markov Models) с давних времен используются в распознавании речи. Благодаря мел-кепстральным коэффициентам (MFCC), появилась возможность откинуть несущественные для распознавания компоненты сигнала, значительно снижая размерность признаков. В интернете много простых примеров использования HMM с MFCC для распознавания простых слов.

После знакомства с этими возможностями появилось желание опробовать этот алгоритм распознавания в музыке. Так родилась идея задачи классификации музыкальных композиций по исполнителям. О попытках, какой-то магии и результатах будет рассказано в этом посте.
Читать дальше →

https://habrahabr.ru/post/351462/

Всем привет!

Запускаем завтра курс «Проектирование UX/UI», что немного волнительно, т.к. второй не совсем программерский курс, да ещё и радикально отличающийся от такого же первого (Digital маркетинг). В общем ждём старта и первых отзывов от наших студентов, а пока что очередной понравившийся материал от наших преподавателей про персонажей.

Поехали.

Кратко: Персонажи — удобный инструмент для выполнения задач UX. Почему же они часто не помогают? Узнайте, какие подводные камни мешают персонажам быть полезными, и как их избегать.

Персонажи — мой конёк. Я веду однодневный интенсивный курс о том, что такое персонажи, как их создавать и как применять для получения прекрасных результатов. Мне очень нравится вести этот курс, так как персонажи — один из наиболее абстрактных компонентов в такой аналитической дисциплине, как UX. Я люблю снимать ореол мистики с этой темы, делать её конкретной и решать типичные проблемы, с которыми сталкиваются практикующие специалисты.

Персонажи — это собирательные образы групп вашей целевой аудитории, разделяющих схожие взглядами, ценности и особенности поведения относительно продукта. Это очеловеченные “снимки” релевантных и осмысленных особенностей, по которым вы группируете ваших пользователей, основанные на результатах исследований. Нередко они выглядят приблизительно так:


Пример персонажа (Источник)
Читать дальше ->

https://habrahabr.ru/post/351456/

В рамках кампании по защите данных наших клиентов мы в Imperva рассказываем о разных методах атак на БД. Если вы не знакомы с нашим исследовательским проектом StickyDB, почитайте прошлые статьи: часть I и часть II. Там описано устройство сети ханипотов (рис. 1), которая заманивает злоумышленников атаковать наши БД, так что мы изучаем их методы и улучшаем защиту.


Рис. 1. Сетевое окружение ханипота StickyDB

Недавно мы обнаружили интересную технику в ходе атаки одного из серверов PostgreSQL. После входа в БД злоумышленник продолжал создавать полезные нагрузки из встроенных бинарников в скачанных картинках, сохранять полезные нагрузки на диск и запускать их. Как часто бывает в последнее время, злоумышленник захватил ресурсы сервера для майнинга Monero. Как будто этого мало, в процессе атаки он использовал фотографию Скарлетт Йоханссон. Ну тогда ладно. Разберёмся, как это работает!
Читать дальше ->

https://habrahabr.ru/post/351452/

В последнее время машины одержали ряд убедительных побед над людьми: они уже лучше играют в го, шахматы и даже в Dota 2. Алгоритмы сочиняют музыку и пишут стихи. Учёные и предприниматели всего мира дают прогнозы по поводу будущего, в котором искусственный интеллект сильно превзойдёт человека. С большой вероятностью через несколько десятков лет мы будем жить в мире, в котором роботы не только водят автомобили и работают на заводах, но и развлекают нас. Одна из важных составляющих нашей жизни — юмор. Принято считать, что только человек может придумывать шутки. Несмотря на это, многие ученые, инженеры и даже простые обыватели задаются вопросом: можно ли научить компьютер шутить?

Компания Gentleminds, разработчик систем машинного обучения и компьютерного зрения, совместно с FunCorp попробовали создать генератор весёлых подписей к картинкам, используя базу мемов iFunny. Поскольку приложение англоязычное и используется преимущественно в США, подписи будут на английском. Подробности под катом.
Читать дальше ->

https://habrahabr.ru/post/351428/

В этой серии статей я хочу описать наш опыт создания полностью автоматизированной стратегии тестирования (без QA) веб приложения Nielsen Marketing Cloud, которую мы создавали последние несколько лет.
Читать дальше ->

https://habrahabr.ru/post/351448/

Сегодня только ленивый не говорит (пишет, думает) про машинное обучение, нейросети и искусственный интеллект в целом. Всего лишь в прошлом году ML сравнили с подростковым сексом — все хотят, но никто не занимается. Сегодня все озабочены тем, что ИИ нас оставит без работы. Хотя, судя по последним исследованиям Gartner, можно успокоиться, так как к 2020 году благодаря ИИ появится больше рабочих мест, чем ликвидируется. Так что, дорогой друг, учи ML, и будет тебе счастье.

Читать дальше ->

https://habrahabr.ru/post/343670/

Здравствуйте, Коллеги, добро пожаловать на третий урок курса Check Point на максимум. На этот раз мне хотелось бы обсудить блейд Content Awareness. Это относительно новая фича, которая появилась в R80.10 и многие до сих пор ее не используют, хотя весьма зря! Лично я, считаю этот блейд отличным дополнением для защиты периметра сети, но давайте обо всем по порядку.
Прежде чем начать обсуждать этот блейд, хотелось бы немного вникнуть в проблематику вопроса. Т.е. зачем нам может этот блейд в принципе пригодится. Для начала давайте рассмотрим некоторые статистические данные. Читать дальше ->

https://habrahabr.ru/post/351312/

Впервые про TECO я прочитал в пародийной статье Real Programmers Don't Use Pascal, написанной незадолго до моего рождения. Там было написано, что настоящие программисты не используют новомодные редакторы EMACS и VI:

Нет, Настоящий Программист хочет редактор вида «Просил? Так получай!» — сложный, загадочный, мощный, не прощающий ошибок, опасный. TECO, если быть точным.

Оригинал

No, the Real Programmer wants a `you asked for it, you got it' text editor — complicated, cryptic, powerful, unforgiving, dangerous. TECO, to be precise.

Это меня заинтриговало. Что за зверь такой, можно ли его пощупать? Википедия рассказала, что TECO — это Text Editor & COrrector, создан он в 1962-м году в DEC и использовался на компьютерах семейства PDP, а позже на системах OpenVMS. Оказалось, что существует порт на Си, который поддерживается энтузиастами в актуальном состоянии и собирается под современными операционными системами. Вот я и решил почувствовать себя настоящим программистом хотя бы немножко.

Читать дальше ->

https://habrahabr.ru/post/351416/

Добрый день! На волне всеобщего интереса к чат-ботам в частности и системам диалогового интеллекта вообще я какое-то время занимался связанными с этой темой проектами. Сегодня я хотел бы выложить в опенсорс одну из написанных библиотек. Оговорюсь, что в первую очередь я специализируюсь на алгоритмических аспектах разработки и поэтому буду рад конструктивной критике решений кодерского характера от более сведущих в этом вопросе специалистов.



Библиотека посвящена построению интерфейса между алгоритмом, возвращающим ответ на текстовый запрос и API мессенджера Telegram. Предназначена для гибкого применения алгоритмов машинного обучения. Читать дальше ->

https://habrahabr.ru/post/351410/

Существует множество трендов и направлений в анализе данных, и все мы знакомы с популярными словами Business Intelligence, Big Data, Machine Learning и т.д. Эти слова знакомы сейчас даже тем, кто не знает как написать SQL-запрос, не знаком с правилами визуализации и отображения информации, и тем более не сможет написать Python-скрипт. Но всегда в нас остаётся незыблемое желание, воплощение мечты любого руководителя и/или даже аналитика данных: «нажимаешь на клавишу» и через миллисекунды нам уже приходит ответ на вопрос «Что делать?», а желательно пусть сразу «Прибыль компании увеличена».

Читать дальше ->

https://habrahabr.ru/post/351440/

Перевод ироничного поста из блога Боба Мартина в котором он рассуждает о том, насколько неудачным является использование слова interface в современных языках программирования, и какую путаницу и проблемы оно несёт разработчикам.

— Что ты думаешь об интерфейсах?

— Имеешь в виду интерфейсы в Java или C#?

— Да. Классная фича этих языков?

— Просто великолепная!

— Правда? А что такое интерфейс? Это то же самое что и класс?

— Ну… Не совсем!

Читать дальше ->

https://habrahabr.ru/post/351384/