Всем привет. Как вы, возможно, знаете, раньше я все больше писал и рассказывал про хранилища, Vertica, хранилища больших данных и прочие аналитические вещи. Сейчас в область моей ответственности упали и все остальные базы, не только аналитические, но и OLTP (PostgreSQL), и NOSQL (MongoDB, Redis, Tarantool).

Эта ситуация позволила мне взглянуть на организацию, имеющую несколько баз данных, как на организацию, имеющую одну распределенную гетерогенную (разнородную) базу. Единую распределенную гетерогенную базу, состоящую из кучи PostgreSQL, Redis-ов и Монг… И, возможно, из одной-двух баз Vertica.

Работа этой единой распределенной базы порождает кучу интересных задач. Прежде всего, с точки зрения бизнеса важно, чтобы с данными, движущимися по такой базе, все было нормально. Я специально не использую здесь термин целостность, consistency, т.к. термин это сложный, и в разных нюансах рассмотрения СУБД (ACID и CAP теорема) он имеет разный смысл.

Ситуация с распределенной базой обостряется, если компания пытается перейти на микросервисную архитектуру. Под катом я рассказываю, как обеспечить целостность данных в микросервисной архитектуре без распределенных транзакций и жесткой связности. (А в самом конце объясняю, почему выбрал для статьи такую иллюстрацию).

Читать дальше ->

https://habr.com/post/426101/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426101

Прошу прощения за желтый заголовок, но в данном случае он действительно отражает суть дела. Год назад в сообществе разработчиков Drupal произошел вопиющий случай, который на Хабра и даже в Рунете прошел несколько незамеченным. В контексте недавних волнений вокруг Линуса и Linux, имеет смысл вспомнить о тех событиях.

Обложка 23-й книги — «Renegades of Gor» саги «Хроники Гора».

Однажды в конце февраля Dries Buytaert — основатель CMS Drupal, попросил одного из самых активных разработчиков Ларри Гарфилда (Larry Garfield) покинуть проект. Есть все основания полагать, что решение было вызвано ценностными расхождениями великодушного диктатора проекта с Ларри. В чем же суть этого расхождения и причем здесь Гор?

Читать дальше ->

https://habr.com/post/425649/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425649

Относительно недавно я перешёл от поиска уязвимостей на случайных сайтах к Bug Bounty площадкам, и для многих такой выбор кажется очевидным — в таких программах исследователь в 90% случаев получит не только хороший опыт, но и гарантированную награду за валидную уязвимость, в то время как на случайном сайте можно наткнуться на непонимание и угрозы. Собственно, для того, чтобы получить репутацию и «ускорение» на крупнейшей Bug Bounty — HackerOne, было принято решение сосредоточиться на поиске уязвимостей на одной из крупных bugbounty программ — mail.ru.

В этой статье будет идти речь о нескольких багах на самом mail.ru, а так же об уязвимости на одном из поддоменов mail.ru, которая позволяла получить доступ к админ панели, в связи с чем возможно было просматривать личные данные 2 миллионов пользователей (такие как email адреса, номера телефонов, домашний адрес и др) с более чем 10 популярных интернет магазинов СНГ, а так же входить в их аккаунты без пароля. Читать дальше ->

https://habr.com/post/416835/?utm_source=habrahabr&utm_medium=rss&utm_campaign=416835

Всем привет! Прошло два месяца с момента анонса typegram на Хабре. И у меня для Вас просто жуткое количество новостей и прохладных историй! Всё так бурно развивается что даже страшно. Начну с приветствия:

Привет, меня зовут Вадим, я представляю проект typegram. Typegram — онлайн платформа для публикаций с открытым исходным кодом.

Это то, что меня выдрессировали делать в стартап школе YC. Начинать с представления себя и своего проекта.
Читать дальше ->

https://habr.com/post/426099/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426099

В 2018 году рынок мобильных приложений продолжил расти не только благодаря пользователям, которые не выпускают телефон из рук 24/7, но и благодаря рекламодателям, которые дорвались до рекламы внутри приложений. Поскольку вовлеченность аудитории здесь несравненно выше, стоимость показа рекламы в приложениях увеличилась, что привело к эволюции способов монетизации бесплатных приложений.
Читать дальше ->

https://habr.com/post/426093/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426093

Пока Google, Apple и другие пытаются добавить эффект дополненной реальности в обычные очки, один стартап пошел по другому пути. Он делает очки, которые, наоборот, убирают лишнюю информацию из поля нашего зрения.

Проблема, по мнению его основателей, в том, что на улицах мегаполисов ежедневно появляется всё больше цифровых рекламных щитов, и это может серьезно раздражать. В мире все больше дисплеев, которые сражаются за наше внимание. Средний американец глядит на экраны уже по 11 часов каждый день. Новые очки позволят с этим бороться, и понизить уровень рекламного информационного мусора.

Читать дальше ->

https://habr.com/post/426089/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426089

Итак. Пришла задача. Используя браузер предложить пользователю подписать PDF электронной подписью (далее ЭП). У пользователя должен быть токен, содержащий сертификат, открытый и закрытый ключ. Далее на сервере надо вставить подпись в PDF документ. После этого надо проверить подпись на валидность. В качестве back-end используем ASP.NET и соответственно C#.

Вся соль в том, что надо использовать подпись в формате CAdES-X Long Type 1, и российские ГОСТ Р 34.10-2001, ГОСТ Р 34.10-2012 и т.п. Кроме того подписей может быть более одной, то есть пользователи могут по очереди подписывать файл. При этом предыдущие подписи должны оставаться валидными.
Читать дальше →

https://habr.com/post/426087/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426087

Учим FreeBSD копировать вместе с файлами их расширенные атрибуты

Я большой поклонник cp — по изящности и несокрушимости эта утилита, на мой взгляд, уступает только утилите dd. Но под FreeBSD у неё есть один скромный недостаток — при копировании файла cp теряет его расширенные атрибуты (extattr). В предыдущей публикации я предложил патч для команды find, который добавляет возможность осуществлять поиск файлов по содержимому их расширенных атрибутов. Но какой в этом смысл, если ваши ключевые слова и комментарии потеряются при копировании файла? Пора брать последний бастион на пути полной поддержки расширенных атрибутов во фряшечке.
Читать дальше ->

https://habr.com/post/425795/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425795

Руководитель iOS-разработки роботов vani2 и ведущий iOS-разработчик firmach рассказали, какие хард- и софт-скиллы нужны для работы в Redmadrobot и других крупных компаниях на Live Stream c Contented. Для тех, кто пропустил или предпочитает буквы, записали самое ценное.
Читать дальше ->

https://habr.com/post/426083/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426083

В эпоху тотального слива данных интернет-гигантами и уголовного преследования в цифровой среде пользователи боятся оставлять какую-либо информацию о себе. Тем более, если речь идет о VPN-сервисе, где вводить свои персональные данные пользователь не хочет даже при регистрации, а обеспечивать доступ к сервису на различных платформах нужно быстро и без лишней информации. Мы создавали наш сервис GuruVPN под девизом “народный VPN”, поэтому было очень важно сделать максимально простой и анонимный способ установки и верификации пользователей.
В этой статье хотим поделиться нашим опытом реализации системы авторизации пользователя на различных платформах. Это уникальное решение позволило нам не собирать и не хранить персональные данные пользователей. Совсем.
Читать дальше →

https://habr.com/post/426079/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426079

«Ну и что тут такого – пролететь перед президентом Кеннеди, подумаешь, большое дело. А вот добраться бы до земли целым и невредимым — это первое о чем думаешь.»
— Гарольд Грэм, пилот первого джетпака

20 апреля 1961 года Гарольд Грэм совершил первый в мире полет на ракетном ранце (перевод интервью на Хабре).

«Самое высокое артериальное давление, которое у меня когда-либо было, – 140 и было оно перед первым полетом со страховочным тросом. Т.е. у меня была страховка, и все же… Артериальное давление лишь дополнительное свидетельство – это был момент наивысшей сосредоточенности в моей карьере.»
— Гарольд Грэм

8 июня 1961 года ранец был впервые продемонстрирован публично — перед несколькими сотнями офицеров на военной базе Форт-Юстис (Fort Eustis).

15 июня 1961 года — полёт во дворе Пентагона перед тремя тысячами сотрудников военного ведомства, которые с восторгом наблюдали, как Гарольд Грэм перелетает через легковую машину.

«Знаете, в фильмах они там показывают, как летают, говорят что-то отвлеченное, но честно говоря, в тот момент, когда вы отрываетесь от земли, вы думаете: «ладно, у меня есть максимум 21 секунда, и я очень хочу, чтобы мои малыши (показывает вниз) добрались до земли», при этом за 15 секунд.»
— Гарольд Грэм

11 октября 1961 года Грэм принял участие в показательных маневрах на базе Форт Брэгг, на которых присутствовал президент Джон Кеннеди. Пилот стартовал с десантной амфибии, находившейся на удалении от берега, перелетел через воду и успешно приземлился на берегу, рядом с президентом и его делегацией. Говорят, президент от удивления открыл рот…
Читать дальше ->

https://habr.com/post/425581/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425581

Исследование нового бэкдора кибергруппы TeleBots, стоящей за эпидемией шифратора NotPetya, выявило значительное сходство кода с основным бэкдором Industroyer, что подтверждает взаимосвязь, о которой ранее только распространялись слухи.


В числе крупнейших киберинцидентов последних лет – атаки на украинские энергетические предприятия и эпидемия шифратора NotPetya. В посте мы рассмотрим взаимосвязь между этими событиями.

Читать дальше ->

https://habr.com/post/426077/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426077

У Эрика Свилденса нет других личных интересов в этом деле, кроме интеллектуального любопытства

Одинокому инженеру удалось то, чего не смогли добиться лучшие юристы и эксперты-свидетели из Uber – остановить регистрацию патента, покрывающего технологию лидаров (лазерных дальномеров) от главного соперника, Waymo.

Работая по необычной жалобе, поданной Эриком Свилденсом, Патентное бюро США отвергло почти все, кроме трёх, из 56 заявлений из патента Waymo за номером 936 (по последним трём цифрам его серийного номера). Бюро обнаружило, что некоторые из заявления воспроизводили технологию, описанную в патенте производителя лидаров Velodyne, другие же были просто «невозможными» и «сродни магии».

Свилденс, не получающий никаких денег или преимуществ от этого решения, рассказал редакции журнала Ars, что его ужасно обрадовала эта новость. «Этот патент вообще не стоило подавать, — сказал он. – Он хорошо написан, но я считаю, что это тот случай, когда они заявляют об изобретении того, что не изобретали».
Читать дальше ->

https://habr.com/post/425917/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425917

Однажды мы решили расширить географию своего присутствия и открыть R&D центр Parallels в Эстонии. Почему именно на эту прибалтийскую страну пал выбор и что делать, если вы вдруг решите пойти по нашим стопам, в рассказе директора по персоналу компании Татьяны Дьяконовой. Читать дальше ->

https://habr.com/post/426067/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426067

Всем привет! Целых 4 года я не писал на Хабр. Последняя моя серия постов была о различных инструментах и приемах, которые мы применяли на нашей прошлой игре (разрабатывая ее на Unity). С тех пор игру ту мы благополучно выпустили, а также выпустили и новую. Так что теперь можно немного выдохнуть и написать несколько новых статей, которые могут быть кому-то полезны.


Сегодня я хочу рассказать о графических приемах и ухищрениях, которые мы применяли для создания той картинки, которую вы видите на гифке выше.

Мы очень трепетно относимся к визуалу наших игр и по этому вложили довольно много времени и сил в различные эффекты и прочие плюшки, которые позволили бы сделать наш пиксель-арт максимально привлекательным. Возможно, кто-то найдет что-то полезное для себя.

Для начала, кратко перечислю из чего собирается картинка в нашей игре: Читать дальше ->

https://habr.com/post/425989/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425989

На сегодняшний день Threat Intelligence, или активный сбор информации об угрозах информационной безопасности, представляет собой инструмент первой необходимости в процессе выявления инцидентов ИБ. Среди типовых источников TI можно выделить бесплатные подписки с вредоносными индикаторами, бюллетени производителей оборудования и ПО с описаниями уязвимостей, отчеты исследователей безопасности с детальными описаниями угроз, а также коммерческие подписки TI-вендоров. При этом зачастую сведения, получаемые с помощью вышеперечисленных источников, не обладают достаточной степенью полноты и актуальности. Повышению эффективности и улучшению качества TI может способствовать применение OSINT (разведка на основе открытых источников) и offensive-методов (то есть методов, характерных не для защищающейся, а для нападающей стороны) в информационной безопасности, о которых и пойдет речь в данной статье.
Читать дальше ->

https://habr.com/post/426025/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426025

У разных исключений в .NET есть свои особенности, и знать их бывает очень полезно. Как обмануть CLR? Как остаться в живых в рантайме, поймав StackOverflowException? Какие исключения перехватить вроде бы нельзя, но если очень хочется, то можно?



Под катом расшифровка доклада Евгения (epeshk) Пешкова с нашей конференции DotNext 2018 Piter, где он рассказал про эти и другие особенности исключений.
Читать дальше ->

https://habr.com/post/426045/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426045

Автор статьи, перевод которой мы публикуем, предлагает поговорить о решении задач из сферы компьютерного зрения исключительно средствами веб-браузера. Решить подобную задачу не так уж и трудно благодаря JavaScript-библиотеке TensorFlow. Вместо того, чтобы обучать собственную модель и предлагать её пользователям в составе готового продукта, мы дадим им возможность самостоятельно собрать данные и обучить модель прямо в браузере, на собственном компьютере. При таком подходе серверная обработка данных совершенно не нужна.

Испытать то, созданию чего посвящён этот материал, можно здесь. Вам для этого понадобится современный браузер, веб-камера и мышь. Вот исходный код проекта. Он не рассчитан на работу на мобильных устройствах, автор материала говорит, что у него не было времени на соответствующие доработки. Кроме того, он отмечает, что рассматриваемая тут задача усложнится в том случае, если придётся обрабатывать видеопоток с движущейся камеры.
Читать дальше ->

https://habr.com/post/426055/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426055

Иллюстрация zdnet.com

Microsoft присоединяется к Open Invention Network, предоставляя в общий пул около 60 000 патентов. Новость об этом была опубликована 10 октября 2018 года в блоге корпорации-монополиста на рынке десктопных операционных систем.

Open Invention Network, OIN — это организация (и сообщество владельцев патентов вокруг нее), которая владеет патентами на программное обеспечение вселенной GNU/Linux. Целью OIN является защита Linux и других свободных программных продуктов от патентных исков. Участники сообщества передают патенты в общий пул, позволяя бесплатное использование этих патентов всем участникам на основе royalty-free лицензии.

OIN насчитывает около 2500 участников, среди которых можно выделить такие крупные компании как IBM, SUSE, Red Hat, Google, Novell, Philips, Sony. Примечательным фактом оказалось то, что с 2014 года одним из лицензиатов патентного пула OIN является ReactOS Foundation. В свете новых событий можно сделать вывод, что вероятность патентных претензий со стороны Microsoft к проекту ReactOS стала крайне мала.
Читать дальше ->

https://habr.com/post/426061/?utm_source=habrahabr&utm_medium=rss&utm_campaign=426061

С момента, когда мы вслух заявили о распознавании паспорта гражданина РФ на мобильном телефоне прошло уже более трех лет. За это время мы научили наш движок распознавать различные документы, удостоверяющие личность, для более, чем 165 стран мира. Но в этой статье мы решили не писать про высокую важность и сложность технологии, грандиозные масштабы разработки, а сосредоточиться на описании интересного с точки зрения автоматизации народного хозяйства варианта использования нашего движка. Если вам 18+, а также интересны подробности, добро пожаловать под кат.

Читать дальше ->

https://habr.com/post/425775/?utm_source=habrahabr&utm_medium=rss&utm_campaign=425775