Вступление

Чем больше программируешь на php, тем чаще попадаются задачи, для решения которых нужен демон на сервере. Да, конечно существует phpDaemon, cron или костыли, которые при каждом n-ом запуске скрипта вызывают какой-то определенный набор операций. Но когда мы говорим о проектах с нагрузкой больше, чем на обычном сайте, мы начинаем расстраиваться.

В одном из проектов для решения такой задачи мы решили использовать связку php+RabbitMQ+erlang. На php уже был написан необходимый функционал, нам надо было лишь разнести вызовы по времени и на разные машинки. Конкретно задача звучала так: написать парсер пользователей с внешнего хранилища данных и, самое главное, поддерживать актуальность данных, а в случае их изменения, посылать уведомления.
Читать дальше →

http://habrahabr.ru/post/251927/

Вступление

Я не буду разводить параноидальные сказки о том, что NSA и ФСБ за всеми следит. Просто примем за базовый тезис, что tor и i2p — «наше всё». К сожалению, в контексте TORа часто можно слышать только про silkroad и детскую порнографию. Мол, рассадник, раскачивающий и покушающийся.

Я управляю несколькими tor-exit node'ами и i2p маршрутизаторами. Чтобы избежать вопросов, мой работодатель к ним не имеет никакого отношения: все эти ноды — исключительно за мой счёт, в свободное от работы время. Самой старой из них уже почти год, самой молодой — примерно 4 месяца. За это время я не получил ни одного abuse report'а (я сам работаю в хостинговом бизнесе, так что хорошо представляю себе процесс реакции на «абузу» — она в первую очередь пересылается клиенту).

Не смотря на отсутствие abuse'ов, вопрос оставался: для чего люди используют TOR?

Контроль над exit node'ой позволяет посмотреть на проходящий трафик. Понятно, что мы исключаем весь шифрованный трафик (TLS, SSH), а так же весь трафик на .onion узлы. Однако, среди остального мы можем посмотреть на примерное распределение ресурсов по популярности.

Забегая вперёд, слегка упрощённый ответ на вопрос статьи:


(более подробная табличка — в конце статьи)

Методология измерения

Читать дальше →

http://habrahabr.ru/post/92787/

Расскажу, с какими трудностями я столкнулся при настройки своего Cubieboard, которые заставили провести много времени с красными глазами ночью. Я не претендую на раскрытие чего то нового, возможно для многих те вещи, которые я расскажу — очевидны, для остальных это будет хорошей помощью при настройки Cubieboard.

Итак, основные моменты настройки написаны в публикациях «Cubietruck. Дорожный мини сервер. Часть 2» и «Cubietruck. Уютный, домашний сервер». Я лишь расскажу о проблемах, с которыми столкнулся при настройке своего кубика как роутера с HDD.

Начнем по-порядку.
Читать дальше →

http://habrahabr.ru/post/251923/

Уже чуть больше полугода я работаю в поиске Яндекса релиз-инженером. И чуть ли не с первого рабочего дня хочу написать о том, как отзывался на вакансию, как проходил собеседования, что мне в этом процессе понравилось, а что — не очень. Но сначала я входил в курс дела, а потом каждый день в моей работе появлялись такие интересные задачи, что я даже не был готов отвлечься от них на этот рассказ.



А еще год назад у меня в жизни была вроде бы похожая, но в то же время совсем другая ситуация — времени на хобби не хватало, задач было много, но они не приносили мне никакого удовольствия. В итоге я решился на перемены. На самом деле, эта позиция в Яндексе не была первой, которую я рассматривал. За то время, которое прошло до моего первого рабочего дня, я освежил в голове очень много тем. И перед финальным собеседованием мне пришлось взяться ещё за несколько. Сейчас я понимаю, какие ошибки совершил в этом процессе, поэтому хочу поделиться своим опытом с вами. Буду рад, если кому-то это будет полезно. Хочу сказать, что это не официальные рецепты от рекрутеров Яндекса, а только мои собственные выводы. В конце поста я поделюсь списком литературы, которая мне помогла в подготовке, и еще добавлю те источники, которые считаю полезными, оглядываясь назад.

Читать дальше →

http://habrahabr.ru/post/251715/

Эта публикация — ответ на часто задаваемые вопросы по семейству микроконтроллеров ATtiny4/5/9/10. Большинство из них решается внимательным чтением документации. Тем не менее, я решил описать основные отличия в работе с этими МК. Под катом вы найдёте рассказ о самых младших AVR'ах, а также описание проблем, появляющихся при знакомстве с ними.


Читать дальше →

http://habrahabr.ru/post/251919/

Я потратил прилично времени на структуризацию и автоматизацию сборки фронта. Задача это интересная и стоит того, чтобы о ней рассказать.

Что умеет делать сборщик:

• Собирать front-end проект для development & production окружений.
• Собирать по несколько js/css бандлов на проект.
• Использовать стиль CommonJS модулей в браузере.
• Использовать ES6-синтаксис.
• Спрайты, картинки и многое другое.

Читать дальше →

http://habrahabr.ru/post/251807/

Компания Western Digital – одна из немногих, уцелевших на рынке производителей HDD. И в сегодняшнем материале мы расскажем вам об одной интересной опции, связанной с ремонтом этих дисков. Разумеется, для специалистов в области DataRecovery это не является откровением, но для граждан далеких от предмета, надеемся, будет любопытно

Полагаем, всем (или почти всем) известно, что WD, и не только они, идя по пути максимального удешевления выпускаемой продукции, последние несколько лет только укрепилась в традиции распаивать мост USB – SATA прямо на плате электроники диска. Это вносит некоторые осложнения в процесс организации доступа к пользовательской информации. И на примере недавно выполненных работ по реанимации WD My Passport мы расскажем вам о некоторых из них.
Читать дальше →

http://habrahabr.ru/post/251895/

«Золото — для идолопоклонников, а не для нас. Пока есть идолопоклонники, а они важнее золота, нашему делу ничто не угрожает» высказывание приписывается Натану Ротшильду

Банк Англии, центр мирового закулисья, частное предприятие (список акционеров до сих пор неизвестен) опубликовал проект документа в котором, на фоне сложившегося мирового финансового кризиса, помимо призывов к фундаментальным изменениям, обсуждается, в том числе и вопрос о создании денежного суррогата собственной цифровой валюты.

_{Банк Англии первоначально был организован в 1694 году как частный банк, в 1946 году был национализирован, а в 1997 году. получил статус независимой публичной организации, самостоятельной в проведении денежной политики, полным собственником которой является Солиситор (категория адвокатов) министерства финансов от имени правительства}

Пожалуй, что это самое крутое достижение Bitcoin — мировые финансисты всерьез задумались над новой финансовой системой. Скоро на смену ямайской валютной системе придет %username%-coin система.

До них дошло, что они не нужны вполне возможна безопасная передача денег между Алисой и Бобом без привлечения третьих сторон.(Это расчетная функция денег. С накопительной функцией связаны курьезы: то студент купил квартиру за 5$, то программист лазил по свалке в поисках выкинутого жесткого диска с кучей биткоинов, которые со временем превратились в сокровище. Есть еще и инвестиционная/проектная функция денег, но с её реализацией пока как-то туго. Хотя у краудфандинговых платформ есть все шансы.)

Банк ставит вопросы о регулировании, отслеживаемости и приватности, об отмывании денег, о том как перейти от одной системы к другой и пр.

Пойду-ка я перечитаю «Криптономикон» Нила Стивенсона

Под катом — видеозапись конференции
Читать дальше →

http://habrahabr.ru/post/251917/

Последнее время в Email-маркетинге все чаще используются автоматические рассылки определенным группам потребителей. Типичные задачи:

• поздравить с днем рожденья
• позвать на сайт, если потребитель на него долго не заходил
• сделать персонализированное предложение (делим потребителей на сегменты и рассылаем каждому сегменту свое письмо)

В этой статье мы расскажем, как мы решали эту задачу — от написания каждой отдельной рассылки разработчиком с нуля 3 года назад, до заведения рассылок менеджером через веб-интерфейс в настоящее время. Рассказ может быть интересен не только тем, кто занимается Email-маркетингом но и вообще всем, кому приходится реализовывать периодическое выполнение сложных операций над определенными выборками потребителей (знаю, что звучит очень абстрактно, но в итоге именно такую абстрактную задачу нам и пришлось решить).

Читать дальше →

http://habrahabr.ru/post/251915/

Периодически я заходил на курсеру посмотреть доступны ли там какие-нибудь прикладные курсы. Было банально интересно, промелькнёт ли какой-нибудь лучик света за суровой теорией. Смотрел по языкам программирования, по управлению проектами, по аналитике. А сегодня увидел курс, информацией о котором и захотелось поделиться.

Его название в заголовке, а перевод описания ниже, а пока пару слов, почему я считаю, что он полезен всем:

• Новичкам можно изучить новую для них технологию или подтянуть ещё не укрепившиеся знания.
• Гуру-рельсовикам можно заработать Verified Certificate и тем самым подтвердить свои знания для общественности. Например, его можно прикрепить в LinkedIn или указывать в откликах на фрилансе

Смотреть содержание курса

http://habrahabr.ru/post/251909/

График активности пользователей на главной странице Mail.Ru — это своего рода термометр, причем сверхчувствительный. Порой аудиторные показатели отражают проблемы, которые возникли у другого большого интернет-сервиса, или же показывают реакцию на какие-либо важные события в общественной жизни.

О том, как мы используем мониторинг пользовательской активности для решения проблем, а также о других его применениях, которые мы нашли, я расскажу в этой статье.

За тем, как работает главная страница, мы следим по техническим графикам:

1. График времени загрузки страницы по блокам. Мы смотрим не только на общее время загрузки главной страницы, но и на показатели по отдельным ключевым блокам — Почта, Новости и т.п.
2. График «рефрешей» (загрузки страницы из кеша). Он позволяет отличить увеличение аудитории по естественным причинам от перезагрузок страницы одними и теми же пользователями. Второе часто говорит о том, что пользователи столкнулись с какой-то технической проблемой.

Но зачастую мы видим, что поведение пользователей резко меняется, при этом на технических графиках отклонений нет. Чтобы иметь полную картину происходящего на главной странице, мы дополнили их графиками активности пользователей. Они показывают переходы с главной страницы на другие проекты. Мы отдельно мониторим и «большую» главную, и мобильные (у нас три мобильных версии — для разных моделей телефонов). В качестве бонуса мы получили своего рода термометр интереса пользователей к разным темам и событиям.
Читать дальше →

http://habrahabr.ru/post/251907/

Привет, я студент совместной программы Национального Университета Сингапура (13 место по версии Times Higher Education) и Университета Иннополис по направлению Информационная и коммуникационная безопасность. В данной заметке хочу рассказать о том, как я попал на эту программу, о моих первых впечатлениях о Сингапуре и обучении там. Если интересно, добро пожаловать под кат [много фото!].


Читать дальше →

http://habrahabr.ru/post/251901/

Классическая схема включения услуг Интернет в многоквартирном жилом доме выглядит следующим образом: ТКД (точка коллективного доступа) — витая пара — роутер в квартире клиента, к которому подключены клиентские устройства по проводу и по Wi-Fi.

Характерные жалобы абонентов – скорость ниже тарифа, и возникают регулярные «замирания» при работе в интернете, что выражается долгим открыванием страниц в браузере, прерываниями видео, потерей связи с игровыми серверами и т.д. Данное поведение носит нерегулярный характер, а наиболее часто возникает в часы наибольшей пользовательской активности примерно с 18:00 до 23:00 в зависимости от города.

Есть несколько простых шагов, которые позволят определить возможную причину подобных проблем и решить 90% пользовательских ситуаций. Они ниже. Читать дальше →

http://habrahabr.ru/post/251899/

Всем привет. Сегодня я продолжу рассказывать вам о внутреннем устройстве Objective-C Runtime, а конкретно — о его реализации на уровне языка C.

В прошлых статьях мы с вами подробно разобрались с селекторами и механизмом посылки сообщений объектам и классам. Сегодня я хотел бы закончить с сообщениями и рассказать о принципах работы некоторых встроенных возможностей языка Objective C.

Тем, с кем мы ещё не знакомы, я предлагаю для начала прочитать первую и вторую части, а прочитавших и заинтересовавшихся прошу под кат. Читать дальше →

http://habrahabr.ru/post/251211/

[ Перевод первой части книги ]
[ Перевод второй части книги ]

Радикализация данных

Грегг Бернстейн

Один из основных принципов в работе с контентом или дизайном чего-либо заключается в умеренной расстановке акцентов. Перегружая дизайн или текстовый материал массой выделяющихся деталей, вы рискуете целиком и полностью сбить внимание вашей аудитории со значимых для вас моментов. Работая в качестве исследователя в MailChimp, я понял, что наши ребята научились добиваться хороших результатов, используя абсолютно противоположный подход.

Мы начинаем с того, что важно абсолютно все – у каждого из показателей своя история. Следуя по пути таких историй, объединяя их в единое целое, мы и приходим к пониманию направлений наших исследований, выделяем в них важные моменты и устанавливаем приоритеты. Читать дальше →

http://habrahabr.ru/post/251827/

Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать дальше →

http://habrahabr.ru/post/251829/

Здравствуйте.

Сегодня я хотел бы показать вам небольшой timelapse кодинг на Wct (1023 байта).
Накодил я Nyan cat-a в машинных кодах на системе счисления Wct с музыкой в 1023 байта.

Ссылка на GitHub:
github.com/Mihip/Wct

Исходники:
pastebin.com/xTwp9w1V





Спасибо за просмотр!
Добра тебе!

http://habrahabr.ru/post/251825/

OpenURI в руби это стандартная библиотека сильно упрощающая работу с URL так как она объединяет в себе Net:HTTP/HTTPS/FTP и представляет из себя всего лишь метод open. Насколько я знаю это самый популярный способ для скачивания файла, GET запроса или чтения данных.

Но на деле require "open-uri" патчит Kernel.open и вызывает разный код для разных аргументов, что может привести к удаленному выполнению кода или чтению любого файла на сервере!

open(params[:url]) это выполнение кода для url=|ls Все что начинается с | рассматривается как системный вызов.

open(params[:url]) if params[:url] =~ /^http:// не лучше для url=|touch n;\nhttp://url.com (сломанные регулярки могут привести к RCE, используйте \A\z).
Читать дальше →

http://habrahabr.ru/post/251823/

Очередной пост в рамках нашего цикла лекций Технопарка. В этот раз мы предлагаем вашему вниманию курс, посвящённый алгоритмам и структурам данных. Автор курса — Степан Мацкевич, сотрудник компании ABBYY.

Лекция 1. Основы

Начало первой лекции посвящено обсуждению основных понятий, на которых строится вся дальнейшая программа курса: что такое алгоритм и структура данных. Описаны базовые виды алгоритмов, их характеристики и методы анализа. Далее рассматриваются примеры создания алгоритмов для вычисления чисел Фибоначчи, проверки числа на простоту, быстрого возведения числа в целую степень. В конце лекции рассказывается об особенностях использования алгоритмов для работы с массивами: создание однопроходных алгоритмов, поиск минимального элемента, бинарный поиск.




Читать дальше →

http://habrahabr.ru/post/251561/

Предлагаем читателю очередную статью о проверке известного open-source проекта. В этот раз мы проверили проект LibreOffice, представляющий собой офисный пакет. В его разработке принимает участие более чем 480 программистов. Код оказался весьма качественным и регулярно проверяемым статическим анализатором Coverity. Но, как и в любом другом большом проекте, были найдены новые ошибки и недочеты, о которых мы и расскажем в статье. Для разнообразия, в этот раз нас будут сопровождать не единороги, а коровы.
Читать дальше →

http://habrahabr.ru/post/251817/