Задача по централизованой обработке логов достаточно просто формулируется и возникает, когда требуется отслеживать работу большого количества серверов. Думаю, не стоит упоминать о том, что из логов можно получать массу информации о жизнедеятельности и самочувствии систем. О том, что писать и читать логи столь же важно как и уметь писать программы.

Соответственно для реализации такой системы перед администратором ставятся задачи: во-первых, каким образом эти логи собирать, во-вторых, каким образом с ними удобно и централизованно работать. Благодаря достаточно развитой связке ELK (Elasticsearch + Logstash + Kibana), уже не раз описанной на Хабре, у администратора имеются инструменты для удобного поиска и отображения всей присутствующей в логах информации. Поэтому ответ на вторую задачу имеется изначально, и остается лишь решить задачу по сбору логов.

Так как в моем случае требованием к системе было отсутствие клиента на серверах, и то, что логи требовалось вытаскивать с Windows-серверов, то в качестве инструмента сбора был выбран родной для Windows — powershell.
Исходя из этого была составлена следующая модель сбора и отображения информации из логов: логи удаленно собираются с серверов powershell-скриптом, после чего складываются в виде файлов на хранилище, далее средствами ELK (Elasticsearch + Logstash + Kibana) происходит их обработка и отображение.

Пример работы всей связки представлен на изображении:


Читать дальше →

http://habrahabr.ru/post/255815/

С 2008 года мы проводим бесплатные IT-курсы для студентов. Начиналось с профильных семинаров для МГТУ им. Баумана, МАИ и МИИТа. Сейчас обучающая программа открыта для любого со студенческим билетом в руках.

Каждый семинар – это ёмкий рассказ про технологию и основные шаги в ней, частые ошибки. Рассказывает практик, имеющий большой опыт работы (и как минимум несколько законченных проектов) в этой сфере. Задача – снять порог входа в технологию. В конце даётся бумажка, которая, возможно, становится хорошей ачивкой для работодателя или преподавателя (но она не имеет юридической ценности, если что).

Вот ближайшие:

• 22 апреля — Разработка: чем можно удивить мир?
• 23 апреля — Big Data. Что делать с мегаобъёмом?
• 24 апреля — Современный ЦОД: понемногу обо всем.
• 27 апреля — Облачные технологии. На новых высотах.
• 28 апреля — Построение сетей: от идеи к реализации.
• 29 апреля — Современная робототехника: как фантастика становится реальностью.
• 30 апреля — В шаге от успеха: практическое руководство по поиску работы для студентов.

Читать дальше →

http://habrahabr.ru/post/255873/

По состоянию на июль прошлого года Apple продала более 800 миллионов устройств, работающих под управлением iOS. Более половины из них — различные модели iPhone. При таком количестве устройств в обращении совершенно не удивительно, что они часто становятся объектами компьютерно-технической экспертизы (forensics). На рынке представлены различные решения для автоматизации подобных экспертиз, но ценник на них зачастую делает их недоступными. Поэтому сегодня мы поговорим о том, как можно провести такую экспертизу с минимальными затратами или, проще говоря, используя бесплатные и/или open source инструменты.

Немного теории

При проведении экспертизы в большинстве случаев подразумевается физический доступ к устройству, и перед экспертом стоят две задачи: извлечь как можно больше данных и информации из устройства и оставить при этом как можно меньше следов (артефактов). Вторая задача особенно важна, если результаты экспертизы представляются в суде: слишком большое количество артефактов может помешать проведению повторной экспертизы, что, в свою очередь, может поставить результаты первоначальной экспертизы под сомнение. Во многих случаях избежать появления артефактов невозможно; эту проблему пытаются решать, подробно документируя артефакты, создаваемые на различных этапах проведения исследования.
Читать дальше →

http://habrahabr.ru/post/253997/

Наша технологическая экспедиция продолжается, мы проехали практически 3/4 нашего маршрута, посетив Санкт-Петербург,
Минск, Ростов-на-Дону, Краснодар, Самару, Нижний Новгород, Казань, Пермь, Екатеринбург, заехав также по пути в Таганрог, Воронеж, Ульяновск и Чебоксары.

Впереди у нас осталось еще четыре города:

• Челябинск — 17 апреля
• Новосибирск — 22 апреля (+ ISV Camp)
• Томск — 25 апреля (+ хакатон)
• Астана — 28 апреля

Как проходит экспедиция и что будет дальше

http://habrahabr.ru/post/255875/

Привет! Мы тут собрали тусовку одних из самых крутых русскоязычных Java-практиков и попросили их дать по задаче, чтобы вы сломали зубы, мозг и бились об стену, пытаясь понять, как это работает. Собственно, мы поспорили на бутылку Хеннеси, что за 12 часов после публикации никто не пришлёт все правильные ответы. Я уверен, что кто-то сможет. Поэтому если вы это сделаете первым – с меня бутылка.

Первая задача простая, она от телезрителя Николая Гарбузова, специалиста по скалкам, любящего рекурсию, паттерн-матчинг и магию компиляции:

Скомпилируется ли следующий аспект AJC компилятором?
Если да — то что он выведет на консоль при компиляции?

public aspect QuizAspect {
    public static int count(int i) {
        return i++;
    }

    before (int n) : execution(public int QuizAspect.count(int)) 
            && args(n) && if(QuizAspect.count(1)>1) {
        System.out.println("QuizAspect " + n);
    }
}

Пока просто, правда? Читать дальше →

http://habrahabr.ru/post/255869/

Здравствуйте, коллеги!

Не так давно мы публиковали опрос по книгам о Ruby, К сожалению, вариант «Ни одна из них» оказался удручающе популярен. Поэтому мы решили возвестить о долгожданном выходе книги Хэла Фултона "The Ruby Way", аннотацию которой размещаем под катом.
Читать дальше →

http://habrahabr.ru/post/255853/

Предыдущие части

• Часть первая — habrahabr.ru/post/255361
• Часть вторая — habrahabr.ru/post/255523

О чем будет рассказано в этой части

В этой части мы познакомимся:

1. с выражением CASE, которое позволяет включить условные выражения в запрос;
2. с агрегатными функциями, которые позволяют получить разного рода итоги (агрегированные значения) рассчитанные на основании детальных данных, полученных оператором «SELECT … WHERE …»;
3. с предложением GROUP BY, которое в скупе с агрегатными функциями позволяет получить итоги по детальным данным в разрезе групп;
4. с предложением HAVING, которое позволяет произвести фильтрацию по сгруппированным данным.

Читать дальше →

http://habrahabr.ru/post/255825/

Я всегда затрудняюсь ответить на вопрос: откуда берутся идеи для игр? Но в этот раз, я более-менее точно могу сказать, что эта идея родилась у меня когда я увидел баннер «World of Tanks» на каком-то из сайтов. Знаете, бывают такие баннеры, которые привлекают внимание пользователя микро-играми, прежде чем перенаправить его на сайт рекламодателя? Так вот, на этом баннере был танк, который по клику мог проезжать то или иное расстояние, зачем-то пробивая при этом кирпичные стены. Вот именно с этого момента я стал размышлять, по дороге на работу, о раннере с танковой тематикой. Тут же родилась и отсылка к нашумевшему хиту от Wargaming в названии. Она показалась мне забавной, учитывая, что суть моей игры — это движение по некой дороге, пути, с целью пройти максимальное расстояние. Под хабракатом вас ждет рассказ об игре, разработке, технические детали и все-все-все, что должно быть в классической «gamedev story».
Читать дальше →

http://habrahabr.ru/post/249977/

Добрый день всем. Надеюсь, вы помните меня по рассказу о внутренней “кухне” разработки мобильного приложения к Играм в Сочи-2014. После окончания Игр мне часто поступали вопросы о том, куда и каким образом я устроился, нравится ли мне и пригодился ли опыт такого большого проекта, так что я решил посвятить этой истории отдельный пост и считаю, что он может быть полезен, стоящим на распутье или только начинающим свой карьерный путь.

На мой взгляд, историй поиска и нахождения работы сильно не хватает на Хабре, а ведь это очень важный вопрос. При всей любви творческих профессионалов к своему бизнесу, предпринимательству и стартаперству, работа в отличной компании позволяет усилить множество компетенций, повысить скиллы практически по всем аспектам бизнеса и в целом дать возможность общаться с отличными людьми из разных областей бесплатно/без смс.
Поехали!

http://habrahabr.ru/post/255859/

В первой части я немного рассказал о моем опыте создания устройств на основе системы MySensors. Должен признать, описание получилось не полным — без начала и без конца.

В этот раз займемся «началом», значит это будет Часть 0.
Читать дальше →

http://habrahabr.ru/post/255867/

Для однозначного определения устройств, интерфейс USB использует 16-битные идентификаторы: VendorID и ProductID. Если ваш проект использует стандартную пару… ну, думаю вы уже знаете.

Однако, опенсорсу иногда везёт, и получить легитимные идентификаторы можно бесплатно.


Читать дальше →

http://habrahabr.ru/post/255831/

9 апреля в Крокус-Экспо прошёл очередной SAP Форум, на котором впервые были представлены возможности для разработчиков, позволяющие использовать SAP HANA в своих целях: создание приложений для бизнеса на основе платформы и создание собственного технологического стартапа.


Более 3300 участников посетили Форум в этот раз
Читать дальше →

http://habrahabr.ru/post/255851/

Привет, меня зовут Макс Матюхин, я PHP-программист в компании Badoo. В прошлом месяце в Лондоне прошла очередная Международная конференция разработчиков QCon 2015. Я побывал на ней и теперь хочу поделиться с вами своими впечатлениями о мероприятии и рассказать о самых интересных, на мой взгляд, выступлениях. Из этой статьи вы узнаете чуть больше про архитектуру Uber, Spotify, CloudFlare, а также о том, как Google управляет своей инфраструктурой и многом другом.

Впервые QCon состоялась в 2007 году в Лондоне и Сан-Франциско. С тех пор она стабильно набирает популярность и расширяет географию, и в этом году она пройдет в 8 городах. Лондонская QCon проходит в самом сердце британской столицы, в двух шагах от Вестминстерского Аббатства. В разное время на QCon выступали такие известные личности, как Martin Fowler, Kent Beck, Erik Meijer, Steve Vinoski, Joe Armstrong, Rich Hickey и многие другие.
Читать дальше →

http://habrahabr.ru/post/255719/

Во вторник, 21 апреля, Mail.Ru Group организует первый Moscow Atlassian Meetup. В офисе компании соберутся эксперты в области организации общения с пользователями и управления проектами. В программе события — доклады по продуктам Atlassian (JIRA, Confluence и другим), а после — их обсуждение и общение единомышленников в свободной обстановке.
Читать дальше →

http://habrahabr.ru/post/255751/

Наша компания занимается администрированием веб-серверов на базе CentOS. Довольно часто наши клиенты используют веб-приложения на базе python, ruby или java. Для автозапуска подобных приложений есть готовые шаблоны для написания стартап-скриптов. Но прогресс не стоит на месте, вышел уже второй релиз CentOS 7 и, следуя старой традиции «не ставить dot-zero релизы на продакшен», мы начинаем предлагать клиентам сервера на базе CentOS 7.1 (1503).

В CentOS7, так же как и в его родителе RHEL7, используется systemd — менеджер системы и служб для Linux, совместимый со скриптами инициализации SysV и LSB. systemd обеспечивает возможности агрессивной параллелизации и много всего прочего.



Огромный монстр с множеством возможностей, гибкими настройками и мегабайтами документации…

Но что делать, если стоит задача быстро-быстро, вот прямо вчера, сделать автозапуск некоего сервиса?
Давайте выжмем из документации минимально необходимый набор информации для создания простых старт-стоп скриптов.
Знакомство с systemd

http://habrahabr.ru/post/255845/

Интересная история, рассказанная хорошим рассказчиком, не оставит никого равнодушным. Люди слушают истории, читают истории, смотрят истории, играют в истории и сами историю создают. В некоторых играх история является краеугольным камнем, вокруг которого создаётся игра, где-то она является несущественным, но приятным элементом. Однако чаще всего история — цемент, накрепко связывающий между собой все части игры, объединяющий их в единое целое.

За годы работы в качестве сценариста разных проектов, от настольных игр до крупнейшей отечественной MMORPG «Аллоды Онлайн», я сталкивался с самыми разными подходами к созданию и подаче истории. Нюансов работы в разных игровых жанрах великое множество, но современные тенденции таковы, что всё больше и больше игр становятся сетевыми — а потому в этой статье я хочу поделиться своим опытом работы именно в области MMO.


Читать дальше →

http://habrahabr.ru/post/255791/

Всем привет!

Я — один из основателей открытого проекта Embox, и по совместительству являюсь генеральным директором компании ООО “Ембокс”. Как не трудно догадаться, её основная цель — это оказание коммерческих услуг на базе нашего проекта.

Собственно, блог — это своего рода мой подарок проекту. Поводом для этого послужило появление пятого пользователя, готового оплачивать наши услуги. В итоге мне показалось, что могут существовать и другие компании с проблемами, которые можно решить именно с помощью нашего проекта.

Эта статья первая в нашем блоге, и мне кажется, что будет уместно рассказать не столько о технических решениях и находках, которые мы применяем в нашем проекте, это, безусловно, будет в последующих статьях, а сделать своего рода статью-приветствие. И поскольку Embox — операционная система для встраиваемых решений, речь в статье пойдет прежде всего о сфере embedded systems. По сути дела, в статье я хочу поделиться своим представлением о возможном направлении развития встраиваемого ПО, конечно, подкреплять всё это я буду реальными ситуациями, с которыми мы сталкивались в процессе работы над проектом. Поэтому те, кто интересуется встраиваемыми системами и кому не лень прочитать пару страниц жалоб на трудное детство рассуждений, прошу под кат. Читать дальше →

http://habrahabr.ru/post/255835/

Вступление

В предыдущей статье мы поговорили о настройке тактовой частоты микроконтроллера. Сейчас мне хотелось бы рассмотреть варианты работы со звуком: его генерирование и воспроизведение. По началу мне хотелось написать одну большую статью, в которой было бы рассмотрено все. От генерации прямоугольных импульсов до воспроизведения FLAC с microSD карты. Но статья получилось просто гигантской. Так что я решил разбить ее на несколько статьей поменьше. В каждой из которых я разбираю по одному периферийному модулю.
Читать дальше →

http://habrahabr.ru/post/255513/

WebRTC – это API, предоставляемое браузером и позволяющее организовать P2P соединение и передачу данных напрямую между браузерами. В Интернете довольно много руководств по написанию собственного видео-чата при помощи WebRTC. Например, вот статья на Хабре. Однако, все они ограничиваются соединением двух клиентов. В этой статье я постараюсь рассказать о том, как при помощи WebRTC организовать подключение и обмен сообщениями между тремя и более пользователями.
Читать дальше →

http://habrahabr.ru/post/255833/

На днях появилась статья 5nw Два способа быстрого вычисления факториала, в которой приводится идея ускорения подсчёта факториала с помощью группировки перемножаемых чисел в дерево по принципу «разделяй и властвуй». Взглянув на это, я сразу понял, что тут параллельные потоки Java проявят себя во всей красе: ведь они делят задачу на подзадачи с помощью сплитераторов именно таким образом. Получается, что быстрая реализация будет ещё и красивой:

public static BigInteger streamedParallel(int n) {
    if(n < 2) return BigInteger.valueOf(1);
    return IntStream.rangeClosed(2, n).parallel().mapToObj(BigInteger::valueOf).reduce(BigInteger::multiply).get();
}

Читать дальше →

http://habrahabr.ru/post/255813/