Поток — это концепция, которая была сначала реализована в UNIX системах для передачи данных из одной программы в другую в операциях ввода/вывода. Это позволяет каждой программе быть очень специализированной в том, что она делает — быть независимым модулем. Сочетание таких простых программ помогает в создании более сложных системы путем «объединения» их в цепочку вызовов.

Потоки позволяют обмениваться данными небольшими частями, что в свою очередь дает возможность в своей работе не расходовать много памяти. Конечно, это зависит от того, как вы реализуется внутренний функционал потока.

Распространенная задача — парсинг файла большого объема. Например, в текстовом файле с данными логов нужно найти строку, содержащую определенный текст. Вместо того, чтобы файл полностью загрузить в память, и потом начать разбирать в нем строки в поисках нужной, мы можем его считывать небольшими порциями. Тем самым не занимаем память сверх необходимого, а лишь столько памяти, сколько нужно для буферизации считанных данных. Как только найдем требуемую запись, сразу прекратим дальнейшую работу. Или можем передать найденную запись в другой поток по цепочке, например, для преобразование в другой формат, или сохранения в другой файл.

Модуль stream предоставляет базовый API по работе с потоками в Node.JS. Документации Node.JS вполне достаточно, чтобы разобраться в данном вопросе, но мы попытаемся составить что-то вроде шпаргалки с пояснениями некоторых моментов.
Читать дальше ->

https://habrahabr.ru/post/339900/

В прошлой статье мы разворачивали майкрафт сервер в Azure с использованием 100% автоматизации процесса и прочих разных интересных современных практик DevOps.
В этой статье мы ещё больше углубимся в Azure IaaS — в частности, используем на практике Azure Automation для мониторинга и актуализации конфигурации сервера

Предыдущая деплоймент схема

Исходники

Читать дальше ->

https://habrahabr.ru/post/339906/

Цель: Предоставить инструкцию по сборке динамического модуля, дать понимание принципа сборки динамического модуля для Nginx поставленного из репозитория Debian.

Целевая аудитория: Администраторы серверов, продвинутые администраторы сайтов, сео-оптимизаторы и просто те кто хочет добиться хорошей оценки от сервиса Google PageSpeed.

Статей на эту тему не мало в поиске светится, но на мой взгляд ни одна не раскрыта как надо. Да и нет толковых пояснений. Для не опытного юзера это может оказаться сложным, да и большая часть статей поясняет как собирать Nginx вместе с модулем, и только единицы показывают что можно собрать динамический.

План действий такой:

1. Арендуем vps на час.
2. Собираем на арендованной vps динамический модуль на той же самой версии Nginx что была использована на боевом (это ВАЖНО!!!. Поддержка динамических модулей у Nginx появилась с версии 1.9.11).
3. Перекидываем модуль на новый сервер.
4. Конфигурируем Nginx.
5. Применяем настройки.
6. Замораживаем версию Nginx (Если это не сделать, то при ближайшем обновлении Nginx, произойдёт падение сервера. Причина в том что скомпилированный модуль будет работать только с конкретной версией Nginx. Если захотите обновиться, скомпилируете модуль для новой версии и обновитесь).

Или следим за тем что обновляем и своевременно добавляем новый собранный модуль.

Преимущество в том что боевой сервер не подвергается изменению и если Вам к примеру не понравится ngx_pagespeed, то вы просто уберёте строчки конфигурирующие его и сам модуль. Ну и если Вы используете несколько серверов с Nginx Вы можете один раз скомпилировать модуль для них всех.
Читать дальше ->

https://habrahabr.ru/post/339896/

Доброго времени суток! У нас открылось совершенно новое направление обучения — BigData, а это значит, что немного расширяется горизонт материалов, которыми мы будем делиться с вами. Сегодня рассмотрим Luigi, как часть того, что раскрывается на нашем курсе.

Luigi — фреймворк на языке Python для построения сложных последовательностей по выполнению зависимых задач. Довольно большая часть фреймворка направлена на преобразования данных из различных источников (MySql, Mongo, redis, hdfs) и с помощью различных инструментов (от запуска процесса до выполнения задач разных типов на кластере Hadoop). Разработан в компании Spotify и открыт в виде open source инструмента в 2012 году.

Самое главное преимущество фреймворка — возможность выстраивать последовательности зависимых задач. Фреймворк разрешает зависимости, отслеживает граф выполнения, управляет запуском задач, обрабатывает ошибки с возможностью перезапуска нужных задач, распределяет ресурсы рабочих процессов с возможностью параллельной работы независимых частей графа задач.

Для выполнения всех этих задач существуют и другие инструменты. Это Oozie, Pinball, Airflow (находится в статусе инкубации в Apache — проходит различные проверки, недавно вышел обзор на хабре). В данной статье рассмотрим только Luigi.


Читать дальше ->

https://habrahabr.ru/post/339904/

Легко жить с maven, когда есть доступ к центральному репозиторию, или у компании есть один корпоративный репозиторий. Все меняется, если работаешь в закрытом контуре, а количество репозиториев ближе к сотне. Под катом история о том, где искать потерявшийся артефакт и как для этого приготовить maven.
Читать дальше →

https://habrahabr.ru/post/339902/

LiveEdu.tv представляет собой интерактивную платформу, где вы можете наблюдать за разработкой реальных проектов от профессионалов в режиме реального времени, где подробно обьясняется каждый шаг, есть возможность коммуницировать с разработчиками и другими учениками в чате, а также скачать исходных код и другие материалы проектов. Liveedu.tv покрывает такие сферы как программирование, дизайн, разработка игр, наука о данных, VR/AR, искусственный интеллект, криптовалюты.

В этом списке вы найдете самые интересные проекты на Liveedu.tv в октябре 2017-го года.
Читать дальше ->

https://habrahabr.ru/post/339898/

Выбор JavaScript-фреймворка для вашего веб-приложения может оказаться не простой задачей. Не так давно у таких популярных фреймворков, как Angular и React, появился завоевывающий сердца разработчиков конкурент – VueJS. И что самое главное: это далеко не полный список существующих фреймворков.

Тогда, спросите вы: «И как же нам быть, ведь большинство статей, в которых приводятся недостатки и преимущества фреймворков – это дело субъективное». В данной статье я постарался дать как можно более объективное мнение.

Наши участники: Angular, React и Vue

Во-первых, мне бы хотелось рассмотреть жизненный цикл и стратегические критерии фреймоворков. Далее мы перейдем к их особенностям и принципам работы. Ну и в завершении сделаем выводы и проголосуем за свой выбор.

Вот примерный список вопросов:

• Насколько «зрелыми» являются данные фреймворки/библиотеки?
• Насколько велика вероятность того, что они останутся на плаву в ближайшее время?
• Насколько их комьюнити большие и будут ли они полезными?
• Насколько просто найти разработчиков, использующих данные фреймворки/библиотеки?
• Каковы принципы программирования для каждого из них?
• Насколько просто применять данные фреймворки для разработки больших\маленьких приложений?
• Сколько времени займет изучение каждого?
• Какая производительность?
• Насколько просто начать разрабатывать приложения с их помощью?

Готовы? Тогда начинаем!
Читать дальше ->

https://habrahabr.ru/post/339890/

Если вы планируете или уже получаете оплату в валюте, вам в любом случае предстоит валютный контроль. Мы не знаем, какая часть предпринимателей отказывается от работы с иностранными клиентами или работает по-черному, лишь бы не связываться с валютным контролем. Но кажется, что его не любят многие. Мы подготовили инструкцию, которая поможет вам разобраться с валютным контролем. Мы не будем рассказывать обо всех трудностях - проговорим только те, которые чаще встречаются в сфере IT. Подробная инструкция – под катом.

https://habrahabr.ru/post/339452/

Big Data — это столько данных, с которыми не может справиться один компьютер.
— из объяснения школьнику

Когда я сдавал экзамены в универе, я всегда садился готовиться на ближайшую к преподу парту и никогда не шел первым, а пропускал вперед 8-10 человек. Тем самым я успевал «подслушать» дополнительные вопросы и, частично, ответы на них.

И тут у меня возникла идея, как сделать подсказки по олимпиаде для тех старшеклассников, которые читают Хабр (что говорит о том, что у них действительно продвинутые мозги). Я нашел тех ребят, которые показали отличные результаты на предыдущих олимпиадах НТИ и поспрашивал их, какие дополнительные материалы могут помочь разобраться в теме лучше и дадут дополнительные преимущества на завершающем практическом этапе.

Прием заявок на олимпиаду идет до 22 октября, а там есть еще время подготовиться.
Читать дальше ->

https://habrahabr.ru/post/339050/

aleshqqa1337 в публикации Необразованная молодёжь поднимает очень важный вопрос, Преподаватель PavelMSTU даёт на него исчерпывающий ответ. Однако, судя по комментариям, многие не видят ситуацию в целом. Более того, многие не способны замечать очевидное.

Большинство из нас недостаточно образованы и даже не замечают этого. Из-за отсутствия культуры и целостного восприятия мира мы распыляемся на несущественное. Уделяем внимание методикам, инструментам (одним из которых являются деньги) — чему угодно, но не самой Жизни!

Кибернетика, системное программирование, информационная безопасность, радиоэлектроника — специалисты каждого из этих направлений обладают обширным багажом знаний, применимых к жизни вообще и к человеку (как живому объекту) в частности.

Но так сложилось, что технари применяют свои знания к технике. При том, что используемые ими модели и методы могут применяться гораздо шире.

Так в чём же проблема?

Читать дальше →

https://habrahabr.ru/post/339878/

Важно ли знать форматы заголовков передаваемых данных? Во многих учебных курсах по сетям разбору заголовков протоколов уделяется больше или меньше времени, но обычно без этого не обходится. Нося по своей природе описательный характер часто их изучение вызывает скуку, а наличие средств автоматического разбора не улучшает картину. Иногда заголовок действительно содержит интересный подход, но в большинстве случаев всё это вписывается в какой-то один принцип и следующий новый формат обычно уже не вызывает удивления. Самое интересное это, конечно, всевозможные сочетания тех опций, которые влияют на функционал, но стоит ли помнить какие опции в каком порядке вписываются в заголовке?

Не могу сказать, что я это помню, ещё не могу сказать что это мне мешает в работе. Я даже не могу сказать, что мне приходится часто видеть заголовки в каком-то необработанном виде, потому что, как правило, сообщения в syslog или на консоли уже переформатированы в связные английские предложения. Но, иногда, приходиться смотреть глубже, например, этот год был урожайный на подобные сообщения:

Ericsson SmartEdge

notification msg sent (nbr 192.0.2.1, context 0x40030044 32 bytes, repeated 89 times, code 3/4 (update: attribute flags error) - 
0000 0000 ffff ffff ffff ffff ffff ffff ffff ffff 0020 0303 04e0 0708 0003 02ed 5bdc 3f01

Cisco, то же с другой стороны

NOTIFICATION received from 192.0.2.2 (External AS 64496):
code 3 (Update Message Error) subcode 4 (attribute flags error),
Data: e0 07 08 00 03 02 ed 5b dc 3f 01

Попробуем разобрать это руками как написано в RFC4721. Не будем искать причину — просто разбор заголовков. Будет много цитат и, скорее всего, ничего нового для тех кто уже это умеет делать. Для остальных читаем дальше.

Читать дальше ->

https://habrahabr.ru/post/339450/

Диалоговые системы, они же чат-боты, сегодня размножились до неприличия. Но уровень их «интеллекта» часто удручающий. Популярные чат-боты работают либо с помощью шаблонов, либо используя модель «намерение+сущности». С простыми задачами они справляются отлично (поставить будильник, напоминание, найти ответ на часто задаваемый вопрос), но узость и ограниченность их «мышления» легко выявляется даже при поверхностном опросе. Могут ли нейросети помочь создать нечто более совершенное, возможно приближающееся к действительно разумному?
Читать дальше ->

https://habrahabr.ru/post/339872/

При обслуживании приборов учета Меркурий-230 ART, установленных на удаленных
трансформаторных подстанциях, часто возникает необходимость оперативной проверки работоспособности счетчиков.

Как правило, в местах, где счетчики работают в составе АСКУЭ и соединены в группы по витой
паре RS 485 и подключены к шлюзу Меркурий 228, происходит пропадание связи в момент
установления связи со стороны сервера.
Читать дальше ->

https://habrahabr.ru/post/339868/

Статистика знает все. И Ильф и Е. Петров, «12 Стульев»

Представьте себе, что вы строите крупный торговый центр и желаете оценить автомобильный поток въезда на территорию парковки. Нет, давайте другой пример… они все равно этого никогда не будут делать. Вам необходимо оценить вкусовые предпочтения посетителей вашего портала, для чего необходимо провести среди них опрос. Как увязать количество данных и возможную погрешность оценки среднего значения? Ничего сложного, но есть нюансы.

Читать дальше ->

https://habrahabr.ru/post/339798/

Последние десять дней Хабр с подачи aleshqqa1337 обсуждает ИТ-образование. Публикуем заметку преподавателя, работающего в техническом вузе, о том, как разрабатывалась программа новой дисциплины «Системы электронного документирования и коллективной работы», по каким критериям выбиралось ПО для обучения и какие задания выполняют студенты.

Автор — Стремнев Александр Юрьевич, к.т.н., доцент кафедры информационных технологий, Белгородский государственный технологический университет им. В.Г. Шухова.


Читать дальше ->

https://habrahabr.ru/post/339836/

Здравствуйте. Разработчики кроссплатформенных приложений под .NET (далее все про C#) наверно знают о существовании MvvmCross. Отличный продукт, главным недостатком которого является весьма скудная документация. А на русском языке и того почти нет. Здесь я хочу в общих чертах рассказать о структуре простого приложения с меню для iOS на базе MvvmCross.
Читать дальше ->

https://habrahabr.ru/post/339864/

Больше года назад мы впервые провели соревнование Budget sprint и показали, что программирование может быть увлекательной стратегической игрой, где победу определяет не только скорость выполнения задач, но и правильно выбранная тактика.
И вот мы решили повторить этот формат соревнования — в воскресенье, 15 октября, пройдет Budget Sprint 2.0.

Разработчиков ждет множество задач: можно сосредоточиться на обработке данных, обучении умного бота, спроектировать универсальный инструмент визуализации данных или создать мобильное приложение. Читать дальше ->

https://habrahabr.ru/post/339862/

Спустя два года после инвестирования 50 млн долларов в квантовые исследования, Intel представили первый 17-кубитный чип. В компании отметили, что передадут устройство своим партнерам из исследовательского института QuTech. О том, что представляет собой чип, поговорим далее.

Читать дальше ->

https://habrahabr.ru/post/339832/

В статье описана первичная настройка сервера. Описанные действия, проводились на виртуальной машине Vagrant и VPS.

Установка Nginx

Установим Nginx последней стабильной версии (на данный момент 1.12.1).

Для настройки репозитория нужно добавить в конец файла /etc/apt/sources.list пару строк.

Открываем файл sources.list для редактирования

sudo nano /etc/apt/sources.list

Дописываем в конец файла строки:

deb http://nginx.org/packages/ubuntu/ xenial nginx
deb-src http://nginx.org/packages/ubuntu/ xenial nginx

Где xenial – кодовое имя дистрибутива Ubuntu (16.04 – это xenial).

Сохраняем и закрываем файл.

Для проверки подлинности подписи репозитория nginx необходимо добавить ключ, которым были подписаны пакеты и репозиторий, в связку ключей программы apt.
Читать дальше →

https://habrahabr.ru/post/339860/

Пару недель назад состоялся релиз новых айфонов и iOS 11, который невозможно было не заметить. C релизом произошло еще одно, безусловно важное для разработчиков, событие: в браузере Safari появилась долгожданная поддержка WebRTC.

Вообразите на минуту, миллионы айфонов и айпадов по всему миру стали уметь реалтаймовое аудио и видео в браузере. Пользователям iOS и Mac стали доступны полнофункциональные браузерные видеочаты, воспроизведение живых трансляций с низкой (менее секунды) реалтаймовой задержкой, звонки, конференции и многое другое. К этому долго шли и наконец это случилось. Читать дальше ->

https://habrahabr.ru/post/339396/