Предисловие

Когда-то давно, в далекой далекой галактике… Хотя если подумать, это было всего то 15 лет назад.

В общем были времена, когда в качестве центрального шлюза в сеть Интернет использовались решения на базе FreeBSD и Linux. И были эти решения любовно настроены, и обвешивались они всеми возможными и невозможными функциями (от межсетевого экрана и VPN серверов до TFTP+PXE-сервисов бездисковой загрузки)… и не было беды, и все было хорошо…

Но времена меняются, появляются новые решения, появляются компании, которые «дешево и сердито» готовят ядро Linux, обвешивают необходимым функционалом и продают это за весьма скромные деньги (сопоставимые со стоимостью аппаратной части).

Примером таких решения является компания Mikrotik и ее одноименные решения.
Читать дальше ->

https://habr.com/post/354720/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354720

Продолжаем публиковать интересные задачи и вопросы с собеседований в различные IT-компании мира.


На этот раз в подборку попали вопросы для будущих инженеров-программистов в Symantec. В преддверии майский праздников, задачи выбраны не самые сложные, но требующие некоторого размышления. Просим также писать в комментариях интересные вопросы и задачи, которые встречались Вам на собеседованиях.
Читать дальше ->

https://habr.com/post/354684/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354684

Это мой конспект, в котором коротко и по сути затрону такие понятия Kafka как:

— Тема (Topic)
— Подписчики (consumer)
— Издатель (producer)
— Группа (group), раздел (partition)
— Потоки (streams)

Kafka — основное

При изучении Kafka возникали вопросы, ответы на которые мне приходилось эксперементально получать на примерах, вот это и изложено в этом конспекте. Как стартовать и с чего начать я дам одну из ссылок ниже в материалах.

Apache Kafka – диспетчер сообщений на Java платформе. В Kafka есть тема сообщения в которую издатели пишут сообщения и есть подписчики в темах, которые читают эти сообщения, все сообщения в процессе диспетчеризации пишутся на диск и не зависит от потребителей.
Читать дальше ->

https://habr.com/post/354486/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354486

Решение данного квеста навеяно этой статьей.

Данная статья рассчитана на пользователя, имеющего домашний роутер производства MicroTik, поэтому моменты, связанные непосредственно с компиляцией и сборкой, опущены, а примеры по MicroTik'у в картинках.

Итак, вкратце, постановка задачи следующая: поднять в качестве виртуальной машины (гостя) на MetaROUTER урезанную версию OpenWRT и уже на нем поднять связку DNS + DNSCrypt, которую использовать для шифрованного обмена данными с внешними DNS серверами.
Читать дальше ->

https://habr.com/post/354710/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354710

Если вы используете микро-сервисную архитектуру, то скорее всего знаете, что накладные расходы на коммуникацию между сервисами часто становятся значительной проблемой и если Вы сталкивались с этой проблемой, то скорее всего начали использовать Protobuf и и его реализацию от Google gRPC или Go-Kit от Peter Bourgon или что-то другое. Пересказывать что это и как этим пользоваться нет смысла, все достаточно хорошо описано до меня. Я сам активно использую gRPC в своих проектах, но тут Twich решил выпустить свою реализацию protobuf Twirp. Если Вам интересно, зачем им это было нужно или чем она отличается проходите под кат.
Читать дальше ->

https://habr.com/post/354706/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354706

Ускорение процесса создания modbus.py

Очередной раз хочется поделиться своим опытом и результатами экспериментов в области промышленной автоматизации.

В настоящий момент мы немного поменяли концепцию построения системы опроса устройств с использованием языка python.

Большинство модулей SCADA систем строится по принципу связки «исполняемый файл — файл настройки».
Читать дальше ->

https://habr.com/post/354704/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354704

В этом году исполняется 20 лет с момента зарождения идеи фильтрации контента в интернете Китая. Сейчас эта технология известна всему миру под названием «Великий китайский файрвол».

В прошлой статье мы уже затронули регулирование сферы ИБ Китая. Теперь разберемся с историей «Великого брандмауэра», который воплощает собой политику кибербезопасности страны.

Читать дальше ->

https://habr.com/post/354698/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354698

Весна, пора подумать о деревьях. Деревья в реляционных — DB это один из самых острых вопросов при работе с данными. В данном топике сравним быстродействие Materialized Path и Adjacency List методов с помощью команды «explain analize».
Читать дальше ->

https://habr.com/post/354694/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354694

Мне нужно было в рантайме вычислять истинность выражений типа

a>10 && bcode>

находящихся в строке Скалы.

Сам код у меня на Скале, но оценку разных библиотек для этого я делал на Котлине, просто чтобы поиграться с ним. Само выражение я получаю от клиента, но от внутреннего, поэтому мне не надо было заботиться о том, чтобы в выражении мне нe стерли файлы с диска.

Я оценивал разные библиотеки на то 1) могу ли они сделать то, что надо 2) скорость исполнения

Были проверены

• интерполяция строк
• Js Engine
• javaluator
• exp4j
• evalEx
• mxparser
• MathEval
• Groovy
• Jexl

Результаты

Время пробега в мс для 1000 выражений (вернее одно и тоже выражение для 1000 разных набoров 3х переменных):

js	239 ms
mxParser	56713 ms
evalex	35 ms
groovy	118 ms
Jexl	62 ms

Остальные способы/библиотеки не сработали.

Под катом подробности:

Читать дальше ->

https://habr.com/post/354692/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354692

Нас часто спрашивают, какие книги стоит почитать тем, кто делает первые шаги в сфере информационной безопасности? Наша команда экспертов по тестированию на проникновение составила подборку книг, которые помогут освоить практические вопросы ИБ. Читать дальше ->

https://habr.com/post/354686/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354686

https://habr.com/post/354596/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354596

Joomla очень плохо переваривает базу данных даже с несколькими тысячами статей в таблице _content. При нескольких десятках тысяч запросы в базу стандартных модулей типа mod_articles_popular могут зависать на секунды.

Всё дело в ACL (Access Control List) — политике контроля доступа. Проверка законности доступа пользователя к материалам занимает свыше 98% времени выполнения запроса. Читать дальше ->

https://habr.com/post/354678/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354678

Статья, с которой «началась» цифровая экономика.


Часть 1, Часть 2, Часть 3.

Сообщение: 22
Дата: 4.1.95
От: <nicholas@media.mit.edu>
Кому: <lr@wired.com>
Тема: The Balance of Trade of Ideas

19 декабря 1990 года на первой полосе в «Нью-Йорк Таймс» появилась статья «Сделка Массачусетского технологического института с Японией провоцирует страх перед конкурентами», в которой Media Lab обвинили в том, что они продались японцам. Эта новость вспыхнула в связи с пожертвованием 1986 года от японского промышленника, который хотел по истечении пяти лет связать свою альма-матер с основами фундаментальных исследований в новых средствах массовой информации.

Поверьте мне, вы не хотите быть когда-либо на главной странице «Нью-Йорк Таймс». Я не понимал, насколько появление на первой полосе становится новостью само по себе, а также почвой для производных историй. Newsday написали передовую статью, основанную на этой истории, менее чем через неделю, названную «Прощайте высокие технологии», без проверки каких-либо деталей.

1990 год стал пиком научного национализма США. Американская конкурентоспособность рушилась, дефицит разрастался, и мы больше не были номером один во всем. Поэтому, ради всего святого, Николас, умоляю, в передовых статьях не говори миру, как делать программное обеспечение, особенно мультимедиа, то, в чем Соединенные Штаты стали первопроходцами и доминировали. Это так не работает, особенно в эпоху, когда вычисления больше не ограничиваются крупными учреждениями и странами, которые могут себе это позволить. Что особенно раздражало меня, так это представление о том, что идеи следует рассматривать как автомобильные части, без какого-либо понимания того, откуда они взялись или как они развиваются.
Читать дальше ->

https://habr.com/post/354680/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354680

WebRTC, технология голосовых и видеозвонков в браузерах (а еще realtime передачи произвольных данных, peer-to-peer пробивания NAT и захвата экрана) никогда не была простой. Долгая история, несовместимости между браузерами, запутанная документация, множество решаемых задач и используемых протоколов. Возможность позвонить и принять звонок из браузера всегда была одной из ключевых «фишек» нашей платформы Voximplant, и так как мы в этом неплохо разбираемся, то стараемся следить за интересными статьями и адаптировать их для аудитории Хабра. Под катом перевод свежей статьи от ребят из callstats.io — сервиса сбора статистики по качеству звонков для браузера. В небольшой статье они рассказывают о протоколе RTP с помощью которого, собственно, браузер и передает пакеты с голосом или видео.
Читать дальше ->

https://habr.com/post/354502/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354502

С понятием DDoS-атака знакомы уже многие, но далеко не все с ней сталкивались и знают, как правильно с подобными атаками бороться.

Практически всегда атакующий ставит задачу сделать недоступным ваш онлайн-ресурс (web-сайт, игровой сервер, и т.д.), цели получения закрытых данных нет.

DDoS-атака – это очень просто / дёшево и эффективно, успешно провести её на небольшой интернет-магазин может любой желающий прямо из своего дома, убытки при этом от времени простоя могут доходить до сотен тысяч рублей, особенно если при этом вы активно запускаете рекламные компании.
Читать дальше ->

https://habr.com/post/354674/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354674

Предлагаем вашему вниманию подборку с ссылками на новые материалы из области фронтенда и около него.

Читать дальше ->

https://habr.com/post/354672/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354672

В статье я хотел бы описать шаги на пути к написанию прошивки для микроконтроллеров stm32 без использования специальных сред разработки типа keil, eclipse и тому подобных. Я опишу подготовку прошивки с самых основ, начиная с написания загрузчика на ассемблере, скрипта для линкера и заканчивая основной программы на C. В коде на C буду использовать заголовочные файлы из CMSIS. Редактор кода может быть любым на ваш вкус, vim, emacs, блокнот, все что угодно. Для сборки проекта буду использовать утилиту make. Итак, начнем!
Читать дальше ->

https://habr.com/post/354670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354670

В эти праздники мы входим с материалами про работу игрового техлида, про фичеринг в новом App Store, Мобиусами и Google Play Awards, игровыми движками и лучшими версиями себя. Следующий наш выпуск выйдет через две недели. Всем весны!

Читать дальше ->

https://habr.com/post/354664/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354664

Недавно Google добавила к списку облачных услуг Tensor Processing Unit v2 (TPUv2) — процессор, специально разработанный для ускорения глубокого обучения. Это второе поколение первого в мире общедоступного ускорителя глубокого обучения, который претендует на альтернативу графическим процессорам Nvidia. Недавно мы рассказывали о первых впечатлениях. Многие просили провести более детальное сравнение с графическими процессорами Nvidia V100.

Объективно и осмысленно сравнить ускорители глубокого обучения — нетривиальная задача. Но из-за будущей важности этой категории продуктов и отсутствия подробных сравнений мы чувствовали необходимость провести самостоятельные тесты. Сюда входит и учёт мнений потенциально противоположных сторон. Вот почему мы связались с инженерами Google и Nvidia — и предложили им прокомментировать черновик этой статьи. Чтобы гарантировать отсутствие предвзятости, мы пригласили также независимых экспертов. Благодаря этому получилось, насколько нам известно, самое полное на сегодняшний день сравнение TPUv2 и V100.
Читать дальше ->

https://habr.com/post/354602/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354602

Модели машинного обучения нужно уметь не только разрабатывать, но и «продавать» заказчику. Если у него не будет понимания, почему предлагается именно такое решение, то всё закончится статьёй в журнале и выступлением на конференции. Директор компании Loginom Алексей Арустамов обращает внимание на ключевые моменты, которые важно отразить в описании модели. Это выступление прошло пару недель назад на конференции Яндекса из серии «Data & Science».

Если у вас цена ошибки маленькая, то вообще все равно, что там интерпретировать. Дали вы не ту рекомендацию — ну и бог с ней. В поиске что-то вывели — ну и ничего страшного. Но все меняется, когда речь идет о вещах, связанных с большими издержками, где цена ошибки очень большая. И тогда люди не очень любят доверять черному ящику. Это просто здравый смысл.

Читать дальше ->

https://habr.com/post/354662/?utm_source=habrahabr&utm_medium=rss&utm_campaign=354662