Предыстория

1. сбор логов;
2. сбор метрик;
3. supervision (проверка состояния сервисов и их перезапуск в случае проблем);
4. service discovery (автоматическое обнаружение сервисов);
5. автоматизация обновления конфигураций компонентов инфраструктуры (при добавлении/удалении новых сущностей сервисов);
6. масштабирование;
7. CI/CD (Continuous Integration и Continuous Delivery);
8. vendor lock-in (речь про зависимость от выбранного «поставщика решения»: облачного провайдера, bare metal…).

Основы Kubernetes

• Docker,
• kubelet (управляет Docker),
• kube-proxy (управляет iptables).

• сервер API,
• база данных etcd,
• планировщик (решает, на каком узле запускать контейнер),
• controller-manager (отвечает за отказоустойчивость).

• контейнер — образ + запускаемая в нём команда;
• под (Pod; дословно переводится как «стручок») — совокупность контейнеров (может быть и один) с общей сетью, одним IP-адресом и другими общими характеристиками (общие хранилища данных, лейблы); примечание: именно поды (а не отдельные контейнеры) позволяет запускать Kubernetes;
• лейбл и селектор (Label, Selector) — набор произвольных ключей-значений, назначаемых на поды и другие примитивы Kubernetes;
• ReplicaSet — множество подов, количество которых автоматически поддерживается (при изменении числа подов в конфигурации, при падении каких-либо подов/узлов), что делает масштабирование очень простым;
• деплой (Deployment) — ReplicaSet + история старых версий ReplicaSet + процесс обновления между версиями (используется для решения задач непрерывной интеграции — деплоя);
• сервис (Service) — DNS-имя + виртуальный IP + селектор + балансировщик нагрузки (для разбрасывания запросов по подам, подходящим под селектор);
• задача (Job) — под и логика успешности выполнения пода (используется для миграций);
• cron-задача (CronJob) — Job и расписание в формате crontab;
• том (Volume) — подключение хранилища данных (к поду, ReplicaSet или Deployment) с указанием размера, типа доступа (ReadWrite Once, ReadOnly Many, ReadWrite Many), типа хранилища (поддерживаются 19 способов реализации: железных, программных, облачных);
• StatefulSet — подобное ReplicaSet множество подов, но с жёстко определёнными названиями/хостами, чтобы эти поды могли всегда общаться между собой по ним (для ReplicaSet названия каждый раз генерируются случайным образом) и иметь отдельные тома (не один на всех, как в случае ReplicaSet);
• Ingress — служба, доступная пользователям извне и разбрасывающая все запросы на сервисы по правилам (в зависимости от имени хоста и/или URL'ов).

apiVersion: v1
kind: Pod
metadata:
 name: manual-bash
spec:
 containers:
 - name: bash
   image: ubuntu:16.04
   command: bash
   args: [-c, "while true; do sleep 1; date; done"]

apiVersion: extensions/v1beta1
kind: ReplicaSet
metadata:
  name: backend
spec:
  replicas: 3
  selector:
    matchLabels:
      tier: backend
  template:
   metadata:
    labels:
      tier: backend
   spec:
    containers:
    - name: fpm
      image: myregistry.local/backend:0.15.7
      command: php-fpm

Наш опыт: архитектура и CI/CD

• Для непрерывной интеграции используем GitLab (в ближайшие недели опубликуем статью с подробностями о практике её использования).
• В Kubernetes настраиваем окружения для каждого контура (production, staging, testing и т.п. — их количество зависит от конкретного проекта). При этом разные контуры могут обслуживаться разными кластерами Kubernetes (на разном железе и в разных облаках), а в GitLab настраивается деплой в них.
• В Git кладём Dockerfile (а точнее, мы используем для этого dapp) и каталог .kube с YAML-конфигурациями.
• При коммите (стадия build) создаём образ Docker, который отправляется в Docker Registry.
• Далее (стадия test) берём этот образ Docker и запускаем на нём тесты.
• При релизе (стадия release) YAML-конфигурации из директории .kube отдаём утилите kubectl, которая отправляет их в Kubernetes, после чего скачиваются Docker-образы и запускаются в инфраструктуре, развёрнутой по конфигурации из YAML. (Раньше мы использовали для этого Helm, но сейчас доделываем свой инструмент dapp.)
• Таким образом, за последнюю стадию (operate) полностью отвечает Kubernetes.

Заключение

Видео и слайды

Продолжение

P.S. Другие наши доклады про CI/CD

• «Собираем Docker-образы для CI/CD быстро и удобно вместе с dapp» (Дмитрий Столяров; 8 ноября 2016 на HighLoad++);
• «Практики Continuous Delivery с Docker» (Дмитрий Столяров; 31 мая 2016 на RootConf).

https://habrahabr.ru/post/331188/

https://habrahabr.ru/post/331302/

.grid {
  display: grid;
  grid-template-columns: repeat(4, 25%);
  grid-column-gap: 10px;
}

.grid {
  display: grid;
  grid-template-columns: repeat(4, 1fr);
  grid-column-gap: 10px;
}

.grid {
  display: grid;
  grid-template-columns: 250px repeat(12, 1fr);
  grid-column-gap: 10px;
}

Чем делятся наши коллеги

.container {
/* ... */

grid-template-columns: 1fr 1fr 40px 2fr;
grid-template-rows: 100px 200px 100px;

/* ... */ 
}

https://habrahabr.ru/post/331316/

https://habrahabr.ru/post/331312/

https://habrahabr.ru/post/331314/

https://habrahabr.ru/post/331306/

• ksSheetPar – задает основные параметры оформления, такие как: используемая библиотека оформлений и конкретное оформление из этой библиотеки;
• ksStandartSheet – задает параметры стандартного листа. Он определяет размер листа, ориентацию основной надписи и кратность;
• ksSheetSize – задает параметры нестандартного листа (его размеры).
  В данной статье мы рассмотрим вопрос создания чертежей как на стандартных, так и на нестандартных листах.

Основные параметры оформления

• layoutName – имя библиотеки оформлений. Обычно, это библиотека «graphic.lyt», хранящаяся в подкаталоге «Sys» каталога КОМПАС;
• shtType – тип штампа (основной надписи) из указанной библиотеки оформления.

В прошлых версиях вместо дерева использовался Менеджер документа

Для того чтобы понять назначение этих свойств, откройте (или создайте новый) чертеж в КОМПАС. Выберите пункт меню «Сервис/Менеджер документа». Перед вами появится окно менеджера документа.


Менеджер документа

Строка в колонке «Библиотека оформлений» – это наименование библиотеки, указываемой в поле «layoutName». Свойство shtType задает значение колонки «Оформление». Чтобы увидеть допустимые значения этого свойства для текущей библиотеки оформлений, дважды кликните левой кнопкой мыши по строке в окне менеджера документа. Перед вами появится окно.

• Init() – сбрасывает значения свойств к значениям по умолчанию;
• GetSheetParam() – возвращает указатель на интерфейс ksStandartSheet (для листа стандартных размеров) или ksSheetSize (для листа нестандартных размеров).

Стандартные листы

• direct – расположение основной надписи (FALSE – вдоль короткой стороны листа, TRUE – вдоль длинной стороны);
• format – формат листа (0 – А0, 1 – А1, 2 – А2, 3 – А3, 4 – А4, 5 –А5);
  
• multiply – кратность формата листа.

KompasObjectPtr kompas;
//Запускаем КОМПАС
kompas.CreateInstance(L"KOMPAS.Application.5");

//Подготавливаем параметры документа
DocumentParamPtr DocumentParam;
DocumentParam=(DocumentParamPtr)kompas->GetParamStruct(ko_DocumentParam);
DocumentParam->Init();
DocumentParam->type= lt_DocSheetStandart;//Чертеж на стандартном листе

SheetParPtr SheetPar;
SheetPar = (SheetParPtr)DocumentParam->GetLayoutParam();
SheetPar->layoutName[0] = L'0';
SheetPar->shtType = 1;  //Тип документа

//Подготавливаем параметры листа
StandartSheetPtr StandartSheet;
StandartSheet = (StandartSheetPtr)SheetPar->GetSheetParam();
StandartSheet->direct = false; //надпись вдоль короткой стороны
StandartSheet->format = 4;     //А4
StandartSheet->multiply = 1;   //кратность

//Создаем чертеж
Document2DPtr Document2D;
Document2D = (Document2DPtr)kompas->Document2D();
Document2D->ksCreateDocument(DocumentParam);

//Делаем КОМПАС видимым
kompas->Visible = true;
kompas.Unbind();

Нестандартные листы

• height – высота листа в миллиметрах;
• width – ширина листа в миллиметрах.

KompasObjectPtr kompas;
//Запускаем КОМПАС
kompas.CreateInstance(L"KOMPAS.Application.5");

//Подготавливаем параметры документа
DocumentParamPtr DocumentParam;
DocumentParam=(DocumentParamPtr)kompas->GetParamStruct(ko_DocumentParam);
DocumentParam->Init();
DocumentParam->type = lt_DocSheetUser; //Чертеж на нестандартном листе

SheetParPtr SheetPar;
SheetPar = (SheetParPtr)DocumentParam->GetLayoutParam();
SheetPar->layoutName[0] = L'0';
SheetPar->shtType = 1;  //Тип документа

//Подготавливаем параметры листа
SheetSizePtr SheetSize;
SheetSize = (SheetSizePtr)SheetPar->GetSheetParam();
SheetSize->Init();
SheetSize->width  = 300;
SheetSize->height = 300;

//Создаем чертеж
Document2DPtr Document2D;
Document2D = (Document2DPtr)kompas->Document2D();
Document2D->ksCreateDocument(DocumentParam);

//Делаем КОМПАС видимым
kompas->Visible = true;
kompas.Unbind();

https://habrahabr.ru/post/330588/

В чем проблема

• Пересечение стека с другой областью памяти: выделение памяти производится до тех пор, пока стек не достигнет другой области памяти или память не достигнет стека;
• «Прыжок» через сторожевую страницу: в этом случае указатель стека перемещается из стека в другую область памяти не затрагивая страницу защиты памяти;
• Разбиение стека или другой области памяти: производится перезапись стека содержимым другой области памяти либо другой области памяти содержимым стека.

Как защититься

https://habrahabr.ru/post/331300/

Представляем вашему вниманию очередную порцию лекций Технотрека. В рамках курса будут рассмотрены основы системного администрирования интернет-сервисов, обеспечения их отказоустойчивости, производительности и безопасности, а также особенности устройства ОС Linux, наиболее широко применяемой в подобных проектах. В качестве примера будут использоваться дистрибутивы семейства RHEL 7 (CentOS 7), веб-сервер nginx, СУБД MySQL, системы резервного копирования bacula, системы мониторинга Zabbix, системы виртуализации oVirt, балансировщика нагрузки на базе ipvs+keepalived. Курс ведёт Сергей Клочков, системный администратор в компании Variti.

Список лекций:

1. Основы.
2. Пользовательское окружение Linux.
3. Linux и сеть (основы).
4. Управление пользовательским окружением.
5. Веб-сервисы.
6. Хранение данных.
7. Сервисы инфраструктуры.
8. Резервное копирование.
9. Резервное копирование (часть 2).
10. Инфраструктура электронной почты.
11. Распределение ресурсов системы.

Лекция 1. Основы

В начале лекции вы узнаете об истории появления и развития Linux. Затем проводится экскурс по экосистеме Linux, рассказывается о некоторых различиях между дистрибутивами. Далее обсуждается иерархия файловой системы, рассматривается основной рабочий инструмент в этой ОС — командная строка. Подробно рассказывается о Bash-скриптах, о двух основных сущностях в системе — пользователях и группах. Затем обсуждаются регулирование прав доступа к файлам и директориям, рассматриваются привилегии пользователей и в завершение лекции затрагивается тема удалённого доступа.

Лекция 2. Пользовательское окружение Linux

Сначала подробно рассказывается об этапах загрузки системы и ОС, обсуждается ядро Linux. Объясняется, что собой представляет «процесс», как он использует оперативную память. Вы узнаете, что такое дескрипторы и для чего они нужны, как процессор потребляет ресурсы. Затем рассматриваются системные вызовы, сигналы, лимиты процессов, переменные окружения. Обсуждается вопрос размножения процессов и подробно анализируется работа процесса. В завершение вы узнаете о подсистеме perf и логах.

Лекция 3. Linux и сеть (основы)

Вы узнаете, что такое сетевой стек и модель OSI. Вспомните, что такое Ethernet и как с ним работает Linux. Дальше будут освежены ваши знания об использовании IPv4, особенностях IPv4-пакетов и сетей. Затем рассматривается ICMP, мультикаст в IPv4. Далее переходим к IPv6, обсуждаются заголовки IPv6-пакетов, UDP, TCP-соединения. Затрагивается тема TCP congestion control. Потом рассказывается о NAT, протоколах уровня приложения, DNS, NTP, HTTP и URL. Разбираются коды HTTP-ответа (успешные ответы и ошибки).

Лекция 4. Управление пользовательским окружением

Вы узнаете о том, что такое менеджер пакетов RPM и как его использовать. Далее рассматривается классический init, системный менеджер systemd. Разбирается пример init-файла. Обсуждаются основные типы Unit’ов, рассказывается про системный логгер и ротацию логов. В заключение вы узнаете об основах конфигурации сетевых интерфейсов.

Лекция 5. Веб-сервисы

Сначала рассматривается типовая архитектура веб-сервиса. Рассказывается о том, что такое фронтенд, что такое сервер приложений. Разбирается вопрос хранения данных веб-приложениями. Подробно разбирается работа и использование протокола HTTP. Обсуждаются виды HTTP-запросов. Затрагивается тема создания шифрованных туннелей с помощью SSL. Затем рассматриваются примеры установки СУБД MySQL с созданием БД и пользователя. Разбирается работа с PHP-FPM, конфигурирование nginx, установка и настройка wiki-движка.

Лекция 6. Хранение данных

Перечисляются основные проблемы хранения данных, рассматриваются достоинства и недостатки разных устройств хранения, их интерфейсы. Затем вы узнаете, как определять состояние жёсткого диска, какова его производительность, что такое RAID, какие бывают RAID-массивы и как их создавать. Сравниваются разные типы RAID, а также программные и аппаратные массивы. Обсуждаются LVM-снепшоты, рассматриваются разные файловые системы. Затрагивается вопрос удалённого хранения данных и использование протокола ISCSI.

Лекция 7. Сервисы инфраструктуры

Рассматривается DNS-сервер bind, NTP-сервер. Обсуждается централизованная аутентификация на основе LDAP. Разбирается DHCP, задача установки ОС по сети с помощью kickstart, а в завершение рассматривается система управления конфигурацией Salt.

Лекция 8. Резервное копирование

Начало лекции посвящено продолжению рассказа о системе управления конфигурацией Salt. Рассказывается, как её установить, как осуществляется управление конфигурацией Linux, разбирается её пример. Вы узнаете, что такое «зёрна» и зачем они нужны. Далее переходим к теме резервного копирования: какие данные нужно копировать, каковы основные трудности, какие бывают виды резервных копий. Обсуждается задача резервного копирования ОС. Рассказывается об использовании системы резервного копирования bacula.

Лекция 9. Резервное копирование (часть 2)

В начале лекции рассказывается о резервном копировании БД. Обсуждаются различные стратегии резервного копирования — mysqldump, mylvmbackup. Вы узнаете, для чего нужен мониторинг и как его выполнять, какие есть средства мониторинга. Рассматриваются разные виды проверок. Обсуждаются шаблоны проверок. В заключение рассказывается об элементах данных, о выполнении веб-мониторинга.

Лекция 10. Инфраструктура электронной почты

Вы узнаете, что такое электронная почта, познакомитесь с основными понятиями. Затем рассматривается процесс доставки и выдачи почты. Обсуждается использование протоколов SMTP, POP3 и IMAP. Разбирается применение SMTP-сервера postfix, IMAP-сервера Dovecot. Рассказывается о том, как ходят письма по сети и что такое MX-записи. Наконец, обсуждается защита от спама, разбираются SPF-записи, DKIM и Spamassassin.

Лекция 11. Распределение ресурсов системы

Лекция посвящена продвинутым вопросам администрирования Linux. Сначала вы узнаете, как управлять параметрами ядра ОС. Затем рассматриваются модули ядра, как ими управлять. Обсуждается выделение ресурсов приложения. Далее рассказывается о планировщике задач, об алгоритмах шедулинга, о приоритетах процессов. Разбирается шедулер CFS, политики шедулинга. Вы узнаете, что такое NUMA и как с ней работать. Познакомитесь с планировщиками ввода/вывода. Далее рассказывается о контрольных группах, об управляемых ресурсах, об управлении контрольными группами и лимитами ввода/вывода.

Плейлист всех лекций находится по ссылке. Напомним, что актуальные лекции и мастер-классы о программировании от наших IT-специалистов в проектах Технопарк, Техносфера и Технотрек по-прежнему публикуются на канале Технострим.

Другие курсы Технотрека на Хабре:

• Лекции Технотрека. Разработка на Java (весна 2016)
• Лекции Технотрека. Проектирование СУБД (осень 2016)
• Лекции Технотрека. Основы веб-разработки (весна 2016)

Информацию обо всех наших образовательных проектах вы можете найти в недавней статье.

https://habrahabr.ru/post/330782/

Вступительное слово

Постановка задачи

marker.bindPopup(`
    	    
Leaflet PopUp
	        
Some text
	        
Should be deleted from DOM if it was angular component because of ngIf = false

    	`);

Решение задачи

@Component({
    selector: 'custom-popup',
    template: require('./custom-popup.component.html')
})
export class CustomPopUpComponent {
	public inputData: any;

	private title: string = 'Angular component';
	private array: Array = ['this', 'array', 'was viewed', 'by', 'ngFor!'];
}

	
{{title}}
	
{{inputData}}
	
{{text}}
	
Should be deleted from DOM if it was angular component because of ngIf = false

@Injectable()
export class RenderService {

	private componentRef: ComponentRef;

	constructor(private ngZone: NgZone,
	            private injector: Injector,
	            private appRef: ApplicationRef,
	            private componentFactoryResolver: ComponentFactoryResolver) { }

	public attachCustomPopUpsToMap(map: Map) {
		this.ngZone.run(() => {
			map.on("popupopen",
			       (e: any) => {
				       const popup = e.popup;

				       const compFactory = this.componentFactoryResolver.resolveComponentFactory(popup.options.popupComponentType);
				       this.componentRef = compFactory.create(this.injector);

				       this.componentRef.instance.geoObject = popup.options.object;

				       this.appRef.attachView(this.componentRef.hostView);

				       let div = document.createElement('div');
				       div.appendChild(this.componentRef.location.nativeElement);

				       popup.setContent(div);
			       });
		});
	}
}

 this.appRef.attachView(this.componentRef.hostView);

if (this.appRef['attachView']) {
	this.appRef['attachView'](this.componentRef.hostView);
	this.componentRef.onDestroy(() => {
		this.appRef['detachView'](this.componentRef.hostView);
	});
}
else {
	this.appRef['registerChangeDetector'](this.componentRef.changeDetectorRef);
	this.componentRef.onDestroy(() => {
		this.appRef['unregisterChangeDetector'](this.componentRef.changeDetectorRef);
	});
}

this.renderService.attachCustomPopUpsToMap(this.mapService.getMap());
let options = {
		    data: 'you can provide here anything you want',
		    popupComponentType: CustomPopUpComponent
	    };
let myPopUp = L.popup(options);
marker.bindPopup(myPopUp);

Заключение

https://habrahabr.ru/post/331298/

1. Тренды ритейла
2. Чего ждут предприниматели от Магазина приложений и разработчиков
3. Примеры работающих приложений
4. Live сoding
5. Обучение для разработчиков
6. Ну и, конечно, развлечения

https://habrahabr.ru/post/331296/

Статистика, указанная в статье, собрана с нового приложения, которое живет с 24 мая 2017

Бесплатное продвижение в Google Play

Немного статистики о доходах

https://habrahabr.ru/post/331294/

• в проекте Algebras находятся реализация trait'а алгебры, в котором перечислены все основные операции, которые должны быть реализованы для объекта, наследующего его; кроме того, в данном проекте на текущий момент реализованы вещественная и интервальная алгебры,
• в проекте Transformations находятся основные типы преобразований с соответствующими связями; в данном проекте было сделано дополнение свойств преобразований (например, численная дифференциуремость), что пригодится в дальнейшем при реализации алгоритмов оптимизации, использующих градиент,
• в проекте Algorithms находятся основные классы алгоритмов; данный проект будет наполняться по мере выделения общих типов алгоритмов (пока здесь есть лишь алгоритм оптимизации вещественнозначных функций),
• в проектах Metaheuristic Optimization и Machine Learning хранятся реализации алгоритмов оптимизации и машинного обучения соответственно,
• в проекте Tools собраны различные процедуры, необходимые для функционирования работы алгоритмов (например, генераторы случайных чисел в соответствии с распределениями).

1. о линейных моделях регрессии,
2. о способах сведения задачи поиска линейной регрессии к задаче оптимизации,
3. о метаэвристическом алгоритме глобальной условной оптимизации, моделирующем поведение котов.

Линейные модели регрессии и как их свести к задаче оптимизации

trait GeneralizedLinearModel {

  def getWeights(): Vector[Real]

  def apply(v: Vector[Real]): Real = getWeights().dot(v + bias)

  def apply(vectors: Seq[Vector[Real]]): Seq[Real] = vectors.map(this.apply(_))

  def convertToTransformation(): InhomogeneousTransformation[Vector[Real], Real] =
    new InhomogeneousTransformation[Vector[Real], Real](v => this.apply(v))

}

object GeneralizedLinearModel {

  val bias = Vector("bias" -> Real(1.0))

  object Metrics {

    def RSS(generalizedLinearModel: GeneralizedLinearModel, input: Seq[Vector[Real]], output: Seq[Real]): Real = {
      val predictions = generalizedLinearModel(input)
      predictions.zip(output)
        .map { case (pred, real) => (pred - real) ^ 2.0 }
        .reduce(_ + _) / input.length
    }
  }

}

Ordinary Least Squares

case class OrdinaryLeastSquaresRegression(w: Vector[Real]) extends GeneralizedLinearModel {

  override def getWeights(): Vector[Real] = w

}

object OrdinaryLeastSquaresRegression {

  class Task(input: Seq[Vector[Real]], output: Seq[Real]) extends General.Task {

    def toOptimizationTask(searchArea: Map[String, (Double, Double)]): (Optimization.Real.Task, InhomogeneousTransformation[Vector[Real], OrdinaryLeastSquaresRegression]) = {
      val vectorToRegressor =
        new InhomogeneousTransformation[Vector[Real], OrdinaryLeastSquaresRegression]((w: Vector[Real]) => OrdinaryLeastSquaresRegression(w))
      val task = new Optimization.Real.Task(
        new Function[Real]((w: Vector[Real]) =>
          GeneralizedLinearModel.Metrics.RSS(vectorToRegressor(w), input, output)), searchArea)
      (task, vectorToRegressor)
    }
  }

}

Ridge & Lasso Regression

class RidgeRegression(w: Vector[Real], alpha: Double) extends OrdinaryLeastSquaresRegression(w) { }

object RidgeRegression {

  class Task(input: Seq[Vector[Real]], output: Seq[Real]) extends General.Task {

    def toOptimizationTask(searchArea: Map[String, (Double, Double)], alpha: Double): (Optimization.Real.Task, InhomogeneousTransformation[Vector[Real], RidgeRegression]) = {
      val vectorToRegressor =
        new InhomogeneousTransformation[Vector[Real], RidgeRegression]((w: Vector[Real]) => new RidgeRegression(w, alpha))
      val task = new Optimization.Real.Task(
        new Function[Real]((w: Vector[Real]) =>
          GeneralizedLinearModel.Metrics.RSS(vectorToRegressor(w), input, output) +
            alpha * w.components.filterKeys(_ != "bias").values.map(_ ^ 2.0).reduce(_ + _)), searchArea)
      (task, vectorToRegressor)
    }
  }

}

class LassoRegression(w: Vector[Real], alpha: Double) extends OrdinaryLeastSquaresRegression(w) { }

object LassoRegression {

  class Task(input: Seq[Vector[Real]], output: Seq[Real]) extends General.Task {

    def toOptimizationTask(searchArea: Map[String, (Double, Double)], alpha: Double): (Optimization.Real.Task, InhomogeneousTransformation[Vector[Real], LassoRegression]) = {
      val vectorToRegressor =
        new InhomogeneousTransformation[Vector[Real], LassoRegression]((w: Vector[Real]) => new LassoRegression(w, alpha))
      val task = new Optimization.Real.Task(
        new Function[Real]((w: Vector[Real]) =>
          GeneralizedLinearModel.Metrics.RSS(vectorToRegressor(w), input, output) / (2.0 * input.length) +
            alpha * w.components.filterKeys(_ != "bias").values.map(Algebra.abs(_)).reduce(_ + _)), searchArea)
      (task, vectorToRegressor)
    }
  }

}

Cat Swarm Optimization

• каждый кот ассоциирован с некоторой точкой в исследуемом пространстве,
• приспособленность кота — значение оптимизируемой функции в точке, соответствующей его текущему положению,
• каждый кот может находиться в одном из двух режимов: поиск или погоня.
• итерация алгоритма подразумевает реализацию процесса перемещения в соответствии с тем режимом, в котором находится кот.

class CatSwarmOptimization(numberOfCats: Int, MR: Double,
                           SMP: Int, SRD: Double, CDC: Int, SPC: Boolean,
                           velocityConstant: Double, velocityRatio: Double,
                           generator: DiscreteUniform with ContinuousUniform = Kaimere.Tools.Random.GoRN) extends Algorithm

case class Cat(location: Vector[Real], velocity: Vector[Real])(implicit generator: DiscreteUniform with ContinuousUniform) {

  def getFromSeries[T](data: Seq[T], n: Int, withReturn: Boolean): Seq[T] =
    withReturn match {
      case true => Seq.fill(n)(generator.getUniform(0, data.size - 1)).map(x => data(x))
      case false => data.sortBy(_ => generator.getUniform(0.0, 1.0)).take(n)
    }

  def seek(task: Task, SPC: Boolean, SMP: Int, CDC: Int, SRD: Double): Cat = {

    val newLocations = (if (SPC) Seq(location) else Seq()) ++
      Seq.fill(SMP - (if (SPC) 1 else 0))(location)
        .map { loc =>
          val ratio =
            getFromSeries(task.searchArea.keys.toSeq, CDC, false)
              .map { key => (key, generator.getUniform(1.0 - SRD, 1.0 + SRD)) }.toMap
          (loc * ratio).constrain(task.searchArea)
        }

    val fitnessValues = newLocations.map(task(_)).map(_.value)
    val newLocation =
      if (fitnessValues.tail.forall(_ == fitnessValues.head)) newLocations(generator.getUniform(0, SMP - 1))
      else {
        val maxFitness = fitnessValues.max
        val minFitness = fitnessValues.min
        val probabilities = fitnessValues.map(v => (maxFitness - v) / (maxFitness - minFitness))
        val roulette =
          0.0 +: probabilities.tail
            .foldLeft(Seq(probabilities.head)) { case (prob, curr) => (curr + prob.head) +: prob }
            .reverse
        val chosen = generator.getUniform(0.0, roulette.last)
        val idChosen = roulette.sliding(2).indexWhere{ case Seq(a, b) => a <= chosen && chosen <= b}
        newLocations(idChosen)
      }
    new Cat(newLocation, newLocation - this.location)
  }

  def updateVelocity(bestCat: Cat, velocityConstant: Double, maxVelocity: Map[String, Double]): Vector[Real] = {
    val newVelocity = this.velocity + (bestCat.location - this.location) * velocityConstant * generator.getUniform(0.0, 1.0)
    Vector(newVelocity.components
      .map { case (key, value) =>
        if (value.value > maxVelocity(key)) (value, Real(maxVelocity(key)))
        if (value.value < -maxVelocity(key)) (value, Real(-maxVelocity(key)))
        (key, value)
      })
  }

  def trace(task: Task, bestCat: Cat, velocityConstant: Double, maxVelocity: Map[String, Double]): Cat = {
    val newVelocity = this.updateVelocity(bestCat, velocityConstant, maxVelocity)
    val newLocation = (location + newVelocity).constrain(task.searchArea)
    new Cat(newLocation, newVelocity)
  }

  def move(mode: Int, task: Task, bestCat: Cat, SPC: Boolean, SMP: Int, CDC: Int, SRD: Double, velocityConstant: Double, maxVelocity: Map[String, Double]): Cat = mode match {
    case 0 => seek(task, SPC, SMP, CDC, SRD)
    case 1 => trace(task, bestCat, velocityConstant, maxVelocity)
  }
}

Так умеют ли коты строить регрессию или нет?

1. одномерная линейная зависимость без шума: $$,
   
   • параметры модели Ordinary Least Squares: $$,
   • параметры модели Ridge Regression ($$): $$,
   • параметры модели Lasso Regression ($$): $$,
2. многомерная линейная зависимость без шума: $$,
   
   • параметры модели Ordinary Least Squares: $$,
   • параметры модели Ridge Regression ($$): $$,
   • параметры модели Lasso Regression ($$): $$,
3. одномерная линейная зависимость с шумом: $$,
   
   • параметры модели Ordinary Least Squares: $$,
   • параметры модели Ridge Regression ($$): $$,
   • параметры модели Lasso Regression ($$): $$,
4. многомерная линейная зависимость с шумом: $$,
   
   • параметры модели Ordinary Least Squares: $$,
   • параметры модели Ridge Regression ($$): $$,
   • параметры модели Lasso Regression ($$): $$,

Результаты, полученные с помощью пакета scikit для данных с шумом

Для одномерной линейной зависимости с шумом:

Для многомерной линейной зависимости с шумом:

Заключение

• Код проекта
• Описание линейных моделей регрессии: [1], [2]
• Книжка по машинному обучению
• Статья по Cat Swarm Optimization

https://habrahabr.ru/post/328760/

С чем едят

Установка

Использование

ProcessBuilder pro = new ProcessBuilder(windriverPath + windriverName, windriverParam);
shell = pro.start();
//<наш код>
shell.destroy();

DesiredCapabilities cap = new DesiredCapabilities();
cap.setCapability("app",""); //если хотим сразу запускать какую-либо программу
cap.setCapability("launchDelay","5"); //задержка после запуска программы
WebDriver driver = new RemoteWebDriver(new URL("http://localhost:9999"),cap); //на этом порту по умолчанию висит Winium драйвер

WebElement wrk = driver.findElement(By.name("Значение поля Name")); //один элемент, поиск по полю Name
List wrkL = driver.findElements(By.className("Значение поля ClassName")); //список элементов с заданным полем ClassName

WebElement wrk1 = wrk.findElement(By.name("Значение поля Name"));

WebElement field = wrk.findElement(By.xpath("*[@HasKeyboardFocus='True']")); //найдёт элемент у wrk, на котором стоит фокус

String xpathStr = "*[(@AutomationId='" + autId + "') and (@IsOffscreen='False')]"; //будем искать элемент у текущего окна с каким-то заданным AutomationId = autId и у которого свойство IsOffscreen = False 
log("Performing xpath search: " + xpathStr);
WebElement tWrk = wrk1.findElement(By.xpath(xpathStr));

Actions builder = new Actions(driver);
Action enter = builder
        .moveToElement(wrk)
        .moveByOffset(x,y)
        .click()
        .build();
enter.perform();

Совсем чуть-чуть об общей структуре проекта

Заключение

https://habrahabr.ru/post/331292/

Как это работает: примеры банковских чат-ботов

Не только банки: боты для биржевых трейдеров

Заключение: живое общение в финансах слишком важно

https://habrahabr.ru/post/331290/

1. Visual Studio – собственно, софт, обычно три-четыре разных solution
2. SourceSafe – версионирование.
3. Outlook
4. Skype
5. Total Commander – файлы, файлы.
6. Internet-Explorer – планирование софта, мониторинг продвижения по проекту, doxygen документация и т.д.
7. Word, Excel – список задач, протоколы заседаний, требования к проекту, быстрое построение графиков и т.д.
8. PowerPoint – презентации для менеджмента.
9. Notepad++ — просмотр промежуточных результатов, конфиги, и т.д.
10. CAE soft наш – тестовая и основная версия.
11. CAE soft других фирм – для тестов

• Мышка: открыть документ, пролистать,
• Клавиатура: написать три-четыре строчки.
• Мышка: нажать на кнопку, переместиться в другую программу, нажать на кнопку
• Клавиатура: в появившемся окне написать 2-3 значения.
• Мышка: отрыть другое окно. Нажать на кнопку. Выбрать пункт меню. Потом пункт в под-меню. Потом в под-под-меню. Клик! Новое окно!

Программа CameraTablet

Как сделан CameraTablet

1. opencv
   
   • распознавание пальца на видео
   • сохранение файла с фотографией пальца
   • калибровка камеры
2. keyboard – обработка горячих клавиш
3. TkInter — пять кнопок для GUI.

Что дальше

1. Поддержка нескольких мониторов
2. Эмуляция MouseDown und MouseUp (необходимо для выделения текста)
3. Поддержка Linux

https://habrahabr.ru/post/331288/

Привет, Хабр. В качестве тимлида я стою одновременно по обе стороны поиска соискателей — последние пять лет я активно участвую в собеседованиях своих разработчиков, а так же прохожу собеседования. Мне не стыдно писать, что я хожу по собеседованиям — это помогает понять, что сейчас востребовано на рынке, и где у тебя есть пробелы, которые хорошо было бы восполнить. Да и вообще любой специалист должен стремиться к росту, а не стагнации.

И за это время у меня накопилось огромное количество смешных и грустный историй взаимодействия с рекрутерами с обеих сторон, которые я решил систематизировать в общий сборник антипаттернов. Поехали!

Оформление вакансии

Каждый поиск начинается с публикации вакансии, и очень важно её правильно оформить.

Для начала, никогда не указывайте зарплату — соискатель должен мечтать работать в вашем стартапе ООО "горим", и для него не должно быть важно, сколько денег ему заплатят. И вообще, зачем вам меркантильные сотрудники?

Далее, обязательно нужно искать фуллстека. Всё знают это модное слово, и зачем нанимать нескольких разработчиков, если всё может сделать один? Фронт, бэк, базы данных, архитектура, поддержка серверов, и лучше наличие транспорта, чтобы развозить продукт по клиентам.

Лучше написать, что это интересная работа с кучей перспектив и возможностей по самореализации — вот тогда соискатель точно клюнет на то, чтобы делать абсолютно всё в вашей компании.

Так же можно написать про ответственность, лидерские качества, и про то, что разработчик сам должен всё понимать и ставить себе задачи. В конце концов, у вас уже есть видение вашего продукта — осталось только его накодить, с этим и макака справится.

Ещё можно рассказать, что вы будете платить процентом от чего-нибудь там. Деньги обещать опасно, а процент от нуля всегда равен нулю, и вы ничем не рискуете.

Если вы не знаете ещё, какой стек будет использоваться в продукте, спросите у друзей или почитайте статьи в интернете — нужно, чтобы вы сразу определили, какого разработчика ищете. А в технологиях вы и сами разберётесь — легко. Например, вы можете понять, что чёткие пацаны пишут на go и при этом используют NoSQL — значит, вам точно нужен go разработчик со знанием NoSQL на ваш сайт по продаже шапок ушанок с полутора посетителями в день.

Обязательно напишите, что скоро вы переезжаете в США или куда-нибудь ещё, куда обычно хотят программисты. Это безопасно. "Скоро" — это понятие растяжимое, обычно означает "как только мы внезапно получим кучу денег и будем купаться в них как Скрудж Макдак". Ну и что, что это в лучшем случае в перспективе пары лет. Может же случиться. Везёт же некоторым! Так что ваш стартап — убийца Фейсбука и Гугла одновременно — обязательно взлетит.

Ни в коем случае не раскрывайте, над чем собственно придётся работать. У вас наверняка бесценная идея, и её может украсть коварный разработчик — молчите и загадочно намекайте на хайлоад, блокчейн, инстаграм, нейронные сети и SaaS.

В вакансии нужно сразу писать, что у вас все любят переработки и постоянные дедлайны. Плох и ленив тот разработчик, который не мечтает делать что-то хорошее хотя бы по 12 часов в сутки. Естественно, переработки никто не оплачивает — вы же команда и трудитесь ради продукта, а не за презренное золото.

Обязательно сделайте необходимым добавление сопроводительного письма, где разработчик напишет, почему хочет идти именно к вам. Он же идёт не просто деньги за свою работу получать, а к Вам! Пускай обоснует, хотя бы символов на 500. Тех, кто пишет "хочу работать, у вроде подходящая вакансия" можно сразу отфильтровывать.

Кроме сопроводительного письма так же неплохо сделать анкету с 20 или больше вопросами — чем больше вы знаете про соискателя, тем лучше! Не стесняйтесь давать эту анкету соискателю несколько раз подряд — расхождения в ответах могут вам о многом сказать.

Отдельная ремарка по поиску джуниоров. Если вы ищете начинающего разработчика, то у него обязательно должно быть минимум пять лет работы в аналогичной должности и опыт промышленных внедрений.

Ни в коем случае не уточняйте у соискателя, насколько ему важна белая зарплата. О том, что у вас только серая, он должен узнать только пройдя три собеседования, решив тестовые задачи и познакомившись со всеми, включая уборщика Ахмета. Уж наверняка после этого он будет так измучен рад работать с вами, что не обратит внимание на такие мелочи, как серая зарплата.

Не забудьте написать в описании вакансии, что у вас есть печеньки. А ещё Agile и Scrum. Это так оригинально!

Автоматическое письмо откликнувшемуся

Ура, вакансия готова! Что же делать дальше? В первую очередь нужно написать ответное письмо, которое приходит от автомата заинтересованным соискателям. Лучше всего указать там свой номер телефона и написать, чтобы соискатель звонил вам, если ему вдруг всё ещё интересна вакансия, на которую он откликнулся пять минут назад.

Поиск соискателей

Вы наверняка знаете, что разработчики сами не знают, чего хотят, так что смотрите резюме по диагонали и присылайте приглашение, если совпало хоть одно слово.

• Не совпадает зарплатные вилка в два раза? Не беда — вдруг он завышает требования или очень захочет работать в вашем стартапе?
• Хочет на ведущего разработчикам а у вас вакансия Джуниора? Ну так пускай губу закатит.
• Хочет заниматься бэкендом, а у вас фронтенд? Ну так выше же говорили, что разработчик должен быть только фуллстыком (или как оно там. Короче, должен уметь Винду переставить и кофемашину починить).

В общем, у вас и так мало времени, а ваш KPI измеряется количеством соискателей, которые вы найдёте. Шлите всех, и пускай там уже высоколобые разработчики разбираются, подойдёт ли Javascript разработчик под Java, или 1C разработчик под C#.

Работа с соискателем

Запомните — главный ваш рабочий инструмент — это телефон. Ничто не заменит старой доброй ламповой голосовой коммуникации. Даже если разработчик указал, что предпочтительно для него три других способа связи. Ну и что, что он скорее всего сейчас на предыдущей работе или дома. Наверняка он может найти 20 минут чтобы с вами пообщаться. Ему же вообще не каждый день звонят с предложением работы.

Отдельно замечу, что разработчики часто в резюме прикрепляют кучу всякого мусора — профили на каких-то сайтах, какой-то код… Нужно всё это отсечь, чтобы технарям ушла только нужная информация. ФИО и список мест работы — вот необходимый и достаточный набор данных.

Тестовые задания

Помните про тестовые задания! Надо же как-то людей фильтровать. Принято давать три категории тестовых заданий:

1. Типовое задание, скачанное с интернета. Не беда если оно скучное — соискатель к вам не развлекаться идёт. Не имеет значения, что решение уже опубликовано на сотне ресурсов — наверняка же искать не станет. А на случай если станет — добавьте в тестовое задание таймер — все говорят мол “креатора дедлайн возбуждает”.
2. Какое-нибудь сложное задание, чтобы соискатель показал себя во всей красе. Рассчитывайте, чтобы он потратил на него дня 2-3. В конце концов, он хочет у вас работать или нет?
3. Последняя категория, которая в последнее время теряет популярность — взять некую текущую задачу вашей компании и попросить соискателя её сделать. Так сказать, протестировать в условиях приближенных к боевым. А на самом деле, можно использовать такие задания как бесплатный аутсорс. Круто же! Странно, что в последнее время вижу такие тестовые задания всё реже.

Личные собеседования

Есть несколько обязательных заповедей, которым нужно следовать при проведении собеседования, неважно, удалённое оно или нет.

• Вы же знаете, что в гости прилично опаздывать на 15 минут? Ну и здесь так же. Начинайте собеседование через 15-30 минут после назначенного срока, это даст кандидату лучше подготовиться и успокоиться.
• Если собеседование подразумевает подключение дополнительных людей, начинайте их искать в момент наступления собеседования. Не надо людей отвлекать заранее.
• Для собеседования нужно хотя бы 4-5 человек, кроме самого соискателя. Им же потом вместе работать, так что пускай его оценивает вся команда, на первом же собеседовании. Они же просто сидят на стульях весь рабочий день — так пускай потратят его с пользой. Если вы привлекаете 5 человек и проводите хотя бы 3 полуторачасовых собеседования в неделю, то за неделю они проводят с пользой уже 3х5х1.5=22 часа, то есть почти три человеко-дня.
• Не стоит тратить время на то, чтобы заранее вспомнить или приготовить резюме кандидата. В первые полчаса все и так вспомнят, кто он, на какую позицию пришёл, и он расскажет своё резюме ещё раз.
• Плох тот программист, который не готов писать код на бумажке. Пускай покажет, что может не только писать код в среде, которая всё за него делает. Причём писать обязательно нужно рабочий код на вашем конкретном языке, а не какие-то там Блок схемы (ну причём тут Александр?).
• Наверняка соискатель пришёл к вам с ощущением, что он крутой и достоин многого. Даже если так, вам явно не хочется за него переплачивать — так что найдите в его резюме что-то, чем он занимался десять лет назад, и задайте вопросов посложнее. Пускай поймёт, что у вас он может только унитазы чистить.
• Собеседований обязательно должно быть несколько. Например, первое происходит с HR, второе с разработчиком, третье с лидом, четвёртое со всей командой, и пятое — с генеральным директором. Никуда не торопитесь, соискатель — он не волк, в лес не убежит.
• Если нужно перенести время собеседования, то сделайте это за полчаса до прихода кандидата. Ну нельзя же учесть заранее все возможные факторы.
• Если кандидат сказал что-то, что вы не ожидали, то можно дружно посмеяться. Это очень разряжает атмосферу!
• Если собеседование удалённое, то попросите соискателя включить камеру, а сами не включайте. Это ведь вы на него смотрите, а не он на вас.
• Всякая роскошь вроде гарнитуры совсем не обязательна для собеседования. Эхо, шумы офиса, переговоры вокруг — это нормальная рабочая обстановка.
• Если вам потребовалось во время собеседования выйти — смело делайте это. Можно оставить кандидату задачку и уйти на час-два. Пускай неспешно её решает и попьёт растворимый кофе из стаканчика, который ему любезно предложили.
• Чуть не забыл. На любом собеседовании обязательно нужно спросить про паттерны. И попросить реализовать синглтон. Наверное, нужно было поставить это первым пунктом.

Если вам понравился кандидат, и вы во всём сошлись, то не забудьте поторговаться. У вас ведь в описании вакансии указано “до ххх”. Так что вы никого не обманете, если предложите “ххх:2”. Люди — это как арбузы на рынке, только люди. Принципы торговли те же. Если после вашего предложения соискатель пропал — ну, значит, он просто не мотивирован с вами работать и сам виноват.

Ещё одна общая рекомендация — помните: вы — машина, вы — комбайн по переработке заявок в людей! Ко всем нужно применять один и тот же подход, чтобы соискатель понимал, что он — потенциальный винтик огромной машины, который должен знать своё место в ней. Веерные рассылки, обмен базами соискателей, беспорядочные связи в linkedin — всё это годится для поиска людей!

Ну и последнее. Если вам не понравился соискатель, то просто забейте на переписку. Зачем терять своё время на человека, который вам не подходит?

Следуйте этим советам, и вы обязательно не найдёте себе нужного разработчика!

Не хотелось бы, чтобы данный пост был принят за какое-то нытьё. Наоборот — мне хочется думать, что он дойдёт до многих рекрутеров, и они, заметив за собой некоторые пункты, будут над ними работать. Обе стороны (разработчики и рекрутеры) заинтересованы в том, чтобы работа искалась быстро и качественно.

Да, отдельный пост можно было бы написать про соискателей — я признаю, что на этой стороне тоже много всего забавного — но это будет не столь интересно и полезно.

Так же хотелось привести несколько примеров компаний с той и другой стороны, но решил, что это не совсем коректно. Кто-то себя просто узнает в этих примерах.

Указывайте в комментариях свои антипаттерны — давайте дополним список!

Со сколькими из указанных антипаттернов вы уже сталкивались в поиске работы?

	ни с одним
	1-3
	4-7
	больше 8

Проголосовало 40 человек. Воздержалось 8 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/331276/

Streaming Algorithms

Graph Algorithms and Continuous Optimization

Algorithms for High-Dimensional Data

Longest Paths in Graphs: Parameterized Algorithms

Modern algorithms for parallel, streaming and query-based data processing

https://habrahabr.ru/post/331286/

Несколько слов о стандарте

1. Хранятся, обрабатываются или передаются ли данные платежных карт в вашей организации?
2. Могут ли бизнес-процессы вашей организации непосредственно влиять на безопасность данных платежных карт?

Детали услуги PCI DSS хостинга

Источники по теме: Сертификация PCI DSS

Как «ИТ-ГРАД» сертифицировал IaaS-облако по стандарту PCI DSS. Часть 1


Как «ИТ-ГРАД» сертифицировал IaaS-облако по стандарту PCI DSS. Часть 2


Подводные камни при сертификации по PCI DSS: CVV и запись телефонных разговоров

Colocation

IaaS Basic

IaaS Advanced

https://habrahabr.ru/post/330578/

https://habrahabr.ru/post/331264/