// так же понадобится найти факториал
function factorial (number) {
        var result = 1;
        while(number){
            result *= number--;
        }
        return result;
}

function getPointOnCurve (shift, points) {
        var result = [0,0];
        var powerOfCurve = points.length - 1;
        shift = shift/100;
        for(var i = 0;points[i];i++){
            var polynom = (factorial(powerOfCurve)/(factorial(i)*factorial(powerOfCurve - i))) *
                Math.pow(shift,i) *
                Math.pow(1-shift,powerOfCurve - i);
            result[0] += points[i][0] * polynom;
            result[1] += points[i][1] * polynom;
        }
        return result;
}

getPointOnCurve(60, [[0,0],[100,0],[100,100]]); // -> [84, 36]

[[0,0],[100,0],[100,100,true],[200,100],[200,0]]

function getCenterToPointDistance (coordinates){
    return Math.sqrt(Math.pow(coordinates[0],2) + Math.pow(coordinates[1],2));
}

function getLengthOfCurve (points, step) {
    step = step || 1;
    var result = 0;
    var lastPoint = points[0];
    for(var sift = 0;sift <= 100;sift += step){
        var coord = getPointOnCurve(sift,points);
        result += getCenterToPointDistance([
            coord[0] - lastPoint[0],
            coord[1] - lastPoint[1]
        ]);
        lastPoint = coord;
    }
    return result;
};

function getMapOfSpline (points, step) {
    var map = [[]];
    var index = 0;
    for(var i = 0;points[i];i++){
        var curvePointsCount = map[index].length;
        map[index][+curvePointsCount] = points[i];
        if(points[i][2] && i != points.length - 1){
            map[index] = getLengthOfCurve(map[index],step);
            index++;
            map[index] = [points[i]];
        }
    }
    map[index] = getLengthOfCurve(map[index],step);
    return map;
};

function getPointOnSpline (shift, points, services) {
    var shiftLength = services.length / 100 * shift;
    if(shift >= 100){
        shiftLength = services.length;
    }
    var counter = 0;
    var lastControlPoint = 0;
    var controlPointsCounter = 0;
    var checkedCurve = [];
    for(; 
        services.map[lastControlPoint] && 
        counter + services.map[lastControlPoint] < shiftLength; 
        lastControlPoint++
    ){
        counter += services.map[lastControlPoint];
    }
    for(
        var pointIndex = 0; 
        points[pointIndex] && controlPointsCounter <= lastControlPoint; 
        pointIndex++
    ){
        if(points[pointIndex][2] === true){
            controlPointsCounter++;
        }
        if(controlPointsCounter >= lastControlPoint){
            checkedCurve.push(points[pointIndex]);
        }
    }
    return getPointOnCurve(
        (shiftLength - counter) / (services.map[lastControlPoint] / 100),
        checkedCurve
    );
};

var points = [[0,0],[100,0],[100,100,true],[200,100],[200,0]];
var services = {};
services.map = getMapOfSpline(points);

services.length= 0;
for(var key in services.map){
    services.length += services.map[key];
}

getPointOnSpline(60, points, services); // -> [136, 95.(9)]

• первые два параметра вполне очевидны — это полуоси ординаты и абсциссы
• третий — это наклон эллипса, заданный в градусах
• четвёртым и пятым задаётся направление отрисовки дуги
• шестой и седьмой — координаты конечной точки

• полуоси эллипса
• углы начала и конца дуги
• наклон эллипса

[
    [x1,y1],
    [x2,y2],
    [x3,y3],
    [radiusX,radiusY,startRadian,endRadian,tilt], // tilt - optional
    [x5,y5],
    ...
    [xN,yN]
]

function getPointOnEllipse (radiusX,radiusY,shift,tilt,centerX,centerY){
        tilt    = tilt || 0;
        tilt    *= -1;
        centerX = centerX || 0;
        centerY = centerY || 0;

        var x1  = radiusX*Math.cos(+shift),
            y1  = radiusY*Math.sin(+shift),
            x2  = x1 * Math.cos(tilt) + y1 * Math.sin(tilt),
            y2  = -x1 * Math.sin(tilt) + y1 * Math.cos(tilt);

        return [x2 + centerX,y2 + centerY];
 }

function getLengthOfEllipticArc (radiusX, radiusY, startRadian, endRadian, step) {
    step = step || 1;
    var length = 0;
    var lastPoint = getPointOnEllipse(radiusX,radiusY,startRadian);
    var radianPercent = (endRadian - startRadian) / 100;
    for(var i = 0;i<=100;i+=step){
        var radian = startRadian + radianPercent * i;
        var point = getPointOnEllipse(radiusX,radiusY,radian);
        length += getCenterToPointDistance([point[0]-lastPoint[0],point[1]-lastPoint[1]]);
        lastPoint = point;
    }
    return length;
};

function getMapOfPath (points, step) {
    var map = [[]];
    var index = 0;
    var lastPoint = [];
    for(var i = 0;points[i];i++){
        var point = points[i];
        if(point.length > 3){
            map[index] = getLengthOfEllipticArc(point[0], point[1], point[2], point[3], step);
            if(!points[i+1]){continue}
            var centerOfArc = getPointOnEllipse(point[0], point[1], point[2] + Math.PI, point[4], lastPoint[0], lastPoint[1]);
            var endOfArc = getPointOnEllipse(point[0], point[1], point[3], point[4], centerOfArc[0], centerOfArc[1]);
            index++;
            map[index] = [endOfArc];
            lastPoint = endOfArc;
            continue;
        }
        map[index].push(point);
        if(point[2] === true || (points[i+1] && points[i+1].length > 3)){
            map[index] = getLengthOfCurve(map[index],step);
            index++;
            map[index] = [point];
        }
        lastPoint = point;
    }
    if(typeof map[index] !== 'number'){map[index] = getLengthOfCurve(map[index],step);}
    return map;
};

function getPointOnPath (shift, points, services) {
    var shiftLength = services.length / 100 * shift;
    if(shift >= 100){
        shiftLength = services.length;
    }
    var counter = 0;
    var lastControlPoint = 0;
    var controlPointsCounter = 0;
    var checkedCurve = [];
    for(; services.map[lastControlPoint] && counter + services.map[lastControlPoint] < shiftLength; lastControlPoint++){
        counter += services.map[lastControlPoint];
    }
    var lastPoint = [];
    for(var pointIndex = 0; points[pointIndex] && controlPointsCounter <= lastControlPoint; pointIndex++){
        var point = points[pointIndex];
        if(point.length > 3){
            var centerOfArc = getPointOnEllipse(point[0], point[1], point[2] + Math.PI, point[4], lastPoint[0], lastPoint[1]);
            if(controlPointsCounter === lastControlPoint){
                var percent = (shiftLength - counter) / (services.map[lastControlPoint] / 100);
                var resultRadian = point[2] + ((point[3] - point[2])/100*percent);
                return getPointOnEllipse(point[0], point[1], resultRadian, point[4], centerOfArc[0], centerOfArc[1]);
            }
            lastPoint = getPointOnEllipse(point[0], point[1], point[3], point[4], centerOfArc[0], centerOfArc[1]);
            controlPointsCounter++;
            if(controlPointsCounter === lastControlPoint){
                checkedCurve.push(lastPoint);
            }
            continue
        }
        if(point[2] === true || (points[pointIndex+1] && points[pointIndex+1].length > 3)){
            controlPointsCounter++;
        }
        if(controlPointsCounter >= lastControlPoint){
            checkedCurve.push(point);
        }
        lastPoint = point;
    }
    return getPointOnCurve(
        (shiftLength - counter) / (services.map[lastControlPoint] / 100),
        checkedCurve
    );
};

var points = [[0,0],[100,0],[100,100],[20,20,0,Math.PI],[200,100],[200,0]];
var services = {};
services.map = getMapOfPath(points);

services.length= 0;
for(var key in services.map){
    services.length += services.map[key];
}

getPointOnPath(60, points, services); // -> [96.495, 98.036]

https://habrahabr.ru/post/332192/

Часть первая — Воинственная

Часть вторая – Размышления.

Часть третья – Подготовительная

Часть четвёртая – Эксперименты.

Часть 5. Трюки разработчика

ListView lvAmounts = (ListView)mView.findViewById(R.id.lv_newAmount_Amount);        insertAmountAdapter insertAmountAdapter = new insertAmountAdapter(getActivity(), amountList);        
lvAmounts.setAdapter(insertAmountAdapter);

public class insertAmountAdapter extends BaseAdapter {

    Context mContext;
    ArrayList amountList;
    LayoutInflater mLayoutInflater;
    EditText etAmount, etTariff;
    TextView tvTariffTitle;


    public insertAmountAdapter(Context mContext, ArrayList amountList) {
        this.mContext = mContext;
        this.amountList = amountList;
        mLayoutInflater = (LayoutInflater)mContext.getSystemService(Context.LAYOUT_INFLATER_SERVICE);
    }

    @Override
    public int getCount() {
        return amountList.size();
    }

    @Override
    public Object getItem(int position) {
        return amountList.get(position);
    }

    @Override
    public long getItemId(int position) {
        return position;
    }

    @Override
    public View getView(int position, View convertView, ViewGroup parent) {
        View view = convertView;
        if(view == null){
            view = mLayoutInflater.inflate(R.layout.item_insertamount, parent, false);

            etTariff = (EditText)view.findViewById(R.id.et_amount_tariffInfo);
            etTariff.addTextChangedListener(new AmountTextWatcher(view, etTariff, amountList));

            etAmount = (EditText)view.findViewById(R.id.et_amount_Amount);
            etAmount.addTextChangedListener(new AmountTextWatcher(view, etAmount, amountList));
        }
        etAmount.setTag(position);
        etAmount.setText(String.valueOf(amountList.get(position).getAmount()));
        etAmount.setFilters(new InputFilter[]{new DigitalFilter(3)});

        tvTariffTitle = (TextView)view.findViewById(R.id.tv_amount_tariffTitle);
        tvTariffTitle.setText(amountList.get(position).getTariffTitle()+", "+amountList.get(position).getUnit());

        etTariff.setTag(position);

        etTariff.setText(amountList.get(position).getTariffValue());
        etTariff.setFilters(new InputFilter[]{new DigitalFilter(2)});
        return view;
    }
}

class AmountTextWatcher implements TextWatcher {

    private View view;
    private EditText editText;
    private ArrayList amountList;

    public AmountTextWatcher(View view, EditText editText, ArrayList amountList) {
        this.view = view;
        this.editText = editText;
        this.amountList = amountList;
    }

    @Override
    public void beforeTextChanged(CharSequence s, int start, int count, int after) {

    }

    @Override
    public void onTextChanged(CharSequence s, int start, int before, int count) {

    }

    @Override
    public void afterTextChanged(Editable s) {
        if(editText.equals(view.findViewById(R.id.et_amount_Amount))){
            amountList.get(Integer.parseInt(editText.getTag().toString())).setAmount(Double.valueOf(s.toString().isEmpty()?"0":s.toString()));
        } else if(editText.equals(view.findViewById(R.id.et_amount_tariffInfo))){
            amountList.get(Integer.parseInt(editText.getTag().toString())).setTariffValue(s.toString().isEmpty()?"0":s.toString());
        }
        return;
    }
}

String instructionHTML = getString(R.string.instructionText);
TextView tvInstruction = (TextView)findViewById(R.id.tv_instruction);
tvInstruction.setText(Html.fromHtml(instructionHTML, htmlImageGetter, null));
Html.ImageGetter htmlImageGetter = new Html.ImageGetter() {
        public Drawable getDrawable(String source) {
            int resId = getResources().getIdentifier(source, "drawable", getPackageName());
            Drawable ret = InstructionActivity.this.getResources().getDrawable(resId);
            ret.setBounds(0, 0, ret.getIntrinsicWidth(), ret.getIntrinsicHeight());
            return ret;
        }
    };

Часть 6. Реклама и все-все-все.

https://habrahabr.ru/post/332190/

Как теперь выстроен процесс передачи данных о чеке

Апгрейд

1. Обновить кассы аппаратно
2. Получить ЭЦП для налоговой, чтобы регистрировать кассу
3. Выбрать оператора фискальных данных.
4. Снять кассу с учёта и поставить её на учёт.

Немного прошлого

Наше время

«В целях установления факта принятия исчерпывающих мер по соблюдению указанных выше требований законодательства Российской Федерации может быть исследован заключенный пользователем договор поставки фискального накопителя на предмет разумного срока до окончания действия блока ЭКЛЗ или до определенного законодательством Российской Федерации о применении контрольно-кассовой техники предельного срока возможности его использования.»

Штрафы

• Старая касса, но чек выбит — 10 тысяч рублей.
• Чек не отправлен покупателю — 10 тысяч рублей.
• Нет кассы, а она должна быть — 30 тысяч рублей.

Резюме

https://habrahabr.ru/post/332188/

Проблемы с версткой

Плохое обращение со шрифтами

1. Важно правильно подобрать сочетающиеся друг с другом шрифты, поэтому лучше не использовать больше двух шрифтов на одной визитке — меньше шанс промахнуться;
2. Эффекты к шрифтам неприменимы (за очень редким исключением);
3. Деформировать (растягивать) шрифт нельзя — буквы должны выглядеть так, как они задуманы.

Проблемы с читаемостью

Неправильное оформление визитки

Как итог:

https://habrahabr.ru/post/332186/

https://habrahabr.ru/post/332010/

pt-archiver --source h=127.0.0.1,D=build4,t=b_iblock_element \
    --optimize s --purge --where 'TAGS LIKE "%САПР%"' \
    --limit 1000 --commit-each --progress 500 --charset "CP1251"

--source — описывает подключение. Хост, база и таблица. При необходимости можно дописать логин и пароль (в примере я использую креды из ~/.my.cnf);
--optimize — оптимизирует исходную таблицу, либо ту, в которую переносятся данные. Поскольку в данном случае я не переношу, а удаляю данные, оптимизирую именно исходную (s) таблицу. В принципе, делать это необязательно;
--purge — изначально утилита предназначена для переноса данных в другую таблицу (или в файл). Но можно и просто удалять строки;
--where — обычное SQL-условие, по которому будут отбираться строки для удаления;
--limit 1000 — обрабатывать за раз 1000 строк (можно больше, зависит от производительности вашего сервера);
--commit-each — делать коммит после количества строк, указанного в --limit;
--progress 500 — выводить прогресс каждые 500 строк (опять же, имеет смысл подобрать этот параметр индивидуально);
--charset — кодировка. Если будет использоваться только ASCII-кодировка, проще указать --no-check-charset. Отдельно упомяну, что необходимо чтобы локаль консоли совпадала с указанным charset'ом, иначе ошибка не выведется, но и строки обработаны не будут.

https://habrahabr.ru/post/332182/

emails = pandas.read_csv("emails.csv")
emails.sample(NUM_WINNERS, random_state=SEED)

def pi_digits():
    """generator for digits of pi"""
    q, r, t, k, n, l = 1, 0, 1, 1, 3, 3
    while True:
        if 4 * q + r - t < n * t:
            yield n
            q, r, t, k, n, l = (10*q, 10*(r-n*t), t, k, (10*(3*q+r))/t-10*n, l)
        else:
            q, r, t, k, n, l = (q*k, (2*q+r)*l, t*l, k+1, (q*(7*k+2)+r*l)/(t*l), l+2)

np.random.seed(SEED)
emails["num"] = np.random.randint(10 ** (NUM_DIGITS - 1), 10 ** NUM_DIGITS - 1, size=len(emails))

class _Num(object):
    def __init__(self, n):
        self.n = n
        self.s = str(n)
        self.p = 0 # pointer in number string representation
        self.l = len(self.s)
 
    def move_p(self, d):
        if d == self.s[self.p]:
            self.p += 1
        else:
            self.p = 0
 
    
def find_nums_in_pi(nums, first_n=None):
    MAX_POS = 10 ** 6
    pi_gen = pi_digits()
    first_n = first_n if first_n is not None else len(nums)
    _nums = [_Num(n) for n in nums]
    nums_pos = {}
    for pos in itertools.count():
        if pos % 1000 == 0:
            print "Current Pi position: %s. Nums found: %s" % (pos, len(nums_pos))
        if pos == MAX_POS:
            raise RuntimeError("Circuit breaker!")
        d = str(pi_gen.next())
        for cur_num in _nums:
            cur_num.move_p(d)
            # whole number found
            if cur_num.p == cur_num.l:
                nums_pos[cur_num.n] = pos - cur_num.l + 1
                # found enough numbers
                if len(nums_pos) == first_n:
                    return nums_pos
                # create new search array without found number
                _nums = [num for num in _nums if num.n != cur_num.n]
                break

https://habrahabr.ru/post/332180/

Прямо сейчас заниматься хакерством можно почти с нулевым риском

Секрет хакерства

Люди, взламывающие хакеров

Брайан Кребс

Брюс Шнайер

Доктор Дороти Деннинг

Кевин Митник

Майкл Ховард

Джоанна Рутковская

Ланс Спитцнер

Кормак Херли

Майкл Дубинский

https://habrahabr.ru/post/332178/

1. Первое место: 3000 USD.
2. Второе место: 2000 USD.
3. Третье место: 1000 USD.
4. Если Вы отправите кому-то ссылку на этот конкурс, поставив наш адрес в CC, и этот человек займёт призовое место, Вы получите половину суммы приза (разумеется, не в ущерб награде победителя). За одного победителя такую награду может получить только один человек — тот, кто отправил ссылку первым.

Правила

• Отправляйте решения с помощью этой формы. По электронной почте решения не принимаются.
• Решения принимаются до 31 июля 2017, 23:59:59 UTC.
• Предварительные результаты будут опубликованы 7 августа 2017, а окончательное объявление победителей — 15 августа 2017.
• Можно отправлять решения многократно, но от каждого участника будет рассмотрено только самое последнее решение, отправленное до окончания срока приёма работ.
• Для тестирования мы будем использовать Node.js v8.1.3 (текущая версия на момент публикации). Можно использовать любые возможности языка, поддерживаемые интерпретатором в стандартной конфигурации.
• Весь код решения должен находиться в единственном файла на JS.
• Решение должно быть на JS. Если Вы предпочитаете CoffeeScript или подобные языки, необходимо оттранслировать решение в JS перед отправкой.
• Если Ваш JS-файл — продукт генерации, минификации и/или компиляции с других языков вроде CoffeeScript, пожалуйста, приложите архив с исходниками, а также, желательно, описанием подхода. Содержимое этого архива будет опубликовано, но мы не будем его тестировать.
• Нельзя загружать никаких модулей, даже тех, что входят в стандартный комплект Node.js.
• Нам нужно знать Ваше полное имя, но если Вы хотите, мы опубликуем вместо него псевдоним. Мы сохраним Ваш адрес электронной почты в тайне.
• Задавайте вопросы по условию задачи в комментариях к этой публикации или по электронной почте.

JSDash

Игра

Решения

play(screen)

Тестирование

jsdash.js --ai=submission.js --log=log.json

jsdash.js --replay=log.json

Отправка решений

https://habrahabr.ru/post/332176/

  
  


tab

Chrome

IE11

Чтобы не ходить в настройки и не разрешать выполнение скриптов на локальных сайтах, воспользуемся комбинацией команд http-server и lt -p 8080:



* Edge работает аналогично

Safari

Firefox

, где e10s — это Electrolysis

int Document::requestAnimationFrame(Ref&& callback)
{
    if (!m_scriptedAnimationController) {
#if USE(REQUEST_ANIMATION_FRAME_DISPLAY_MONITOR)
        m_scriptedAnimationController = ScriptedAnimationController::create(*this, page() ? page()->chrome().displayID() : 0);
#else
        m_scriptedAnimationController = ScriptedAnimationController::create(*this, 0);
#endif
        // It's possible that the Page may have suspended scripted animations before
        // we were created. We need to make sure that we don't start up the animation
        // controller on a background tab, for example.
        if (!page() || page()->scriptedAnimationsSuspended())
            m_scriptedAnimationController->suspend();

        if (page() && page()->isLowPowerModeEnabled())
            m_scriptedAnimationController->addThrottlingReason(ScriptedAnimationController::ThrottlingReason::LowPowerMode);

        if (!topOrigin().canAccess(securityOrigin()) && !hasHadUserInteraction())
            m_scriptedAnimationController->addThrottlingReason(ScriptedAnimationController::ThrottlingReason::NonInteractedCrossOriginFrame);
    }

    return m_scriptedAnimationController->registerCallback(WTFMove(callback));
}

    requestAnimationFrame(function handler() {
      document.title += 'R'
      requestAnimationFrame(handler);
    });

Результат

1. // TODO: Should tick animation only when document is visible — что означает, что когда-нибудь поведение будет соответствовать поведению остальных браузеров, поэтому на том, что происходит сейчас, можно особо не зацикливаться.
2. Существует is_faking_animation_frames где оказывается, что ребята из Gecko, в случае, если у вас много фейковых анимаций, выбрасывают вас на FakeRequestAnimationFrameCallback.

• Background tabs & offscreen frames — Chrome team future plans
• requestAnimationFrame Scheduling For Nerds
• VSync if Firefox
• How to dramatically improve Chrome's requestAnimationFrame VSYNC accuracy in Windows

https://habrahabr.ru/post/332174/

Выбор технологий

Telnet

telnet towel.blinkenlights.nl

stty -icanon && nc  

Go

Game design

Игровой процесс

Система повреждений

if player.Car.Borders.intersects(&opponent.Car.Borders) {
	switch player.Car.Borders.nextTo(&opponent.Car.Borders, 0) {
	case LEFT:
		// Игрок слева
		switch player.Car.Direction {
		...
		case RIGHT:
			// Удар сзади
			player.Health -= DAMAGE_BACK * (maxSpeed - player.Car.Speed)
			...
	case RIGHT:
		// Игрок справа
		switch player.Car.Direction {
		case RIGHT:
			// Удар спереди
			player.Health -= DAMAGE_FRONT * player.Car.Speed
			...
	...
}

Разработка

Telnet

telnetOptions := []byte{
	255, 253, 34, // IAC DO LINEMODE
	255, 250, 34, 1, 0, 255, 240, // IAC SB LINEMODE MODE 0 IAC SE
	255, 251, 1, // IAC WILL ECHO
}
_, err := conn.Write(telnetOptions)

Раунды

type Round struct {
	Players         []Player
	FrameBuffer     Symbols
	...
}

Каналы

func (p *Player) checkBestRoundForPlayer(compileRoundChannel chan Round) {
	foundRoundForUser := false
	for i := 0; i < len(compileRoundChannel); i++ {
		select {
		case r := <-compileRoundChannel:
			// Есть ожидающий раунд
			if len(r.Players) < maxPlayersPerRound && !p.searchDuplicateName(&r) {
				...
				r.Players = append(r.Players, *p)
				compileRoundChannel <- r
				foundRoundForUser = true
				break
			} else {
				compileRoundChannel <- r
			}
		default:
		}
	}
	if !foundRoundForUser {
		// Создаём новый раунд
		...
		r := Round{...}
		r.Players = append(r.Players, *p)
		compileRoundChannel <- r
	}
}

FrameBuffer

type Symbol struct {
	Color int
	Char  []byte
}
type Symbols []Symbol

• Копируем подготовленную заранее карту
• Добавляем данные игрока (здоровье, количество бомб...)
• Добавляем бонус и бомбы на карту (если есть)
• Добавляем машины

Боты

• Преследовать игроков (не ботов)
• Если рядом есть бонус — собрать
• Если на пути препятствие (другой игрок) — объехать

Визуализация

Как поиграть?

telnet protury.info 4242

Итог

• Goroutine — отличный инструмент XXI века. Реализация параллельного исполнения функций не несёт практически никаких накладных расходов для разработчика
• Визуализация Goroutine — красивая абстракция. К сожалению, не очень хорошо работает на приложениях, чуть сложнее «Hello, World!» и завязана на старой версии Go 1.5 в контейнере
• Даже древние протоколы, такие как Telnet, могут удивлять своей продуманностью в 2017 году
• Go — прекрасно подходит не только для веб-приложений. Он ещё более хорош для написания backend-сервисов
• Даже в текстовом режиме терминала можно отображать красочные объекты — нужно лишь использовать символы из расширенного ASCII или Emoji

Бонус

telnet protury.info 4243

Спасибо

https://habrahabr.ru/post/330512/

https://habrahabr.ru/post/330506/

Мы писали в блоге о технологиях в привычном айтишному миру понимании — о наших лучших практиках в разработке информационных систем. Сегодняшний пост посвящен технологиям другого толка — управленческим: мы поговорим об унификации аналитической деятельности в CUSTIS. Эта история о том, как изменить огромную и стабильную систему сложившихся с годами практик и направить ее навстречу проектам развития.

Когда наша компания занималась в основном заказной разработкой и создавала уникальные продукты, над проектом для каждого клиента трудилась одна команда на всем жизненном цикле системы.

Такой подход хорошо отвечал потребностям заказчиков, поскольку аналитик:

• занимался только одним проектом и глубоко разбирался в деятельности конкретного заказчика;
• был прекрасно сработан с архитекторами, разработчиками и тестировщиками в своей проектной команде;
• применял для написания постановок привычные инструменты, например Wiki и Bugzilla.

Эта модель стала неэффективной, когда мы начали переходить к созданию тиражируемых решений и работать одновременно над большим количеством проектов. Нам потребовалось быстро ротировать аналитиков между проектами и повторно использовать их артефакты, а из-за того, что один описывал действия пользователя в системе Visio, а другой — в Archi, возникали дублирование описаний и неразбериха с нотациями.

Мы поставили перед собой задачу выбрать и внедрить для всех проектных команд одну методику или набор методик, которые будут отвечать новым бизнес-задачам. В посте мы расскажем, как разрабатываем эту методическую основу.

Начинаем работу

Мы начали с того, что выделили три трека, в рамках которых будем проводить унификацию:

1. Методический трек. Создаем методическую основу для проведения работ на разных проектах. По итогам испытаний и внедрения вносим в результаты этого трека корректировки.
2. Испытания. Проверяем разработанные методы на реальных проектах. Собрав качественные и количественные показатели, возвращаемся к методическому треку и дорабатываем методики.
3. Внедрение. Принимаем успешно апробированные наработки и делаем их обязательными для всех аналитиков. Это этап, когда методика становится официальной практикой для всей компании.

Затем мы проанализировали аналитическую деятельность в разных проектных командах и определили, что необходимо унифицировать:

• типы проектов в компании;
• концепты аналитической деятельности (метауровень);
• инструменты работы аналитика;
• роли, которые участвуют в аналитической деятельности;
• описание работы людей, выступающих в этих ролях:
  
  • входной артефакт;
  • выходной артефакт;
  • технологию создания выходного артефакта;
• шаблоны артефактов аналитической деятельности;
• перечень обязательных и необязательных аналитических артефактов для различных типов проектов;
• методику обучения аналитиков.

В следующих разделах подробнее расскажем о результатах методического трека работ.

Определяем типы проектов

Мы выделили четыре типа проектов в компании, на которых нам важно уметь перемещать аналитиков:

1. Доработка существующих систем  — корректировки, выделяемые в отдельные проекты. Трудозатраты: от 200 до 1500 человеко-часов. Длительность: до полугода. К таким проектам относится, например, разработка нескольких визуальных форм с отчетами, алгоритмов их заполнения, нескольких таблиц базы данных, фильтрации, выгрузки данных из отчетов в xlsx, pdf.
2. Новый проект (автоматизация «с нуля») — разработка автоматизированных систем, когда у клиента нет «предыдущего» решения либо нужно полностью заменить существующую систему. Трудозатраты: от 1500 до 10 000 человеко-часов. Длительность: от полугода до года.
3. Анализ request for information (RFI), предпроект, ведение бизнес-тем — бизнес-анализ процессов заказчиков. Реализация таких проектов может привести к запуску проектов автоматизации с нуля либо доработок существующих систем.
4. Реинжиниринг существующих систем — полная переработка имеющейся системы.

Далее мы приступили к выделению тех понятий, в которых аналитики будут описывать создаваемые системы.

Описываем концепты аналитической деятельности

На UML-диаграмме (см. ниже) показаны концепты аналитической деятельности, которые мы выделили. Используя их, аналитики создают описание IT-системы и общаются.

Схема состоит из следующих элементов:

• голубые прямоугольники — концепты;
• пунктирные прямоугольники — типы диаграмм;
• прямоугольники со сплошным контуром — папки в шаблоне проекта в Enterprise Architect, где содержатся диаграммы.

Подробно остановимся на основных концептах.

1. Процесс — бизнес-процесс заказчика. Он может включать как автоматизируемые, так и не автоматизируемые функции в рамках разрабатываемой системы.
   
   • Описывается в нотации BPMN. Объекты на такой диаграмме могут быть типа Business Process — для диаграммы верхнего уровня и Activity — для диаграммы, описывающей процесс до элементарных операций.
   • Описание должно быть шире, чем автоматизируемый процесс, чтобы при чтении диаграммы был понятен контекст.
2. Роль — роль пользователя в системе или организационная единица.
   
   • Роль, исполняющая процесс или операцию, визуализируется на BPMN-диаграмме с помощью Pool и Lane, а на диаграмме Use Case — с помощью Actor.
3. Операции — операции, выполняемые в рамках локального процесса (локальные операции), или используемые в других процессах (глобальные).
   
   • Создаются на BPMN-диаграммах элементом Activity.
4. Автоматизируемая операция — элементарная операция, неделимая в рамках разрабатываемой системы.
   
   • На BPMN-диаграммах обозначается элементом типа Activity. Для него нужно устанавливать тип выполнения операции Manual, Script, User. Manual означает, что перация выполняется пользователем в нформационной системе, Script — операция выполняется внутри системы, User — пользователи выполняют действия вручную. При описании бизнес-процессов для функций первых двух типов необходимо создавать требования для их выполнения.
5. Информационный ландшафт — все системы и подсистемы, которые задействованы в рамках бизнес-процесса, и передаваемые между ними данные.
   
   • При описании используется диаграмма потоков данных.
6. Объект данных — класс объектов реального мира.
   
   • Создается на диаграммах классов в нотации UML.
7. Автоматизируемая задача — задача, сформулированная заказчиком либо аналитиком.
   
   • Отображается элементом Feature. Он присутствует на BPMN- и Use Case-диаграммах. На BPMN-диаграммах он связывается с операциями, на Use Case —с элементами типа Use Case. Таким образом получается связь между бизнес-моделью и автоматизируемыми задачами.
8. Функция — описание поведения системы, когда она взаимодействует с кем-то или чем-то. Описание может совпадать с тем, как сформулирована автоматизируемая задача, или обобщать несколько задач.
   
   • Отображается на Use Case-диаграммах элементами типа Use Case. Они состоят из шагов — атомарных неделимых действий. К функциям привязываются элементы типа Requirement.
9. Требование — условие, которое должно быть удовлетворено.
   
   • Отображается элементом Requirement. Может присутствовать на диаграммах трех типов: BPMN, Use Case, диаграммах требований.
   • На диаграмме требований можно создавать иерархию требований, задавать в объектах название и описание. Для приоритизации требований устанавливается модальность: может, должен, обязан.
10. Таблица — таблица базы данных.
    
    • На ER-диаграммах отображаются не только таблицы, но и  связи между ними. Несколько таблиц могут быть связаны с несколькими классами реализации.
11. Класс — классы объектов реализации, которые создает разработчик при проектировании.
    
    • Классы реализации отображаются на диаграмме классов в нотации UML.
12. GUI — описание пользовательского интерфейса.
    
    • Создается на диаграмме типа Dialog Wireframe Diagram. Обязательные элементы диаграммы: Use Case и макет экранной формы, факультативные: компонент, класс, таблица.
13. Компонент — это часть системы, выполняющая какую-то функцию.
    
    • Компонентную диаграмму создают на этапе проектирования системы архитекторы или разработчики, чтобы отразить ее состав.

Чтобы использовать на практике концепты, нужно выбрать единый для всех инструмент моделирования. О нем — в следующем разделе.

Выбираем аналитические инструменты

О достоинствах и недостатках инструментов, обеспечивающих аналитическую деятельность, можно спорить бесконечно. Например, кому-то нравится развивать мелкую моторику на примере вот таких решений для моделирования бизнес-процессов.

Наша компания много лет использовала гибкие методики разработки DDD (Domain Driven Design) [7] и инструменты Wiki [6]. Мы опирались на этот опыт и искали новые рыночные методики и инструменты аналитической деятельности.

Мы выписали возможные кейсы использования инструмента, опробовали их на нескольких проектах [9], пообщались с коллегами из других компаний и в итоге остановили выбор на Enterprise Architect.

Для нас были критичными такие параметры, как:

• поддержка нотации BPMN и UML, ArchiMate 3.0;
• ведение версионности проектов и диаграмм;
• функции экспорта и импорта моделей;
• выгрузки документации на основе диаграмм без привлечения разработчиков для создания шаблонов выгрузок документов;
• возможность коллективно работать с диаграммами;
• низкая стоимость и гибкая лицензионная политика;
• наличие действующего сообщества пользователей и разработчиков.

То, что мы предпочли этот инструмент, совсем не значит, что он подойдет и вам. При выборе своего инструмента постарайтесь собрать все ограничения и требования к нему, рассмотреть как можно больше сценариев того, как его используют ваши коллеги, и определить, насколько хорошо аналитики, разработчики, тестировщики и инженеры знают стандарты и нотации. Тогда в краткосрочной перспективе вам не придется переходить на новый инструмент.

Чтобы аналитик каждый раз не перечислял артефакты, которые нужно создать, мы разработали шаблон проекта в Enterprise Architect. Следующий раздел про него.

Разрабатываем шаблон проекта в Enterprise Architect

Когда мы создавали шаблон проекта, мы руководствовались потребностями разработчиков, тестировщиков, инженеров и заказчиков, а также распространенными в IT-отрасли стандартами и нотациями.

Существует несколько вариантов описаний требований. Узнать о них подробнее вы можете из материалов, указанных в списке литературы в конце статьи [1–4]. Мы постарались взять только варианты, необходимые для решения наших задач, и оставили те артефакты, которые используют в работе два и более человек в проекте с учетом жизненного цикла разработки системы.

В шаблоне проекта мы зафиксировали структуру папок и диаграмм в них, а также технологию наполнения диаграмм для различных видов проектов. Еще мы приводили не только перечень нотаций, но и их необходимые модификации, например, для выгрузки документации по ГОСТ, маппинга объектов одного уровня описания с другим.

Набор артефактов в шаблоне меняется в зависимости от типа проекта.

Желающие могут пройти по ссылкам ниже и посмотреть, что это за артефакты. В описании папок и диаграмм есть пояснения.

1. Доработка существующих систем.
2. Новый проект (автоматизация «с нуля»).
3. Анализ request for information (RFI), предпроект, ведение бизнес-тем.
4. Реинжиниринг существующих систем.

Заключение

Еще раз напомню, для чего все мы здесь сегодня собрались.

Представленный методический трек — часть большой работы по унификации аналитической деятельности в компании CUSTIS. На момент написания статьи мы уже испытали методику на некоторых типах проектов.

На проектах типа RFI мы увидели несомненную пользу данной методики: она позволила повторно использовать функциональную и компонентную декомпозицию работ, а также методику оценки трудозатрат.

Впервые работая по предложенной схеме, мы создавали функции, компоненты системы и другие необходимые элементы и оценивали трудозатраты. При получении аналогичных RFI мы копировали уже созданные диаграммы и при необходимости делали небольшие корректировки, например изменяли состав функций и (или) компонент. Таким образом, нам удалось повторно использовать созданные артефакты и минимизировать время на оценку трудозатрат по аналогичным RFI.

На проектах по доработке существующих и разработке новых систем время создания аналитических артефактов «по-новому» оказалось меньше времени их разработки «по-старому» на 25–40%.

Мы сравнивали время, затраченное на разработку артефакта в новой методике, и экспертную оценку временных затрат каждого из работающих в проекте аналитиков на разработку артефакта «по-старому». Аналитик, впервые работавший по новым правилам, тратил больше времени на освоение методики, лучших практик и примеров, консультировался с более опытными коллегами, но после двух-трех итераций время на разработку диаграмм существенно уменьшалось.

Это продемонстрировано на диаграмме:

Мы не ставили перед собой цель уменьшить трудозатраты на разработку артефактов — нам было важно, чтобы это время не увеличилось критично и методика прижилась в компании. Тем отраднее было видеть, что затраты ресурсов стали снижаться, а люди разделяли ценности наших изменений.

Актуальной для нас остается задача обеспечить перемещение аналитиков внутри компании по подразделениям, которые работают с заказчиками из разных предметных областей. Мы поделимся успехами этой части, когда наберем достаточно наглядных примеров, на основе которых с уверенностью можно сказать, что трек внедрения начал приносить первые существенные результаты.

В следующих статьях мы также расскажем о том, как проверяем методологию: на какие параметры смотрим, чтобы понять, подходит ли выбранный метод к нашей работе — и поделимся опытом внедрения работы «по-новому» в действующих проектах.

Полезная литература

1. К. Вигерс. Разработка требований к программному обеспечению. 2004.
2. А. Левенчук. Системноинженерное мышление.
3. Jacobson, I. Spence, K. Bittner. Use-Case 2.0: The Guide to Succeeding with Use Cases
4. An Introduction to the ArchiMate 2 Modeling Language
5. ArchiMate 3.0 Specification
6. М. Цепков. Модель системы — архитектура для Agile-разработки (презентация с выступления на Agile Days, 4–5 марта 2011).
7. М. Цепков. Domain Driven Design: модель вместо требования (презентация с выступления на ЛАФ, 25–26 июня 2011).
8. М. Цепков. Как выбрать для проекта практики проектирования и работы с требованиями (презентация с выступления на Analyst Days, 21–22 апреля 2017).
9. П. Музыка. Практика применения Enterprise Architect и T4-шаблонов для разработки системы на Microsoft SQL Server (презентация с выступления на Desktop UI & Business Applications, 11 апреля 2015).

https://habrahabr.ru/post/332018/

• простота в развертывании и настройке для нужд сервиса VPS;
• готовность к использованию и достаточно широкая база пользователей;
• простота в диагностике ошибок;
• удобный пользовательский интерфейс;
• API для управления виртуальными машинами.

Доступность

Виртуальный маршрутизатор

Сценарий задания правил iptables, ebtables на хосте виртуализации

Несколько первичных хранилищ NFS для одного кластера

Интерфейс самообслуживания пользователя ACS

Вместо заключения

https://habrahabr.ru/post/332168/

Продолжая серию дайджестов «Стартап дня», сегодня я представляю самые интересные проекты за июнь. Если хотите ознакомиться с остальными, то прошу в мой блог. Записи доступны в Facebook, ICQ и Телеграм.

Yext

Yext помогает бизнесу быть лучше представленным на картах. В идеале, как только у банка открывается новое отделение, оно должно сразу появиться в десятках мест: от очевидных карт Google и Яндекса (Google и Bing в американских реалиях) до местного аналога banki.ru и, например, сайта Western Union. В реальности десятками мест никто, конечно, не занимается: везде, кроме самых крупных и раскрученных источников, надолго остается неправильная или неполная информация; клиенты идут не туда, деньги теряются.

И тут на сцену выходит Yext. За суммы, начинающиеся с $4 в неделю, он дает бизнесам единую точку управления своими локациями на всех релевантных площадках: один клик — и данные обновились везде. В одиночку такой сервис не работает: жадный покупатель мог бы включать его только ради каких-то изменений, но для большинства клиентов это событие довольно редкое, можно заметно сэкономить, поэтому стартап «заодно» предлагает и постоянные услуги. Для популярных сетей это мониторинг отзывов на всех тех сайтах, данные на которых Yext приводит в порядок, а для маленьких, кому это неактуально, есть функция геостраниц. Красивые, правильно сверстанные и SEO-оптимизированные страницы про каждую локацию один раз встраиваются в основной сайт и дальше управляются из общего дашборда вместе с внешними ресурсами.

Сейчас у стартапа больше 40 тысяч клиентов, выручка за сотню миллионов долларов в год, пару месяцев назад прошло IPO, капитализация компании больше миллиарда. В Россию не выйдет, наверное, никогда, вполне можно делать своё.

August Home

Американский August Home делает для обычных домов и квартир электронные дверные замки, управляемые через приложение на смартфоне, и эта идея куда глубже, чем может показаться: всё, что связано с доставкой, сейчас в тренде, а проект во многом именно про неё. Основной продвигаемый бонус — отсутствие необходимости встречать курьеров и других людей, которым на самом деле нужно место, а не человек. Дверь можно открыть откуда угодно, где есть интернет, не надо никого ждать. Курьер может приехать, когда ему удобно, а вы быть там, где удобно вам. Восьмичасовой интервал доставки становится вполне комфортным, логистические услуги дешевеют, ВВП растет, благолепие… У жителя России может возникнуть вопрос про воровство, но в Штатах ответ настолько очевиден, что даже в промоматериалах не упоминается: с одной стороны, и воровать в современных квартирах особенно нечего, а с другой, курьера при входе фотографируют, откуда он взялся — более-менее известно. Возможное преступление просто идеально для раскрытия, люди не до такой степени идиоты.

Остальные возможные сценарии кажутся куда более надуманными. Ну да, можно отобрать ключ у бывшего парня одним нажатием кнопки и быть уверенным, что он дубликат не сделал. Но заботиться о такой ситуации заранее и ставить для этого специальный замок?.. Разве что в квартирах под посуточную аренду это актуально. Или, например, возможность для уборщицы заходить в дом только по средам с 10 до 12 — а зачем? Потому что можем? А уж логирование входов и push-уведомления о них кажутся вообще вредными для нормальной семейной жизни.

Что касается риска разрядившегося телефона, то он решается максимально просто: замок можно открыть не только из приложения, но и введя код. Потерянный же телефон кажется менее опасным, чем потерянный железный ключ: перепрограммировать коды существенно проще и дешевле, чем сменить замок. Но хакерам в будущем в любом случае будет раздолье, да.

Если говорить о текущих масштабах, то проданы сотни тысяч устройств, поднято порядка пятидесяти миллионов долларов инвестиций, за четыре года жизни железячного стартапа — довольно много.

Grammarly

Насколько я могу судить, я пишу по-русски достаточно грамотно; постоянным читателям блога, конечно, виднее, но самооценка у меня такая. И такая же самооценка была про английский язык: я понимал, что мои тексты очень упрощенные, без сложных конструкций и ярких идиом, но думал, что явных ошибок в них мало, тем более что и браузер с Word’ом подчеркивали что-то редко. Ха! Стоило установить себе плагин от Grammarly, и иллюзии развеялись как дым.

Это всего лишь проверка грамотности текста, но проверка хорошая. Grammarly не проверяет слова по словарю, а действительно знает английскую (только английскую) орфографию с пунктуацией, видит пропущенные запятые, несогласование времен, неправильные артикли, понимает, что player должен обязательно has, а не have, и замечает ещё огромную кучу разных проблем. Меня правит практически в каждом абзаце, при том, что, повторюсь, стандартные средства не подчеркивают почти ничего. Важно, что ошибки не просто отмечаются, но и полноценно разъясняются. В общем, действительно полезное применение технологий AI.

Технически в Grammarly есть три варианта реализации: плагин к Chrome/Safari/Firefox/IE, плагин к MS Office и самостоятельный текстовый редактор. Работоспособным кажется только вариант в браузере — менять привычный редактор, даже ради проверки английского, это чересчур, а в Word’е он почему-то ломает возможность Undo через Ctrl-Z (как?? кто так программирует??), что, конечно, полностью убивает возможность использования.

Модель монетизации, естественно, основана на подписке: бесплатно можно видеть только явные ошибки, а премиум-пользователи за примерно 20 долларов в месяц получают ещё и стилистические рекомендации в духе «a lot of тут не подходит, используйте лучше much». Платит за такое, скорее всего, очень маленький процент аудитории, но при текущих 7 миллионах DAU это должно быть несколько сот тысяч человек (то есть десятки миллионов годовой выручки).

Компания говорит, что она прибыльная, да и инвестиций до этого года не было, убытки покрывать было нечем, куда бы они делись без прибыльности. Но сейчас решили расти быстрее, взяли аж 110 миллионов долларов в недавнем раунде. Успеха им и спасибо за отличный продукт.

LoveCrafts

Самый «простой» способ сделать успешный интернет-магазин — продавать такую категорию товаров, на которую есть большой спрос и большой объём продаж в оффлайне, но она при этом плохо представлена в уже существующих онлайн-магазинах. Требуются-то самые пустяки: нужно только найти такую категорию.

Английский стартап LoveCrafts продает через интернет товары для вязания и шитья по самой обычной бизнес-модели, со своими складами, самой обыкновенной логистикой и остальными особенностями типового интернет-магазина. Фокус на единственной узкой категории позволил им добиться совершенно бесконечного выбора, запрограммировать удобные фильтры, ну и, конечно, вести более прицельный маркетинг. Показательно, что даже для вязания и шитья они сделали два отдельных сайта, хоть и связанных множеством перекрестных ссылок, но всё-таки разных. Целевой аудитории всё это, естественно, нравится, покупают на LoveCraft много.

Однако даже позиция специализированного магазина не гарантированно устойчива: и наглый конкурент может сделать клон, и у Амазона рано или поздно дойдут руки и до этой ниши, и тогда остаётся только ценовая конкуренция — а кому она нужна. Поэтому, чтобы закрепить свое текущее преимущество, LoveCraft хочет быть не только магазином, но и сообществом, и маркетплейсом. Раз уж он продает товары творческим людям, то пусть они и делятся своим творчеством через его площадку — это же должно быть удобно?

Ради денег авторы могут загружать на сайт придуманные ими схемы и дизайны и продавать их менее креативным пользователям. Если же хочется славы и уважения, а не дохода, то для этого служит раздел «сообщество»: там можно выставлять свои работы и лайкать чужие.

Дополнительный функционал не приносит LoveCraft денег напрямую, они даже комиссию за продажу схем не берут, но повышает лояльность пользователей, да и журналистам нравится. Впрочем, если сообщество в самом деле активно заведется (пока нет), там можно много разной монетизации придумать.

Английский рынок стартап занял практически без инвестиций, ради американского поднял порядка 30 миллионов долларов и сейчас в США примерно половина его бизнеса. В апреле был очередной раунд в 33 миллиона — хотят организовывать новые категории и выходить в новые страны.

Oberlo

Идея этого стартапа — автоматизация прямой перепродажи с AliExpress. Интернет-бизнесмен со своим аккаунтом на Shopify подключается к Oberlo, выбирает в веб-интерфейсе те товары с AliExpress, которые нужно показывать на новой площадке, и вуаля, магазин готов. Осталось только описания на нужном языке поправить и правило для новых цен установить, +20 или +50 процентов к оригинальным, например. Всё равно ведь дешево останется.

Когда конечный покупатель закажет что-то на этой витрине, Oberlo автоматически создаст и оплатит заказ на AliExpress сразу с финальным адресом. Если что-то изменится на странице товара на Ali, цена увеличится или товар вообще пропадет, то Oberlo поправит и витрину. Владельцу магазина остается только привлекать клиентов и разбираться с претензиями: диспуты, увы, пока автоматически не проксируются.

Кроме чистых арбитражников с подходом «написал красивые описания, поставил наценку в 100 %, закупил рекламу в Таргете, профит» такая модель вполне логично может использоваться на тематических сайтах: почему бы и не продавать своей аудитории релеватную подборку товаров. Наверное, при разумной разнице в цене люди даже не слишком возмущены будут, если всю подноготную узнают. В конце концов, за них выбор сделали, это тоже чего-то стоит.

В дополнение к очевидной SaaS-подписке и потенциальному использованию маркетингового бюджета AliExpress, Oberlo ещё и берет комиссию за часть товаров. Идея состоит в том, что кроме обычных магазинов с Ali они в том же режиме предлагают перепродавать товары неких «проверенных» поставщиков, работающих напрямую с Oberlo. При настройке экспорта эта часть ассортимента всегда подсовывается повыше, и, конечно, регулярно попадает в финальные витрины. Не знаю, насколько это действительно прямые договоры: было бы очень красиво и вполне соответствовало духу проекта, если «проверенными» назывались бы просто обычные товары с Ali с измененными описаниями и увеличенной ценой.

Придумали эту замечательную модель совсем недалеко от России, в Литве. Стартап недавно куплен Shopify за 15 миллионов долларов.

https://habrahabr.ru/post/332022/

Релизы

Статьи

Интересные проекты

https://habrahabr.ru/post/332114/

Формализуем задачу

• на вход поступает текст произвольной длины и содержания;
• текст написан человеком, поэтому может содержать опечатки, ошибки, сокращения и вообще быть малопонятным;
• этот текст нужно как-то проанализировать и классифицировать его по нескольким несвязанным между собой характеристикам. В нашем случае нужно было определить суть обращения: сообщение об ошибке, запрос новой функциональности или нужна консультация, а также определить функциональный модуль: расчет з/п, бухгалтерия, управление складом и т.д.;
• может быть присвоено только одно значение для каждой характеристики;
• набор возможных значений для каждой характеристики заранее известен;
• имеется несколько тысяч уже классифицированных обращений.

Выбор инструментов

Чуть-чуть теории

Переходим к практике

class Unigram implements NGramStrategy {
  @Override
  public Set getNGram(String text) {
    if (text == null) {
      text = "";
    }

    // get all words and digits
    String[] words = text.toLowerCase().split("[ \\pP\n\t\r$+<>№=]");

    Set uniqueValues = new LinkedHashSet<>(Arrays.asList(words));
    uniqueValues.removeIf(s -> s.equals(""));

    return uniqueValues;
  }
}

1. Убрал все небуквенные символы (числа, знаки препинания, арифметические операции и т.д.), так как никакой смысловой нагрузки они, как правило, не несут.
2. Прогнал слова через процедуру стемминга (использовал Стеммер Портера для русского языка). Кстати, полезным побочным эффектом этой процедуры является «унисексация» текстов, то есть «сделал» и «сделала» будут преобразованы в «сдела».
3. Сначала я хотел определять и исправлять опечатки и грамматические ошибки. Начитался про Алгоритм Оливера (функция similar_text в PHP) и Расстояние Левенштейна. Но задача решилась гораздо проще, хоть и с погрешностью: я решил, что если элемент N-граммы встречается меньше, чем в 4 текстах из обучающей выборки, то мы этот элемент в словарь не включаем как бесполезный в будущем. Таким образом я избавился от большинства опечаток, слов с грамматическими ошибками, «слепленныхСлов» и просто очень редких слов. Но надо понимать, что если в будущих текстах будут часто встречаться опечатки и грамматические ошибки, точность классификации таких текстов будет ниже и тогда все-таки придется реализовывать механизм исправления опечаток и грамматических ошибок. Важно: такой «финт» с выкидыванием редко-встречающихся слов допустим при большом объеме данных для обучения и построения словаря.

public class FilteredUnigram implements NGramStrategy {
  @Override
  public Set getNGram(String text) {
    // get all significant words
    String[] words = clean(text).split("[ \n\t\r$+<>№=]");

    // remove endings of words
    for (int i = 0; i < words.length; i++) {
      words[i] = PorterStemmer.doStem(words[i]);
    }

    Set uniqueValues = new LinkedHashSet<>(Arrays.asList(words));
    uniqueValues.removeIf(s -> s.equals(""));

    return uniqueValues;
  }

  private String clean(String text) {
    // remove all digits and punctuation marks
    if (text != null) {
      return text.toLowerCase().replaceAll("[\\pP\\d]", " ");
    } else {
      return "";
    }
  }
}

class VocabularyBuilder {
  private final NGramStrategy nGramStrategy;

  VocabularyBuilder(NGramStrategy nGramStrategy) {
    if (nGramStrategy == null) {
      throw new IllegalArgumentException();
    }

    this.nGramStrategy = nGramStrategy;
  }

  List getVocabulary(List classifiableTexts) {
    if (classifiableTexts == null ||
        classifiableTexts.size() == 0) {
      throw new IllegalArgumentException();
    }

    Map uniqueValues = new HashMap<>();
    List vocabulary = new ArrayList<>();

    // count frequency of use each word (converted to n-gram) from all Classifiable Texts
    //

    for (ClassifiableText classifiableText : classifiableTexts) {
      for (String word : nGramStrategy.getNGram(classifiableText.getText())) {
        if (uniqueValues.containsKey(word)) {
          // increase counter
          uniqueValues.put(word, uniqueValues.get(word) + 1);
        } else {
          // add new word
          uniqueValues.put(word, 1);
        }
      }
    }

    // convert uniqueValues to Vocabulary, excluding infrequent
    //

    for (Map.Entry entry : uniqueValues.entrySet()) {
      if (entry.getValue() > 3) {
        vocabulary.add(new VocabularyWord(entry.getKey()));
      }
    }

    return vocabulary;
  }
}

class Bigram implements NGramStrategy {
  private NGramStrategy nGramStrategy;

  Bigram(NGramStrategy nGramStrategy) {
    if (nGramStrategy == null) {
      throw new IllegalArgumentException();
    }

    this.nGramStrategy = nGramStrategy;
  }

  @Override
  public Set getNGram(String text) {
    List unigram = new ArrayList<>(nGramStrategy.getNGram(text));

    // concatenate words to bigrams
    // example: "How are you doing?" => {"how are", "are you", "you doing"}

    Set uniqueValues = new LinkedHashSet<>();

    for (int i = 0; i < unigram.size() - 1; i++) {
      uniqueValues.add(unigram.get(i) + " " + unigram.get(i + 1));
    }

    return uniqueValues;
  }
}

private double[] getTextAsVectorOfWords(ClassifiableText classifiableText) {
  double[] vector = new double[inputLayerSize];

  // convert text to nGram
  Set uniqueValues = nGramStrategy.getNGram(classifiableText.getText());

  // create vector
  //

  for (String word : uniqueValues) {
    VocabularyWord vw = findWordInVocabulary(word);

    if (vw != null) { // word found in vocabulary
      vector[vw.getId() - 1] = 1;
    }
  }

  return vector;
}

Точность классификации

1. Вероятность угадывания сразу всех характеристик равна произведению вероятностей угадывания каждой характеристики.
2. Вероятность угадывания хотя бы одной характеристики равна разности между единицей и произведением вероятностей некорректного определения каждой характеристики.

Итоговая программа

1. При первом запуске программа запрашивает XLSX-файл с обучающими данными. Файл может состоять из одного или из двух листов. На первом листе данные для обучения, на втором – данные для последующего тестирования точности сети. Структура листов совпадает. В первой колонке должен быть анализируемый текст. В последующих колонках (их может быть сколько угодно) должны содержаться значения характеристик текста. В первой строке должны содержаться названия этих характеристик.
   
   
   
   
   
2. На основании этого файла строится словарь, определяется перечень характеристик и уникальные значения, допустимые для каждой характеристики. Все это сохраняется в хранилище.
3. Создается отдельная нейронная сеть для каждой характеристики.
4. Все созданные нейронные сети обучаются и сохраняются.
5. При последующем запуске все сохраненные обученные нейронные сети подгружаются. Программа готова к анализу текста.
6. Полученный текст обрабатывается независимо каждой нейронной сетью, и выдается общий результат в виде значения для каждой характеристики.
   
   
   
   
   

• Добавить другие типы классификаторов (например, сверточную нейронную сеть и наивный байесовский классификатор);
• Попробовать использовать словарь, состоящий из комбинации униграмм и биграмм.
• Добавить механизм устранения опечаток и грамматических ошибок.
• Добавить словарь синонимов.
• Исключать слишком часто-встречающиеся слова, так как они, как правило, являются информационным шумом.
• Добавить веса к отдельным значимым словам, чтобы их влияние в анализируемом тексте было больше.
• Немного переделать архитектуру, упростив API, чтобы можно было вынести основную функциональность в отдельную библиотеку.

Немного об исходниках

• Паттерн «Стратегия». Интерфейс NGramStrategy и классы, его реализующие.
• Паттерн «Наблюдатель». Классы LogWindow и Classifier, реализующие интерфейсы Observer и Observable.
• Паттерн «Декоратор». Класс Bigram.
• Паттерн «Простая фабрика». Метод getNGramStrategy() интерфейса NGramStrategy.
• Паттерн «Фабричный метод». Метод getNgramStrategy() класса NGramStrategyTest.
• Паттерн «Абстрактная фабрика». Класс JDBCDAOFactory.
• Паттерн (антипаттерн?) «Одиночка». Класс Config. Наверное, это один из немногих случаев, когда использование одиночки оправдано.
• Паттерн «Шаблонный метод». Метод initializeIdeal() класса NGramStrategyTest. Правда, тут не совсем классическое его применение.
• Паттерн «DAO». Интерфейсы CharacteristicDAO, ClassifiableTextDAO и т.д.

https://habrahabr.ru/post/332078/

• Библиотеку zint
• Библиотеку libpng (при выводе и распознавании кода в формате png)
• Библиотеку zlib (она используется libpng и множеством иных подсистем)
• Библиотеку libjpeg (при выводе и распознавании кода в формате jpeg)
• Библиотеку zbar
• Собственную инфраструктуру, которая все это интегрирует и связывает

• Модуль чтения svg-файлов и преобразования их во внутренний векторный формат
• Модуль рендеринга векторных изображений
  
  

  Краткое итого

  
  Описанный тест примечателен тем, что использует значительное число модулей различного назначения, реализованных независимо друг от друга. Еще одним его ценным свойством является преобразование данных между качественно различными формами (текст — векторное изображение — растровое изображение — текст).
  И ложка дегтя: такой тест, имея великолепную демонстративность, не является достаточным. Он верифицирует функционал компонентов в весьма узком диапазоне областей определения каждого из них. То есть, рассчитывать на полноту тестирования методом «incredible machine» (интересно, ранее кто-нибудь использовал этот термин в таком контексте?), увы, нельзя. Детальные тесты отдельных функций он не отменяет.
  
  Спасибо за внимание.

https://habrahabr.ru/post/331230/

Конкурс проектов

Собственно конференция

• Повышать лояльность клиентов;
• вторгнуться на территорию ритейла и маркетплейсов вроде Яндекс Маркета;
• получать дополнительный доход за счет комиссий.

• Убеждение банков в том, что они «владеют» клиентами и могут без проблем допродать им что угодно.
• Понимание маркетплейса как аналога отдельного портала/витрины/e-commerce.
• Убеждение, что сайтами должны заниматься маркетинг и реклама, ДБО – IT-специалисты, в то время как маркетплейсы олицетворяют собственно бизнес.

https://habrahabr.ru/post/332162/

Docker CE 17.06

Сборка в несколько этапов

Логи и метрики

$ docker plugin install --grant-all-permissions cpuguy83/docker-metrics-plugin-test:latest
$ curl http://127.0.0.1:19393/metrics

Сеть

[Wrk-node1]$ docker network create --config-only --subnet=10.1.0.0/16 local-config
[Wrk-node2]$ docker network create --config-only --subnet=10.2.0.0/16 local-config
[Mgr-node2]$ docker network create --scope=swarm --config-from=local-config -d macvlan
mynet
[Mgr-node2]$ docker service create --network=mynet my_new_service

Swarm

• объекты конфигурации (Configuration Objects), позволяющие безопасно передавать информацию о конфигурации по аналогии с тем, как это делалось для секретов:
  

  $ echo "This is a config" | docker config create test_config -
  $ docker service create --name=my-srv --config=test_config …
  $ docker exec -it 37d7cfdff6d5 cat test_config
  This is a config

  
  
• функция ротации CA-сертификатов в системе public key infrastructure (PKI), применяемой для безопасного деплоя системы оркестровки контейнеров (docker swarm ca --rotate);
• поддержка событий (ранее были доступны вне Swarm) для получения в реальном времени данных о сервисах, узлах, сетях, секретах;
• новый флаг --datapath-addr для docker swarm init, указывающий сетевой интерфейс для изоляции заданий управления (control traffic) от данных приложений (data traffic) — полезно в случае приложений, производящих большую нагрузку на ввод/вывод;
• возможность указывать место хранения секрета в контейнере (вместо традиционного /var/run).

Kubernetes 1.7

Безопасность

• Объявлен стабильным Network Policy API, позволяющий настраивать правила, определяющие (и ограничивающие) взаимодействие между подами.
• Node authorizer, позволяющий ограничивать API-запросы kubelet (к секретам, подам и другим объектам узла).
• Альфа-версия шифрования секретов и других ресурсов, хранимых в etcd.
• В kubelet TLS bootstrapping добавлена поддержка ротации сертификата клиента и сервера
• Логи Audit, хранимые сервером API, стали более настраиваемыми и расширяемыми с поддержкой фильтрации событий и webbooks, а также стали предоставлять больше данных для аудита системы.

Поддержка stateful-приложений

• Бета-версия функции автоматических обновлений StatefulSet, используемых для деплоя stateful-приложений. Стратегия обновлений определяется полем spec.updateStrategy, поддерживающим сейчас два значения: OnDelete и RollingUpdate.
• Поддержка в StatefulSets более быстрого масштабирования и запуска приложений, не требующих строгой очередности, настраиваемой теперь через Pod Management Policy. Такие приложения теперь могут запускаться параллельно и без ожидания получения подом определённых статусов (Running, Ready).
• Альфа-версия локального хранилища (Local Storage): в StorageClasses внутри StatefulSets теперь можно получить доступ к локальному хранилищу через стандартный интерфейс PVC/PV.
• Умный откат (и история изменений) при обновлениях DaemonSets.
• Новый плагин StorageOS Volume, реализующий постоянные томы хранения высокой доступности во всём кластере (из локального или подключённого к узлу хранилища).

Расширяемость

• Агрегация API позволяет расширять возможности Kubernetes собственными API. Прослойка агрегации работает вместе с kube-apiserver и ничего не делает, пока не зарегистрирован ни один ресурс для расширения API. Регистрация API выполняется через объект APIService, который реализуется через extension-apiserver внутри пода, работающего в кластере Kubernetes.
• В Container Runtime Interface (CRI) добавлены новые RPC-вызовы для получения метрик контейнера. Добавлена альфа-версия интеграции с containerd, поддерживающая базовый жизненный цикл пода и управления образами.

Другое

• Альфа-версия поддержки внешних контроллеров Dynamic Admission, позволяющих добавлять API-серверу бизнес-логику при модификации объектов.
• Альфа-версия Policy-based Federated Resource Placement, что позволяет определять основанные на политиках решения по федеративным ресурсам (с использованием внешнего движка политик, например, основываясь на требованиях к цене или производительности).
• На смену Third Party Resource (TPR) пришли Custom Resource Definitions (CRD), которые предлагают «более ясный API» и решают ряд проблем, зафиксированных во время бета-тестирования TPR. Полностью TPR будут убраны в Kubernetes 1.8 (доступно руководство по миграции).

https://habrahabr.ru/post/332160/