Подготовка данных.

PGSphere

• Для начала придётся выкачать, собрать и инсталлировать расширение (автор использовал текущую версию 1.1.5)

  gmake USE_PGXS=1 PG_CONFIG=/usr/bin/pg_config
  sudo gmake USE_PGXS=1 PG_CONFIG=/usr/bin/pg_config install
  

• Далее загрузить его (psql)

  CREATE EXTENSION pg_sphere;

• Создадим таблицу для тестовых данных

  CREATE TABLE spoint_data (sp spoint);

• Нам потребуется источник случайных данных.
  Первый параметр программы — радиус, второй — число результатов.
  Единственная тонкость — данные равномерно распределены внутри шара с заданным радиусом, иначе не получится равномерного распределения на сфере
• Случайные данные пропустим через скрипт awk чтобы превратить в геокоординаты

  # --- gendata.awk ------
  BEGIN{
  	pi=3.1415926535897932;
  	degra=pi/180.0;
  	rad=180.0/pi;
  	Grad = 1000000.;
  }
  {
  	x = $1;	y = $2;	z = $3;
  	r3 = sqrt(x*x + y*y + z*z);
  	x *= Grad / r3;
  	y *= Grad / r3;
  	z *= Grad / r3;
  
  	r2 = sqrt(x*x + y*y);
  	lat = atan2(z, r2) * rad;
  	lon = 180. + atan2(y, x) * rad;
  
  	printf ("(%14.10fd, %14.10fd)\n", lon, lat);
  }

• Собственно создание данных, здесь радиус не важен, важно чтобы и pgsphere и zcurve получили одни и те же данные. Сортировка весьма желательна для ускорения индексации.

  ./random 1000000 100000000 | gawk -f gendata.awk | sort > pgsphere.txt

• Заливаем данные в нашу таблицу

  COPY spoint_data (sp) FROM  '/home/.../pgsphere.txt';

• Индексируем

  CREATE INDEX sp_idx ON spoint_data USING gist (sp);

ZORDER

• Для начала придётся выкачать, собрать и инсталлировать расширение

  gmake USE_PGXS=1 PG_CONFIG=/usr/bin/pg_config
  sudo gmake USE_PGXS=1 PG_CONFIG=/usr/bin/pg_config install
  

• Создадим таблицу для тестовых данных

  create table test_points_3d (x integer,y integer, z integer);

• Нам потребуется тот же источник случайных данных.
• Случайные данные пропустим через скрипт awk чтобы разместить их внутри куба со стороной в 2 000 000

  #--- gendata2.awk ------
  BEGIN{
  	pi=3.1415926535897932;
  	degra=pi/180.0;
  	rad=180.0/pi;
  	Grad = 1000000.;
  }
  {
  	x = $1;	y = $2;	z = $3;
  	r3 = sqrt(x*x + y*y + z*z);
  	x *= Grad / r3;
  	y *= Grad / r3;
  	z *= Grad / r3;
  
  	ix = int(x+0.5+Grad);
  	iy = int(y+0.5+Grad);
  	iz = int(z+0.5+Grad);
  	print ix"\t"iy"\t"iz;
  }

• Собственно создание данных, здесь радиус важен. Сортировка не обязательна.

  ./random 1000000 100000000 | gawk -f gendata2.awk > zcurve.txt

• Заливаем данные в нашу таблицу

  COPY test_points_3d FROM '/home/.../zcurve.txt';

• Индексируем

  create index zcurve_test_points_3d on test_points_3d(zcurve_num_from_xyz(x,y,z));

Подготовка тестов

PGSphere

#--- gentest.awk -------
BEGIN{
	pi=3.1415926535897932;
	degra=pi/180.0;
	rad=180.0/pi;
	Grad = 1000000.;
}
{
	x = $1;	y = $2;	z = $3;
	r3 = sqrt(x*x + y*y + z*z);
	x *= Grad / r3;
	y *= Grad / r3;
	z *= Grad / r3;

	r2 = sqrt(x*x + y*y);

	lat = atan2(z, r2) * rad;
	lon = 180. + atan2(y, x) * rad;

#	EXPLAIN (ANALYZE,BUFFERS) 
  printf ("select count(1) from spoint_data where sp        @'<(%14.10fd,%14.10fd),.316d>'::scircle;\n", lon, lat);
}

./random 1000000 100 1023 | gawk -f gentest.awk >tests1.sql

ZCURVE

#--- gentest2.awk -------
BEGIN{
	pi=3.1415926535897932;
	degra=pi/180.0;
	rad=180.0/pi;
	Grad = 1000000.;
}
{
	x = $1;	y = $2;	z = $3;
	r3 = sqrt(x*x + y*y + z*z);
	x *= Grad / r3;
	y *= Grad / r3;
	z *= Grad / r3;

	ix = int(x+0.5+Grad);
	iy = int(y+0.5+Grad);
	iz = int(z+0.5+Grad);
#	EXPLAIN (ANALYZE,BUFFERS) 
	lrad = int(0.5 + Grad * sin(.316 * degra));
	print "select count(1) from zcurve_3d_lookup_tidonly('zcurve_test_points_3d',   "ix-lrad","iy-lrad","iz-lrad","ix+lrad","iy+lrad","iz+lrad");";
}

./random 1000000 100 1023 | gawk -f gentest2.awk >tests2.sql

Benchmark

• Предположим, что наш куб в среднем вырезает из сферы ту же площадь, что и сфера равного объема
• Объем единичной сферы 1.33*3.14=4.19
• Объем куба со стороной 2 = 8.
• Тогда корень третьей степени из 8/4.19 = 1.24 — это отношение радиусов мнимой сферы к настоящей
• соотношение площадей мнимой сферы к настоящей 1.24*1.24=1.54
• имеем из экспериментальных данных 1.17/0.7631= 1.5332
  Bingo!

Ролик как стрим

Установка youtube-dl

curl -L https://yt-dl.org/downloads/latest/youtube-dl -o /usr/local/bin/youtube-dl

chmod a+rx /usr/local/bin/youtube-dl

youtube-dl --list-formats https://www.youtube.com/watch?v=9cQT4urTlXM

[youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[info] Available formats for 9cQT4urTlXM:
format code  extension  resolution note
171          webm       audio only DASH audio    8k , vorbis@128k, 540.24KiB
249          webm       audio only DASH audio   10k , opus @ 50k, 797.30KiB
250          webm       audio only DASH audio   10k , opus @ 70k, 797.30KiB
251          webm       audio only DASH audio   10k , opus @160k, 797.30KiB
139          m4a        audio only DASH audio   53k , m4a_dash container, mp4a.40.5@ 48k (22050Hz), 10.36MiB
140          m4a        audio only DASH audio  137k , m4a_dash container, mp4a.40.2@128k (44100Hz), 27.56MiB
278          webm       256x144    144p   41k , webm container, vp9, 30fps, video only, 6.54MiB
242          webm       426x240    240p   70k , vp9, 30fps, video only, 13.42MiB
243          webm       640x360    360p  101k , vp9, 30fps, video only, 20.55MiB
160          mp4        256x144    DASH video  123k , avc1.4d400c, 15fps, video only, 24.83MiB
134          mp4        640x360    DASH video  138k , avc1.4d401e, 30fps, video only, 28.07MiB
244          webm       854x480    480p  149k , vp9, 30fps, video only, 30.55MiB
135          mp4        854x480    DASH video  209k , avc1.4d401f, 30fps, video only, 42.42MiB
133          mp4        426x240    DASH video  274k , avc1.4d4015, 30fps, video only, 57.63MiB
247          webm       1280x720   720p  298k , vp9, 30fps, video only, 59.25MiB
136          mp4        1280x720   DASH video  307k , avc1.4d401f, 30fps, video only, 62.58MiB
17           3gp        176x144    small , mp4v.20.3, mp4a.40.2@ 24k
36           3gp        320x180    small , mp4v.20.3, mp4a.40.2
43           webm       640x360    medium , vp8.0, vorbis@128k
18           mp4        640x360    medium , avc1.42001E, mp4a.40.2@ 96k
22           mp4        1280x720   hd720 , avc1.64001F, mp4a.40.2@192k (best)

Установка ffmpeg

wget http://ffmpeg.org/releases/ffmpeg-3.3.4.tar.bz2
tar -xvjf ffmpeg-3.3.4.tar.bz2
cd  ffmpeg-3.3.4
./configure --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp
make
make install

ffmpeg -v

1. Маркетолог говорит — «А теперь, коллеги, давайте посмотрим этот ролик с котиками, он полностью отвечает нашей стратегии выхода на рынок», и жмет кнопку «показать всем ролик».
2. На экране появляется прелоадер: «Подождите, ролик с котиками скачивается. Это займет не более 10 минут».
3. Менеджер идет пить кофе, а программист — читать хабр.

Передача данных из youtube-dl в ffmpeg

#!/usr/bin/python

import subprocess
import sys

def show_help():
    print 'Usage: '
    print './streamer.py url streamName destination'
    print './streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM streamName rtmp://192.168.88.59:1935/live'
    return

def streamer() :
    url = sys.argv[1]
    if not url :
        print 'Error: url is empty'
        return
    stream_id = sys.argv[2]
    if not stream_id:
        print 'Error: stream name is empty'
        return
    destination = sys.argv[3]
    if not destination:
        print 'Error: destination is empty'
        return

    _youtube_process = subprocess.Popen(('youtube-dl','-f','','--prefer-ffmpeg', '--no-color', '--no-cache-dir', '--no-progress','-o', '-', '-f', '22/18', url, '--reject-title', stream_id),stdout=subprocess.PIPE)
    _ffmpeg_process = subprocess.Popen(('ffmpeg','-re','-i', '-','-preset', 'ultrafast','-vcodec', 'copy', '-acodec', 'copy','-threads','1', '-f', 'flv',destination + "/" + stream_id), stdin=_youtube_process.stdout)
    return

if len(sys.argv) < 4:
    show_help()
else:
    streamer()

1. Создает подпроцесс _youtube_process зачитки ролика библиотекой youtube-dl
2. Создает второй подпроцесс _ffmpeg_process, которому передаются данные из первого через pipe. Этот процесс уже создает RTMP поток и отправляет его на сервер по указанному адресу.

Тестирование скрипта

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://192.168.88.59:1935/live

1. Адрес youtube ролика.
   www.youtube.com/watch?v=9cQT4urTlXM
2. Имя потока, с которым будет проходить RTMP-трансляция.
   stream1
3. Адрес RTMP-сервера.
   rtmp://192.168.88.59:1935/live

rtmp://wcs5-eu.flashphoner.com:1935/live

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live

# python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live
ffmpeg version 3.2.3 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 4.4.7 (GCC) 20120313 (Red Hat 4.4.7-11)
  configuration: --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp --disable-yasm
  libavutil      55. 34.101 / 55. 34.101
  libavcodec     57. 64.101 / 57. 64.101
  libavformat    57. 56.101 / 57. 56.101
  libavdevice    57.  1.100 / 57.  1.100
  libavfilter     6. 65.100 /  6. 65.100
  libswscale      4.  2.100 /  4.  2.100
  libswresample   2.  3.100 /  2.  3.100
  libpostproc    54.  1.100 / 54.  1.100
]# [youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[download] Destination: -
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'pipe:':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    creation_time   : 2016-08-23T12:21:06.000000Z
  Duration: 00:29:59.99, start: 0.000000, bitrate: N/A
    Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 288 kb/s, 30 fps, 30 tbr, 90k tbn, 60 tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Output #0, flv, to 'rtmp://192.168.88.59:1935/live/stream1':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    encoder         : Lavf57.56.101
    Stream #0:0(und): Video: h264 (Main) ([7][0][0][0] / 0x0007), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 288 kb/s, 30 fps, 30 tbr, 1k tbn, 90k tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) ([10][0][0][0] / 0x000A), 44100 Hz, stereo, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
  Stream #0:1 -> #0:1 (copy)
frame=  383 fps= 30 q=-1.0 size=     654kB time=00:00:12.70 bitrate= 421.8kbits/s speed=   1x

1. Открывается страница с видеороликом.
2. Извлекаются данные о видео форматах.
3. Скачивается mp4 ролик 1280x720, H.264+AAC
4. Запускается ffmpeg, подхватывает скачиваемые данные и стримит по RTMP с битрейтом 421 kbps. Такой скудный битрейт объясняется выбранным роликом  с таймером. Нормальный видеоролик даст на порядок большее значение битрейта.

Ссылки

Ролик как стрим

Установка youtube-dl

curl -L https://yt-dl.org/downloads/latest/youtube-dl -o /usr/local/bin/youtube-dl

chmod a+rx /usr/local/bin/youtube-dl

youtube-dl --list-formats https://www.youtube.com/watch?v=9cQT4urTlXM

[youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[info] Available formats for 9cQT4urTlXM:
format code  extension  resolution note
171          webm       audio only DASH audio    8k , vorbis@128k, 540.24KiB
249          webm       audio only DASH audio   10k , opus @ 50k, 797.30KiB
250          webm       audio only DASH audio   10k , opus @ 70k, 797.30KiB
251          webm       audio only DASH audio   10k , opus @160k, 797.30KiB
139          m4a        audio only DASH audio   53k , m4a_dash container, mp4a.40.5@ 48k (22050Hz), 10.36MiB
140          m4a        audio only DASH audio  137k , m4a_dash container, mp4a.40.2@128k (44100Hz), 27.56MiB
278          webm       256x144    144p   41k , webm container, vp9, 30fps, video only, 6.54MiB
242          webm       426x240    240p   70k , vp9, 30fps, video only, 13.42MiB
243          webm       640x360    360p  101k , vp9, 30fps, video only, 20.55MiB
160          mp4        256x144    DASH video  123k , avc1.4d400c, 15fps, video only, 24.83MiB
134          mp4        640x360    DASH video  138k , avc1.4d401e, 30fps, video only, 28.07MiB
244          webm       854x480    480p  149k , vp9, 30fps, video only, 30.55MiB
135          mp4        854x480    DASH video  209k , avc1.4d401f, 30fps, video only, 42.42MiB
133          mp4        426x240    DASH video  274k , avc1.4d4015, 30fps, video only, 57.63MiB
247          webm       1280x720   720p  298k , vp9, 30fps, video only, 59.25MiB
136          mp4        1280x720   DASH video  307k , avc1.4d401f, 30fps, video only, 62.58MiB
17           3gp        176x144    small , mp4v.20.3, mp4a.40.2@ 24k
36           3gp        320x180    small , mp4v.20.3, mp4a.40.2
43           webm       640x360    medium , vp8.0, vorbis@128k
18           mp4        640x360    medium , avc1.42001E, mp4a.40.2@ 96k
22           mp4        1280x720   hd720 , avc1.64001F, mp4a.40.2@192k (best)

Установка ffmpeg

wget http://ffmpeg.org/releases/ffmpeg-3.3.4.tar.bz2
tar -xvjf ffmpeg-3.3.4.tar.bz2
cd  ffmpeg-3.3.4
./configure --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp
make
make install

ffmpeg -v

1. Маркетолог говорит — «А теперь, коллеги, давайте посмотрим этот ролик с котиками, он полностью отвечает нашей стратегии выхода на рынок», и жмет кнопку «показать всем ролик».
2. На экране появляется прелоадер: «Подождите, ролик с котиками скачивается. Это займет не более 10 минут».
3. Менеджер идет пить кофе, а программист — читать хабр.

Передача данных из youtube-dl в ffmpeg

#!/usr/bin/python

import subprocess
import sys

def show_help():
    print 'Usage: '
    print './streamer.py url streamName destination'
    print './streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM streamName rtmp://192.168.88.59:1935/live'
    return

def streamer() :
    url = sys.argv[1]
    if not url :
        print 'Error: url is empty'
        return
    stream_id = sys.argv[2]
    if not stream_id:
        print 'Error: stream name is empty'
        return
    destination = sys.argv[3]
    if not destination:
        print 'Error: destination is empty'
        return

    _youtube_process = subprocess.Popen(('youtube-dl','-f','','--prefer-ffmpeg', '--no-color', '--no-cache-dir', '--no-progress','-o', '-', '-f', '22/18', url, '--reject-title', stream_id),stdout=subprocess.PIPE)
    _ffmpeg_process = subprocess.Popen(('ffmpeg','-re','-i', '-','-preset', 'ultrafast','-vcodec', 'copy', '-acodec', 'copy','-threads','1', '-f', 'flv',destination + "/" + stream_id), stdin=_youtube_process.stdout)
    return

if len(sys.argv) < 4:
    show_help()
else:
    streamer()

1. Создает подпроцесс _youtube_process зачитки ролика библиотекой youtube-dl
2. Создает второй подпроцесс _ffmpeg_process, которому передаются данные из первого через pipe. Этот процесс уже создает RTMP поток и отправляет его на сервер по указанному адресу.

Тестирование скрипта

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://192.168.88.59:1935/live

1. Адрес youtube ролика.
   www.youtube.com/watch?v=9cQT4urTlXM
2. Имя потока, с которым будет проходить RTMP-трансляция.
   stream1
3. Адрес RTMP-сервера.
   rtmp://192.168.88.59:1935/live

rtmp://wcs5-eu.flashphoner.com:1935/live

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live

# python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live
ffmpeg version 3.2.3 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 4.4.7 (GCC) 20120313 (Red Hat 4.4.7-11)
  configuration: --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp --disable-yasm
  libavutil      55. 34.101 / 55. 34.101
  libavcodec     57. 64.101 / 57. 64.101
  libavformat    57. 56.101 / 57. 56.101
  libavdevice    57.  1.100 / 57.  1.100
  libavfilter     6. 65.100 /  6. 65.100
  libswscale      4.  2.100 /  4.  2.100
  libswresample   2.  3.100 /  2.  3.100
  libpostproc    54.  1.100 / 54.  1.100
]# [youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[download] Destination: -
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'pipe:':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    creation_time   : 2016-08-23T12:21:06.000000Z
  Duration: 00:29:59.99, start: 0.000000, bitrate: N/A
    Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 288 kb/s, 30 fps, 30 tbr, 90k tbn, 60 tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Output #0, flv, to 'rtmp://192.168.88.59:1935/live/stream1':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    encoder         : Lavf57.56.101
    Stream #0:0(und): Video: h264 (Main) ([7][0][0][0] / 0x0007), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 288 kb/s, 30 fps, 30 tbr, 1k tbn, 90k tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) ([10][0][0][0] / 0x000A), 44100 Hz, stereo, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
  Stream #0:1 -> #0:1 (copy)
frame=  383 fps= 30 q=-1.0 size=     654kB time=00:00:12.70 bitrate= 421.8kbits/s speed=   1x

1. Открывается страница с видеороликом.
2. Извлекаются данные о видео форматах.
3. Скачивается mp4 ролик 1280x720, H.264+AAC
4. Запускается ffmpeg, подхватывает скачиваемые данные и стримит по RTMP с битрейтом 421 kbps. Такой скудный битрейт объясняется выбранным роликом  с таймером. Нормальный видеоролик даст на порядок большее значение битрейта.

Ссылки

Ролик как стрим

Установка youtube-dl

curl -L https://yt-dl.org/downloads/latest/youtube-dl -o /usr/local/bin/youtube-dl

chmod a+rx /usr/local/bin/youtube-dl

youtube-dl --list-formats https://www.youtube.com/watch?v=9cQT4urTlXM

[youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[info] Available formats for 9cQT4urTlXM:
format code  extension  resolution note
171          webm       audio only DASH audio    8k , vorbis@128k, 540.24KiB
249          webm       audio only DASH audio   10k , opus @ 50k, 797.30KiB
250          webm       audio only DASH audio   10k , opus @ 70k, 797.30KiB
251          webm       audio only DASH audio   10k , opus @160k, 797.30KiB
139          m4a        audio only DASH audio   53k , m4a_dash container, mp4a.40.5@ 48k (22050Hz), 10.36MiB
140          m4a        audio only DASH audio  137k , m4a_dash container, mp4a.40.2@128k (44100Hz), 27.56MiB
278          webm       256x144    144p   41k , webm container, vp9, 30fps, video only, 6.54MiB
242          webm       426x240    240p   70k , vp9, 30fps, video only, 13.42MiB
243          webm       640x360    360p  101k , vp9, 30fps, video only, 20.55MiB
160          mp4        256x144    DASH video  123k , avc1.4d400c, 15fps, video only, 24.83MiB
134          mp4        640x360    DASH video  138k , avc1.4d401e, 30fps, video only, 28.07MiB
244          webm       854x480    480p  149k , vp9, 30fps, video only, 30.55MiB
135          mp4        854x480    DASH video  209k , avc1.4d401f, 30fps, video only, 42.42MiB
133          mp4        426x240    DASH video  274k , avc1.4d4015, 30fps, video only, 57.63MiB
247          webm       1280x720   720p  298k , vp9, 30fps, video only, 59.25MiB
136          mp4        1280x720   DASH video  307k , avc1.4d401f, 30fps, video only, 62.58MiB
17           3gp        176x144    small , mp4v.20.3, mp4a.40.2@ 24k
36           3gp        320x180    small , mp4v.20.3, mp4a.40.2
43           webm       640x360    medium , vp8.0, vorbis@128k
18           mp4        640x360    medium , avc1.42001E, mp4a.40.2@ 96k
22           mp4        1280x720   hd720 , avc1.64001F, mp4a.40.2@192k (best)

Установка ffmpeg

wget http://ffmpeg.org/releases/ffmpeg-3.3.4.tar.bz2
tar -xvjf ffmpeg-3.3.4.tar.bz2
cd  ffmpeg-3.3.4
./configure --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp
make
make install

ffmpeg -v

1. Маркетолог говорит — «А теперь, коллеги, давайте посмотрим этот ролик с котиками, он полностью отвечает нашей стратегии выхода на рынок», и жмет кнопку «показать всем ролик».
2. На экране появляется прелоадер: «Подождите, ролик с котиками скачивается. Это займет не более 10 минут».
3. Менеджер идет пить кофе, а программист — читать хабр.

Передача данных из youtube-dl в ffmpeg

#!/usr/bin/python

import subprocess
import sys

def show_help():
    print 'Usage: '
    print './streamer.py url streamName destination'
    print './streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM streamName rtmp://192.168.88.59:1935/live'
    return

def streamer() :
    url = sys.argv[1]
    if not url :
        print 'Error: url is empty'
        return
    stream_id = sys.argv[2]
    if not stream_id:
        print 'Error: stream name is empty'
        return
    destination = sys.argv[3]
    if not destination:
        print 'Error: destination is empty'
        return

    _youtube_process = subprocess.Popen(('youtube-dl','-f','','--prefer-ffmpeg', '--no-color', '--no-cache-dir', '--no-progress','-o', '-', '-f', '22/18', url, '--reject-title', stream_id),stdout=subprocess.PIPE)
    _ffmpeg_process = subprocess.Popen(('ffmpeg','-re','-i', '-','-preset', 'ultrafast','-vcodec', 'copy', '-acodec', 'copy','-threads','1', '-f', 'flv',destination + "/" + stream_id), stdin=_youtube_process.stdout)
    return

if len(sys.argv) < 4:
    show_help()
else:
    streamer()

1. Создает подпроцесс _youtube_process зачитки ролика библиотекой youtube-dl
2. Создает второй подпроцесс _ffmpeg_process, которому передаются данные из первого через pipe. Этот процесс уже создает RTMP поток и отправляет его на сервер по указанному адресу.

Тестирование скрипта

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://192.168.88.59:1935/live

1. Адрес youtube ролика.
   www.youtube.com/watch?v=9cQT4urTlXM
2. Имя потока, с которым будет проходить RTMP-трансляция.
   stream1
3. Адрес RTMP-сервера.
   rtmp://192.168.88.59:1935/live

rtmp://wcs5-eu.flashphoner.com:1935/live

python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live

# python streamer.py https://www.youtube.com/watch?v=9cQT4urTlXM stream1 rtmp://wcs5-eu.flashphoner.com:1935/live
ffmpeg version 3.2.3 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 4.4.7 (GCC) 20120313 (Red Hat 4.4.7-11)
  configuration: --enable-shared --disable-logging --enable-gpl --enable-pthreads --enable-libx264 --enable-librtmp --disable-yasm
  libavutil      55. 34.101 / 55. 34.101
  libavcodec     57. 64.101 / 57. 64.101
  libavformat    57. 56.101 / 57. 56.101
  libavdevice    57.  1.100 / 57.  1.100
  libavfilter     6. 65.100 /  6. 65.100
  libswscale      4.  2.100 /  4.  2.100
  libswresample   2.  3.100 /  2.  3.100
  libpostproc    54.  1.100 / 54.  1.100
]# [youtube] 9cQT4urTlXM: Downloading webpage
[youtube] 9cQT4urTlXM: Downloading video info webpage
[youtube] 9cQT4urTlXM: Extracting video information
[youtube] 9cQT4urTlXM: Downloading MPD manifest
[download] Destination: -
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'pipe:':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    creation_time   : 2016-08-23T12:21:06.000000Z
  Duration: 00:29:59.99, start: 0.000000, bitrate: N/A
    Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 288 kb/s, 30 fps, 30 tbr, 90k tbn, 60 tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Output #0, flv, to 'rtmp://192.168.88.59:1935/live/stream1':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    encoder         : Lavf57.56.101
    Stream #0:0(und): Video: h264 (Main) ([7][0][0][0] / 0x0007), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 288 kb/s, 30 fps, 30 tbr, 1k tbn, 90k tbc (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
    Stream #0:1(und): Audio: aac (LC) ([10][0][0][0] / 0x000A), 44100 Hz, stereo, 125 kb/s (default)
    Metadata:
      creation_time   : 2016-08-23T12:21:06.000000Z
      handler_name    : ISO Media file produced by Google Inc.
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
  Stream #0:1 -> #0:1 (copy)
frame=  383 fps= 30 q=-1.0 size=     654kB time=00:00:12.70 bitrate= 421.8kbits/s speed=   1x

1. Открывается страница с видеороликом.
2. Извлекаются данные о видео форматах.
3. Скачивается mp4 ролик 1280x720, H.264+AAC
4. Запускается ffmpeg, подхватывает скачиваемые данные и стримит по RTMP с битрейтом 421 kbps. Такой скудный битрейт объясняется выбранным роликом  с таймером. Нормальный видеоролик даст на порядок большее значение битрейта.

Ссылки

• как можно упростить поддержку DiffUtil в этой реализации;
• как добавить поддержку вложенных RecyclerView.

DiffUtil

        ...
        final MyDiffCallback diffCallback = new MyDiffCallback(getOldItems(), getNewItems());
        final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

        mRecyclerViewAdapter.setItems(getNewItems());
        diffResult.dispatchUpdatesTo(mRecyclerViewAdapter);
        ...

public class MyDiffCallback extends DiffUtil.Callback {

    private final List mOldList;
    private final List mNewList;

    public MyDiffCallback(List oldList, List newList) {
        mOldList = oldList;
        mNewList = newList;
    }

    @Override
    public int getOldListSize() {
        return mOldList.size();
    }

    @Override
    public int getNewListSize() {
        return mNewList.size();
    }

    @Override
    public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
        return mOldList.get(oldItemPosition).getID() == mNewList.get(
                newItemPosition).getID();
    }

    @Override
    public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
        BaseItemModel oldItem = mOldList.get(oldItemPosition);
        BaseItemModel newItem = mNewList.get(newItemPosition);

        return oldItem.equals(newItem);
    }

    @Nullable
    @Override
    public Object getChangePayload(int oldItemPosition, int newItemPosition) {
        return super.getChangePayload(oldItemPosition, newItemPosition);
    }
}

public interface BaseItemModel extends ItemModel {
	int getID();
}

public abstract static class DiffCallback  extends DiffUtil.Callback {

	private final List mOldItems = new ArrayList<>();
	private final List mNewItems = new ArrayList<>();

	void setItems(List oldItems, List newItems) {
		mOldItems.clear();
		mOldItems.addAll(oldItems);

		mNewItems.clear();
		mNewItems.addAll(newItems);
	}

	@Override
	public int getOldListSize() {
		return mOldItems.size();
	}

	@Override
	public int getNewListSize() {
		return mNewItems.size();
	}

	@Override
	public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
		return areItemsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areItemsTheSame(BM oldItem, BM newItem);

	@Override
	public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
		return areContentsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areContentsTheSame(BM oldItem, BM newItem);

        ...
}

public void setItems(List items, DiffCallback diffCallback) {
	diffCallback.setItems(mItems, items);

	final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

	mItems.clear();
	mItems.addAll(items);

	diffResult.dispatchUpdatesTo(this);
}

public interface CompositeItemModel extends ItemModel {
	List getItems();
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();

	public CompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
	}

	public CompositeViewRenderer(int viewType, Context context, ViewRenderer... renderers) {
		super(viewType, context);
		Collections.addAll(mRenderers, renderers);
	}

	public CompositeViewRenderer registerRenderer(ViewRenderer renderer) {
		mRenderers.add(renderer);
		return this;
	}

	public void bindView(M model, VH holder) {}

        public VH createViewHolder(ViewGroup parent) { return ...; }
        ...
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();
        private RendererRecyclerViewAdapter mAdapter;

        ...        

	public void bindView(M model, VH holder) {
		mAdapter.setItems(model.getItems());
		mAdapter.notifyDataSetChanged();
	}

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

		return ???;
	}

        ...
}

public abstract class CompositeViewHolder extends RecyclerView.ViewHolder {

	public RecyclerView mRecyclerView;

	public CompositeViewHolder(View itemView) {
		super(itemView);
	}
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

	        VH viewHolder = createCompositeViewHolder(parent);
		viewHolder.mRecyclerView.setLayoutManager(createLayoutManager());
		viewHolder.mRecyclerView.setAdapter(mAdapter);

		return viewHolder;
	}

        public abstract VH createCompositeViewHolder(ViewGroup parent);

	protected RecyclerView.LayoutManager createLayoutManager() {
		return new LinearLayoutManager(getContext(), LinearLayoutManager.HORIZONTAL, false);
	}
        ...
}

public class SomeCompositeItemModel implements CompositeItemModel {

	public static final int TYPE = 999;
	private int mID;
	private final List mItems;

	public SomeCompositeItemModel(final int ID, List items) {
		mID = ID;
		mItems = items;
	}

	public int getID() {
		return mID;
	}

	public int getType() {
		return TYPE;
	}

	public List getItems() {
		return mItems;
	}
}

public class SomeCompositeViewHolder extends CompositeViewHolder {

	public SomeCompositeViewHolder(View view) {
		super(view);
		mRecyclerView = (RecyclerView) view.findViewById(R.id.composite_recycler_view);
	}
}

public class SomeCompositeViewRenderer extends CompositeViewRenderer {

	public SomeCompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
 	}

	public SomeCompositeViewHolder createCompositeViewHolder(ViewGroup parent) {
                return new SomeCompositeViewHolder(inflate(R.layout.item_composite, parent));
	}
}

public class SomeActivity extends AppCompatActivity {

        protected void onCreate(final Bundle savedInstanceState) {
                super.onCreate(savedInstanceState);

                ...
                SomeCompositeViewRenderer composite = new SomeCompositeViewRenderer(
                        SomeCompositeItemModel.TYPE, 
                        this,
                        new SomeViewRenderer(SomeModel.TYPE, this, mListener)
                );

                mRecyclerViewAdapter.registerRenderer(composite);

                ...
        }
        ...
}

public class SomeViewRenderer extends ViewRenderer {

	private final Listener mListener;

	public SomeViewRenderer(int type, Context context, Listener listener) {
		super(type, context);
		mListener = listener;
	}

	public void bindView(SomeModel model, SomeViewHolder holder) {
		...
		holder.itemView.setOnClickListener(new View.OnClickListener() {
			public void onClick(final View view) {
				mListener.onSomeItemClicked(model);
			}
		});
	}

        ...

        public interface Listener {
		void onSomeItemClicked(SomeModel model);
	}
}

• как можно упростить поддержку DiffUtil в этой реализации;
• как добавить поддержку вложенных RecyclerView.

DiffUtil

        ...
        final MyDiffCallback diffCallback = new MyDiffCallback(getOldItems(), getNewItems());
        final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

        mRecyclerViewAdapter.setItems(getNewItems());
        diffResult.dispatchUpdatesTo(mRecyclerViewAdapter);
        ...

public class MyDiffCallback extends DiffUtil.Callback {

    private final List mOldList;
    private final List mNewList;

    public MyDiffCallback(List oldList, List newList) {
        mOldList = oldList;
        mNewList = newList;
    }

    @Override
    public int getOldListSize() {
        return mOldList.size();
    }

    @Override
    public int getNewListSize() {
        return mNewList.size();
    }

    @Override
    public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
        return mOldList.get(oldItemPosition).getID() == mNewList.get(
                newItemPosition).getID();
    }

    @Override
    public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
        BaseItemModel oldItem = mOldList.get(oldItemPosition);
        BaseItemModel newItem = mNewList.get(newItemPosition);

        return oldItem.equals(newItem);
    }

    @Nullable
    @Override
    public Object getChangePayload(int oldItemPosition, int newItemPosition) {
        return super.getChangePayload(oldItemPosition, newItemPosition);
    }
}

public interface BaseItemModel extends ItemModel {
	int getID();
}

public abstract static class DiffCallback  extends DiffUtil.Callback {

	private final List mOldItems = new ArrayList<>();
	private final List mNewItems = new ArrayList<>();

	void setItems(List oldItems, List newItems) {
		mOldItems.clear();
		mOldItems.addAll(oldItems);

		mNewItems.clear();
		mNewItems.addAll(newItems);
	}

	@Override
	public int getOldListSize() {
		return mOldItems.size();
	}

	@Override
	public int getNewListSize() {
		return mNewItems.size();
	}

	@Override
	public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
		return areItemsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areItemsTheSame(BM oldItem, BM newItem);

	@Override
	public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
		return areContentsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areContentsTheSame(BM oldItem, BM newItem);

        ...
}

public void setItems(List items, DiffCallback diffCallback) {
	diffCallback.setItems(mItems, items);

	final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

	mItems.clear();
	mItems.addAll(items);

	diffResult.dispatchUpdatesTo(this);
}

public interface CompositeItemModel extends ItemModel {
	List getItems();
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();

	public CompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
	}

	public CompositeViewRenderer(int viewType, Context context, ViewRenderer... renderers) {
		super(viewType, context);
		Collections.addAll(mRenderers, renderers);
	}

	public CompositeViewRenderer registerRenderer(ViewRenderer renderer) {
		mRenderers.add(renderer);
		return this;
	}

	public void bindView(M model, VH holder) {}

        public VH createViewHolder(ViewGroup parent) { return ...; }
        ...
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();
        private RendererRecyclerViewAdapter mAdapter;

        ...        

	public void bindView(M model, VH holder) {
		mAdapter.setItems(model.getItems());
		mAdapter.notifyDataSetChanged();
	}

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

		return ???;
	}

        ...
}

public abstract class CompositeViewHolder extends RecyclerView.ViewHolder {

	public RecyclerView mRecyclerView;

	public CompositeViewHolder(View itemView) {
		super(itemView);
	}
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

	        VH viewHolder = createCompositeViewHolder(parent);
		viewHolder.mRecyclerView.setLayoutManager(createLayoutManager());
		viewHolder.mRecyclerView.setAdapter(mAdapter);

		return viewHolder;
	}

        public abstract VH createCompositeViewHolder(ViewGroup parent);

	protected RecyclerView.LayoutManager createLayoutManager() {
		return new LinearLayoutManager(getContext(), LinearLayoutManager.HORIZONTAL, false);
	}
        ...
}

public class SomeCompositeItemModel implements CompositeItemModel {

	public static final int TYPE = 999;
	private int mID;
	private final List mItems;

	public SomeCompositeItemModel(final int ID, List items) {
		mID = ID;
		mItems = items;
	}

	public int getID() {
		return mID;
	}

	public int getType() {
		return TYPE;
	}

	public List getItems() {
		return mItems;
	}
}

public class SomeCompositeViewHolder extends CompositeViewHolder {

	public SomeCompositeViewHolder(View view) {
		super(view);
		mRecyclerView = (RecyclerView) view.findViewById(R.id.composite_recycler_view);
	}
}

public class SomeCompositeViewRenderer extends CompositeViewRenderer {

	public SomeCompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
 	}

	public SomeCompositeViewHolder createCompositeViewHolder(ViewGroup parent) {
                return new SomeCompositeViewHolder(inflate(R.layout.item_composite, parent));
	}
}

public class SomeActivity extends AppCompatActivity {

        protected void onCreate(final Bundle savedInstanceState) {
                super.onCreate(savedInstanceState);

                ...
                SomeCompositeViewRenderer composite = new SomeCompositeViewRenderer(
                        SomeCompositeItemModel.TYPE, 
                        this,
                        new SomeViewRenderer(SomeModel.TYPE, this, mListener)
                );

                mRecyclerViewAdapter.registerRenderer(composite);

                ...
        }
        ...
}

public class SomeViewRenderer extends ViewRenderer {

	private final Listener mListener;

	public SomeViewRenderer(int type, Context context, Listener listener) {
		super(type, context);
		mListener = listener;
	}

	public void bindView(SomeModel model, SomeViewHolder holder) {
		...
		holder.itemView.setOnClickListener(new View.OnClickListener() {
			public void onClick(final View view) {
				mListener.onSomeItemClicked(model);
			}
		});
	}

        ...

        public interface Listener {
		void onSomeItemClicked(SomeModel model);
	}
}

• как можно упростить поддержку DiffUtil в этой реализации;
• как добавить поддержку вложенных RecyclerView.

DiffUtil

        ...
        final MyDiffCallback diffCallback = new MyDiffCallback(getOldItems(), getNewItems());
        final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

        mRecyclerViewAdapter.setItems(getNewItems());
        diffResult.dispatchUpdatesTo(mRecyclerViewAdapter);
        ...

public class MyDiffCallback extends DiffUtil.Callback {

    private final List mOldList;
    private final List mNewList;

    public MyDiffCallback(List oldList, List newList) {
        mOldList = oldList;
        mNewList = newList;
    }

    @Override
    public int getOldListSize() {
        return mOldList.size();
    }

    @Override
    public int getNewListSize() {
        return mNewList.size();
    }

    @Override
    public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
        return mOldList.get(oldItemPosition).getID() == mNewList.get(
                newItemPosition).getID();
    }

    @Override
    public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
        BaseItemModel oldItem = mOldList.get(oldItemPosition);
        BaseItemModel newItem = mNewList.get(newItemPosition);

        return oldItem.equals(newItem);
    }

    @Nullable
    @Override
    public Object getChangePayload(int oldItemPosition, int newItemPosition) {
        return super.getChangePayload(oldItemPosition, newItemPosition);
    }
}

public interface BaseItemModel extends ItemModel {
	int getID();
}

public abstract static class DiffCallback  extends DiffUtil.Callback {

	private final List mOldItems = new ArrayList<>();
	private final List mNewItems = new ArrayList<>();

	void setItems(List oldItems, List newItems) {
		mOldItems.clear();
		mOldItems.addAll(oldItems);

		mNewItems.clear();
		mNewItems.addAll(newItems);
	}

	@Override
	public int getOldListSize() {
		return mOldItems.size();
	}

	@Override
	public int getNewListSize() {
		return mNewItems.size();
	}

	@Override
	public boolean areItemsTheSame(int oldItemPosition, int newItemPosition) {
		return areItemsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areItemsTheSame(BM oldItem, BM newItem);

	@Override
	public boolean areContentsTheSame(int oldItemPosition, int newItemPosition) {
		return areContentsTheSame(
				mOldItems.get(oldItemPosition),
				mNewItems.get(newItemPosition)
		);
	}

	public abstract boolean areContentsTheSame(BM oldItem, BM newItem);

        ...
}

public void setItems(List items, DiffCallback diffCallback) {
	diffCallback.setItems(mItems, items);

	final DiffUtil.DiffResult diffResult = DiffUtil.calculateDiff(diffCallback);

	mItems.clear();
	mItems.addAll(items);

	diffResult.dispatchUpdatesTo(this);
}

public interface CompositeItemModel extends ItemModel {
	List getItems();
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();

	public CompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
	}

	public CompositeViewRenderer(int viewType, Context context, ViewRenderer... renderers) {
		super(viewType, context);
		Collections.addAll(mRenderers, renderers);
	}

	public CompositeViewRenderer registerRenderer(ViewRenderer renderer) {
		mRenderers.add(renderer);
		return this;
	}

	public void bindView(M model, VH holder) {}

        public VH createViewHolder(ViewGroup parent) { return ...; }
        ...
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	private final ArrayList mRenderers = new ArrayList<>();
        private RendererRecyclerViewAdapter mAdapter;

        ...        

	public void bindView(M model, VH holder) {
		mAdapter.setItems(model.getItems());
		mAdapter.notifyDataSetChanged();
	}

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

		return ???;
	}

        ...
}

public abstract class CompositeViewHolder extends RecyclerView.ViewHolder {

	public RecyclerView mRecyclerView;

	public CompositeViewHolder(View itemView) {
		super(itemView);
	}
}

public abstract class CompositeViewRenderer  extends ViewRenderer {

	public VH createViewHolder(ViewGroup parent) {
		mAdapter = new RendererRecyclerViewAdapter();

		for (final ViewRenderer renderer : mRenderers) {
			mAdapter.registerRenderer(renderer);
		}

	        VH viewHolder = createCompositeViewHolder(parent);
		viewHolder.mRecyclerView.setLayoutManager(createLayoutManager());
		viewHolder.mRecyclerView.setAdapter(mAdapter);

		return viewHolder;
	}

        public abstract VH createCompositeViewHolder(ViewGroup parent);

	protected RecyclerView.LayoutManager createLayoutManager() {
		return new LinearLayoutManager(getContext(), LinearLayoutManager.HORIZONTAL, false);
	}
        ...
}

public class SomeCompositeItemModel implements CompositeItemModel {

	public static final int TYPE = 999;
	private int mID;
	private final List mItems;

	public SomeCompositeItemModel(final int ID, List items) {
		mID = ID;
		mItems = items;
	}

	public int getID() {
		return mID;
	}

	public int getType() {
		return TYPE;
	}

	public List getItems() {
		return mItems;
	}
}

public class SomeCompositeViewHolder extends CompositeViewHolder {

	public SomeCompositeViewHolder(View view) {
		super(view);
		mRecyclerView = (RecyclerView) view.findViewById(R.id.composite_recycler_view);
	}
}

public class SomeCompositeViewRenderer extends CompositeViewRenderer {

	public SomeCompositeViewRenderer(int viewType, Context context) {
		super(viewType, context);
 	}

	public SomeCompositeViewHolder createCompositeViewHolder(ViewGroup parent) {
                return new SomeCompositeViewHolder(inflate(R.layout.item_composite, parent));
	}
}

public class SomeActivity extends AppCompatActivity {

        protected void onCreate(final Bundle savedInstanceState) {
                super.onCreate(savedInstanceState);

                ...
                SomeCompositeViewRenderer composite = new SomeCompositeViewRenderer(
                        SomeCompositeItemModel.TYPE, 
                        this,
                        new SomeViewRenderer(SomeModel.TYPE, this, mListener)
                );

                mRecyclerViewAdapter.registerRenderer(composite);

                ...
        }
        ...
}

public class SomeViewRenderer extends ViewRenderer {

	private final Listener mListener;

	public SomeViewRenderer(int type, Context context, Listener listener) {
		super(type, context);
		mListener = listener;
	}

	public void bindView(SomeModel model, SomeViewHolder holder) {
		...
		holder.itemView.setOnClickListener(new View.OnClickListener() {
			public void onClick(final View view) {
				mListener.onSomeItemClicked(model);
			}
		});
	}

        ...

        public interface Listener {
		void onSomeItemClicked(SomeModel model);
	}
}

Основные принципы функционального проектирования (дизайна)

Функции как объекты первого класса

let z = 1
let add = x + y // int -> int ->int

Композиция как основной «строительный материал»

Шаблон компоновщик (Composite) в ООП тоже можно представлять себе «фракталом», но компоновщик работает со структурами данных, а не преобразованиями.

Типы != классы

Перемножение (логическое «и», record type в F#)

type Birthday = Person * Date

Сложение (логическое «или», discriminated union type в F#)

type PaymentMethod =  
| Cash
| Cheque of ChequeNumber
| Card of CardType * CardNumber

Однажды нам пригодились «объединения» для моделирования предметной модели.
Entity Framework умеет работать с такими типами из коробки, нужно лишь добавить id.

Стремление к «полноте»

Функции в качестве аргументов

let printList anAction aList =
    for i in aList do
        anAction i

public static int Product(int n)
{     
    int product = 1; // инициализация
    for (int i = 1; i <= n; i++) // цикл
    {
        product *= i; // действие
    }

    return product; // возвращаемое значение
} 
 
public static int Sum(int n) 
{
    int sum = 0; // инициализация
    for (int i = 1; i <= n; i++) // цикл
    {
        sum += i;
    }

    return sum; // возвращаемое значение
} 

let product n =
    let initialValue = 1
    let action productSoFar x = productSoFar * x

[1..n] |> List.fold action initialValue 
 
let sum n =
    let initialValue = 0
    let action sumSoFar x = sumSoFar+x

[1..n] |> List.fold action initialValue

Рекомендую цикл статей Эрика Липперта о монадах в C#. С десятой части начинается объяснение «монадической» природы SelectMany

Функции в качестве интерфейсов

interface IBunchOfStuff
{
    int DoSomething(int x);
    string DoSomethingElse(int x); // один интерфейс - одно дело
    void DoAThirdThing(string x); // нужно разделить
} 

interface IBunchOfStuff
{
    int DoSomething(int x);
} 

let DoSomethingWithStuff strategy x =
    strategy x

let isEvenWithLogging = log >> isEven >> log  // int -> bool

Здесь автор для простоты изложения опускает вопросы семантики. При моделировании реальных предметных моделей одной сигнатуры функции не всегда достаточно.

Каррирование и частичное применение

Такие преобразования возможны не только для компилируемых функций в программировании, но и для математических функций. Возможность такого преобразования впервые отмечена в трудах Готтлоба Фреге, систематически изучена Моисеем Шейнфинкелем в 1920-е годы, а наименование получило по имени Хаскелла Карри — разработчика комбинаторной логики, в которой сведение к функциям одного аргумента носит основополагающий характер.

let three = 1 + 2 
let three = (+) 1 2 
let three = ((+) 1) 2 
let add1 = (+) 1  
let three = add1 2 

// эта функция требует зависимость
let getCustomerFromDatabase connection (customerId:CustomerId) =
    from connection
    select customer
    where customerId = customerId
 
// а эта уже нет
let getCustomer1 = getCustomerFromDatabase myConnection 

Продолжения (continuations)

int Divide(int top, int bottom) 
{
    if (bottom == 0)
    {
        // кто решил, что нужно выбросить исключение?
        throw new InvalidOperationException("div by 0");
    }
    else 
    {
        return top/bottom;
    }
}

void Divide(int top, int bottom, Action ifZero, Action ifSuccess) 
{
    if (bottom == 0)
    {
        ifZero();
    }
    else
    {
        ifSuccess( top/bottom );
     }
}
 

let ifSomeDo f opt =
    if opt.IsSome then
        f opt.Value
    else
        None

let example input =
    doSomething input
    |> ifSomeDo doSomethingElse
    |> ifSomeDo doAThirdThing
    |> ifSomeDo (fun z -> Some z)

Монады

Но такие функции не компонуются :(

На помощь приходит функция bind

let bind nextFunction optionInput =
    match optionInput with
    // передаем результат выполнения предыдущей функции в случае успеха
    | Some s -> nextFunction s
    // или просто пробрасываем значение None дальше
    | None -> None

// было
let example input =
    let x = doSomething input
    if x.IsSome then
        let y = doSomethingElse (x.Value)
        if y.IsSome then
            let z = doAThirdThing (y.Value)
            if z.IsSome then
                let result = z.Value
                Some result
            else
               None
        else 
            None 
    else
        None 

// стало
let bind f opt =
    match opt with
        | Some v -> f v
        | None -> None

let example input =
    doSomething input
        |> bind doSomethingElse
        |> bind doAThirdThing
        |> bind (fun z -> Some z)

Bind для обработки ошибок

Если у вас появилось смутное ощущение, что дальше идет описание монады Either, так оно и есть

string UpdateCustomerWithErrorHandling() 
{
    var request = receiveRequest();
    validateRequest(request);
    canonicalizeEmail(request);
    db.updateDbFromRequest(request);
    smtpServer.sendEmail(request.Email) 
    return "OK";
} 

string UpdateCustomerWithErrorHandling() 
{
    var request = receiveRequest();
    var isValidated = validateRequest(request);
    if (!isValidated) 
    {
        return "Request is not valid"
    }
    
    canonicalizeEmail(request);
    try 
    {
         var result = db.updateDbFromRequest(request);
         if (!result) 
        {
           return "Customer record not found"
        }
    }
    catch
    {
        return "DB error: Customer record not updated"
    } 
 
    if (!smtpServer.sendEmail(request.Email))
    {
        log.Error "Customer email not sent"
    } 
 
    return "OK";
} 

Функторы

Мне не очень понравилось описание функторов у Скотта. Прочитайте лучше статью «Функторы, аппликативные функторы и монады в картинках»

Моноиды

Я предупредил, итак, математика

• 1 + 2 = 3
• 1 + (2 + 3) = (1 + 2) + 3
• 1 + 0 = 1
  0 + 1 = 1

И еще немного

• 2 * 3 = 6
• 2 * (3 * 4) = (2 * 3) * 4
• 1 * 2 = 2
  2 * 1 = 2

Что общего между этими примерами?

1. Есть некоторые объекты, в данном случае числа, и способ их взаимодействия. Причем результат взаимодействия — это тоже число (замкнутость).
2. Порядок взаимодействия не важен (ассоциативность).
3. Кроме того, есть некоторый специальный элемент, взаимодействие с которым не меняет исходный объект (нейтральный элемент).

За более строгим определением обратитесь к википедии. В рамках статьи обсуждается лишь несколько примеров применения моноидов на практике.

Замкнутость

1 * 2 * 3 * 4
[ 1; 2; 3; 4 ] |> List.reduce (*)

Ассоциативность

Нейтральный элемент

Кстати, в математике часто встречается определение моноида как полугруппы с нейтральным элементом. Если нейтральный элемент отсутствует, то можно попробовать его доопределить, чтобы воспользоваться преимуществами моноида.

Map / Reduce

Эндоморфизмы

Грег Янг открыто заявляет, что Event Sourcing — это просто функциональный код. Flux и unidirectional data flow, кстати тоже.

Монады VS моноиды

Кстати, бастион ООП — GOF тоже содержит монады. Паттерн «интерпретатор» — это так называемая свободная монада.

Затраты на корпоративные серверы

Затраты на виртуальные серверы

• Частное облако и VPS/VDS
• Немного о безопасности в «облаке»
• Как создать провайдера виртуальной инфраструктуры

Быстрый рендеринг океанских волн на мобильных устройствах

• (+13) Монетизация приложений в iOS 11: таргетируем встроенные покупки в новом App Store
• (+8) ASO в iOS 11: сводная таблица изменений
• (+8) Когда размер имеет значение: создаем приложение-линейку с помощью ARKit
• Особенности дизайна приложений для iPhone X
• Оставшиеся 32-битные приложения дают менее 1% доходов App Store
• iPhone X: добро пожаловать в будущее
• iPhone 8 и iPhone 8 Plus: новое поколение iPhone
• Apple Watch Series 3: встроенный модуль сотовой связи и новые функции для здоровья и фитнеса
• Российские дизайнеры и разработчики об iPhone X, iPhone 8 и других анонсах презентации Apple
• Используем SpriteKit для создания анимации загрузки watchOS
• Как сделать компас на Swift
• Три важные вещи для разработчиков из мероприятия Apple
• Как пофиксить Webview для iOS 11

• (+12) Web-приложения в Android без Cordova, Phonegap и SMS
• (+12) Робоотчет о GDD Europe 2017
• (+11) Анатомия аналитики от Google + Видео
• (+1) Управление фермой Android-устройств. Лекция в Яндексе
• Победители Material Design Awards 2017
• Google Pixel 2 представят 4 октября
• Программа Infinite Deviation отGoogle Play для инди-разработчиков
• Android Dev Подкаст. Android Things (английский)
• Реализуем работу Glide средствами Android
• Улучшаем Android-приложение с помощью Remixer от Google
• Оптимизируем RecyclerView
• Инструменты, помогающие справляться с Android-разработкой
• Создание реактивного уровня данных с Realm и RxJava2
• Как использовать AsyncListUtil
• ViewModels и LiveData: Patterns + AntiPatterns
• Понимание Activity.runOnUiThread()
• MapMe: адаптер карт для Android
• Как использовать share() в RxJava
• 6 самых важных нетехнических навыков для Android-разработчика
• Google Assistant, контролирующий устройства Android Things
• Bubbble: клиент для Dribbble с использованием Clean Architecture + MVP

• (+40) Твой софт никому не нужен. Или почему разработка ПО требует свежего подхода
• (+28) Кто все эти люди? Давайте спросим К50
• (+22) Классический 2д квест или как прошли наши два года разработки. Часть 1
• (+19) Большие маневры малого бизнеса: «Альфа-Бизнес Мобайл» и его возможности
• (+14) Конкурс идей от ABBYY – как выиграть новый iPhone
• (+7) Найм тестировщиков — по обе стороны баррикад
• (+6) Новая серия вебинаров по SAP Cloud Platform: разработка, интеграция, мобильные приложения и многое другое за месяц
• (+5) Эволюция кроссплатформенной разработки: плюсы и минусы Xamarin
• (+2) Зачем мы сделали VOD на WebRTC
• Samsung выплатит до $200,000 за поиск уязвимостей
• Мобильные UX-паттерны, которые вы используете неправильно
• Как создать приложение с механикой Uber?
• Брайан Эктон уходит из WhatsApp
• Oscar 2.0: от дизайна к разработке
• Думайте, а не проводите спринты
• Отчет «Состоянии нации разработчиков» за третий квартал 2017 года
• Как стать Data Scientist при помощи профессионального покера
• Пять приложений с лучшим UX-дизайном
• Управление продуктами: Empatika Open
• Чему я научился, проходя практику дизайнера в Tesla и Uber
• Плоский UI привлекает меньше внимание и вызывает неопределенность
• Введение в TensorFlow Datasets и Estimators
• Инженерное руководство о том, как не испортить приложение
• Почему PWA это то, что нужно Microsoft
• Прием платежей в React Native приложении
• Анимация пузыря в React Native
• Сколько стоит сделать приложение вроде Periscope

• (+5) ASO: ранжирование в App Store и Google Play (найди 10 отличий в алгоритмах)
• Руководство Adjust “Основы атрибуции мобильных приложений”
• «Руководство по мобильному росту» от Branch
• «Состояние мобильной монетизации»: ведущие мобильные рекламные сети
• Гранты ВКонтакте по программе Start Fellows
• Три шага для точного прогнозирования ключевых показателей мобильного приложения за 45 минут

• Как Apple наконец удалось сделать Siri человечнее
• Для чего используются умные часы

1. проанализировать конкретный запрос
2. проанализировать нагрузку от приложения в конкретных условиях (например, при нажатии пользователем какой-то кнопки в стороннем приложении работающим с БД)
3. анализ ситуации происходящей в данный момент

Анализируем конкретный запрос

• практически все знают, что план запроса получается кнопками «Display Estimated Execution Plan» (оценочный план) и «Include Actual Execution Plan» (фактический план). Отличаются они тем, что оценочный план строится без выполнения запроса. Соответственно, информация о количестве обработанных строк в нем будет только оценочная. В фактическом плане будут как оценочные данные, так и фактические. Сильные расхождения этих величин говорят о неактуальности статистики. Впрочем, анализ плана — тема для отдельной большой статьи — пока не будем углубляться.
• менее известный факт — можно получать замеры затрат процессора и дисковых операций сервера. Для этого необходимо включить SET опции либо в диалоге через меню «Query» / «Query options...»
  
  скрин

  
  
  либо напрямую командами SET в запросе, например

  SET STATISTICS IO ON
  SET STATISTICS TIME ON
  SELECT * FROM Production.Product p
  JOIN Production.ProductDocument pd ON p.ProductID = pd.ProductID
  JOIN Production.ProductProductPhoto ppp ON p.ProductID = ppp.ProductID
  

  
  В результате выполнения, получим данные по затратам времени на компиляцию и выполнение, а также, количество дисковых операций.
  
  Пример вывода

  Время синтаксического анализа и компиляции SQL Server:
  время ЦП = 16 мс, истекшее время = 89 мс.
  
  Время работы SQL Server:
  Время ЦП = 0 мс, затраченное время = 0 мс.
  
  Время работы SQL Server:
  Время ЦП = 0 мс, затраченное время = 0 мс.
  
  (32 row(s) affected)
  Таблица «ProductProductPhoto». Число просмотров 32, логических чтений 96, физических чтений 5, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  Таблица «Product». Число просмотров 0, логических чтений 64, физических чтений 0, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  Таблица «ProductDocument». Число просмотров 1, логических чтений 3, физических чтений 1, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  
  Время работы SQL Server:
  Время ЦП = 15 мс, затраченное время = 35 мс.

  
  
  
  Здесь стоит обратить внимание на время компиляции и текст «логических чтений 96, физических чтений 5». При втором и последующих выполнениях одного и того же запроса — физические чтения могут уменьшаться, а повторная компиляция может не потребоваться. Из-за этого часто возникает ситуация, что второй и последующие разы запрос выполняется быстрее чем первый. Причина, как вы поняли, в кэшировании данных и скомпилированных планов запросов.
• еще полезная кнопочка рядом с кнопками планов — «Include Client Statistics» — выводит информацию по сетевому обмену, количестве выполненных операций и суммарном времени выполнения, с учетом затрат на сетевой обмен и обработку клиентом.
  пример на котором видно что первое выполнение занимает больше времени

  
• в SSMS 2016 версии появилась кнопка «Include Live Query Statistics». Отображает картинку как и в случае с планом запроса, только на ней цифры обработанных строк не статические, а меняются на экране прямо в процессе выполнения запроса. Картинка получается очень наглядная — по мигающим стрелкам и бегущим цифрам сразу видно где тратится время. Кнопка есть в 2016 студии, но работает с серверами начиная с 2014 версии.

Анализируем нагрузку от приложения

картинка

картинка

• Stored Procedures \ RPC:Completed
• TSQL \ SQL:BatchCompleted

• Stored Procedures \ RPC:Starting
• TSQL \ SQL:BatchStarting

• Stored Procedures \ SP:Starting (*Completed) — фиксирует внутренний вызов хранимой процедуры (не с клиента, а внутри текущего запроса или другой процедуры).
• Stored Procedures \ SP:StmtStarting (*Completed) — фиксирует старт каждого выражения внутри хранимой процедуры. Если в процедуре цикл — будет столько событий для команд внутри цикла, сколько итераций было в цикле.
• TSQL \ SQL:StmtStarting (*Completed) — фиксирует старт каждого выражения внутри SQL-batch. Если ваш запрос содержит несколько команд — будет по событию на каждую. Т.е. аналогично предыдущему, только действует не для команд внутри процедур, а для команд внутри запроса.

• TextData, BinaryData — для описанных выше событий содержат сам текст запроса.
• CPU, Reads, Writes, Duration — данные о затратах ресурсов.
• StartTime, EndTime — время начала/окончания выполнения. Удобны для сортировки.

Текст запроса

План выполнения

Анализируем активность пользователей в целом по серверу

• sys.dm_exec_sessions — информация о сессиях. Отображает информацию по подключенным пользователям. Полезные поля (в рамках этой статьи) — идентифицирующие пользователя (login_name, login_time, host_name, program_name, ...) и поля с информацией о затраченных ресурсах (cpu_time, reads, writes, memory_usage, ...)
• sys.dm_exec_requests — информация о запросах выполняющихся в данный момент. Полей тут тоже довольно много, рассмотрим только некоторые:
  
  • session_id — код сессии для связи с предыдущим представлением
  • start_time — время старта запроса
  • command — это поле, вопреки названию, содержит не запрос, а тип выполняемой команды. Для пользовательских запросов — обычно это что-то вроде select/update/delete/и т.п. (также, важные примечания ниже)
  • sql_handle, statement_start_offset, statement_end_offset — информация для получения текста запроса: хэндл, а также начальная и конечная позиция в тексте запроса — обозначающая часть выполняемую в данный момент (для случая когда ваш запрос содержит несколько команд).
  • plan_handle — хэндл сгенерированного плана.
  • blocking_session_id — при возникновении блокировок препятствующих выполнению запроса — указывает на номер сессии которая стала причиной блокировки
  • wait_type, wait_time, wait_resource — поля с информацией о причине и длительности ожидания. Для некоторых видов ожидания, например, блокировка данных — дополнительно указывается код заблокированного ресурса.
  • percent_complete — по названию понятно, что это процент выполнения. К сожалению, доступен только для команд у которых четко прогнозируемый прогресс выполнения (например, backup или restore).
  • cpu_time, reads, writes, logical_reads, granted_query_memory — затраты ресурсов.
• sys.dm_exec_sql_text(sql_handle | plan_handle), sys.dm_exec_query_plan(plan_handle) — функции получения текста и плана запроса. Ниже рассмотрим пример использования.
• sys.dm_exec_query_stats — сводная статистика выполнения в разрезе запросов. Показывает какой запрос сколько раз выполнялся и сколько ресурсов на это потрачено.

1. сначала сделаем выборку и сохраним во временную таблицу
2. затем подождем немного
3. делаем выборку второй раз
4. сравниваем результаты первой и второй выборки — разница, как раз и будет затратами возникшими на п.2
5. для удобства, разницу можем поделить на длительность п.2, чтобы получить усредненные «затраты в секунду».

if object_id('tempdb..#tmp') is NULL
BEGIN
	SELECT * into #tmp from sys.dm_exec_sessions s
	PRINT 'ждем секунду для накопления статистики при первом запуске'
	-- при последующих запусках не ждем, т.к. сравниваем с результатом предыдущего запуска
	WAITFOR DELAY '00:00:01';
END
if object_id('tempdb..#tmp1') is not null drop table #tmp1

declare @d datetime
declare @dd float
select @d = crdate from tempdb.dbo.sysobjects where id=object_id('tempdb..#tmp')

select * into #tmp1 from sys.dm_exec_sessions s
select @dd=datediff(ms,@d,getdate())
select @dd AS [интервал времени, мс]

SELECT TOP 30 s.session_id, s.host_name, db_name(s.database_id) as db, s.login_name,s.login_time,s.program_name,
       s.cpu_time-isnull(t.cpu_time,0) as cpu_Diff, convert(numeric(16,2),(s.cpu_time-isnull(t.cpu_time,0))/@dd*1000) as cpu_sec,
       s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0) as totIO_Diff, convert(numeric(16,2),(s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0))/@dd*1000) as totIO_sec,
       s.reads-isnull(t.reads,0) as reads_Diff, convert(numeric(16,2),(s.reads-isnull(t.reads,0))/@dd*1000) as reads_sec,
       s.writes-isnull(t.writes,0) as writes_Diff, convert(numeric(16,2),(s.writes-isnull(t.writes,0))/@dd*1000) as writes_sec,
       s.logical_reads-isnull(t.logical_reads,0) as logical_reads_Diff, convert(numeric(16,2),(s.logical_reads-isnull(t.logical_reads,0))/@dd*1000) as logical_reads_sec,
       s.memory_usage, s.memory_usage-isnull(t.memory_usage,0) as [mem_D],
      s.nt_user_name,s.nt_domain
from #tmp1 s
LEFT join #tmp t on s.session_id=t.session_id
order BY
cpu_Diff desc
--totIO_Diff desc
--logical_reads_Diff desc

drop table #tmp
GO
select * into #tmp from #tmp1
drop table #tmp1

• добавим «SET NOCOUNT ON» — т.к. Excel не любит отсечки количества строк;
• «временные таблицы» заменим на «таблицы переменные»;
• задержка всегда будет 1сек — поля с усредненными значениями не нужны

SET NOCOUNT ON;
declare @tmp table(session_id	smallint primary key,login_time	datetime,host_name nvarchar(256),program_name nvarchar(256),login_name nvarchar(256),nt_user_name	nvarchar(256),cpu_time	int,memory_usage	int,reads	bigint,writes	bigint,logical_reads	bigint,database_id	smallint)

declare @d datetime;
select @d=GETDATE()

INSERT INTO @tmp(session_id,login_time,host_name,program_name,login_name,nt_user_name,cpu_time,memory_usage,reads,writes,logical_reads,database_id)
SELECT session_id,login_time,host_name,program_name,login_name,nt_user_name,cpu_time,memory_usage,reads,writes,logical_reads,database_id
from sys.dm_exec_sessions s;

WAITFOR DELAY '00:00:01';

declare @dd float;
select @dd=datediff(ms,@d,getdate());

SELECT 
	s.session_id, s.host_name, db_name(s.database_id) as db, s.login_name,s.login_time,s.program_name,
	s.cpu_time-isnull(t.cpu_time,0) as cpu_Diff,
	s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0) as totIO_Diff,
	s.reads-isnull(t.reads,0) as reads_Diff,
	s.writes-isnull(t.writes,0) as writes_Diff,
	s.logical_reads-isnull(t.logical_reads,0) as logical_reads_Diff,
	s.memory_usage, s.memory_usage-isnull(t.memory_usage,0) as [mem_Diff],
	s.nt_user_name,s.nt_domain
from sys.dm_exec_sessions s
left join @tmp t on s.session_id=t.session_id

Картинки процесса

Результат

DECLARE @sql_handle varbinary(64)
DECLARE @plan_handle varbinary(64)
DECLARE @sid INT
Declare @statement_start_offset int, @statement_end_offset INT, @session_id SMALLINT

-- для инфы по конкретному юзеру - указываем номер сессии
SELECT @sid=182

-- получаем переменные состояния для дальнейшей обработки
IF @sid IS NOT NULL
SELECT @sql_handle=der.sql_handle, @plan_handle=der.plan_handle, @statement_start_offset=der.statement_start_offset, @statement_end_offset=der.statement_end_offset, @session_id = der.session_id
FROM sys.dm_exec_requests der WHERE der.session_id=@sid

--печатаем текст выполняемого запроса
DECLARE @txt VARCHAR(max)
IF @sql_handle IS NOT NULL
SELECT @txt=[text] FROM sys.dm_exec_sql_text(@sql_handle)
PRINT @txt
-- выводим план выполняемого батча/процы
IF @plan_handle IS NOT NULL
select * from sys.dm_exec_query_plan(@plan_handle)
-- и план выполняемого запроса в рамках батча/процы
IF @plan_handle IS NOT NULL
SELECT dbid, objectid, number, encrypted, CAST(query_plan AS XML) AS planxml
from sys.dm_exec_text_query_plan(@plan_handle, @statement_start_offset, @statement_end_offset)

Картинки

-- статистика по плану
IF @sql_handle IS NOT NULL
SELECT * FROM sys.dm_exec_query_stats QS WHERE QS.sql_handle=@sql_handle

-- получаем список всех текущих запросов
SELECT LEFT((SELECT [text] FROM sys.dm_exec_sql_text(der.sql_handle)),500) AS txt
--,(select top 1 1 from sys.dm_exec_query_profiles where session_id=der.session_id) as HasLiveStat
,der.blocking_session_id as blocker, DB_NAME(der.database_id) AS База, s.login_name, *
from sys.dm_exec_requests der
left join sys.dm_exec_sessions s ON s.session_id = der.session_id
WHERE der.session_id<>@@SPID
-- AND der.session_id>50

Заключение

1. проанализировать конкретный запрос
2. проанализировать нагрузку от приложения в конкретных условиях (например, при нажатии пользователем какой-то кнопки в стороннем приложении работающим с БД)
3. анализ ситуации происходящей в данный момент

Анализируем конкретный запрос

• практически все знают, что план запроса получается кнопками «Display Estimated Execution Plan» (оценочный план) и «Include Actual Execution Plan» (фактический план). Отличаются они тем, что оценочный план строится без выполнения запроса. Соответственно, информация о количестве обработанных строк в нем будет только оценочная. В фактическом плане будут как оценочные данные, так и фактические. Сильные расхождения этих величин говорят о неактуальности статистики. Впрочем, анализ плана — тема для отдельной большой статьи — пока не будем углубляться.
• менее известный факт — можно получать замеры затрат процессора и дисковых операций сервера. Для этого необходимо включить SET опции либо в диалоге через меню «Query» / «Query options...»
  
  скрин

  
  
  либо напрямую командами SET в запросе, например

  SET STATISTICS IO ON
  SET STATISTICS TIME ON
  SELECT * FROM Production.Product p
  JOIN Production.ProductDocument pd ON p.ProductID = pd.ProductID
  JOIN Production.ProductProductPhoto ppp ON p.ProductID = ppp.ProductID
  

  
  В результате выполнения, получим данные по затратам времени на компиляцию и выполнение, а также, количество дисковых операций.
  
  Пример вывода

  Время синтаксического анализа и компиляции SQL Server:
  время ЦП = 16 мс, истекшее время = 89 мс.
  
  Время работы SQL Server:
  Время ЦП = 0 мс, затраченное время = 0 мс.
  
  Время работы SQL Server:
  Время ЦП = 0 мс, затраченное время = 0 мс.
  
  (32 row(s) affected)
  Таблица «ProductProductPhoto». Число просмотров 32, логических чтений 96, физических чтений 5, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  Таблица «Product». Число просмотров 0, логических чтений 64, физических чтений 0, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  Таблица «ProductDocument». Число просмотров 1, логических чтений 3, физических чтений 1, упреждающих чтений 0, lob логических чтений 0, lob физических чтений 0, lob упреждающих чтений 0.
  
  Время работы SQL Server:
  Время ЦП = 15 мс, затраченное время = 35 мс.

  
  
  
  Здесь стоит обратить внимание на время компиляции и текст «логических чтений 96, физических чтений 5». При втором и последующих выполнениях одного и того же запроса — физические чтения могут уменьшаться, а повторная компиляция может не потребоваться. Из-за этого часто возникает ситуация, что второй и последующие разы запрос выполняется быстрее чем первый. Причина, как вы поняли, в кэшировании данных и скомпилированных планов запросов.
• еще полезная кнопочка рядом с кнопками планов — «Include Client Statistics» — выводит информацию по сетевому обмену, количестве выполненных операций и суммарном времени выполнения, с учетом затрат на сетевой обмен и обработку клиентом.
  пример на котором видно что первое выполнение занимает больше времени

  
• в SSMS 2016 версии появилась кнопка «Include Live Query Statistics». Отображает картинку как и в случае с планом запроса, только на ней цифры обработанных строк не статические, а меняются на экране прямо в процессе выполнения запроса. Картинка получается очень наглядная — по мигающим стрелкам и бегущим цифрам сразу видно где тратится время. Кнопка есть в 2016 студии, но работает с серверами начиная с 2014 версии.

Анализируем нагрузку от приложения

картинка

картинка

• Stored Procedures \ RPC:Completed
• TSQL \ SQL:BatchCompleted

• Stored Procedures \ RPC:Starting
• TSQL \ SQL:BatchStarting

• Stored Procedures \ SP:Starting (*Completed) — фиксирует внутренний вызов хранимой процедуры (не с клиента, а внутри текущего запроса или другой процедуры).
• Stored Procedures \ SP:StmtStarting (*Completed) — фиксирует старт каждого выражения внутри хранимой процедуры. Если в процедуре цикл — будет столько событий для команд внутри цикла, сколько итераций было в цикле.
• TSQL \ SQL:StmtStarting (*Completed) — фиксирует старт каждого выражения внутри SQL-batch. Если ваш запрос содержит несколько команд — будет по событию на каждую. Т.е. аналогично предыдущему, только действует не для команд внутри процедур, а для команд внутри запроса.

• TextData, BinaryData — для описанных выше событий содержат сам текст запроса.
• CPU, Reads, Writes, Duration — данные о затратах ресурсов.
• StartTime, EndTime — время начала/окончания выполнения. Удобны для сортировки.

Текст запроса

План выполнения

Анализируем активность пользователей в целом по серверу

• sys.dm_exec_sessions — информация о сессиях. Отображает информацию по подключенным пользователям. Полезные поля (в рамках этой статьи) — идентифицирующие пользователя (login_name, login_time, host_name, program_name, ...) и поля с информацией о затраченных ресурсах (cpu_time, reads, writes, memory_usage, ...)
• sys.dm_exec_requests — информация о запросах выполняющихся в данный момент. Полей тут тоже довольно много, рассмотрим только некоторые:
  
  • session_id — код сессии для связи с предыдущим представлением
  • start_time — время старта запроса
  • command — это поле, вопреки названию, содержит не запрос, а тип выполняемой команды. Для пользовательских запросов — обычно это что-то вроде select/update/delete/и т.п. (также, важные примечания ниже)
  • sql_handle, statement_start_offset, statement_end_offset — информация для получения текста запроса: хэндл, а также начальная и конечная позиция в тексте запроса — обозначающая часть выполняемую в данный момент (для случая когда ваш запрос содержит несколько команд).
  • plan_handle — хэндл сгенерированного плана.
  • blocking_session_id — при возникновении блокировок препятствующих выполнению запроса — указывает на номер сессии которая стала причиной блокировки
  • wait_type, wait_time, wait_resource — поля с информацией о причине и длительности ожидания. Для некоторых видов ожидания, например, блокировка данных — дополнительно указывается код заблокированного ресурса.
  • percent_complete — по названию понятно, что это процент выполнения. К сожалению, доступен только для команд у которых четко прогнозируемый прогресс выполнения (например, backup или restore).
  • cpu_time, reads, writes, logical_reads, granted_query_memory — затраты ресурсов.
• sys.dm_exec_sql_text(sql_handle | plan_handle), sys.dm_exec_query_plan(plan_handle) — функции получения текста и плана запроса. Ниже рассмотрим пример использования.
• sys.dm_exec_query_stats — сводная статистика выполнения в разрезе запросов. Показывает какой запрос сколько раз выполнялся и сколько ресурсов на это потрачено.

1. сначала сделаем выборку и сохраним во временную таблицу
2. затем подождем немного
3. делаем выборку второй раз
4. сравниваем результаты первой и второй выборки — разница, как раз и будет затратами возникшими на п.2
5. для удобства, разницу можем поделить на длительность п.2, чтобы получить усредненные «затраты в секунду».

if object_id('tempdb..#tmp') is NULL
BEGIN
	SELECT * into #tmp from sys.dm_exec_sessions s
	PRINT 'ждем секунду для накопления статистики при первом запуске'
	-- при последующих запусках не ждем, т.к. сравниваем с результатом предыдущего запуска
	WAITFOR DELAY '00:00:01';
END
if object_id('tempdb..#tmp1') is not null drop table #tmp1

declare @d datetime
declare @dd float
select @d = crdate from tempdb.dbo.sysobjects where id=object_id('tempdb..#tmp')

select * into #tmp1 from sys.dm_exec_sessions s
select @dd=datediff(ms,@d,getdate())
select @dd AS [интервал времени, мс]

SELECT TOP 30 s.session_id, s.host_name, db_name(s.database_id) as db, s.login_name,s.login_time,s.program_name,
       s.cpu_time-isnull(t.cpu_time,0) as cpu_Diff, convert(numeric(16,2),(s.cpu_time-isnull(t.cpu_time,0))/@dd*1000) as cpu_sec,
       s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0) as totIO_Diff, convert(numeric(16,2),(s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0))/@dd*1000) as totIO_sec,
       s.reads-isnull(t.reads,0) as reads_Diff, convert(numeric(16,2),(s.reads-isnull(t.reads,0))/@dd*1000) as reads_sec,
       s.writes-isnull(t.writes,0) as writes_Diff, convert(numeric(16,2),(s.writes-isnull(t.writes,0))/@dd*1000) as writes_sec,
       s.logical_reads-isnull(t.logical_reads,0) as logical_reads_Diff, convert(numeric(16,2),(s.logical_reads-isnull(t.logical_reads,0))/@dd*1000) as logical_reads_sec,
       s.memory_usage, s.memory_usage-isnull(t.memory_usage,0) as [mem_D],
      s.nt_user_name,s.nt_domain
from #tmp1 s
LEFT join #tmp t on s.session_id=t.session_id
order BY
cpu_Diff desc
--totIO_Diff desc
--logical_reads_Diff desc

drop table #tmp
GO
select * into #tmp from #tmp1
drop table #tmp1

• добавим «SET NOCOUNT ON» — т.к. Excel не любит отсечки количества строк;
• «временные таблицы» заменим на «таблицы переменные»;
• задержка всегда будет 1сек — поля с усредненными значениями не нужны

SET NOCOUNT ON;
declare @tmp table(session_id	smallint primary key,login_time	datetime,host_name nvarchar(256),program_name nvarchar(256),login_name nvarchar(256),nt_user_name	nvarchar(256),cpu_time	int,memory_usage	int,reads	bigint,writes	bigint,logical_reads	bigint,database_id	smallint)

declare @d datetime;
select @d=GETDATE()

INSERT INTO @tmp(session_id,login_time,host_name,program_name,login_name,nt_user_name,cpu_time,memory_usage,reads,writes,logical_reads,database_id)
SELECT session_id,login_time,host_name,program_name,login_name,nt_user_name,cpu_time,memory_usage,reads,writes,logical_reads,database_id
from sys.dm_exec_sessions s;

WAITFOR DELAY '00:00:01';

declare @dd float;
select @dd=datediff(ms,@d,getdate());

SELECT 
	s.session_id, s.host_name, db_name(s.database_id) as db, s.login_name,s.login_time,s.program_name,
	s.cpu_time-isnull(t.cpu_time,0) as cpu_Diff,
	s.reads+s.writes-isnull(t.reads,0)-isnull(t.writes,0) as totIO_Diff,
	s.reads-isnull(t.reads,0) as reads_Diff,
	s.writes-isnull(t.writes,0) as writes_Diff,
	s.logical_reads-isnull(t.logical_reads,0) as logical_reads_Diff,
	s.memory_usage, s.memory_usage-isnull(t.memory_usage,0) as [mem_Diff],
	s.nt_user_name,s.nt_domain
from sys.dm_exec_sessions s
left join @tmp t on s.session_id=t.session_id

Картинки процесса

Результат

DECLARE @sql_handle varbinary(64)
DECLARE @plan_handle varbinary(64)
DECLARE @sid INT
Declare @statement_start_offset int, @statement_end_offset INT, @session_id SMALLINT

-- для инфы по конкретному юзеру - указываем номер сессии
SELECT @sid=182

-- получаем переменные состояния для дальнейшей обработки
IF @sid IS NOT NULL
SELECT @sql_handle=der.sql_handle, @plan_handle=der.plan_handle, @statement_start_offset=der.statement_start_offset, @statement_end_offset=der.statement_end_offset, @session_id = der.session_id
FROM sys.dm_exec_requests der WHERE der.session_id=@sid

--печатаем текст выполняемого запроса
DECLARE @txt VARCHAR(max)
IF @sql_handle IS NOT NULL
SELECT @txt=[text] FROM sys.dm_exec_sql_text(@sql_handle)
PRINT @txt
-- выводим план выполняемого батча/процы
IF @plan_handle IS NOT NULL
select * from sys.dm_exec_query_plan(@plan_handle)
-- и план выполняемого запроса в рамках батча/процы
IF @plan_handle IS NOT NULL
SELECT dbid, objectid, number, encrypted, CAST(query_plan AS XML) AS planxml
from sys.dm_exec_text_query_plan(@plan_handle, @statement_start_offset, @statement_end_offset)

Картинки

-- статистика по плану
IF @sql_handle IS NOT NULL
SELECT * FROM sys.dm_exec_query_stats QS WHERE QS.sql_handle=@sql_handle

-- получаем список всех текущих запросов
SELECT LEFT((SELECT [text] FROM sys.dm_exec_sql_text(der.sql_handle)),500) AS txt
--,(select top 1 1 from sys.dm_exec_query_profiles where session_id=der.session_id) as HasLiveStat
,der.blocking_session_id as blocker, DB_NAME(der.database_id) AS База, s.login_name, *
from sys.dm_exec_requests der
left join sys.dm_exec_sessions s ON s.session_id = der.session_id
WHERE der.session_id<>@@SPID
-- AND der.session_id>50

Заключение

1. Что такое кластеризованный и некластеризованный индекс? Когда какое надо использовать?
2. Что такое Join? Чем он отличается от Left Join, Right Join? Inner Join? Outer Join?
3. Есть три таблицы: CUSTOMERS (ID, NAME, MANAGER_ID); MANAGERS (ID, NAME); ORDERS (ID, DATE, AMOUNT, CUSTOMER_ID). Написать запрос, который выведет имена Customers и их SalesManagers, которые сделали покупок на общую сумму больше 10000 с 01.01.2013.
4. Делаем электронный справочник по книгам. Ищем:А) В каком магазине купить данную книгу.Б) В каких магазинах купить книги этого автора (авторов)В) Кто автор книгиГ) Какие книги написал авторНарисовать БД. Написать запрос Б. (Не забыть учесть, что у одной книжки — может быть несколько авторов)
5. Что такое агрегирующие функции? Операторы Group By, Having? Приведите примеры их использования.
6. Table «PC» (id, cpu(MHz), memory(Mb), hdd(Gb))1) Тактовые частоты CPU тех компьютеров, у которых объем памяти 3000 Мб. Вывод: id, cpu, memory2) Минимальный объём жесткого диска, установленного в компьютере на складе. Вывод: hdd3) Количество компьютеров с минимальным объемом жесткого диска, доступного на складе. Вывод: count, hdd
7. Дана следующая структура базы данных в MS SQL: Departments (Id, Name), Employees(Id, DepartmentId, Name, Salary)Необходимо:• Написать запрос получения имени одного сотрудника, имеющего максимальную зарплату в компании, и название его отдела• Получить список отделов, средняя зарплата в которых больше 1000$
8. Ado Net – что за технология? и как и когда она используется?
9. Что такое Entity Framework? Какие подходы проектирования БД знаете? Расскажите про Code First.

1. Назовите и объясните основные парадигмы ООП.
2. Назовите преимущества объектно-ориентированного подхода к программированию перед структурным программированием
3. Перечислите недостатки ООП парадигмы.
4. Что такое раннее и позднее связывание?
5. Перечислите модификаторы доступа и когда они используются?

1. Расскажите про SOLID и примеры его использования
2. В чем отличие паттерна «Стратегия» от паттерна «Шаблонный метод»?
3. Паттерн Адаптер и его применение
4. Расскажите про паттерн «Фасад»

1. using (SomeClass sc = new SomeClass()){} Что делает данная конструкция?
2. int i = 1; Console.WriteLine(«i = {0}», ++i); Что выведет данный код?
3. Различие класса и структуры? И что будет если их передать в метод в виде параметров?
4. Задача: есть нули и единицы в массиве. Надо для каждого нуля посчитать сколько единиц правее него и вывести сумму таких чисел. Сделать за один проход.
5. Различие абстрактного класса и интерфейса? Можно ли отказаться от интерфейсов и использовать только абстрактный класс, ведь мы можем в абстрактном классе просто указать сигнатуры методов?
6. Что такое интернирование строк ?
7. Расскажите про интерфейс IEnumerable? Зачем он используется?
8. Когда мы можем пройтись по собственной коллекции foreach- ом? Что для этого надо сделать и почему? (Рассказать про утиную типизацию)
9. Различие между IEnumerable and IQueryable ?
10. Как устроен Dictionary внутри? Как борются с коллизиями?
11. Есть обычный пользовательский класс. Нужно его использовать как ключ в Dictionary. Что для этого надо поменять (добавить) в классе ?
12. Какова алгоритмическая сложность для операций чтения и записи для коллекции Dictionary?
13. В чем различие между ключевыми словами «ref» и «out»?
14. Расскажите как работает try, catch, finally? Когда вызывается каждый
15. Чем отличаются друг от друга классы String и StringBuilder? Зачем нужно такое разделение?
16. Какие отличие между значимыми и ссылочными типами? Зачем придумали такое разделение? Нельзя было придумать только либо значимые либо ссылочные?
17. В чем отличие использования Finalize и Dispose?
18. Что такое управляемый код и CLR? Основные требования к управляемому коду?
19. Что такое assembly manifest (манифест сборки)?
20. Что такое Boxing и Unboxing?
21. В чем суть полиморфизма?
22. Чем отличается event от delegate?
23. Может ли класс реализовать два интерфейса, у которых объявлены одинаковые методы? Если да, то каким образом?
24. Что такое абстрактный класс? В каком случае вы обязаны объявить класс абстрактным?
25. В чем разница инкапсуляции и сокрытия?
26. Что такое частные и общие сборки?
27. Что такое .Net Framework?
28. LINQ lazy loading, eager loading в чем разница?
29. Можно ли запретить наследование от своего собственного класса?
30. Определение паттерна синглтон
31. Что такое интеграционные тесты и unit-тесты?
32. Что такое MVC, MVVM, WEB API?
33. Каким образом можно присвоить значения полям, которые помечены ключевым словом readonly?
34. Когда вызывается статический конструктор класса?
35. Чем отличаются константы и поля, доступные только для чтения?
36. Чем отличаются константы и поля, доступные только для чтения?
37. Разница между асинхронностью и параллельностью?
38. У вас есть сайт, вы заметили что он долго отвечает, как вы будете искать причину?

1. Вы находитесь в пустом поезде. Это даже не поезд, а просто вагоны, они сцеплены друг с другом. Все вагоны внутри одинаковы, двери на выход из вагона закрыты, через окна ничего не видно. Вы можете включать и выключать свет в вагоне, в котором находитесь, можете сходить в соседний вагон, там тоже можно включать или выключать свет. Вам известно, что вагоны стоят на кольце и сами сцеплены в кольцо, первый вагон сцеплен с последним, ходить по кругу можно сколько угодно. В момент начала решения задачи в каких-то вагонах свет уже горит, в каких-то — не горит.Ваша задача при помощи управления светом в вагонах и перемещения по ним узнать сколько в этом кольце вагонов.
2. У вас есть 100 монет по одному рублю. Они все лежат на столе. У вас также есть два носка. Вам нужно распределить все монеты по 2 носкам, так чтобы в одной из них было в два раза больше монет, чем во второй, при этом
   • не разрешается ломать их (они должны остаться целыми)
   • надо использовать все 100 монет (прятать нельзя)
   • они все одинаковые (по весу, по виду)

1. Какие метрики предложены кандидатом и их смысл — аналитическое мышление
2. SOLID анализ предложенного решения — навыки проектирования
3. Какие шаблоны применены для масштабируемости и расширяемости — архитектурные скилы кандидата. повод при общении затронуть более глубоко вопрос проектирования
4. Какие синтаксические конструкции языка применены и какая технология используется — использование сахара и средств упрощения кода
5. Написаны ли unit тесты — что и как тестирует, какие фреймворки и стили тестов использует
6. Сравнение с когнитивными сервисами — знание трендов применения технологий в реальных проектах
7. Время, сложность решения, активность дополнительных вопросов выполнения — заинтересованность к решаемым задача/получению оффера

1. metanit.com/sharp. Здесь собран большой материал по C#, А также есть специальный раздел «Вопросы к собеседованию». Рекомендую пока пройти теоретический материал, а потом попробовать тесты. Тесты находятся здесь (https://metanit.com/sharp/interview/).
2. www.quizful.net/test. Сайт направлен именно на собеседования по разным направлениям разработки, где вы также сможете найти и C#. Там есть очень много «острых» и хитрых вопросов.
3. CLR via C#. Программирование на платформе Microsoft.NET Framework 4.5 на языке C#. Джефри Рихтер. Эта классическая книга по освоению .Net. Там очень хорошо написано про CLR, про сборки и манифесты. Книга написано на довольно простом языке.
4. metanit.com/sql. Здесь довольно хорошо и просто описывается язык запросов SQL.
5. www.w3schools.com/sql/default.asp Здесь также можете пройти туториал по SQL. В конце будет тест, который очень легко сдать(опять- таки, это лично субъективное мнение).
6. tproger.ru/articles/problems Здесь собраны наиболее интересные логические задачи с ответами.
7. ivinsky.livejournal.com/3266.html здесь собраны задачи по C#, которые часто бывают на собеседованиях
8. oignatov.blogspot.ru/2015/10/net-developer.html здесь собраны задачи по C#, которые часто бывают на собеседованиях
9. jopr.org/blog/detail/voprosy-na-sobesedovanii-po-c здесь собраны задачи по C#, которые часто бывают на собеседованиях

1. Что такое кластеризованный и некластеризованный индекс? Когда какое надо использовать?
2. Что такое Join? Чем он отличается от Left Join, Right Join? Inner Join? Outer Join?
3. Есть три таблицы: CUSTOMERS (ID, NAME, MANAGER_ID); MANAGERS (ID, NAME); ORDERS (ID, DATE, AMOUNT, CUSTOMER_ID). Написать запрос, который выведет имена Customers и их SalesManagers, которые сделали покупок на общую сумму больше 10000 с 01.01.2013.
4. Делаем электронный справочник по книгам. Ищем:А) В каком магазине купить данную книгу.Б) В каких магазинах купить книги этого автора (авторов)В) Кто автор книгиГ) Какие книги написал авторНарисовать БД. Написать запрос Б. (Не забыть учесть, что у одной книжки — может быть несколько авторов)
5. Что такое агрегирующие функции? Операторы Group By, Having? Приведите примеры их использования.
6. Table «PC» (id, cpu(MHz), memory(Mb), hdd(Gb))1) Тактовые частоты CPU тех компьютеров, у которых объем памяти 3000 Мб. Вывод: id, cpu, memory2) Минимальный объём жесткого диска, установленного в компьютере на складе. Вывод: hdd3) Количество компьютеров с минимальным объемом жесткого диска, доступного на складе. Вывод: count, hdd
7. Дана следующая структура базы данных в MS SQL: Departments (Id, Name), Employees(Id, DepartmentId, Name, Salary)Необходимо:• Написать запрос получения имени одного сотрудника, имеющего максимальную зарплату в компании, и название его отдела• Получить список отделов, средняя зарплата в которых больше 1000$
8. Ado Net – что за технология? и как и когда она используется?
9. Что такое Entity Framework? Какие подходы проектирования БД знаете? Расскажите про Code First.

1. Назовите и объясните основные парадигмы ООП.
2. Назовите преимущества объектно-ориентированного подхода к программированию перед структурным программированием
3. Перечислите недостатки ООП парадигмы.
4. Что такое раннее и позднее связывание?
5. Перечислите модификаторы доступа и когда они используются?

1. Расскажите про SOLID и примеры его использования
2. В чем отличие паттерна «Стратегия» от паттерна «Шаблонный метод»?
3. Паттерн Адаптер и его применение
4. Расскажите про паттерн «Фасад»

1. using (SomeClass sc = new SomeClass()){} Что делает данная конструкция?
2. int i = 1; Console.WriteLine(«i = {0}», ++i); Что выведет данный код?
3. Различие класса и структуры? И что будет если их передать в метод в виде параметров?
4. Задача: есть нули и единицы в массиве. Надо для каждого нуля посчитать сколько единиц правее него и вывести сумму таких чисел. Сделать за один проход.
5. Различие абстрактного класса и интерфейса? Можно ли отказаться от интерфейсов и использовать только абстрактный класс, ведь мы можем в абстрактном классе просто указать сигнатуры методов?
6. Что такое интернирование строк ?
7. Расскажите про интерфейс IEnumerable? Зачем он используется?
8. Когда мы можем пройтись по собственной коллекции foreach- ом? Что для этого надо сделать и почему? (Рассказать про утиную типизацию)
9. Различие между IEnumerable and IQueryable ?
10. Как устроен Dictionary внутри? Как борются с коллизиями?
11. Есть обычный пользовательский класс. Нужно его использовать как ключ в Dictionary. Что для этого надо поменять (добавить) в классе ?
12. Какова алгоритмическая сложность для операций чтения и записи для коллекции Dictionary?
13. В чем различие между ключевыми словами «ref» и «out»?
14. Расскажите как работает try, catch, finally? Когда вызывается каждый
15. Чем отличаются друг от друга классы String и StringBuilder? Зачем нужно такое разделение?
16. Какие отличие между значимыми и ссылочными типами? Зачем придумали такое разделение? Нельзя было придумать только либо значимые либо ссылочные?
17. В чем отличие использования Finalize и Dispose?
18. Что такое управляемый код и CLR? Основные требования к управляемому коду?
19. Что такое assembly manifest (манифест сборки)?
20. Что такое Boxing и Unboxing?
21. В чем суть полиморфизма?
22. Чем отличается event от delegate?
23. Может ли класс реализовать два интерфейса, у которых объявлены одинаковые методы? Если да, то каким образом?
24. Что такое абстрактный класс? В каком случае вы обязаны объявить класс абстрактным?
25. В чем разница инкапсуляции и сокрытия?
26. Что такое частные и общие сборки?
27. Что такое .Net Framework?
28. LINQ lazy loading, eager loading в чем разница?
29. Можно ли запретить наследование от своего собственного класса?
30. Определение паттерна синглтон
31. Что такое интеграционные тесты и unit-тесты?
32. Что такое MVC, MVVM, WEB API?
33. Каким образом можно присвоить значения полям, которые помечены ключевым словом readonly?
34. Когда вызывается статический конструктор класса?
35. Чем отличаются константы и поля, доступные только для чтения?
36. Чем отличаются константы и поля, доступные только для чтения?
37. Разница между асинхронностью и параллельностью?
38. У вас есть сайт, вы заметили что он долго отвечает, как вы будете искать причину?

1. Вы находитесь в пустом поезде. Это даже не поезд, а просто вагоны, они сцеплены друг с другом. Все вагоны внутри одинаковы, двери на выход из вагона закрыты, через окна ничего не видно. Вы можете включать и выключать свет в вагоне, в котором находитесь, можете сходить в соседний вагон, там тоже можно включать или выключать свет. Вам известно, что вагоны стоят на кольце и сами сцеплены в кольцо, первый вагон сцеплен с последним, ходить по кругу можно сколько угодно. В момент начала решения задачи в каких-то вагонах свет уже горит, в каких-то — не горит.Ваша задача при помощи управления светом в вагонах и перемещения по ним узнать сколько в этом кольце вагонов.
2. У вас есть 100 монет по одному рублю. Они все лежат на столе. У вас также есть два носка. Вам нужно распределить все монеты по 2 носкам, так чтобы в одной из них было в два раза больше монет, чем во второй, при этом
   • не разрешается ломать их (они должны остаться целыми)
   • надо использовать все 100 монет (прятать нельзя)
   • они все одинаковые (по весу, по виду)

1. Какие метрики предложены кандидатом и их смысл — аналитическое мышление
2. SOLID анализ предложенного решения — навыки проектирования
3. Какие шаблоны применены для масштабируемости и расширяемости — архитектурные скилы кандидата. повод при общении затронуть более глубоко вопрос проектирования
4. Какие синтаксические конструкции языка применены и какая технология используется — использование сахара и средств упрощения кода
5. Написаны ли unit тесты — что и как тестирует, какие фреймворки и стили тестов использует
6. Сравнение с когнитивными сервисами — знание трендов применения технологий в реальных проектах
7. Время, сложность решения, активность дополнительных вопросов выполнения — заинтересованность к решаемым задача/получению оффера

1. metanit.com/sharp. Здесь собран большой материал по C#, А также есть специальный раздел «Вопросы к собеседованию». Рекомендую пока пройти теоретический материал, а потом попробовать тесты. Тесты находятся здесь (https://metanit.com/sharp/interview/).
2. www.quizful.net/test. Сайт направлен именно на собеседования по разным направлениям разработки, где вы также сможете найти и C#. Там есть очень много «острых» и хитрых вопросов.
3. CLR via C#. Программирование на платформе Microsoft.NET Framework 4.5 на языке C#. Джефри Рихтер. Эта классическая книга по освоению .Net. Там очень хорошо написано про CLR, про сборки и манифесты. Книга написано на довольно простом языке.
4. metanit.com/sql. Здесь довольно хорошо и просто описывается язык запросов SQL.
5. www.w3schools.com/sql/default.asp Здесь также можете пройти туториал по SQL. В конце будет тест, который очень легко сдать(опять- таки, это лично субъективное мнение).
6. tproger.ru/articles/problems Здесь собраны наиболее интересные логические задачи с ответами.
7. ivinsky.livejournal.com/3266.html здесь собраны задачи по C#, которые часто бывают на собеседованиях
8. oignatov.blogspot.ru/2015/10/net-developer.html здесь собраны задачи по C#, которые часто бывают на собеседованиях
9. jopr.org/blog/detail/voprosy-na-sobesedovanii-po-c здесь собраны задачи по C#, которые часто бывают на собеседованиях