Фрагмент 3-го выпуска справочника "Кто есть кто в робототехнике"

Попробуем ответить на примере свободной аппаратной реализации видеокодера Оgg Тhеоrа. На рисунке – сетевая камера Elphel333 с данным видеокодером (в дополнение к сделанному разработчиками русскому переводу, мы даём англоязычную версию  – это поможет в дальнейшем преодолевать трудности с переводом текстов на тему видеотехнологий). Как мы помним на роботе-тележурналисте Afgan Explorer были установлены веб-камеры, то есть – сетевые. Итак, «идеальная» сетевая камера должна обладать тремя важными качествами:

• Высокое разрешение - камера, оборудованная широкоугольным объективом, не пропустит важное событие в отличие от камер с низким разрешением, устанавливаемых на поворотных платформах;

• Высокая частота кадров - не является чем-то новым для аналоговых камер, но вызывает определённые трудности при разработке цифровых устройств с мультимегапиксельными матрицами;

• Хорошее сжатие данных - особенно критично для устройств, совмещающих высокое разрешение и высокую частоту кадров. Без использования современных методов сжатия объём создаваемых камерами данных может в короткие сроки перегрузить сеть и заполнить все накопители.

В большинстве высокоскоростных камер используется формат сжатия JPEG - его можно свободно использовать, он не требователен к вычислительным мощностям (сопоставим с декодером), но обладает слабой эффективностью компрессии.

Алгоритмы видеосжатия асимметричны и требуют для сжатия гораздо больших вычислений, чем для декомпрессии – это значительно усложняет разработку. Кроме того, использование популярных алгоритмов (МРЕG-2, -4) требует определённых лицензионных отчислений.

Кодек Оgg Тhеоrа разработан фондом Хiрh.оrg и составляет реальную конкуренцию алгоритму МРЕG. Он поддерживается такими популярными плеерами, как Хine, Каffeine, Noatun RealРlауеr 10.

Высокое разрешение и высокая частота кадров требуют больших вычислительных мощностей. Ранние модели камер Еlрhеl-313, использующие JPEG и потребляющие 3 Вт, для полноценной работы нуждались в компьютере с процессором частотой 2.5 ГГц. Требования модели 333 в 4-5 раз выше - это делает использование исключительно программных решений непрактичным.

Специализированный встроенный чип также не решает всех проблем. Существуют доступные модели, но большинство из них поддерживает низкое разрешение (640 × 480 и ниже). Развитие новых специализированных микросхем отстаёт от совершенствования алгоритмов сжатия. Результат - отсутствие сетевых камер, обладающих тремя главными качествами одновременно. 

Возможно ли вышеназванное «триединство» вообще? На основе камер Еlрhеl-333 сделана попытка доказать такую возможность. Для достижения этой цели были объединены возможности высокоэффективного реконфигурируемого устройства (FРGА) и встроенного компьютера, управляемого операционной системой GNU/Linuх. Также использована высокопродуктивная свободная модель разработки аппаратных средств FРGА и предоставляемых под лицензией GNU/GPL.

Это позволяет получать доступ к новым видео форматам до появления их окончательной версии, а также способствует постоянному совершенствованию разработок на протяжении всего срока эксплуатации нашей продукции. Большим преимуществом является то, что пользователи могут свободно модифицировать наши изделия под свои задачи.

О программировании FPGA. Основные процессы обработки данных проходят в реконфигурируемой FРGА - на границе между аппаратным и программным мирами. Использование подобного устройства в камере 333 серии позволяет получить производительность, сравнимую с гипотетическим 10-ти гигагерцевым универсальным компьютером, который, к тому же, будет потреблять в сотни раз больше энергии, чем камера.

В чем сходство разработки FРGА и обычного ПО? Иногда FРGА разрабатываются подобно схематике – с диаграммами, где виртуальные компоненты заменяют реальные счётчики, регистры, блоки памяти и так далее. Но чаще всего, особенно в больших проектах, работа напоминает разработку ПО - с файлами исходных кодов, содержащими директивы препроцессора, модули, функции, объявления переменных и операторы.

Есть два популярных языка описания аппаратных средств: VHDL и Verilog HDL, и именно последний используется при разработке камер Еlрhеl. Исходный текст в Verilog выглядит знакомо для большинства программистов, а программы Коnquеrоr, КWritе или Кdevеlор обладают средствами подсветки синтаксиса Verilog.

Значит ли это, что разработка FРGА – самое обычное программирование? В идеале - да, возможно, но пока это не так. Дело в следующих особенностях такого программирования.

• Необходимо понимать, во что будет скомпилирован ваш код, использующий директивы высокого уровня.

•Нужно учитывать полуаналоговую природу даже цифровых устройств: задержки распространения сигналов (время) - это аналоговые величины.

• На нижнем уровне осуществляется ручное распределение регистровых операций по тактам, распараллеливание внутренних операций там, где это требуется.

• На верхнем уровне осуществляется соединение модулей в конвейеры. Хотя скорость передачи данных в модулях и одинакова, необходимые ресурсы зависят от сложности последовательных модулей. 

О ресурсах FРGА – что внутри чипа? Современные FРGА - развитой класс устройств, имеющих много общего даже для различных моделей и производителей:

- маленькие универсальные ячейки, выполняющие логические функции; часто они также могут быть небольшими блоками памяти или сдвиговыми регистрами, содержат схему ускоренного переноса для счетчиков и сумматоров;

- многоуровневые программируемые ресурсы межсоединений, позволяющие организовать взаимодействие как между соседними, так и удаленными ячейками, отдельными ячейками, а также подключать их к глобальным магистралям;

- многие FРGА имеют встроенные аппаратные модули высокого уровня, такие, как блоки памяти, умножители или даже полноценные процессоры.

В дополнение к вычислительным ресурсам FРGА, камера модели 333 использует отдельную микросхему памяти DDR SDRAM ёмкостью 32 МБ - встроенная память самого чипа ограничена 54 КБ (даже в Sраrtаn-3 с миллионом вентилей).

По сравнению с обширной сетью внутренних соединений, единственный интерфейс внешней памяти мог ограничивать производительность всей системы, поэтому проектирование начиналось с тщательного планирования бюджета операций доступа к памяти. В этой ситуации существенно помогает то, что FРGА позволяет синтезировать контроллер памяти, настроенный на специфические структуры данных. Такая технология позволила достичь утилизации памяти на 95% от теоретической для системной тактовой частоты в 125 МГц (475 МБ/c при пиковой в 500 МБ/c).

Контроллер памяти обслуживает 8 независимых каналов, которые используют встроенные в FРGА блоки памяти для организации буферов, и обеспечивают одновременные потоки: данных от приемника изображений в SDRАМ - построчно; массивы коррекции из SDRАМ в модуль устранения FРN (fiхеd-раttеrn nоisе - квазишума от неоднородности пикселей); сохраненных данных из SDRАМ в преобразователь цветового пространства компрессора плитками по 20 × 20 пикселей; опорного кадра в формате YUV из SDRАМ в компрессор; текущего кадра в формате YUV из компрессора в SDRАМ; промежуточных токенов из компрессора в SDRАМ; токенов из SDRАМ во вторую очередь компрессора; программного доступа процессора к SDRАМ.

Видеокодер в модели 333 реализует только те возможности Оgg Тhеоrа, которые наиболее важны для неподвижных камер, в которых картинка меняется от кадра к кадру незначительно. На момент нашего знакомства с камерой, в ней пока отсутствовала поддержка компенсации движения и сглаживание границ блоков, заметных при сильной компрессии.

Кодер состоит из двух частей - в первой производится преобразование цветового пространства по перекрывающимся плиткам 20 × 20 для макроблоков из 16 × 16 пикселей, двумерное 8 ×8 DСТ (ДКП) и квантизация, подобные алгоритмам GPEG и МРЕG компрессии.

Далее поток квантизованных данных разделяется на два - один, для построения опорного кадра, обрабатывается точно как в декодере, другой подаётся на модуль предсказания DC и далее, вместе с АС коэффициентами кодируется в токены и зигзагом сохраняется в SDRАМ. 

Вторая стадия кодера требуется потому, что согласно алгоритму Тhеоrа, квантизованные коэффициенты DСТ глобально регруппируются для дальнейшего снижения энтропии. Сначала идут все коэффициенты DС (средние значения блоков), затем коэффициенты АС - от самого низких до самых высоких пространственных частот. Такой подход позволяет эффективно кодировать последовательности блоков с нулевыми высокочастотными коэффициентами в дополнение к блокам, полученным в первой стадии.

Этот алгоритм требует готовности полного кадра коэффициентов DСТ, поэтому он использует двухкадровый буфер в SDRАМ и обрабатывает токены предыдущего кадра пока первая стадия выдает следующий кадр.

Наконец токены ненулевых коэффициентов вместе с токенами последовательностей нулей кодируются таблицами Хаффмана, буферизируются и передаются в системную память через контроллер центрального процессора.

Современные FРGА вполне пригодны для таких сложных задач, как сжатие видео в реальном времени - традиционной области применения специализированных устройств. Реализация в FРGА видео кодера Тhеоrа даёт З0 кадр/с для разрешения 1280 ×1024, 12 кадр/с для 2048 × 1536 и несколько сотен кадров в секунду для меньших окон - это делает Еlрhеl-333 первой сетевой камерой, поддерживающей высокое разрешение и сжатие видео в реальном времени более эффективно, чем JРЕG.

Видеокодек Тhеога, благодаря своей эффективности, признан подходящим для включения в большинство GNU/Linuх дистрибутивов, и это уже происходит.

"Черный ящик" в автомобиле: технологии западных автоконцернов "отрихтуют" водителей  - http://www.liveinternet.ru/users/albrs/post402370094/