Методика тестирования видеокамер по программе Imatest

Помимо субъективных тестов, в которых характеристики видеокамер оцениваются визуально, в буквальном смысле слова «на глазок», необходимо иметь инструмент, который обеспечил бы  объективные, численные результаты. И таким инструментом в наших тестах выступает программа Imatest. Данный обзор посвящен тому, чтобы рассказать о возможностях программы, которые используются в наших тестах, а также краткому объяснению результатов её работы. При желании вы можете познакомиться с этой программой гораздо более подробно на её официальном сайте -

Инструментарий

Для работы с программой в нашем случае необходимы следующие инструменты: цветовая таблица GretagMacbeth ColorChecker (на фотографии - в середине) - для оценки цветопередачи и уровня видеошумов; эталонный белый лист  GretagMacbeth WhiteBalance Card (на фотографии - слева) - для точной настройки баланса белого; сенситометрический клин  Kodak Step Tablet №2 - для оценки динамического диапазона камер (на фотографии он сверху, вместе с системой подсветки); и, наконец, специальная мишень для определения MTF (Modulation Transfer Function - Функция передачи модуляции, о ней мы подробно поговорим ниже) - на фотографии она находится справа.

Итак, что же мы измеряем с помощью всего этого инструментария и какие результаты получаем?

Получение статических изображений для анализа в программе Imatest

Поскольку Imatest работает со статическими изображениями (основной целью программы является тестирование цифровых фотоаппаратов), мы должны захватит статические изображения (стоп-кадры) из видеопотока. В случае видеокамер стандартного разрешения и видеокамер высокого разрешения не имеющих выхода HDMI, для этой цели используется программа Sony Vegas Pro 10, для видеокамер высокого разрешения, снабженных интерфейсом HDMI, стоп-кадры захватываются из несжатого видеопотока, идущего через этот интерфейс. Для захвата стоп-кадров используется плата захвата BlackMagic Intensity вкупе с программой Photoshop CS5.

Преимуществом такого подходя является то, что декодирование видео в этом случае производится силами самой видеокамеры, в то время как при использовании Sony Vegas (или любой другой  программы-видеоредактора) декодирование видео происходит через программные кодеры. То есть, в случае использования интерфейса HDMI и платы BlackMagic Intensity, мы получаем возможность протестировать качество декодирования непосредственно исследуемой видеокамеры.

Еще одной интересной возможностью, даваемой таким подходом, является получение и тестирование видео еще не прошедшего компрессию и, соответственно, не испорченного компрессией AVCHD или HDV. Для этого видеосигнал снимается с выхода HDMI в "холостом" режиме работы видеокамеры (без включения записи видео на источник - кассету, HDD, DVD, flash). При этом на выход HDMI подается сигнал, еще не прошедший компрессию, что открывает новые возможности по тестированию видеотракта.

Цветопередача

Основной инструмент тут - GretagMacbeth ColorChecker Chart. Она представляет из себя цветовую карту, состоящую из 18 квадратов (полей) разного цвета, причем используются цвета, которые наиболее часто встречаются на реальных снимках (например - телесный цвет) и 6-ти нейтральных полей разной интенсивности - всего 24 поля. Качество изготовления этой таблицы очень высоко (цена, соответственно, тоже немалая) - каждое поле печатается индивидуально с использованием тщательно отобранных красителей. Эта таблица уже давно стала эталоном во всех измерениях, связанных с цветопередачей.

Методика тут такова: производится съемка тестовой таблицы в интересующих нас условиях освещения, баланс белого выставляется вручную - нижний ряд таблицы (6 нейтральных полей) должен оставаться нейтральным. Установка баланса белого производится с использованием GretagMacbeth WhiteBalance Card - она имеет прецизионно тот же цвет,  что и поле №19 цветовой таблицы (первое поле нижнего, нейтрального, ряда). После этого из получившегося видеоклипа извлекается один кадр таблицы и подается в модуль Colorcheck программы Imatest. На выходе мы имеем несколько диаграмм, относящихся к цветопередаче исследуемой видеокамеры и к уровню видеошумов, из которых нас будет интересовать одна, непосредственно описывающая отклонения цветопередачи от "идеальной" (рассмотрим её на примере камеры Canon HV20, съемка проводилась при естественном освещении):

На этой диаграмме в графической форме представлены отклонения зарегистрированных камерой цветов от идеала в цветовом пространстве CIE LAB. В этом пространстве цвет представляется тремя координатами - L*, a*, b*. При этом координата L* характеризует яркостную составляющую (L*=0 характеризует черный, а L*=100 - белый цвета), в то время как собственно цвет характеризуется двумя координатами - a* (изменяется от зеленого до пурпурного) и b* (изменяется от синего до желтого).

Преимуществом цветового пространства CIE LAB, которое очень важно в нашем с вами случае, является то, что расстояние между двумя точками в этом пространстве прямо пропорционально разнице в цвете между этими точками. То есть, если мы имеем две точки (два цвета) с координатами

то разница в цвете между ними будет характеризоваться величиной

Теперь о том, как все это представлено на вышеупомянутой диаграмме. Цифры соответствуют номерам полей, квадратики соответствуют эталонным, а кружки измеренным камерой a*, b* координатам (в дальнейшем я буду опускать звездочки в обозначениях координат - для простоты записи). Представленные на графике отклонения (Delta-E) вычисляются по формуле:

,

где индексы i, m, e относятся к номеру поля таблицы (i), измеренным (m) и эталонным (e) координатам соответственно. То есть измеряются отклонения в оттенках цвета (координаты a, b) без учета цветовой насыщенности.

В правом верхнем углу диаграммы приведены очень важные числа, которые, собственно, и характеризуют цветопередачу "в общем". Первое из них - средняя цветовая насыщенность картинки с камеры в процентах от средней насыщенности эталонной картинки:

Второе и третье число во второй строчке в наибольшей степени характеризуют общую цветопередачу камеры (среднюю по всем цветовым полям таблицы):

Отметим, что при расчете этих величин используются величины Delta-E откорректированные на цветовую насыщенность (измеренные величины координат a и b приводятся к эталонным по цветовой насыщенности):

Ну и, соответственно, чем эти два числа ( )меньше - тем лучше общая цветопередача.

В третьей строчке приводятся те же самые величины, но без коррекции по цветовой насыщенности, в абсолютном исчислении (что, разумеется, менее информативно, чем в предыдущем случае, поскольку цветовая насыщенность никак не учитывается).

Ну а в четвертой строчке приводятся полные величины цветовых отклонений с учетом яркостной координаты L*:

Для нашего анализа особенно важны первая строчка (общая цветовая насыщенность, чем она ближе к 100% - тем лучше); вторая строчка - средние (и среднеквадратичные) ошибки в оттенках цвета, приведенных к эталонной насыщенности (в этом случае мы видим ошибки именно в оттенках цвета, характеризуемых координатами a и b); и последняя, четвертая строчка, в которой мы находим средние ошибки с учетом всех трех координат (L, a, b). Очевидно, что чем меньше эти ошибки, тем ближе к эталонным цвета на картинке с нашей камеры, то есть - тем лучше цветопередача. Кстати, две серые линии, имеющиеся на этой диаграмме, представляют границы цветового пространства sRGB.

Уровень видеошумов

Программа Imatest позволяет оценить уровень шума на картинке. Делается это, опять-таки, с помощью цветовой таблицы GretagMacbeth ColorChecker. В последней строчке этой таблицы находятся нейтральные поля - 6 штук от белого до черного, номера 19-24. Именно по ним программа и оценивает среднеквадратичный уровень шума. Делается это так - вначале вычисляется разница в яркости между 19-м (чисто белое) и 24-м (чисто черное) полями, а затем вычисляется  среднеквадратичный уровень шума (отдельно для каждого поля и для каждого цветового канала R, G, B и яркостного канала Y) в процентах от вычисленной ранее разности между белым (19) и черным (24) полем. По итогам этих измерений Imatest строит соответствующую диаграмму, пример которой для камеры Canon HV20 (условия недостатка света, режим 50i) приведен ниже:

На этом графике по горизонтальной оси отложен номер поля (1-6, соответствуют 19-24 в общей нумерации полей таблицы), а по вертикальной оси - соответствующий ему уровень шумов по каналам R, G, B, Y (графики имеют соответствующий цвет, серый цвет соответствует яркостному каналу Y).

В верхней части диаграммы содержится общая информация - собственно разница между белым и черным полями, в процентах от которой вычисляется уровень шумов, среднеквадратичный уровень шума по каналам RGBY на центральном (22-м в общей нумерации или 4-м в данной строке) и усредненный по 4-м центральным полям (20-23 или 2-5) среднеквадратичный уровень шума по каналам RGBY, который как раз и характеризует уровень шума "в общем".

Казалось бы, достаточно полная информация, но тут есть одно "но". Дело в том, что вся эта информация получена по одному статическому стоп-кадру, что хорошо для фото, в то время как для видеопоследовательности важно определить шум "в динамике", в движении. Чтобы хоть как-то это учесть, приходится проводить измерения и строить соответствующий график несколько раз для различных стоп-кадров, после чего усреднять результат. При этом теряется вся "красота", в смысле - графическое изображение информации, и остаются только усредненные по n-измерениям значения шума в последней строчке (по 4-м полям). В наших обзорах число n = 5 (то есть измерения усредняются по 5-ти стоп-кадрам), при этом в самом обзоре приводится только одно число, характеризующее максимальный уровень шума (в случае с вышеприведенной картинкой оно равно 2.65% , канал B - синий).

Динамический диапазон

Одной из важнейших величин, характеризующих видеокамеру, является динамический диапазон. Эта величина показывает способность камеры регистрировать детали как в светлых, так и в темных участках снимаемой сцены одновременно. То есть камера обладающая широким динамическим диапазоном сможет на одной сцене проработать детали как в светах, так и в тенях, в то время как камера с узким динамическим диапазоном покажет на той-же сцене света белыми, а тени - черными, без проработки деталей. Для оценки динамического диапазона программа Imatest использует программный модуль Q-13 и сенситометрический клин Kodak Step Tablet №2 (с диапазоном оптических плотностей от 0.05 до 3.05, всего 21 поле). Как это выглядит на деле вы можете увидеть на нижеприведенном рисунке:

Динамический диапазон измеряется в проходящем свете, для чего необходима лампа подсветки, установленная за сенситометрическим клином (между лампой и клином должен быть диффузор, чтобы обеспечить равномерное освещение клина). В нашем случае все устройство в сборе выглядит так:

Съемка производится в темной комнате, экспозиция на камере выставляется так, чтобы самая яркая часть клина (первое поле) имело уровень яркости в районе 255 (то есть было переэкспонировано, но при этом следующее поле клина должно быть хорошо различимым и иметь уровень яркости ниже 255). После этого программа Imatest Q-13 определяет число раздельно различимых на картинке полей сенситометрического клина, которое как раз и характеризует динамический диапазон камеры. Еще немного теории:

Пусть на данное поле оптического клина падает световой поток , а после прохождения оптического клина (и поглощения части света) световой поток становится равным . Тогда оптическая плотность данного поля определится по формуле

То есть если, например, данное поле уменьшает проходящий через него световой поток в 1000 раз, то оптическая плотность этого поля равна 3.0. Программа Imatest измеряет оптическую плотность в других единицах , называемых f-stops (они хорошо знакомы любителям фотографии). Один f-stop соответствует

Между двумя  единицами существует простое соотношение:

То есть оптическая плотность 3.0 в единицах f-stops будет равна 9.97.

Ну а теперь о том, какие значения выдает Imatest. Их можно представить в виде таблицы (в данном случае опять-таки дляCanon HV20):

Full Dynamic Range = 9.57

Как вы можете видеть, программа Imatest измеряет не только полный динамический диапазон камеры, но и полезные динамические диапазоны, привязанные к определенному максимально допустимому уровню шума. Понятно, что чем больше оптическая плотность данного поля, тем больше уровень шумов на нем (при одном и том-же световом потоке). Полезный динамический диапазон для данного уровня шума определяется по полю, на котором измеренный уровень шума (который в данном случае также выражается в единицах f-stops) еще не превышает максимально заданного. При этом уровень шума, характеризуемый стандартным отклонением 1.0 - очень большой, зарегистрированный камерой световой поток флуктуирует из-за шума в среднем в 2 раза! Значения 0.5 и 0.25 характеризуют средний и низкий уровень шума, в то время как значение 0.1 говорит об очень низком уровне шума и, соответственно, высоком качестве изображения. Ну и, соответственно, чем больше значение числа, характеризующего динамический диапазон - тем лучше.

MTF, Sharpness и хроматическая аберрация 

Так что-же это такое - функция передачи модуляции (modulation transfer function - MTF)? Посмотрим на следующий пример.

На этом рисунке изображена мира, представляющая собой чередующиеся белые и черные полосы следующие с возрастающей частотой. Верхняя половина представляет собой эталонную миру, нижняя - снимок эталонной миры фотоаппаратом (видеокамерой). Хорошо видно, как на снимке падает контраст между черным и белым по мере увеличения частоты следования черных и белых полос. Это происходит из-за "неидеальности" оптико-электронного тракта видеокамеры. Если мы обозначим контраст на эталонном изображении за 1 (100%) и будем выражать частоту следования черных и белых линий (соседние черная и белая линии образуют один цикл) в циклах на миллиметр (или другую единицу длины, Imatest например использует количество циклов на один пиксель или число линий умещающихся на вертикальной стороне изображения - Line Width per Picture Height, LW/PH), то зависимость контраста между черным и белым от частоты следования линий на изображении и называется функцией передачи модуляции (MTF) или частотно-контрастной характеристикой (ЧКХ). Данная функция несет в себе гораздо больше информации, нежели простое разрешение в линиях (измеренное, скажем, по таблице EIA 1956), поскольку показывает отклик камеры для разных частот. Важной величиной является частота при значении MTF= 0.5 (относительный контраст 50%) - MTF50. Именно по этому параметру часто сравнивают резкость (sharpness) изображения различных камер, чем она больше, тем изображение резче.

Пример MTF (ЧКХ), построенной программой Imatest для видеокамеры Canon HV20 (чересстрочный режим 50i, разрешение по горизонтали) приведен ниже:

Черная линия - измеренный график MTF, частота следования линий измеряется в LW/PH (то есть - числе линий по высоте кадра при данной частоте следования этих самых линий - так удобнее оценивать разрешение). Кстати, значение LW/PH для уровня относительного контраста 50% (MTF50) приведено на этом графике в численной форме и именно по этой величине удобнее всего оценивать разрешение видеокамеры "в целом".

Тут надо сделать небольшое отступление и кратко рассказать о таком понятии, как искусственное  повышение резкости. Как мы уже упоминали выше, из-за неидеальности оптико-электронного тракта видеокамер, при увеличении частоты следования линий падает относительный контраст между черным и белым, то есть, говоря в общем, падает четкость картинки. Для того, чтобы компенсировать этот эффект производители видеокамер искусственно "вытягивают" этот контраст с помощью электронной обработки. На графике MTF это можно заметить сразу - при малых значениях частот относительный контраст (величина MTF) превышает (и иногда очень заметно) 100%, то есть изображение при таких частотах становится даже более контрастным, чем оригинал! На первый взгляд это хорошо - изображение становится более четким, с более резкими переходами между контрастными участками. Но, если перестараться, если слишком сильно "задрать" резкость, то мы получим слишком "жесткое", "электронное" изображение, да еще и с "артефактами" искусственного повышения резкости - контрастные границы объектов на нашей картинке приобретут белые "окантовочки".  В общем - все хорошо в меру. И эту самую "меру" как раз и пытается определить программа Imatest - красной пунктирной линией показана MTF, полученная с помощью встроенного в Imatest алгоритма повышения резкости, который, по утверждению создателей программы, близок к оптимальному. Другими словами - чем ближе  измеренный график MTF (черная линия) к тому, что Imatest считает оптимумом в плане степени искусственного повышения резкости (красная пунктирная линия) - тем лучше (по крайней мере - с точки зрения Imatest). Для "оптимального" графика MTF  приводится значение MTF50 (красным цветом), а также значения undersharpening или oversharpening - численное выражение отклонения степени искусственного повышения резкости от оптимальной - они приводятся по отношению к встроенному в Imatest алгоритму повышения резкости.

Хочу особо подчеркнуть, что цифры разрешения, которые вы видите на графике MTF (ЧКХ), относятся именно к малой стороне кадра, так что максимальное разрешение для формата Full HD как по вертикали, так и по горизонтали, будет 1080 LW/PH. Если вы хотите узнать число линий по горизонтальной стороне кадра, эти цифры надо умножить на 16/9.

Ну и несколько слов об измерении хроматической аберрации в программе Imatest. Вот как выглядит соответствующий график (график перехода от черного к белому - так называемый краевой профиль (Edge profile) -  построенный отдельно для каждого RGB-цвета)

На этом профиле хорошо видна хроматическая аберрация на границе перехода черное-белое    и приведен параметр CA (area), который её характеризует (чем он больше, тем она заметнее). В описании программы Imatest приведена следующая таблица:

В нашем случае (Canon HV20) хроматическая аберрация (ХА) практически незаметна.

Измерение разрешения по таблице DSC Labs MultiBurst

Imatest дает нам возможность построить график ЧКХ и получить, таким образом, наиболее полную информацию о разрешении исследуемых видеокамер. Но ему не хватает одного - наглядности. Многим читателям хотелось бы увидеть эти линии "вживую", а не в виде цифр на графике. Для этого обычно используются тестовые таблицы с изображением вышеупомянутой миры, состояшей из чередующихся черных и белых полос идущих с возрастающей частотой. Давным-давно, мы использовали одну из таких таблиц (EIA1956) в наших тестах, но она была расчитана на видеокамеры стандартного разрешения и, с приходом эры HD-видео, потеряла свою актуальность. Поэтому, в течении долгого времени, у нас не было таких "наглядных" тестов на разрешение.

Но теперь, благодаря компании DSC Labs (http://www.dsclabs.com), эта ситуация изменилась. Эта компания любезно предоставила для наших тестов одну из производимых ею тестовых таблиц - CamAlign MultiBurst SW (Standard), предназначенную как раз для такой "нативной", естественной, оценки разрешения. На рисунке ниже вы можете увидеть, что она собою представляет:

Мы видим тестовые линейки, состоящие из чередующихся черных и белых линий идущих с возрастающей частотой и расположенные как по центру, так и по краям кадра - в центре эти линейки идут как в горизонтальном, так и в вертикальном направлении, на краях - только в горизонтальном. Кроме того, имеются и миры в виде чередующихся концентрических окружностей, расположенные ближе к краям кадра - по ним удобно оценивать муар, а также разрешение в направлениях отличных от горизонтали и вертикали (к примеру, это очень полезно для матриц построенных по технологии ClearVid).

Таблица проградуирована так, что показывает число линий приведенное к малой стороне кадра (как и Imatest), так что предельное значение разрешения для формата Full HD, как по горизонтали, так и по вертикали, составляет 1080 линий. И, самое главное, максимальная частота следования линий составляет 1200 линий по вертикальной стороне кадра (LPPH - тоже самое, что и LW/PH в Imatest), что более чем достаточно для оценки разрешения видеокамер Full HD.

Для иллюстрации можно привести сравнение оценок разрешений, полученных с помощью программы Imatest и данной таблицы (в качестве "подопытного кролика" выступает моя Sony HDR-HC7E).

Горизонталь	Вертикаль

 В том, что касается разрешения, таблица дает около 700 LW/PH и по горизонтали, и по вертикали - дальше начинается цветной муар, "замывающий" и искажающий тестовую миру. Эта оценка разрешения примерно соответствует той, что дает Imatest для значений относительного контраста 30% (значения MTF30 на приведенных выше рисунках).

Ну и в заключении я хочу сообщить, что во всех тестах, начиная с конца декабря 2010 года, наряду с результатами Imatest, будут приводиться и соответствующие изображения таблицы DSC Labs CamAlign MultiBurst SW.

Заключение

Как уже говорилось выше, данный обзор не претендует на полноту рассмотрения и изложения возможностей и результатов работы программы Imatest, более того, он затрагивает лишь малую часть возможностей этой программы. Я лишь кратко коснулся тех тестов, которые мы применяем в наших обзорах видеокамер. Причем коснулся в том объеме, который будет достаточен для понимания основных результатов, не особо вдаваясь в детали. Для тех кто хочет знать больше будет полезно гораздо более подробное изложение возможностей программы, представленное на её официальном сайте (на английском языке).

Алексей Попов (popoval@nm.ru)

Дата последних изменений: 24.12.2010