Введение в понятие цветового пространства в видео

Цветовое пространство - это математическое представление диапазона цветов. Применительно к видео многие используют термин "цветовое пространство", хотя на самом деле имеют в виду "цветовую модель". К числу распространенных цветовых моделей относятся RGB, YUV 4:4:4, YUV 4:2:2 и YUV 4:2:0. В этой статье мы хотим рассказать о  представлении цвета в видеосистеме и рассказать о различиях между распространенными цветовыми моделями.

Как цвета представляются в цифровом виде?

Практически все дисплеи - будь то телевизор, смартфон, монитор  используют для отображения цветов один и тот же компонент - пиксель. Пиксель - это небольшой компонент, способный отображать любой отдельный цвет в определенный момент времени. Пиксели похожи на плитки мозаики: каждый пиксель представляет собой отдельный фрагмент большого изображения. При правильном расположении и подсветке они могут быть представлены зрителю в виде сложного изображения.

Пиксельное представление образца большого изображения

Хотя человеческий глаз воспринимает каждый пиксель как один цвет, на самом деле каждый пиксель состоит из комбинации трех субпикселей, окрашенных в красный, зеленый и синий цвета.

Цвета на пиксельном и субпиксельном уровне

Комбинируя эти субпиксели в различных соотношениях, можно получить различные цвета.

Цветовое пространство RGB

Смешивая красный, зеленый и синий, можно получить широкий спектр цветов. Это называется аддитивным смешением RGB.

Само цветовое пространство - это математическое представление диапазона цветов:

Представление цветового пространства в 3D

8-битный цвет против 10-битного

8- и 10-бит означают количество бит на компонент цвета или глубину цвета.

RGB 8 бит (иногда пишется как RGB 8:8:8) означает пиксель с 8 битами - красной составляющей, 8 битами - зеленой составляющей и 8 битами -синей составляющей. Это означает, что каждый цветовой компонент может быть представлен как 28, или 256 цветовыми оттенками. Поскольку на один пиксель приходится три цветовых компонента, то всего получается 2563, или 16,77 млн. возможных цветов на пиксель.

Аналогично, RGB 10 бит означает пиксель с 10 битами красной составляющей, 10 битами зеленой составляющей и 10 битами синей составляющей. Таким образом, каждый цвет может быть представлен в 210 или 1024 оттенках, что в сумме составляет 10243 или 1,074 млрд. возможных цветов пикселя.

Цветовое пространство YUV или YCbCr

Цветовое пространство YUV было придумано как решение для телевещания, позволяющее передавать цветное изображение по каналам, построенным для монохромных сигналов. Внедрение цвета в монохромный сигнал осуществляется путем объединения монохромного сигнала (называемого также яркостью, светимостью или лумой и представленного символом Y) с двумя сигналами цветности (называемыми также цветностью и представленными символами UV или CbCr). Это позволяет добиться полной цветовой четкости и качества изображения на принимающем узле трансляции.

Хранение или передача видео по IP может быть обременительной для сетевой инфраструктуры. Субдискретизация цветности - это способ представления видео с использованием части исходной полосы пропускания, что позволяет снизить нагрузку на сеть. При этом используется чувствительность человеческого глаза к яркости, а не к цвету. Уменьшая детализацию цветовой информации, можно передавать видео с меньшим битрейтом, что практически незаметно для зрителя.

YUV 4:4:4

4:4:4 полная глубина цвета

Полная глубина цвета обычно обозначается как 4:4:4. Первое число указывает на наличие четырех пикселей в ширине, второе - на наличие четырех уникальных цветов, а третье - на четыре изменения цвета для второго ряда. Эти числа не связаны с размером отдельных пикселей.

Каждый пиксель в этом случае получает три сигнала: один компонент лумы (яркости), представленный Y, и два компонента разности цветов, называемые хромой, представленные Cr (U) и Cb (V).

Субдискретизация цветности 4:4:4

Субдискретизация YUV

Субдискретизация - это способ распределения цвета по множеству пикселей и использования естественной склонности глаза и мозга к смешиванию соседних пикселей. Субдискретизация снижает цветовое разрешение вследствие дискретизации информации цветности с меньшим коэффициентом, чем у лума.

YUV 4:2:2 относительно 4:2:0

Субдискретизация 4:2:2 подразумевает, что компоненты цветности отсчитываются только с частотой, равной половине частоты лумы:

4:2:2 поддискретизация цветности

Компоненты цветности из пикселей 1, 3, 5 и 7 будут совместно использоваться с пикселями 2, 4, 6 и 8 соответственно. Это снижает суммарную ширину пропускания изображения на 33%.

Аналогично, при субдискретизации 4:2:0, компоненты цветности отсчитываются с частотой, составляющей четвертую часть частоты лумы.

4:2:0 субдискретизация цветности

Компоненты распределяются по четырем пикселям в квадратичной форме, что позволяет уменьшить общую полосу пропускания изображения на 50%.

Существует несколько других методов субдискретизации цветности, но эти два принципа уменьшения полосы пропускания изображения за счет снижения частоты дискретизации цвета пикселей остаются неизменными.

На рисунке ниже показано, как представляется область 4x2 пикселя при субдискретизации 4:2:0 и 4:2:2.

YUV 4:4:4 vs 4:2:2 vs 4:2:0

В приведенном ниже примере три кадра (один яркостный и два цветовых) объединяются для получения конечного цветного изображения:

Монохром

В большинстве дисплеев по умолчанию используется черный цвет, поэтому наиболее простой способ передачи изображения - только по яркости. Такое изображение называется монохроматическим:

Монохроматический снимок растения

В этом случае во входящем сигнале будет присутствовать только компонент лума (Y) и не будет компонентов цветности (U или V).

Сохранение размера субдискретизации

При 8 битах на компонент,

• В режиме 4:4:4 для каждого пикселя потребуется три байта данных (поскольку все три компонента передаются на один пиксель).
• В режиме 4:2:2 на каждые два пикселя приходится четыре байта данных. Это дает в среднем1 два байта на пиксель (снижение пропускной способности на 33%).
• В режиме 4:2:0 на каждые четыре пикселя приходится шесть байт данных. Это дает в среднем 1,5 байта на пиксель (снижение пропускной способности на 50%).

Когда следует использовать субдискретизацию цветности, а когда нет?

Субдискретизация цветности - полезный метод для естественного контента, где снижение разрешения цветности не так заметно.

С другой стороны, для сложного и точного синтетического контента (например, CGI-контента) полная глубина цвета необходима для предотвращения видимых артефактов (размытия краев), поскольку пиксельная точность контента может их усугубить.

На приведенных ниже изображениях показано, как субдискретизация может повлиять на CGI-данные.

Субдискретизация цветности 4:4:4 vs 4:2:2 vs 4:2:0

Мелкие детали теряются при отображении этого изображения с использованием субдискретизации цветности. Это может быть опасно в критически важных средах, где на основе представленных данных принимаются ключевые решения. При дискретизации текста в формате 4:2:2 или 4:2:0 качество изображения падает, и текст становится все более трудночитаемым.

При выборе решений для видеостен, например, очень важно выбирать технологии, обеспечивающие универсальность цветового пространства. Возьмем, к примеру, комнату управления. На части стены диспетчерской могут отображаться графики или диаграммы, где важна каждая деталь. В этом случае лучше всего подойдет продукт для захвата, кодирования, декодирования и отображения, способный работать с форматом 4:4:4. С другой стороны, при просмотре контента с высокой интенсивностью движения, например, спортивных соревнований, общая пропускная способность сети может быть снижена за счет воспроизведения видео в формате 4:2:0. Универсальность является ключевым фактором при выборе решений для захвата, потоковой передачи, записи, декодирования и отображения, поскольку она позволяет пользователю получить более широкий спектр функциональных возможностей.

Ultra Stream HDMI - одноканальный HD энкодер для записи и потокового вещания со встроенным аудио решает задачу по передачи качественного изображения в режиме прямой трансляции.

Является ли YUV 4:4:4 тем же, что и RGB?

Хотя выходное изображение будет выглядеть очень похоже, а пропускная способность, необходимая для передачи изображения, будет одинаковой2 , хранение и передача данных в этих двух системах будет отличаться.

RGB будет передавать содержимое с заранее заданной глубиной цвета на компонент. Это означает, что каждый из R, G и B будет содержать данные для каждого из красного, зеленого и синего цветовых компонентов соответственно, чтобы в совокупности сформировать общий цвет каждого пикселя.

YUV, с другой стороны, передает каждый пиксель с соответствующим компонентом лума и двумя компонентами цветности.

Преобразование цветового пространства

Есть возможность преобразования между RGB и YUV. Преобразование в YUV и использование при необходимости субдискретизации позволит уменьшить полосу пропускания, необходимую для такой передачи.

1. Это важное различие. Хотя средний размер пикселя составляет два байта, некоторые пиксели будут иметь размер три байта, а некоторые - один байт, в зависимости от того, была ли произведена выборка цветности для данного пикселя.
2. При этом предполагается, что глубина цвета RGB и размер YUV на компонент одинаковы.