Facebook опубликовала новые стандарты для видео в 360˚

Стандарты SSIM360 и 360VQM Facebook опубликовала в своем блоге 9 марта. SSIM360 служит для оценки качества отдельных компонентов кодировки и воспроизведения, в то время как 360VQM оценивает качество видео в целом.

Исследователь Facebook в области VR Шэннон Чен (Shannon Chen) объяснил, почему компания решила разработать собственные стандарты. Он надеется, что SSIM360 и 360VQM найдут широкое применение в создании контента, так как стандарты, существующие для «плоского» видео, не подходят для видео в 360˚.

Зачем нужны новые стандарты?
Кодировка обычного контента оценивается с помощью индекса структурного подобия (SSIM), который показывает, насколько закодированное видео совпадает с оригинальным. SSIM разбивает каждый кадр на маленькие сегменты (как квадратики на изображении ниже), и каждому из них выставляется определенная оценка. На их основе рассчитывается средний балл для каждого кадра и видео в целом.

​

Однако такой метод не работает для видео в 360˚. Чтобы показать почему, рассмотрим два изображения с фрагментом карты. Оба закодированы кодеком, который искажает часть карты, где видно Антарктику. При наложении на сферу изображения выглядят одинаково. Но SSIM даст примеру слева меньший балл, так как на нем не учитываются деформации, и искаженная часть занимает большую часть карты.

​

Решение с помощью SSIM360
Чтобы устранить эту проблему, в Facebook разработали SSIM360. Он присваивает каждой оценке определенный вес, на основе которого рассчитывается средний балл. Чем сильнее оцениваемый участок растянут, тем меньше его вес. Новый стандарт снижает вероятность ошибки на 50 %.

Для чего тогда нужен 360QVM?
Из-за того, что SSIM360 оценивает не область зрения пользователя, а кадр целиком, стандарт становится менее полезным на практике. К тому же он не учитывает оптимизацию, зависящую от взгляда пользователя.

Разработчики решили эту проблему с помощью карт распределения. Первая измеряет количество пикселей внутри поля зрения, а вторая использует систему оценки SSIM360 для отображения изменения плотности пикселей.

​

Эта система образует метрику качества видео в 360˚ (360QVM). Разработчики поясняют, что 360QVM улавливает изменение качества во время кодирования, а затем накладывает этот эффект на финальный балл для расчета оптимизации изображения.


Ниже приведена схема работы двух стандартов при оценке видео:

​