Блог Элкомсофт

«…Восстановление паролей, расшифровка данных,
мобильная и облачная криминалистика… »


Камера в телефоне: всё, что вы хотели знать, но боялись спросить

Август 10th, 2018 by Oleg Afonin
  • 70
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
    70
    Shares

Почему смартфон А с камерой на 16 мегапикселей снимает хуже, чем смартфон Б всего с 12-ю? Неужели здесь чем меньше, тем лучше? Но почему тогда смартфон В с камерой на 24 мегапикселя снимает лучше, чем А и Б вместе взятые? Может быть, потому что он новее? Но почему тогда смартфон Г пятилетней давности с его 41 мегапикселем снимает лучше, чем А, Б и В? Всё-таки больше – лучше? Так отчего тогда не слишком старый, но уже и не новый смартфон Д с камерой на 12 мегапикселей выдаёт ещё более качественные снимки, да ещё и в сложных условиях освещения? Попробуем разобраться в секретах фотографических возможностей современных смартфонов.

Больше – лучше

Правда ли, что чем больше мегапикселей, тем лучше камера? Когда-то давно телефоны оснащались камерами на 0.5 Мп. На их фоне конкуренты с 1.3 мегапикселями давали заметно лучший результат. А уж когда начали выходить матрицы с пятью, шестью и более мегапикселями, мы, наконец, начали верить заявлениям производителей о том, что телефон скоро вытеснит компактные «мыльницы». Забегая вперёд, именно это и произошло – достаточно посмотреть на динамику продаж компактных фотоаппаратов.

Несколько лет назад матрицы смартфонов достигли показателей, сравнимых или превосходящих показатели недорогих, а потом и среднего класса «мыльниц». 12, 16, 20 мегапикселей – далеко не предел. Именно количеством мегапикселей так любят прихвастнуть маркетологи во время анонса очередной новинки.

Как бы банально это ни звучало, при прочих равных условиях (об этом ниже) сенсоры с более высоким количеством точек выдадут более чёткий, детальный результат в сравнении с сенсорами с меньшим разрешением. Впрочем, часто спутником более высокого разрешения картинки является повышенный шум, «зернистость» картинки – либо его обратная сторона: размытие мелких деталей изображение агрессивными алгоритмами шумоподавления. Всё это может привести (и часто приводит!) к тому, что снимки, полученные на сенсоры с меньшим числом мегапикселей выглядят лучше, чем фотографии, сделанные камерой с большим разрешением.

Почему так происходит? Дело в том, что более детальные снимки с сенсоров большего разрешения можно получить именно при «прочих равных условиях», в которые входит много чего. Здесь и оптика, способная обеспечить необходимую сенсору разрешающую способность, и алгоритмы обработки данных, и технология, по которой выполнен сам сенсор. Одним из основных «прочих» параметров является размер точки.

Больше – лучше: часть II

Размер одного пикселя – одна из важнейших характеристик сенсора, о которой практически никогда не говорят маркетологи. При прочих равных условиях чем больше размер точки, тем большее количество фотонов попадёт на неё во время экспозиции кадра. В сравнении с датчиком, оборудованным более мелкими ячейками, сенсор с крупными пикселями будет выдавать меньше шумов в потоке необработанных данных при фиксированном уровне усиления сигнала (грубо говоря, при тех же значениях чувствительности ISO).

Насколько меньше шумов? Зависимость пропорциональна квадрату диагонали. Так, сенсор IMX378, которым оснащаются смартфоны Google Pixel и Pixel XL первого поколения, обладает точкой в 1.55 μm, а смартфон Essential PH-1, оснащённый сенсором IMX258, имеет точки размером лишь в 1.12 μm. Соответственно, на каждый пиксель камеры Google Pixel попадёт в 1.91 раза больше фотонов при тех же условиях освещения и параметрах съёмки – иными словами, «шуметь» камера Pixel будет примерно в два раза меньше, чем камера Essential Phone. В табличке ниже можно ознакомиться с характеристиками некоторых популярных сенсоров, используемых в камерах современных смартфонов. Да-да, современных – несмотря на то, что некоторые модули увидели свет три года назад, их до сих пор продолжают использовать!

Модель Разрешение Диагональ Размер точки Дата выхода
IMX258 4224 x 3136

13 MP

5.867 mm (1/3.06″) 1.12 μm September 2015
IMX260 4032 x 3024

12.2 MP

7.06 mm (1/2.55″) 1.40 μm February 2016
IMX268 3840 x 2160

8 MP

5.14 mm (1/3.61″) 1.12 μm February 2016
IMX278 4224 x 3136

13 MP

5.867 mm (1/3.06″) 1.12 μm July 2015
IMX286 3968 x 2976

12 MP

6.2 mm (1/2.9″) 1.25 μm April 2016
IMX298 4608 x 3456

16 MP

6.521 mm (1/2.8″) 1.12 μm November 2015
IMX300 5984 x 4140

25 MP[a]

7.87 mm (1/2.3″) 1.08 μm September 2015
IMX315 4032 x 3024

12.2 MP

6.15 mm (1/2.93″) 1.22 μm September 2015
IMX318 5488 x 4112

22.5 MP

6.858 mm (1/2.6″) 1.0 μm February 2016
IMX333 4032 x 3024

12.2 MP

7.06 mm (1/2.55″) 1.40 µm
IMX338 5344 х 4008

21 MP

7.487 mm (1/2.4″) 1.12 μm June 2016
IMX345 4032 x 3024

12.2 MP

7.06 mm (1/2.55″) 1.40 µm
IMX350 5120 x 3840

20 MP

(1/2.8″) 1.0 μm
IMX351 4608 x 3456

16 MP

(1/3.09″) 1.0 μm
IMX362 4032 x 3024

12.2 MP

7.06 mm (1/2.55″) 1.40 μm November 2016
IMX363 4032 x 3024

12.2 MP

7.06 mm (1/2.55″) 1.40 μm
IMX371 4608 x 3456

16 MP

(1/3″) 1.0 μm
IMX376 5120 x 3840

20 MP

6.38 mm (1/2.78″) 1.0 μm November 2016
IMX378 4056 x 3040

12.3 MP

7.81 mm (1/2.3″) 1.55 μm September 2016
IMX380 4056 x 3040

12.3 MP

7.81 mm (1/2.3″) 1.55 μm
IMX386 4032 x 3016

12 MP

6.2 mm (1/2.9″) 1.25 μm July 2016
IMX398 4608 x 3456

16 MP

6.4 mm (1/2.8″) 1.12 μm October 2016
IMX400 5056 x 3792

19.1 MP[b]

7.73 mm (1/2.3″) 1.22 μm February 2017
IMX408 2.2 MP 4.983 mm 1/3.61 2.24 μm
IMX486 4032 x 3016

12 MP

6.2 mm (1/2.9″) 1.25 μm February 2018
IMX519 4656 x 3496

16 MP

6.828 mm (1/2.6″) 1.22 μm February 2018

Размер точки напрямую влияет и на детализацию снимка. Для того, чтобы камера смогла эффективно использовать мелкие точки, её оптика должна обладать более высокой разрешающей способностью по сравнению с той, что может быть установлена в камеру с более крупными точками. С учётом того, что сенсоры с более мелкими точками, как правило, стоят дешевле своих более крупноячеистых собратьев, надеяться на более качественную оптику здесь, пожалуй, не стоит.

Наши рекомендации

Если качество снимков для вас – на первом месте, в первую очередь обращайте внимание не на разрешение камеры в мегапикселях, а на размер точки. Так, смартфоны Moto Z и Moto Z2 Force оборудованы камерами на 12 Мп, но в первом поколении устройства размер точек – 1.12 μm, а во втором – 1.22 μm. Неудивительно, что второе поколение линейки Moto Z снимает заметно лучше первого.

Какой именно размер точек хорош? Самыми крупными точками обладает первое поколение смартфонов Pixel: 1.55 μm. Мало отличается качество снимков на камеры с точкой 1.40 μm. Смартфоны с камерами, сенсоры которых несут ячейки размером в 1.22 μm вполне способны отлично снимать днём и вечером на улице, но в темноте вам придётся положиться на оптический стабилизатор (если он есть) или смириться с шумом. А вот на сенсор с точками в 1.12 μm и меньше качественные снимки удастся получить только ярким днём; если же камера с таким размером точки не оборудована оптической стабилизацией, то о снимках в тёмное время суток лучше забыть для сбережения собственных нервов.

Итак, мы выяснили, что размер ячейки фотодетектора (того самого пикселя, который исчисляется в «мега») напрямую влияет на уровень шумов в необработанном потоке данных, который выдаёт сенсор. В свою очередь, уровень шума напрямую влияет на детализацию конечного снимка. Если современные алгоритмы шумоподавления уже давно научились сводить на нет цветовой шум (печально известные всполохи случайного цвета, которыми отличались ранние цифровые фотографии), то с монохромным шумом, «зерном», справиться без потери детализации куда сложнее. Снижение зернистости снимка так или иначе приводит к «съеданию» мелких деталей и, соответственно, к падению как видимого, так и фактического разрешения.

Больше – лучше? Часть III

Итак, мы выяснили, что использование более крупных светочувствительных ячеек (тех самых пикселей, которые «мега») позволяет естественным образом увеличить чувствительность сенсора и снизить шумы, в то же время позволяя использовать более дешёвую оптику с меньшей разрешающей способностью относительно сенсоров с большей плотностью точек. И сенсоров с крупными ячейками на рынке достаточно ещё с позапрошлого года. Почему же производители смартфонов не устанавливают такие сенсоры во все устройства подряд? Неужели тот самый сговор и сегментация рынка?

Причины, по которым в смартфоны продолжают устанавливать менее качественные сенсоры, имеют как маркетинговые, так и чисто технические обоснования.

Начнём с маркетинга. Что выберет покупатель: смартфон-флагман с камерой на 21 Мп или другой флагман всего с 12 Мп? «Больше – лучше»: покупатель видит и понимает, что такое мегапиксели, но совершенно не в курсе, что такое размер точки и каков он в первом и во втором случае. Уважающие себя производители молча устанавливают в свои устройства камеры с крупными ячейками. Здесь и Google (камеры Pixel, Pixel XL обладают точками рекордного размера — 1.55 μm, второе поколение – 1.40 μm, зато с оптическим стабилизатором), и Samsung (размер ячейки основной камеры которого — 1.40 μm). Приличными сенсорами оборудованы смартфоны Apple последнего поколения (1.22 μm в основном модуле, но всего 1.0 μm в модуле камеры с двойным приближением) и Motorola (Moto Z2 Force — 1.22 μm). А вот LG в странном флагманском устройстве G6 сэкономила, установив старенький сенсор с точками 1.12 μm, а в безусловно флагманском LG V30 сэкономила ещё пуще, поставив датчик с ультракомпактными пикселями размером всего 1.0 μm.

Более качественные сенсоры с крупными точками стоят дороже аналогов с мелкой точкой, оказывая прямое влияние на BOM (Bill Of Materials, себестоимость комплектующих) смартфона. Насколько дороже? Разница в цене между самым дорогим и самым дешёвым модулем одного поколения может достигать $4-8. И если для вас как пользователя вопрос всего лишь в том, доплатить ли пусть даже $8 за отличную камеру или сэкономить и довольствоваться плохой, то для производителя, который выпускает модель миллионными тиражами, экономия получается более чем существенной.

Опуская маркетинг и экономику масштабов, важно понимать и то, что сенсор с крупными точками – это крупный сенсор. Крупный сенсор требует соответствующих размеров оптики, а соответствующих размеров оптика оказывается не только шире, но и толще объектива для более компактной матрицы. В результате смартфоны обзаводятся более или менее страшненькими наростами, в которых монтируют растолстевший модуль.

Альтернативой такому решению может стать несколько более толстый корпус устройства. Так, первое поколение Pixel и Pixel XL оснащалось модулем с размером точки 1.55 μm, при этом обошлось без каких-либо выступающих частей.

Если же производитель хочет сделать тонкий смартфон (во всяком случае – тоньше, чем Pixel) без каких-либо наростов, ему остаётся лишь прибегать к компромиссам, используя более тонкие модули с меньшим размером матрицы и, как следствие, более мелкими пикселями.

Впрочем, даже из этого правила есть свои исключения. Таким исключением стали смартфон HTC One (M7) и его последователь HTC M8, в которых использовались так называемые «ультрапиксели». Фактически UltraPixel – всего лишь маркетинговый термин, означавший использование модуля с крупным размером точек 2.0 μm. Такие точки способны собрать в 1.66 раза больше света, чем ячейки модуля Google Pixel (1.55 μm). Нужно отметить, что дизайнеры HTC One не решились встроить в телефон камеру в виде выступающего модуля, оформив её заподлицо с задней крышкой.

Такое дизайнерское решение, ограничившее максимальные физические габариты модуля, в совокупности с решением использовать крупные ячейки не оставило другого выхода, кроме использования модуля с заданными габаритами и заданным размером ячеек… Правильно: из одной шкуры можно сшить семь маленьких шапок или одну большую. В заданные дизайнерами габариты вписалось лишь 4 миллиона ячеек размером в 2.0 μm. И можно сколько угодно убеждать пользователей, что ультрапиксели – это круто, но низкое разрешение – это низкое разрешение. Пользователи, что называется, не купились.

Что ж, разработчики HTC учли негативный опыт. В весьма удачном смартфоне HTC 10 размер точки был уменьшен до 1.55 μm (хотелось бы написать – как в Google Pixel, но на тот момент этим же сенсорам оснащались Nexus 5x и Nexus 6p), а разрешение подросло до 12 Мп. Скрипя зубами, дизайнерам пришлось проектировать нарост.

Ужасно выглядит? Дело вкуса; для многих качество снимков на первом месте, а нарост… нарост можно стерпеть. Впрочем, много и таких пользователей, которые не понимают (да и не хотят понимать) связи между качеством снимков, размером модуля и толщиной смартфона. Именно это большинство не забывает пнуть производителя за ненужный нарост… и многие производители «ломаются», соглашаясь выпускать более тонкие устройства без выступов.

А теперь – вопрос на засыпку: почему в iPhone 7, 8 и iPhone X дополнительная камера с телеобъективом оборудована точками размером всего 1.0 μm?

Казалось бы, именно для телевика нужно подобрать сенсор с максимальным размером точки, а оптику – никак не с диафрагмой f/2.4, а хотя бы f/1.8. Действительно, если рассуждать с точки зрения качества изображения, то нужны и крупные точки, и максимальная диафрагма. Но здесь мы сталкиваемся с жесточайшей нехваткой места. Для того, чтобы вписать телевик с честным двукратным приближением в компактный корпус смартфона, дизайнерам пришлось пойти на жертвы, использовав самый миниатюрный сенсор и оптику с невысокой светосилой.

Когда нельзя верить на слово

Мы уже выяснили, что заявлениям маркетологов не всегда следует верить. Отдельной строкой пройдёмся по смартфону OnePlus 5, который вышел под лозунгом “Clearer photos”. Этот слоган стал локомотивом всей рекламой кампании устройства; фразу “clearer photos” предлагалось ввести в поле «секретного кода», который был нужен для оформления предзаказа сразу после анонса устройства. Казалось бы, относительно уважаемый производитель не может обмануть хотя бы в основном рекламном лозунге? Оказалось, может, да ещё как!

Давайте внимательно посмотрим на камеры устройства. На задней стороне смартфона их две: основная (модуль IMX398, 16 Мп с размером точки 1.12 μm) и дополнительный, обеспечивающий «двукратный зум без потерь» модуль IMX350, 20 Мп с точкой 1.0 μm).

Сразу возникает логичный вопрос: а, собственно, каким именно образом камера с размером пикселя 1.12 μm собирается обеспечивать эти самые “clearer photos”? Оказалось, никак:

Что за точки? Это всего лишь датчики фазовой фокусировки модуля IMX398, для которого компания не сделала грамотной программной обвязки на уровне драйверов. Для того, чтобы замаскировать позорную недоработку, сделать заплатку поручили не SONY (которая разработала сам модуль и драйверы для него), а разработчикам приложения камеры. Результат получился «отличный»: запредельными настройками шумоподавления точки были равномерно размазаны. Заодно съедались и мелкие детали; вместо травы, листвы, веток получалась каша, а лица людей превращались во что-то среднее между акварельным портретом и пластиковой куклой. Этот эффект пользователи окрестили «эффектом акварели».

А как обстоят дела с двукратным зумом без потерь? В отличие от Apple, которые встроили модуль хоть и с мелкими пикселями, но с оптикой с честно удвоенным фокусным расстоянием, дизайнеры OnePlus решили обойтись малой кровью.

Следите за руками. Раз: приближение в 1.33 раза за счёт оптики с «одноцелотридесятым» фокусным расстоянием. Два: из центральной части 20 Мп сенсора вырезают примерно 9 Мп, что даёт приближение ещё приблизительно в полтора раза (напомню, приближение пропорционально квадратному корню от числа «кропнутых» мегапикселей). А чтобы получить те же 16 Мп, что и на основной камере, вырезанные 9 Мп попросту интерполируют до 16-ти. Назвать всю эту процедуру «двукратным зумом без потерь» могут только маркетологи.

Ещё больше – ещё лучше?

В 2013 году на рынок вышел смартфон Nokia Lumia 1020, оборудованный уникальной камерой на 41 Мп. В смартфоне использовалась технология PureView, позволявшая комбинировать пиксели для уменьшения шумов в условиях слабого освещения. Пять лет назад это был настоящий прорыв; для того времени камера снимала не просто хорошо, а прямо-таки замечательно. Вы до сих пор можете время от времени услышать что-то вроде «а вот Lumia 1020…»

Насколько оправдана репутация камеры с сенсором в 41 Мп? Давайте рассмотрим снимки, сделанные на этот смартфон в полном разрешении. Для этого предлагаем пройти по ссылке https://blogs.windows.com/devices/2013/07/11/nokia-lumia-1020-picture-gallery-zoom-in/

Посмотрели? Сегодня, в середине 2018 года, пять лет спустя после выхода этой модели на рынок, я вижу типичную (кстати, размер точки — 1.12 μm) картину: неплохая резкость в центре кадра с падением разрешения ближе к краям, определённо – шумы в тенях. Но 2013 год! 41 мегапиксель! Даже в полном разрешении для того времени снимки смотрятся замечательно, а ведь мы ещё не рассмотрели технологию PureView, которая, комбинируя соседние пиксели (и уменьшая эффективное разрешение снимка), позволяла добиться вот такого уровня шума практически в полной темноте:

Что это – грамотная постобработка или что-то иное? Можно ли добиться подобного качества, просто уменьшив разрешение готового снимка в условном фотошопе? На самом деле – нет, и вот почему.

Алгоритмическая фотография

Постобработка – важный этап в цифровой фотографии. При съёмке в формат RAW, своеобразный «цифровой негатив», фотографы часто проводят постобработку вручную в одном из мощных десктопных (а в настоящее время – уже и мобильных) пакетов. Грамотная постобработка позволяет в определённых пределах «вытянуть» пересвеченные участки, осветлить тени, кадрировать снимок, добавить спецэффекты, уменьшить цифровой шум. Тем не менее, на этапе постобработки человек или компьютер работают с уже готовым плоским изображением. Даже в RAW не сохраняется информация о глубине отдельных участков, а динамический диапазон матрицы ограничивает возможности корректировки снимков с контрастным освещением.

В традиционной цифровой фотографии проблему ограниченного динамического диапазона до сих пор решает режим HDR, который поддерживается многими компактными и системными фотоаппаратами. В этом режиме экспонируется от двух до четырёх кадров, как правило с «вилкой» от -2 до +2 EV. Далее кадры комбинируются (современные камеры уже научились корректно накладывать их друг на друга даже при съёмке с рук; более старые фотоаппараты требовали использовать для съёмки в HDR штатив), и на выходе – по крайней мере, в теории, – получается кадр без провалов в тенях и пересвеченных участков.

У традиционного HDR есть ряд проблем. Во-первых, время на съёмку: сделать несколько кадров подряд может занять до секунды, а это – много. Во-вторых, время на обработку: даже в современных фотоаппаратах единственный кадр в HDR может обрабатываться несколько секунд, что может оказаться неприемлемым. Если в процессе съёмки серии в кадр попадает движущийся объект (или, скажем, ветер колышет листву или ветки деревьев), многие фотоаппараты «размножат» объект, а на месте колышущейся листвы образуется каша.

Все эти проблемы призвана решить современная алгоритмическая фотография, использующая мощные процессоры смартфонов для съёмки и обработки кадров. Одной из самых удачных реализаций алгоритмической фотографии является алгоритм HDR+, разработанный в лаборатории Google. Подробно и с примерами снимков этот режим описан в журнале «Хакер» в статье Дениса Погребного «Идеальное фото. Что такое HDR+ и как активировать его на своем смартфоне». Желающих обратиться к первоисточнику отправляем к подробному (и очень техническому) документу Burst photography for high dynamic range and low-light imaging on mobile cameras.

Алгоритм HDR+ решает целый ряд проблем традиционного HDR. Задержка при съёмке HDR? В режиме ZSL (Zero Shutter Lag) её не будет: кадры берутся из буфера. Время на склейку финального снимка? Она происходит в фоновом режиме, и занимает меньше секунды. Дополнительный бонус – комбинирование нескольких кадров позволяет уменьшить шумы, выдавая гораздо более чистую картинку в сравнении с захватом единственного кадра.

Google Camera – сложнейший проект, который может «потянуть» корпорация уровня Google, Apple или Microsoft (все три компании используют в своих устройствах подобные технологии). Для пользователя всё выглядит просто: нажал на кнопку – получил снимок, качество которого будет выше, чем у конкурентов. Внутри же – масса тонких настроек и оптимизаций, которые не видны обычному пользователю. Лишь совсем недавно разработчикам удалось получить доступ к внутренностям Google Camera, открыв энтузиастам возможность покрутить настройки.

В чём преимущества HDR+ для пользователя? Процитируем статью Дениса Погребного:

Выделим основные достоинства HDR+:

  • Алгоритм замечательно устраняет шумы с фотографий, практически не искажая детали.
  • Цвета в темных сюжетах гораздо насыщеннее, чем при однокадровой съемке.
  • Движущиеся объекты на снимках реже двоятся, чем при съемке в режиме HDR.
  • Даже при создании кадра в условиях недостаточной освещенности вероятность смазывания картинки из-за дрожания камеры сведена к минимуму.
  • Динамический диапазон шире, чем без использования HDR+.
  • Цветопередача преимущественно получается естественней, чем при однокадровой съемке (не для всех смартфонов), особенно по углам снимка.

Всё это соответствует действительности, но есть у режима HDR+ и свои ограничения. Так, быстро движущиеся объекты снимать в HDR+ всё же не стоит: алгоритмы алгоритмами, но результат наложения нескольких кадров будет непредсказуем. Обработка каждого снимка серьёзно нагружает процессор, приводя к нагреву телефона и быстрому расходу аккумулятора, а в режиме ZSL, когда камера постоянно снимает в буфер, расход аккумулятора просто зашкаливает. Тем не менее, результат того стоит: снимки в HDR+ практически всегда выглядят намного лучше кадров с единственной экспозицией.

Карманная машинка времени

Если на вашем смартфоне можно запустить Google Camera в режиме HDR+, то вы – счастливый обладатель карманной машинки времени. При помощи Google Camera ваш смартфон сделает снимок ещё до того, как вы нажмёте на кнопку! Звучит как фантастика? Тем не менее, современные технологии сделали этот сценарий возможным.

Как это работает? Если Google Camera запущена на смартфоне, на котором приложение поддерживает съёмку HDR+ в режиме ZSL (Zero Shutter Lag), будет происходить следующее. При запуске приложения Google Camera сразу же начинает съёмку, снимая данные с сенсора и сохраняя их в буфер в оперативной памяти смартфона (забегая вперёд, некоторые смартфоны реализуют похожую технологию, не используя ресурсы центрального процессора и даже основную память смартфона – кадры сохраняются в специальный буфер в модуле камеры). Как только пользователь нажимает на кнопку спуска затвора, Google Camera фиксирует момент и извлекает из буфера несколько последних кадров, точное число которых варьируется в зависимости от множества факторов (в некоторых версиях Google Camera, модифицированных сторонними разработчиками, этот параметр можно настраивать).

Из всей серии выбирается несколько резких кадров (таким образом, в частности, смартфоны Pixel и Pixel XL компенсируют отсутствие оптического стабилизатора). Каждый кадр разбивается на тайлы. Соответствующие тайлы из разных кадров накладываются друг на друга; при этом компенсируется как смещение камеры во время съёмки, так и наличие в кадре движущихся объектов: в отличие от традиционного HDR, при съёмке через Google Camera мы не получим удвоения или утроения движущихся объектов.

Технология проста на словах, но успешно реализовать её в своих продуктах удалось единицам. Вплоть до выхода Snapdragon 845, в котором Qualcomm предложила всем желающим воспользоваться подобной технологией, алгоритмическая фотография оставалась уделом компаний, способных содержать собственный специализированный отдел разработки.

Монохромные сенсоры: бутафория или?..

Мы уже привыкли видеть в смартфонах не одну, а две основных камеры. Производители пока не пришли к общему мнению, нужна ли вторая камера вообще, а если нужна – то зачем. Google проводит последовательную политику: вторая камера не нужна, а всё необходимое (например, портретный режим) мы реализуем с одним, хоть и хитрозакрученным сенсором. Apple – сторонники двух модулей; при помощи второго реализуется двукратный оптический зум (на самом деле – фиксированный объектив с удвоенным эффективным фокусным расстоянием) и определяется глубина сцены в портретном режиме. В LG поступили с точностью до наоборот: второй модуль – широкоугольный, почти «рыбий глаз». Huawei последовательно продвигает монохромные модули; по заявлениям производителя, комбинирование кадров с двух модулей позволяет естественным образом добиться снимков с низким уровнем шума и расширенным динамическим диапазоном.

Не все производители столь последовательны даже внутри одной линейки. Так, OnePlus последовательно попробовали сперва псевдо-двукратный зум, потом – монохромный модуль, который нельзя использовать для съёмки чёрно-белых фотографий, и, наконец, пришли к тому, что камер должно быть две, но одну из нельзя использовать ни для чего, кроме портретного режима. В младших моделях Xiaomi слабенький дополнительный модуль используется лишь для определения глубины резкости, а во флагманской модели Mi 8 – в качестве широкоугольника. Не может определиться с тем, для чего нужна вторая камера, и Motorola: если в модели Moto X4 в качестве дополнительного используется широкоугольная камера, то в Moto Z2 Force второй модуль – монохромный.

И если в ситуации с широкоугольными модулями и условными телефото нас может заинтересовать разве что оптика (характеристики самого сенсора, как правило, заметно уступают характеристикам основного), то монохромные сенсоры стоят особняком, предлагая ряд преимуществ по сравнению с классическими сенсорами RGBG.

За теорией обратимся к статье, опубликованной компанией RED, известным производителем цифровых видеокамер.

Основной сенсор вашей (и практически всех остальных) камеры построен по принципу цветовой мозаики. На каждую ячейку попадают только волны из определённого диапазона (как правило, выбираются красный, синий и зелёный цвета, но бывают и фильтры с белыми субпикселями). В зависимости от ширины этого диапазона, который регулируется интенсивностью светофильтра, можно получить снимки с большим цветовым охватом – но более тёмные или более шумные, или наоборот – более светлые, но с блеклыми цветами. Грубо говоря, из трёх фотонов R, G и B в ячейку попадёт лишь один, который будет пропущен светофильтром:

Источник: RED

Фактически в каждую «цветную» ячейку может попадать заметно меньше 33% света в зависимости от заданного производителем значения цветового охвата. В любом случае, максимально теоретически возможный КПД светочувствительности цветной матрицы не будет превышать 33%.

Для того, чтобы получить привычное глазу изображение, значения цветных пикселей интерполируются. Таким образом, максимально возможное монохромное разрешение полученного изображения будет приблизительно соответствовать количеству точек сенсора (хотя, например, при фотографировании зелёной травы или листьев будут задействованы в основном зелёные точки). Цветное разрешение будет ниже; впрочем, такая модель вполне согласуется с особенностями человеческого зрения. Подробнее о процессе реконструкции изображения можно почитать в статье Demosaicing.

Источник: RED

Я думаю, вы уже поняли, что будет дальше. Встречайте монохромный сенсор! Никаких цветофильтров, никакой потери светового потока и никакой мозаики:

Источник: RED

Благодаря отсутствию фильтров каждый пиксель монохромного сенсора попадает как минимум в три раза больше фотонов, чем на соответствующую ячейку цветного. В результате – на выбор: ниже уровень шума (можно или уменьшить выдержку, или снизить ISO) либо расширенный динамический диапазон в тенях. Нет и необходимости восстанавливать структуру кадра из «мозаичного» изображения; результат – повышенная детализация и полное отсутствие муара (ложных цветов, артефактов процесса реконструкции).

Посмотрите, какие прекрасные чёрно-белые фотографии выдаёт монохромный сенсор Moto Z2 Force без каких-либо ухищрений с алгоритмической фотографией (смотреть лучше на полный экран):

А что, если хочется такую детализацию, как у монохромного сенсора, но в цвете? У Huawei есть ответ: смартфоны линейки P способны комбинировать данные с цветного и монохромного сенсоров, создавая изображения с минимумом шумов, расширенным динамическим диапазоном и повышенной детализации. По крайней мере, такова теория, а точнее — маркетинг. На практике же мы видим обычную «кашу» на месте травы и общий результат, заметно уступающий снимкам, сделанным на менее продвинутые камеры в режиме HDR+ при помощи Google Camera. За примерами далеко ходить не нужно: сайт Photography Blog протестировал камеры Huawei P20. Разверните на полный экран тестовый кадр и насладитесь детализацией травы на газоне. Если что, это ISO 50, минимальное из возможных. Кстати, по мнению обозревателей, то, что мы видим на снимке ниже — в целом демонстрация отличного качества изображения (цитата: «On the whole, image quality is excellent.») Тут одно из двух: или мои стандарты качества диаметрально противоположны стандартам обозревателей, или… или тут что-то не то.

Источник: Photography Blog

Оптика и стабилизатор

Что такое фотоаппарат без оптики? Во времена плёночных зеркалок – просто сквозная дыра, матерчатая шторка и крышка, чтобы удерживать плёнку. В цифровых зеркальных фотоаппаратах место плёнки занял сенсор, но даже тогда никому не приходило в голову принижать важность объектива для получения качественного снимка. В мобильной же фотографии про объектив обычно известно чуть больше, чем ничего. Максимум, что нам сообщают – это максимальное относительное отверстие (по принципу «f/1.7 – хорошо, а f/2.4 – тёмный») и иногда – эффективное фокусное расстояние. Выбирая смартфон, который снимал бы лучше других, пользователи обращают внимание на что угодно – на мегапиксели, на маркетинговые шильдики Leica или Carl Zeiss, на количество камер, в конце концов, — только не на объектив.

К сожалению, принять информированное решение относительно оптики, установленной в том или ином смартфоне в условиях недостатка информации (где графики MTF? Где оптические схемы, в конце концов?) не представляется возможным. С другой стороны, проектирование оптики для мизерного размера телефонных матриц – дело простое и давно отработанное. В отличие от зеркальных фотоаппаратов, здесь нет ни механического затвора перед матрицей, ни диафрагмы с переменным значением. Не нужен зум: объективы смартфонов обладают фиксированным фокусным расстоянием. Расстояние между задней линзой объектива и матрицей может быть любым, хоть вообще нулевым – при желании линзу можно наклеить на матрицу (сравните с зеркальными фотоаппаратами, при проектировании оптики для которых необходимо учитывать немалое расстояние между самим объективом и матрицей). Другими словами, для любого смартфона очень просто спроектировать объектив, обладающий идеальными в рамках заданного сенсора оптическими свойствами. А можно сэкономить несколько центов и спроектировать объектив, обладающий очень хорошими оптическими свойствами. А можно сэкономить ещё несколько центов, установив оптику посредственного качества. Нужно ли говорить, какой путь выбирает подавляющее большинство производителей?

Тем не менее, по некоторым косвенным признакам о качестве объектива судить всё-таки можно. Да, маркетинговые шильдики часто остаются именно маркетинговыми шильдиками, но время от времени производители отказываются от призрачной экономии и всё-таки устанавливают качественную оптику. Одним из косвенных признаков качественного (более сложного и дорогого в производстве) объектива является наличие оптической стабилизации, о которой производитель непременно заявит в характеристиках. Оптический стабилизатор позволяет делать снимки без смаза от дрожания рук с более длинными выдержками – соответственно, на меньших значениях чувствительности ISO, что означает меньший уровень шума и большую вероятность выхода качественного кадра. Наличие оптического стабилизатора упрощает работу алгоритмов HDR, снижая вычислительную нагрузку при комбинировании кадров. Если у вас есть выбор – обратите внимание, есть ли в интересующем вас устройстве оптический стабилизатор.

Заключение

Камеры современных смартфонов – это не просто комбинация из матрицы и объектива. Это и алгоритмы, сложность и одновременно изящество идеи которых способны поразить воображение. Работа этих алгоритмов требует мощных процессоров и продвинутых DSP, которые встраиваются в большинство современных систем на чипе. Вы спрашиваете, зачем смартфону вычислительная мощь прошлогоднего ноутбука? Например, для того, чтобы, нажав на кнопку, вы смогли мгновенно получить кадр такого качества, над которым профессионалу с зеркалкой пришлось бы ещё попотеть в лаборатории.


  • 70
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
    70
    Shares

Tags: ,

Подписаться на рассылку о новостях и новинках компании ElcomSoft

Комментирование статьи отключено