Tato aplikace hackla duální kamerový systém iPhonu a nikdy jste nic podobného neviděli

Tech

Tato aplikace hackla duální kamerový systém iPhonu a nikdy jste nic podobného neviděli

Apple nebyl prvním výrobcem smartphonů, který přešel na nastavení dvou objektivů na zadní straně svých telefonů. Jakmile to Apple udělal, řada dalších výrobců smartphonů následovala příklad společnosti a přidala do svých vlastních telefonů fotoaparáty se dvěma čočkami. Ve skutečnosti má nyní jeden smartphone dokonce zadní fotoaparát s trojitým objektivem, a je to docela možnénejlepší telefon s fotoaparátem na planetěprávě teď.

Fotoaparát s dvojitým objektivem na iPhone X, iPhone 8 Plus a iPhone 7 Plus společnosti Apple stále patří mezi nejlepší, ale stále poskytuje pouze dvě funkce: 2x optický zoom a rozostření v režimu Portrét a světelné efekty. Jiné společnosti našly několik dalších šikovných způsobů, jak používat duální fotoaparáty, aby uživatelům přidaly další hodnotu. Nemějte však obavy, fanoušci Apple, protože jsme narazili na novou aplikaci, která přináší neuvěřitelné nové funkce fotoaparátu s duálním objektivem iPhone, a nikdy jste nic podobného neviděli.

Nenechte si ujít: 10 nabídek, které si v neděli nemůžete nechat ujít: 175 $ AirPods Pro, tajná nabídka Fire TV, MyQ zdarma, další

Aplikace se jmenuje Apollo a je to tak dostupné právě teď z iOS App Store za 1,99 $. Věřte nám, bude to těch nejlepších 1,99 $, které za celý týden utratíte. Než vám o tom povíme, ukážeme vám to ve dvou náhledových videích, která vytvořila vývojářka aplikace, Indice Limited.

Vážně… jak úžasné to je?

Aplikace Apollo „hackne“ systém duálního fotoaparátu Apple a umožní vám dělat úžasné věci s fotografií v režimu Portrét poté, co ji pořídíte. Můžete měnit směr světelných zdrojů, přidávat a odebírat světelné zdroje, upravovat jas a dokonce i barvy a mnoho dalšího. Používáme ho od prvního vydání minulý týden a jsme nadšeni.

Zde je příběh vývoje aplikace, jak řekl tvůrce Apollo Indice Limited na Redditu :

Apollo je první aplikací, která využívá data hloubky fotografií v režimu portrétu k realistickému přidání světelných zdrojů do scény. Vývoj aplikace začal jako experiment již v listopadu 2017, kdy se nám poprvé dostal do rukou zcela nový iPhone 8+. Chtěli jsme zjistit, čeho lze dosáhnout využitím informací o hloubce portrétních fotografií. Naše hypotéza vypadala jednoduše: pokud lze informace o hloubce překrýt na 2D fotografii, mělo by být možné znovu osvětlit objekty pomocí vlastních světelných zdrojů.

Samozřejmě, že první výsledky byly hrozné. Náš tým se držel příčiny a pokusil se z hloubkové vyrovnávací paměti vymáčknout každý poslední kousek informace. Nejprve jsme potřebovali metodu pro odvození více bodů hloubky z mapy hloubky (disparity), kterou poskytuje rozhraní API pro duální fotoaparát. Algoritmicky jsme vytvořili novou, hustší mapu hloubkových bodů na stávající fotografii. Věci vypadaly jasněji, ale přesto vypadal vizuální efekt vypočítaného osvětlení pomocí obohacené mapy hloubky zklamání.

Byl čas na uhlazování. Implementovali jsme různé filtry s různými výsledky. Potřebovali jsme mapu hladkých vrstevnic, které realisticky kopírují křivky objektů v popředí. Speciální interpolační omáčka pro obohacení naší mapy spolu s jistým bilaterálním filtrováním pro vyhnutí se okrajovým artefaktům [sic] byl recept, který zachránil situaci.

Vyzbrojeni vysoce kvalitní hloubkovou mapou jsme byli schopni odvodit normální mapu, která je zásadní pro použití světelného modelu 3D scény. S použitím bleskového modelu ve stylu Phong jsme zaznamenali první úspěch!

V této fázi trval výpočet informací o hloubce pro portrétní fotografii zhruba 45 sekund, což vedlo k velmi špatnému uživatelskému rozhraní. Bylo na čase přiblížit se GPU! Náš algoritmus byl nejprve rozebrán, aby využil výhody více vláken. Poté byly všechny výpočty přepsány pro Metal 2 SDK. Doba načítání klesla na přibližně 3 sekundy, což je ohromující zlepšení!

Dalším krokem bylo zpřístupnění všech konfigurovatelných parametrů uživateli. Když náš tým UX začal na projektu pracovat, bylo potřeba vyladit desítky parametrů. To nebylo dobré, potřebovali jsme minimální sadu parametrů, které uživateli poskytnou plnou kontrolu, aniž by byly ohromující. Po mnoha iteracích jsme zúžili náš seznam na šest parametrů: 2 globální nastavení a 4 specifické parametry světelného zdroje.

Apollo je skutečně jedinečná a fantastická aplikace, a to je k dispozici právě teď v App Store .