AI相機(jī)作為一個(gè)概念并不新鮮，小米早在小米8的時(shí)代就推出了第一代小米AI相機(jī)。最近發(fā)布的小米10系列以及小米10青春版手機(jī)，升級(jí)到了2.0版本。

　　近日，小米官方發(fā)文詳細(xì)科普了全新的小米AI相機(jī)2.0，同時(shí)透露了下一代小米AI相機(jī)的特色。

　　小米介紹稱，傳統(tǒng)的AI相機(jī)的做法，通常分成兩個(gè)部分，一是識(shí)別，二是后處理。

　　前者通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)“認(rèn)知”當(dāng)前拍攝的場(chǎng)景，后者根據(jù)不同的場(chǎng)景，使用一些傳統(tǒng)的方式來(lái)針對(duì)特定場(chǎng)景做一些優(yōu)化，比如加一些特殊的濾鏡。所謂“AI“，其實(shí)只有前面的識(shí)別部分跟AI掛鉤。

　　這種方式最大的問(wèn)題是只能針對(duì)特定的幾個(gè)預(yù)設(shè)好的場(chǎng)景來(lái)做優(yōu)化，并且針對(duì)同一個(gè)場(chǎng)景，只能采用一樣的模板來(lái)處理，而沒有針對(duì)當(dāng)前的色彩，光影等做一些更有針對(duì)性的局部?jī)?yōu)化，效果會(huì)大打折扣。

　　AI相機(jī)2.0詳細(xì)技術(shù)詳解

　　為了解決傳統(tǒng)AI相機(jī)只能使用固定模板、針對(duì)預(yù)設(shè)場(chǎng)景優(yōu)化的問(wèn)題，相機(jī)算法團(tuán)隊(duì)開創(chuàng)性的將傳統(tǒng)的場(chǎng)景感知拓展成為全方位的色彩、對(duì)比度、光影等內(nèi)容感知。

　　同時(shí)，小米還使用了深度神經(jīng)網(wǎng)絡(luò)對(duì)整個(gè)畫面進(jìn)行全局和局部的分析，獲取到最優(yōu)的畫面效果，并且實(shí)時(shí)地對(duì)畫質(zhì)進(jìn)行增強(qiáng)。所以，新一代的AI相機(jī)能夠?qū)λ�有的�?chǎng)景進(jìn)行有針對(duì)性的畫質(zhì)提升。

　　可以說(shuō)，對(duì)于同樣的一片草地，在不同的光照，角度，甚至背景下，新的AI相機(jī)都會(huì)有不一樣的優(yōu)化效果。

　　小米的技術(shù)把識(shí)別+處理合二為一，一站式的實(shí)現(xiàn)了AI修圖師的效果。為了實(shí)現(xiàn)上述功能，小米在以下幾方面進(jìn)行了技術(shù)創(chuàng)新。

　　(1)數(shù)據(jù)生成

　　AI相機(jī)2.0的目標(biāo)是能夠產(chǎn)生美的圖片，這就包括要對(duì)原圖做噪聲，亮度，顏色，對(duì)比度，動(dòng)態(tài)范圍等多個(gè)維度進(jìn)行調(diào)整。

　　對(duì)于深度學(xué)習(xí)而言，這樣的訓(xùn)練集很難獲取。除了和團(tuán)隊(duì)中的設(shè)計(jì)師合作PS了數(shù)萬(wàn)張手機(jī)拍張數(shù)據(jù)之外，小米也收集了很多網(wǎng)絡(luò)上的高分圖片作為目標(biāo)，使用GAN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

　　小米使用的GAN網(wǎng)絡(luò)是two path GAN，跟cycle GAN 比較類似，能夠保證生成網(wǎng)絡(luò)生成的圖片跟原圖片的內(nèi)容保持一致，僅僅去優(yōu)化一些我們希望對(duì)原圖進(jìn)行優(yōu)化的維度。

　　(2)訓(xùn)練過(guò)程

　　在訓(xùn)練的過(guò)程中，小米使用的loss主要有consistency loss，similarity loss， total variance loss ， adversarial loss，通過(guò)不同的weight 來(lái)控制生成網(wǎng)絡(luò)的優(yōu)化方向和能力。

　　下面將從訓(xùn)練機(jī)制、幀間一致性處理、開關(guān)模塊這三個(gè)方面來(lái)詳細(xì)描述訓(xùn)練過(guò)程：

　　> Teacher - student 機(jī)制：

　　生成器網(wǎng)絡(luò)訓(xùn)練結(jié)束后，以生成器網(wǎng)絡(luò)作為teacher 網(wǎng)絡(luò)，一個(gè)更輕量級(jí)的網(wǎng)絡(luò)作為student 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在輕量級(jí)的網(wǎng)絡(luò)中我們加入了自相似圖(self-similarity map)作為guidance map來(lái)實(shí)現(xiàn)相似結(jié)構(gòu)和區(qū)域的效果盡量一致。

　　Teacher-Student網(wǎng)絡(luò)

　　> 幀間效果一致性：

　　由于每幀都會(huì)做處理，幀間效果需要穩(wěn)定，否則在視頻和預(yù)覽的時(shí)候就會(huì)容易出現(xiàn)跳變。但是上述的訓(xùn)練是在圖片上做的，因此，在訓(xùn)練student網(wǎng)絡(luò)的時(shí)候小米添加了幀間相似度loss，以保證幀間的效果一致。

　　幀間相似度Loss

　　> 開關(guān)module：

　　輕量級(jí)網(wǎng)絡(luò)由于參數(shù)比較少，對(duì)于不同特點(diǎn)的景物不容易做到對(duì)應(yīng)效果，因此小米在訓(xùn)練的過(guò)程中加入了switch module，這個(gè)模塊的作用就是能夠通過(guò)判斷不同的景物來(lái)選擇不同的效果，有效的實(shí)現(xiàn)了針對(duì)不同的場(chǎng)景做不同的處理的效果。

　　Switch module

　　(3)處理速度

　　在實(shí)現(xiàn)AI算法2.0中，還有一個(gè)最大的技術(shù)挑戰(zhàn)是計(jì)算量。

　　眾所周知，針對(duì)圖像像素處理的深度神經(jīng)網(wǎng)絡(luò)的計(jì)算量極高，對(duì)手機(jī)的計(jì)算能力是一個(gè)很大的考驗(yàn)，而小米除了要實(shí)現(xiàn)預(yù)覽實(shí)時(shí)處理，所見即所得的效果之外，更“變態(tài)”的要求能針對(duì)一億像素的原片進(jìn)行處理。

　　為了實(shí)現(xiàn)這兩個(gè)看似不可能的任務(wù)，團(tuán)隊(duì)的攻城獅們對(duì)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化達(dá)到了每個(gè)四則運(yùn)算都去細(xì)摳的程度。除了使用常見的網(wǎng)絡(luò)減枝，網(wǎng)絡(luò)壓縮的技術(shù)，小米還創(chuàng)造性地提出了一種新的基于導(dǎo)向圖的開關(guān)網(wǎng)絡(luò)結(jié)。

　　這個(gè)網(wǎng)絡(luò)不僅僅可以使得網(wǎng)絡(luò)參數(shù)和計(jì)算量大幅下降，也可以滿足優(yōu)化的多樣性要求(噪聲，亮度，顏色，對(duì)比度，高動(dòng)態(tài)等等)，最終得以將全新的AI相機(jī)展現(xiàn)給用戶。

　　基于導(dǎo)向圖的開關(guān)網(wǎng)絡(luò)結(jié)構(gòu)

　　小米方面透露，團(tuán)隊(duì)已經(jīng)緊鑼密鼓的開始了下一代AI相機(jī)技術(shù)的研發(fā)工作，在新的一代中，爭(zhēng)取在如下幾個(gè)維度上取得突破：

　　更多風(fēng)格:

　　我們?cè)趯ふ乙环N可以通過(guò)比較有限的數(shù)據(jù)集來(lái)快速訓(xùn)練一種新的風(fēng)格的技術(shù)，這樣可以在很短的時(shí)間內(nèi)增加很多用戶喜歡的風(fēng)格，最后可以完全替代濾鏡功能，甚至可以允許用戶自定義拍照風(fēng)格。

　　更多維度:

　　除了色彩維度之外，我們計(jì)劃用類似的技術(shù)來(lái)處理亮度、對(duì)比度等不同的維度，完美的復(fù)制一個(gè)專業(yè)修圖師的大部分工作，全方位的提升拍照和視頻的整體畫質(zhì)和觀感。

　　進(jìn)一步優(yōu)化性能:

　　8K視頻已經(jīng)逐漸成為主流，因此對(duì)我們算法的處理時(shí)間和內(nèi)存占用提出了更高的要求，我們也在做進(jìn)一步的優(yōu)化。