前言
自從iPhone7 PLUS推出了2倍光學(xué)變焦的雙攝方案，拉開了計算光學(xué)創(chuàng)新的序幕，OPPO不甘落后最近推出了潛望式的5倍光學(xué)變焦方案，計算光學(xué)在手機(jī)上一直作為創(chuàng)新的重頭戲呈現(xiàn)給廣大消費(fèi)者。最近關(guān)于iPhone8要推3D成像的傳聞，讓整個手機(jī)業(yè)界都為之歡呼雀躍，似乎看到了新的機(jī)遇，普遍認(rèn)為這是2D成像通往3D成像的一次重大變革。因為工作需要，對3D成像進(jìn)行了一次深度的調(diào)研，跟大家探討下，3D成像在手機(jī)上的應(yīng)用到底是雞肋還是一次行業(yè)創(chuàng)新，對此業(yè)界持有不同意見。
1.什么是3D成像。
3D成像就是在二維圖像，包括顏色，亮度，細(xì)節(jié)的基礎(chǔ)上增加了景深的信息，在拍照的同時，獲取對象的景深數(shù)據(jù)，應(yīng)用于人臉識別，虹膜識別，手勢控制，機(jī)器視覺，計算攝影。3D成像方案包括了結(jié)構(gòu)光，TOF和雙目。
2.是什么驅(qū)動力推動結(jié)構(gòu)光方案能在手機(jī)3D成像技術(shù)取得重大突破，成為蘋果新機(jī)的標(biāo)配。
2.1芯片技術(shù)的創(chuàng)新，讓結(jié)構(gòu)光方案落地到手機(jī)應(yīng)用。
蘋果收購了PrimeSense，從經(jīng)驗積累到實際應(yīng)用，方案成熟度當(dāng)屬最高，特別是在手機(jī)上的應(yīng)用。PrimeSense有一顆獨(dú)立的PS1080景深算法芯片，用在蘋果上的型號有待確認(rèn)和解開。芯片除了能高效的處理3D景深算法，也為降低手機(jī)功耗起到舉足輕重的作用，因為3D人臉檢測通過外部ASIC處理，只需要很小的功耗，在數(shù)十微秒內(nèi)即可完成拍照，景深數(shù)據(jù)采集，而不用每次主芯片去跑CPU、GPU和DSP，即高效又環(huán)保，因為省電。國內(nèi)方案商奧比中光是結(jié)構(gòu)光領(lǐng)域的實力派,其三月底的結(jié)構(gòu)光生態(tài)伙伴發(fā)布會將有軟件合作商虹軟,模組合作商丘鈦以及投資方MTK等幾家業(yè)界實力玩家站臺。奧比中光的算法跑在自己研發(fā)的一顆型號為MX400的ASIC上，從應(yīng)用和效果上經(jīng)過了實際的批量檢驗。公司自2013年成立到現(xiàn)在，短短幾年即取得了不錯的成績。預(yù)計今年，奧比中光也會有適合在手機(jī)應(yīng)用的ASIC和整體方案呈現(xiàn)給手機(jī)廠商。
2.2先進(jìn)的模組制造技術(shù)進(jìn)一步推動3D成像產(chǎn)業(yè)化。
模組供應(yīng)商舜宇，歐菲，丘鈦在3D成像變革中將會受益。IR攝像頭和RGB攝像頭采用AA共基板模組結(jié)構(gòu)，丘鈦在雙攝模組制程上有多項技術(shù)創(chuàng)新，經(jīng)驗豐富，特別是后段測試自動化工位，大大提高生產(chǎn)效率，保證了出廠的每一只模組都在一致的標(biāo)準(zhǔn)下經(jīng)過嚴(yán)格測試。丘鈦擁有國內(nèi)主流客戶群，成為了3D方案商和手機(jī)廠商的香餑餑，相信在這一波3D成像技術(shù)升級中會脫穎而出，最近宣布將并購和控股一家鏡頭供應(yīng)商N(yùn)EWMAX，而NEWMAX是主流3D相機(jī)的紅外鏡頭零部件供應(yīng)商，在光學(xué)設(shè)計和鍍膜技術(shù)上技術(shù)領(lǐng)先，丘鈦的這筆投資可謂未雨綢繆，長遠(yuǎn)看將給丘鈦在光學(xué)技術(shù)創(chuàng)新上會注入更多的動力。
圖2.1 丘鈦的雙攝模組全自動化AA制程
2.3結(jié)構(gòu)光Projector核心部件的創(chuàng)新推動了器件微型化，得以應(yīng)用到手機(jī)設(shè)計中。
下圖為Kinect紅外激光投射器的原理圖。根據(jù)PrimeSense在專利中的描述，紅外激光生成器（42）射出準(zhǔn)直后的激光束（44），通過光學(xué)衍射元件（DOE）進(jìn)行散射，進(jìn)而得到所需的散斑圖案。
圖2.2 Kinect紅外激光投射器原理圖
2.3.1 Projector采用VCSEL（垂直腔面激光發(fā)射器）。
圖2.3 VCSEL（垂直腔面激光發(fā)射器）
VCSEL具有以下特點：
特點一：光束窄且圓 VCSEL耦合效率高
特點二：閾值電流低 VCSEL低功耗
特點三：易集成
特點四：VCSEL可以直接在wafer上完成工藝制作與測試 低成本
VCSEL受益的供應(yīng)商：
LITE.O、II-VI.O、FNSR.O是主要的VCSEL供應(yīng)商，Winsemi擁有VCSEL晶圓制程。
2.3.2 準(zhǔn)直鏡頭WLO（Wafer-level Optics）大部分專利掌握在Heptagon手中，Heptagon被收購后應(yīng)該要改名為AMS。
準(zhǔn)直鏡頭一般由兩組鏡片組成，第一組鏡片先把激光壓縮成散角較小的光束，經(jīng)過第二組凸透鏡使得在象空間的光束為軸對稱的園柱形平行光束。
圖3.1 半導(dǎo)體準(zhǔn)直激光鏡頭
圖3.2準(zhǔn)直鏡頭的光路
Heptagon WLO技術(shù)有以下特點：
a.按準(zhǔn)確數(shù)量對例如雙鏡頭和三鏡頭等光學(xué)系統(tǒng)中分離出單面光學(xué)晶圓或者把雙面光學(xué)晶圓互相分離出來。
b.按準(zhǔn)確數(shù)量把光學(xué)系統(tǒng)從傳感器或者光源分離出來。
c.Heptagon 為隔片開發(fā)了復(fù)制技術(shù)，使得像玻璃一樣的聚合物隔片的成本更低也更結(jié)實。
Heptagon的WLO鏡頭模組4P結(jié)構(gòu)。
圖3.3 WLO鏡頭模組架構(gòu)圖
2.3.3 光學(xué)衍射元件DOE（Diffractive Optical Elements）
.png)
圖4.1 DOEs - Diffractive Optics
DOE由擴(kuò)散片（Diffuser）和光柵片（Raster）組成，擴(kuò)散片作用是將激光光束散射成不規(guī)則分布的點狀散斑圖案，由于擴(kuò)散片對于光束進(jìn)行散射的角度（FOV）有限，所以需要光柵（見下圖）將散斑圖案進(jìn)行衍射“復(fù)制”后，擴(kuò)大其投射角度。這種“復(fù)制”效果被稱為光學(xué)卷積，從下圖的原理圖中我們看到，當(dāng)光束通過擴(kuò)散片（如毛玻璃）后產(chǎn)生的散斑，再經(jīng)過光柵后進(jìn)行卷積就能得到所需透射角度的散斑。
圖4.2 散斑擴(kuò)散圖
DOE衍射元件供應(yīng)商：HOLOOR，馭光科技，水晶光電
3 什么原因?qū)е耇OF沒能趕上這一波的3D成像技術(shù)升級?
TOF相對于結(jié)構(gòu)光方案,精度高,可以達(dá)到mm級別,處理速度快,可以同時捕捉整幅畫面的深度信息。但是在實際應(yīng)用中也存在以下問題尚待解決。
3.1 核心器件圖像傳感器是3D成像的關(guān)鍵，而傳感器的供應(yīng)鏈影響了技術(shù)的落地。
結(jié)構(gòu)光用的紅外CMOS傳感器，主流的廠家三星，OV，Onsemi，國內(nèi)廠家格科微，產(chǎn)品線豐富，大Pixel，小尺寸，高動態(tài)，各大平臺也有驅(qū)動的適配，制程經(jīng)過手機(jī)行業(yè)大規(guī)模制造和批量出貨檢驗。而TOF Sensor產(chǎn)品線不夠豐富，TOF Sensor主流供應(yīng)商集中在STM，TI，AMS。在這里特別提一下AMS，剛剛在過去不久的2月份，花了接近6億美金，收購了WLO 供應(yīng)商Heptagon 100%的股份。同時也看到一些廠家，如比利時Melexis擁有TOF Sensor,通過技術(shù)創(chuàng)新來分一杯羹。
圖5 Melexis的TOF應(yīng)用架構(gòu)圖
3.2 圖像傳感器Sensor的分辨率和尺寸，制約TOF在手機(jī)的應(yīng)用。
前面提到，手機(jī)紅外CMOS的產(chǎn)品線較豐富，選擇性較多，能滿足3D人臉識別，自拍背景虛化等這些應(yīng)用。而TOF則選擇性小很多，目前我找到的分辨率最高的是Melexis的一顆QVGA的Sensor，QVGA是什么概念，就是320240分辨率，大家如果有更好的也可以給我推薦。制約TOF 分辨率上不去的原因，據(jù)調(diào)研跟功耗有一定關(guān)系，分辨率越高，功耗越大。另外Sensor的尺寸也制約了在手機(jī)上的應(yīng)用，因為這顆Sensor除了感知紅外圖像信息，還有特別的單元來記錄光的相位信息，那么這樣一顆1/3” QVGA的Sensor，到底有多大？4.8x3.6mm，這只是傳感器的感光面積的尺寸，而封裝片的尺寸則是6.5x5.5mm。一顆普通的1/7.5” VGA手機(jī)紅外CMOS OV7251 COB封裝的尺寸是3.9x3.4mm，懸殊太大。
3.3結(jié)構(gòu)光和TOF方案因為有光投射和接收的過程，稱之為主動式3D成像，很容易受到自然光線的影響和干擾。
圖6 TOF原理
要解決這個問題，可以把發(fā)射端功率加大，這個道理很容易理解，但是這會影響到手機(jī)的功率，影像手機(jī)的待機(jī)時間。結(jié)構(gòu)光受環(huán)境光線影響要小于TOF，因為結(jié)構(gòu)光是通過Projector投射紅外圖案，而圖案是一直存在于物體表面，Sensor可以通過延長快門時間來捕捉足夠清晰的圖案，而TOF是通過調(diào)制的高頻脈沖來計算光飛行時間的，要讓Sensor在這么短時間能夠捕捉足夠的光信息，那么就要把Sensor的Pixel size也就是單個像素的感光面積做得足夠大，以前面提到的Melexis的這顆QVGA為例，15x15um的Pixel size，手機(jī)1/2.3” CMOS的1200萬像素的感光面積也就只有1.5x1.5um。因此芯片的功耗隨之增大，芯片的面積自然也要比一般的相同分辨率的手機(jī)CMOS大很多，而要把芯片做到足夠小，分辨率足夠高，應(yīng)用在手機(jī)上，現(xiàn)在是有相當(dāng)難度的，這個問題也許以后隨著制程的提升，能夠獲得解決。
圖7 Large Pixel能夠在同一時間接收更多的光線
4.3D成像在手機(jī)上的應(yīng)用有哪些？是技術(shù)創(chuàng)新還是雞肋？
4.1傳言iPhone8會上3D成像，用在前攝做3D人臉檢測,配合虹膜識別，進(jìn)行解鎖功能，搭配G-sensor和GYRO，實現(xiàn)用戶行為檢測快速解鎖功能，這將提升用戶體驗，因為指紋解鎖的時間可以長達(dá)一秒，而且經(jīng)常受到汗水和手指狀態(tài)的影響而導(dǎo)致失敗，但是3D人臉識別可以在0.03秒內(nèi)完成。同時手機(jī)去掉指紋模塊以提升屏占比，讓手機(jī)ID做得更漂亮，可以突破更多的局限。
4.2因為3D攝像頭提供了景深數(shù)據(jù)，配合算法就可以實現(xiàn)背景虛化功能，虹軟和WestAlgo都有此類算法。因為是主動式景深探測,對于無紋理的景物,景深提取會更準(zhǔn)確。
4.3另外一個應(yīng)用是人臉補(bǔ)光，因為人臉的深度信息可以做到很精確，那么就可以對特定的人臉范圍進(jìn)行補(bǔ)光，對陰陽臉進(jìn)行光線補(bǔ)救。
4.4除了以上應(yīng)用，3D當(dāng)然也可以開發(fā)游戲應(yīng)用，手勢控制。
4.5.觀點
1)前攝結(jié)構(gòu)光3D成像方案隨著iPhone8的謎底解開，將會成為手機(jī)應(yīng)用的主流方案，TOF方案受限于各種因素，還無法落地到手機(jī)應(yīng)用，也沒有看到TOF Sensor供應(yīng)商在手機(jī)應(yīng)用的推薦，而多應(yīng)用于Automotive, Robot, Toy。
2)3D成像在手機(jī)上以前攝為主，有多項接地氣的應(yīng)用，對于用戶體驗提升很有價值。后攝的應(yīng)用較少，除了SLAM的應(yīng)用，對于拍照的景深提取，因為受到環(huán)境影響，不具備可用性。
3)雙攝方案會是手機(jī)主攝像頭的3D成像的主流，通過雙攝獲取景深信息，實現(xiàn)背景虛化，Super Light，Super Pixel等功能。
4)業(yè)界都在等待iPhone8的發(fā)布，前期通過技術(shù)積累，以便迅速跟進(jìn)。專利風(fēng)險和成熟度需要評估。
5)一直以來,無論是結(jié)構(gòu)光還是TOF這兩種3D成像技術(shù)都和Kinect,RealSense,Project Tango這些關(guān)鍵詞相匹配，行業(yè)應(yīng)用包括體感操控，3D掃描，機(jī)器人，玩具,Automotive等等。直到聯(lián)想PHAB2 Pro Tango在移動終端上作了一次AR應(yīng)用探索。三維重建作為連接真實物理世界和虛擬世界的最重要感知計算通道，前途自然是星辰大海，但和所有偉大的技術(shù)一樣，需要的不但有資本的堆積和市場的培育，更加需要的是時間和耐心。在這條馬拉松的跑道上，唯有堅信篤定的選手，才可以跑到最后，摘取AI和AR的果實。
圖片引用了各大媒體的發(fā)布的資料，在此表示感謝。
