在《雙攝像頭來勢(shì)洶洶核心芯片ISP扮演怎樣的角色？》中我們已經(jīng)講述了ISP在雙攝像頭中的重要性，簡而言之，雙攝像頭需要ISP于CIS兩者結(jié)合在一起運(yùn)行。那么，在采用了雙攝像頭的智能手機(jī)中，ISP究竟是如何與CIS結(jié)合一起運(yùn)作的呢？周宇向記者解釋道：“如果說以攝像頭為基礎(chǔ)的成像系統(tǒng)是人類的視覺系統(tǒng)的話，那么鏡頭是人眼中的晶狀體和玻璃體，它負(fù)責(zé)光學(xué)系統(tǒng)的變焦和光學(xué)能量的收集；CIS就是人眼的視網(wǎng)膜，它負(fù)責(zé)將收集到的光能轉(zhuǎn)化成可以處理的電信號(hào)（視網(wǎng)膜是生物電信號(hào)，CIS是模擬電信號(hào)）；而ISP則相當(dāng)于是人類視覺系統(tǒng)的視神經(jīng)和負(fù)責(zé)視覺處理的大腦皮層。它負(fù)責(zé)將CIS采集到的信號(hào)進(jìn)行分析和處理，將看似雜亂的、專業(yè)的圖像‘信號(hào)’處理成豐富的、大家都能看得懂的圖片‘信息’。”
他還指出，由于CIS出來的圖像信號(hào)具有很強(qiáng)的專業(yè)性，那么作為ISP，想要將這個(gè)圖像信號(hào)給處理好、輔佐好，就需要ISP對(duì)圖像、CIS甚至光電系統(tǒng)有深厚的理解。并且，隨著現(xiàn)代攝像頭逐步的智能化，ISP這個(gè)“大腦皮層”越進(jìn)化越強(qiáng)大，都開始“搶大腦的活”了，比如我們的ISP就在學(xué)習(xí)空間想象、三維建模，從平面幾何做到了立體幾何。（雙攝測(cè)距，三維建模）。
對(duì)此問題，路標(biāo)表示，ISP與sensor之間的調(diào)試配合工作的確是密不可分的。同時(shí)，除了Sensor，整個(gè)攝像頭模組的配置，如鏡頭，步進(jìn)馬達(dá)等，也會(huì)影響到最終的畫質(zhì)。目前，索喜科技與目前所有市面上的主流Sensor廠家和攝像頭模組廠家都建立了良好的合作關(guān)系，不僅僅是單一產(chǎn)品的匹配，更多的是配合的模式和聯(lián)絡(luò)渠道的方式。針對(duì)雙攝的方案，索喜一樣與各個(gè)市場(chǎng)上主要的攝像頭模組廠都已經(jīng)配合并完成一系列雙攝的方案。
從上文中我們已經(jīng)得知雙路ISP在雙攝像頭中的重要性以及其如何與CIS結(jié)合一起進(jìn)行工作。據(jù)筆者了解到，目前ISP應(yīng)用到智能手機(jī)攝像頭方面，主要有兩種方式，一種是如高通、MTK、華為海思一樣將ISP集成到自家的手機(jī)處理器中，而另一種方式，則是采用獨(dú)立的ISP芯片。那么，對(duì)于這兩種方式而言，究竟哪種方式更可取呢？
對(duì)于這個(gè)問題，從受訪的四家企業(yè)來看，主要可以分為兩大陣營，一方是以高通、MTK為主將ISP集成到手機(jī)處理器的平臺(tái)商，他們認(rèn)為將ISP集成到處理器中更具優(yōu)勢(shì)；另一大陣營則是以興芯微為主的ISP供應(yīng)商，周宇認(rèn)為獨(dú)立的ISP將更具優(yōu)勢(shì)。路標(biāo)則表示，獨(dú)立ISP與集成ISP比起來，最重要的區(qū)別還是對(duì)畫質(zhì)的處理。
王宇飛表示：“在我們整個(gè)處理器產(chǎn)品組合中，ISP是集成進(jìn)驍龍?zhí)幚砥鞯摹＿@是我們從一開始就成功的秘訣，而對(duì)于未來產(chǎn)品路線圖中的處理器，我們也將繼續(xù)這樣做。緊密集成到處理器中的ISP具有許多優(yōu)勢(shì)，而其中最重要的是功率效率和電池續(xù)航時(shí)間。例如，驍龍820利用DSP/HVX（驍龍?zhí)幚砥髦械牧硪豁?xiàng)關(guān)鍵技術(shù)）來進(jìn)行預(yù)處理，從而能夠?qū)⒊上耦A(yù)處理和后處理工作從CPU卸載到DSP，實(shí)現(xiàn)更佳的電池續(xù)航。我們集成的ISP還可以直接與視頻和顯示子系統(tǒng)連接，在視頻拍攝功耗方面實(shí)現(xiàn)最高達(dá)25%的改進(jìn)。具有專用降噪和串色校正硬件，當(dāng)然尖端且高效的ISP還能讓驍龍?zhí)幚砥髦С诸I(lǐng)先的分辨率（高達(dá)2300萬像素）和所有尺寸的圖像傳感器。”
此外，他還介紹，得益于高度的集成，Qualcomm已在計(jì)算機(jī)視覺/認(rèn)知技術(shù)領(lǐng)域取得重大進(jìn)步，并借此使成像與驍龍?zhí)幚砥鞯纳疃葘W(xué)習(xí)功能相搭配。“觸摸跟蹤（Touch-to-track）”和“文本激活”等特性是提升拍攝體驗(yàn)的算法，能讓攝像頭更智能，識(shí)別多個(gè)移動(dòng)中的物體，或者認(rèn)出圖片中的URL和電話號(hào)碼的差別，并采取適當(dāng)行動(dòng)。這均是通過利用驍龍?zhí)幚砥髦械亩喾N技術(shù)（CPU、傳感器和ISP）來實(shí)現(xiàn)的。通過理解認(rèn)知技術(shù)算法，并將計(jì)算負(fù)荷協(xié)調(diào)到最適合的專用引擎，就有可能實(shí)現(xiàn)最高效的處理。Qualcomm正通過異構(gòu)計(jì)算和高效的SoC架構(gòu)，解決在移動(dòng)終端上支持認(rèn)知技術(shù)的挑戰(zhàn)。
MTK也表示：“集成ISP的方式比較好, 因?yàn)閷?duì)客戶來講，不僅BOM成本得到降低，而且能采用異構(gòu)計(jì)算的方式分配運(yùn)算資源，把很大運(yùn)算量會(huì)分給GPU來做，給用戶帶來更佳的功耗和畫面體驗(yàn)。”此外，如高通、MTK、華為海思都是集成自家的ISP，據(jù)MTK稱，由于其他企業(yè)的ISP會(huì)授權(quán)給很多廠商采用，所以接口不是最優(yōu)的，而平臺(tái)商采用自家的ISP，接口則會(huì)更優(yōu)，而且運(yùn)算會(huì)更有效率。
周宇則稱：“對(duì)于后端平臺(tái)（手機(jī)處理器）廠商而言，將ISP集成到手機(jī)處理器中就是將ISP的部分或全部功能與模塊集成入自家的處理器芯片中。相比于獨(dú)立的ISP，兩者的設(shè)計(jì)約束差異與實(shí)現(xiàn)方式不同必然的導(dǎo)致了其在性能上各具風(fēng)格。”
他從多方面分析了兩種方式的優(yōu)劣勢(shì)，首先是將ISP集成到處理器中，作為集成ISP，由于是后端平臺(tái)廠商整體規(guī)劃并集成，其與手機(jī)處理器交互的便捷性、計(jì)算資源共享、功耗、體積以及研發(fā)成本上都會(huì)具有獨(dú)立ISP無可匹敵的優(yōu)勢(shì)。
不過，他也指出了將ISP集成到處理器中的不足之處，他表示：“相對(duì)于獨(dú)立ISP的劣勢(shì)也非常明顯，主要表現(xiàn)在這么幾點(diǎn)上：1、一名好的IC工程師未必能當(dāng)好一名攝影師：做好一款好的ISP需要的是在圖像和成像領(lǐng)域深厚的積累和理解，一個(gè)優(yōu)秀的手機(jī)處理器廠商未必是一個(gè)好的圖像“理解者”和“設(shè)計(jì)者”，尤其在圖像還是一件需要極度專注才能做好的背景下；2、單一手機(jī)處理器平臺(tái)應(yīng)對(duì)各家傳感器，其寬容度是一個(gè)極大的考驗(yàn)。在這個(gè)消費(fèi)電子去同質(zhì)化的市場(chǎng)需求下，各家設(shè)計(jì)需求不盡相同，如何利用同一款集成ISP匹配各家的傳感器并做出差異化的方案將是一個(gè)很大的挑戰(zhàn)；3、一個(gè)模塊和一塊芯片的圍城。集成ISP引以為傲的功耗和體積優(yōu)勢(shì)在作為一個(gè)模塊時(shí)，必然的會(huì)帶來運(yùn)算能力的限制，如果處理不好就會(huì)限制和影響到最終的成像效果。”
不難看出，周宇更看好獨(dú)立ISP的處理性能，當(dāng)然，他也指出一個(gè)例外，那就是蘋果，蘋果在其處理器中同樣集成了自家的ISP，據(jù)周宇稱，蘋果是為數(shù)不多的能自己設(shè)計(jì)手機(jī)處理器并且在圖像領(lǐng)域有著深厚理解的公司，它能夠很好的結(jié)合上述兩者的優(yōu)點(diǎn)將集成的ISP做出獨(dú)立ISP甚至更佳的效果。
其實(shí)，將ISP集成到手機(jī)處理器中還將面臨著不小的挑戰(zhàn)，據(jù)路標(biāo)稱：“圖像處理部分并不是簡單的軟硬件調(diào)整就可以完成覆蓋，更多的還是需要對(duì)這部分整體工作的深度理解和豐富經(jīng)驗(yàn)。此外，使用外置的ISP對(duì)降低系統(tǒng)的功耗，節(jié)省AP的資源（用以做其他應(yīng)用）。”MTK也稱：“最主要是處理器性能和電路板面積的挑戰(zhàn)。因?yàn)楦骷覍?duì)性能和面積的取舍不一定會(huì)一致. 無論是別人改，還是自己改都會(huì)有上市時(shí)間的問題。”
當(dāng)然，做獨(dú)立ISP同樣會(huì)面臨一些挑戰(zhàn)，據(jù)周宇介紹，作為ISP供應(yīng)商，首先要能夠提前預(yù)判市場(chǎng)的需求，找到能為客戶帶來差異化的個(gè)性化需求，能夠引導(dǎo)客戶去采用并為拍照帶來額外的價(jià)值。其次，一旦這些性能成為高端旗艦機(jī)的一個(gè)主流應(yīng)用的時(shí)候，AP廠商會(huì)再次試圖集成，這時(shí)ISP供應(yīng)商就需要做到更好的效果或者找到更新的技術(shù)方向。所以，國內(nèi)ISP供應(yīng)商一直需要跟國際巨頭賽跑。
此外，在上文中我們有提到ISP的技術(shù)研發(fā)難度相當(dāng)大，如華為海思就投入了巨額資金花費(fèi)了三年時(shí)間才實(shí)現(xiàn)ISP的商用，這點(diǎn)足以體現(xiàn)ISP的技術(shù)研發(fā)難度。據(jù)MTK表示：“與sensor廠商合作，要配合很多零件，比如 Lens、ois、imagesensor等。Sensor廠商做不足的地方，我們要補(bǔ)足，還要長期跟sensorvendor 一起做review ，克服一些技術(shù)困難，比如PDAF、RWWB等。”
據(jù)周宇介紹，圖像是一個(gè)模糊化的數(shù)學(xué)，由于圖像在很多領(lǐng)域和方向并沒有一個(gè)統(tǒng)一的規(guī)范和評(píng)價(jià)標(biāo)準(zhǔn)，甚至很多對(duì)立的邊界都是模糊的，這就必然的導(dǎo)致了做圖像或者說做ISP更像是由我們的研發(fā)人員和工程師在進(jìn)行一件藝術(shù)的創(chuàng)作，為我們的客戶畫一幅畫。而將這幅畫畫好首先需要有精湛的畫功和獨(dú)到的審美。其次，除了需要有精湛的畫工和突出的審美能力，還要有深刻理解客戶需求并及時(shí)響應(yīng)的能力。最為重要的是，ISP畢竟是一項(xiàng)芯片的研發(fā)工程，這里需要非常多折衷的智慧和經(jīng)驗(yàn)的積累。
作為國內(nèi)為數(shù)不多的ISP供應(yīng)商，在手機(jī)市場(chǎng)，興芯微當(dāng)初推出一顆應(yīng)用于500萬像素的ISP芯片，主要用于MTK6572平臺(tái)，傳音、中興等客戶都有采用。針對(duì)雙攝像頭，其重點(diǎn)還是提供雙路的ISP處理芯片，同時(shí)聯(lián)合戰(zhàn)略合作伙伴提供后面的應(yīng)用算法，組合成為一個(gè)解決方案。
此外，對(duì)于ISP供應(yīng)商而言，除了智能手機(jī)市場(chǎng)，一些新興市場(chǎng)同樣是他們的目標(biāo)，據(jù)周宇介紹，興芯微目前一個(gè)核心領(lǐng)域是汽車電子，并且在該市場(chǎng)，通過兩年多的耕耘，已經(jīng)奠定了市場(chǎng)地位，并即將做車規(guī)級(jí)的芯片，進(jìn)軍汽車前裝市場(chǎng)，為自動(dòng)駕駛、ADAS的普及作出貢獻(xiàn)。同時(shí)興芯微非常看好AR/VR、無人機(jī)、機(jī)器人市場(chǎng)，已經(jīng)在為很多合作伙伴提供芯片。MTK同樣表示將會(huì)將ISP技術(shù)應(yīng)用到AR/VR、車載等領(lǐng)域。索喜科技同樣將ISP產(chǎn)品用于安防，運(yùn)動(dòng)相機(jī)，無人機(jī)相機(jī)，全景相機(jī)等應(yīng)用方向中。
