英特爾那款專用AI芯片的大招已經(jīng)憋三年半了。
準確來說，Nervana——英特爾砸了4.08億美元（也有報道稱3.5億）買下的那家加州創(chuàng)企——他們那款專用AI芯片的大招已經(jīng)憋三年半了。
2014年4月，在Nervana獲得首筆60萬美元的成立之初，這家公司就宣布要打造一款“深度學(xué)習(xí)專用硬件”。而在2014年8月，在獲得第二筆融資（330萬美元）后，其CEO Naveen Rao就表示，“用戶能在大約6個月后嘗試到這些深度學(xué)習(xí)專用硬件。”
三年多后，在經(jīng)歷了第三輪2050萬美元融資并且被英特爾收購后，在今年10月17日，英特爾CEO科再奇在采訪中表示，這塊芯片在今年年底就會正式和用戶見面。與此同時他還說，F(xiàn)acebook正在參與合作打造這款A(yù)I專用芯片。
然而，隨著2017年轉(zhuǎn)眼就要余額不足，英特爾這款Nervana專用AI芯片的還是沒有正式亮相。尤其是在歐美連珠炮假日季“感恩節(jié)-圣誕節(jié)-元旦”來臨的12月底，我們可以大膽地假設(shè)一句——明年見（也許是2018 CES？）
不過，雖然大招一再推遲，但是英特爾集團上下依舊對于Nervana項目十分看重。英特爾CEO科再奇不僅在不同場合內(nèi)一再為Nervana站臺，而且在收購Nervana后短短幾個月間，前Nervana CEO就被晉升為英特爾人工智能事業(yè)部總負責(zé)人，直接向科再奇匯報——在以資歷排位著稱的英特爾內(nèi)，晉升速度堪稱火箭。
▲前Nervana CEO、英特爾人工智能事業(yè)部總負責(zé)人Naveen Rao
今天，我們就來扒一扒Nervana與這塊英特爾專用AI芯片，同時也來看一看英特爾這三年多的等待和3.5億美元的資金砸出了多大一個響來？也看看英特爾這個曾經(jīng)PC時代當(dāng)之無愧的霸主，如今能不能靠著Nervana在人工智能領(lǐng)域提刀再戰(zhàn)？
一、比GPU更好、更快、更強大
深度學(xué)習(xí)分為訓(xùn)練（Training）和應(yīng)用（Inference）兩個階段，Nervana芯片瞄準的是訓(xùn)練階段，這一階段需要計算機處理大量的數(shù)據(jù)，現(xiàn)有的CPU難以滿足如此強大的計算需求，這也是英偉達靠著GPU崛起的重要原因。
目前Nervana芯片主要應(yīng)用在云計算數(shù)據(jù)機房內(nèi)。Nervana CEO Naveen Rao曾經(jīng)表示，Nervana使用的這種新型芯片設(shè)計架構(gòu)比GPU更快、功耗更低、性能更好。
▲英特爾Nervana深度學(xué)習(xí)專用芯片設(shè)計架構(gòu)
根據(jù)英特爾在2016年11月的AI Day上，我們第一次了解到了這塊Nervana深度學(xué)習(xí)專用芯片的設(shè)計架。這款芯片為2.5D封裝，搭載了32GB的HBM2內(nèi)存，內(nèi)存帶寬為8Tbps。芯片中沒有緩存，完全通過軟件去管理片上存儲。它可以支持各類神經(jīng)網(wǎng)絡(luò)算法框架的加速，比如Nervana的Neon、谷歌的TensorFlow、Facebook的Caffe等。
Nervana CEO表示，之所以這款芯片能夠做到比更快CPU、比GPU更快地加速處理深度神經(jīng)網(wǎng)絡(luò)，原因有二：
1、這塊芯片由“處理集群”陣列構(gòu)成，處理被稱作“活動點（flexpoint）”的簡化數(shù)學(xué)運算，基于張量處理器的架構(gòu)。相對于浮點運算，這種方法所需的數(shù)據(jù)量更少，因此帶來了10倍的性能提升。
2、“互聯(lián)（interconnect）”技術(shù)——這是Nervana芯片的真正亮眼之處，不過Nervana一直這一技術(shù)的細節(jié)諱莫如深——Naveen Rao將這項互連技術(shù)描述為一種模塊化架構(gòu)，其芯片結(jié)構(gòu)可以在編程上擴展成與其它芯片的高速串行連接，幫助用戶創(chuàng)造更大、更多元化的神經(jīng)網(wǎng)絡(luò)模型。
在GPU上，數(shù)據(jù)在芯片內(nèi)部處理和芯片外部通信處理有很大的不同，必須將內(nèi)存映射到I/O，在內(nèi)存不同層次結(jié)構(gòu)中移動數(shù)據(jù)，造成延時等復(fù)雜問題。而Nervana的互聯(lián)技術(shù)能讓芯片內(nèi)的數(shù)據(jù)傳輸和芯片間的數(shù)據(jù)通信看起來一樣，從而加快了處理速度。
“正如在PC時代，人們發(fā)現(xiàn)用GPU處理圖片比CPU更快，于是轉(zhuǎn)而購買獨立GPU；而在人工智能時代，人們會發(fā)現(xiàn)用我們的芯片處理深度神經(jīng)網(wǎng)絡(luò)比GPU更好，于是轉(zhuǎn)而選擇我們，”Naveen Rao曾經(jīng)這樣說，“我們可以在硬件上打敗英偉達。”
如此看來，也許英特爾這三年多的等待和3.5億美元的資金砸得不虧？——可以說虧，也可以說不虧。
二、名不見經(jīng)傳的2014
讓我們把時間軸調(diào)回2014年4月。
2014年4月，一家名為Nervana System（以下簡稱Nervana）的加州創(chuàng)企宣布獲得60萬美元融資輪融資。跟現(xiàn)在動輒幾億、幾十億的AI創(chuàng)業(yè)融資輪次來說，這金額并不算多——不過，彼時“深度學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”、“人工智能”這些概念還沒有現(xiàn)在這般火熱得家喻戶曉，“AI芯片”更是無從提起。
▲英特爾團隊與Nervana團隊合影
這家公司總部位于圣地亞哥，三位聯(lián)合創(chuàng)始人全部來自高通：其中CEO Naveen Rao在高通神經(jīng)擬態(tài)研究組（neuromorphic research group）中負責(zé)人工神經(jīng)網(wǎng)絡(luò)計算研究、CTO Amir Khosrowshahi在高通負責(zé)神經(jīng)擬態(tài)傳感器研究、公司的機器學(xué)習(xí)負責(zé)人Arjun Bansal則在高通負責(zé)深度學(xué)習(xí)算法研究。
正如我們所知，設(shè)計制造芯片的成本非常高昂，尤其是這樣一塊用于處理海量數(shù)據(jù)專用芯片。于是就在短短4個月后，Nervana宣布了他們的第二輪融資——330萬美元，用于深度學(xué)習(xí)訓(xùn)練專用芯片的打造，彼時公司只有11個人。
在其后的采訪中，Nervana CEO Naveen Rao曾經(jīng)對記者表示，“用戶能在大約6個月后嘗試到這些深度學(xué)習(xí)專用硬件。”
其實當(dāng)時市面上專注于打造深度學(xué)習(xí)專用硬件的創(chuàng)業(yè)公司并不止Nervana一家，其他還包括Ersatz Labs（2014年之后幾乎沒有消息）、Skymind（2016年9月獲騰訊參投的300萬美元，2017年5月又獲騰訊參投的300萬美元*）、Clarifai（2015年4月獲1000萬美元融資、2016年10月獲3000萬美元融資）等等。
*2017年5月這輪融資只有少數(shù)英文網(wǎng)站報道，中文網(wǎng)站沒有報道
順便一提，2014年最火的行業(yè)當(dāng)屬虛擬現(xiàn)實（VR/AR），其融資領(lǐng)頭獨角獸Magic Leap在2014年年初和年末分別獲得了5000萬美元A輪融資和5.42億美元的B輪融資。這家神秘AR創(chuàng)企的產(chǎn)品同樣推遲多年，聽說最近他們的產(chǎn)品就要首次亮相了。
三、端or 云？傻傻分不清楚的2015
2015年5月，正在市場已經(jīng)為Nervana的深度學(xué)習(xí)專用芯片等待了長達9個月后，Nervana忽然扔下一個重磅消息——
不，不是芯片推出。而是Nervana忽然宣布，公司即將推出Nervana云服務(wù)，讓企業(yè)與用戶能夠通過網(wǎng)絡(luò)接入Nervana云的方式獲得強大的計算能力，不用受制于硬件的限制——不過當(dāng)時，Nervana只是宣布了他們在打造“這朵云”，并沒有公布它的面世時間。
幾天后，Nervana再次宣布，開源一款深度學(xué)習(xí)軟件框架Neon。這款軟件框架采用Python框架、采用Maxwell GPU框架，其卷積運算速度非?？欤ǜ鶕?jù)GitHub上的跑分，速度已經(jīng)超過了Caffe、Torch等傳統(tǒng)框架）。
就在Neon軟件框架開源后的一個月，2015年6月，Nervana宣布獲得公司成立以來的第三輪融資——2050萬美元，本輪融資將用于Nervana深度學(xué)習(xí)硬件和云服務(wù)平臺的搭建，其中“安卓之父”Andy Rubin旗下的硬件孵化器Playground Global參投，Nervana也加入了該孵化器中。
在獲得這輪融資時，聯(lián)合創(chuàng)始人兼CTO Amir Khosrowshahi也向記者表示，Nervana曾與美國情報委員會的風(fēng)險投資部門In-Q-tel簽署合作協(xié)議，美國國家能源研究科學(xué)計算中心也正在使用由Nervana開發(fā)的深度學(xué)習(xí)軟件Neon。
2016年2月29日，在宣布推出Nervana云服務(wù)的大半年后，這朵云終于經(jīng)Nervana推出正式和大家見面。這項云服務(wù)的目的是讓深度學(xué)習(xí)更快、更簡單易用，專門為為缺少深度學(xué)習(xí)工具、缺少高級數(shù)據(jù)處理能力的公司打造。
不過，Nervana云暫時只能在英偉達的GPU上運行。Nervana CEO再次強調(diào)，假以時日，他們將會推出Nervana專用芯片。
此時Nervana云平臺的合作伙伴已經(jīng)拓寬到農(nóng)業(yè)機器人初創(chuàng)公司藍河科技(Blue River Technology)、 石油及天然氣勘探公司Paradigm等，他們用Nervana云平臺上的計算機視覺識別能力進行農(nóng)作物分類、3D地形檢測。
四、投身英特爾懷抱，兩款芯片終于現(xiàn)形的2016
半年后——重頭戲來了。
▲左：英特爾副總裁、數(shù)據(jù)中心事業(yè)組總經(jīng)理Diane Bryant，右：Naveen Rao
2016年8月9日，英特爾忽然宣布全資收購Nervana System，收購價格在新聞稿中沒有透露。當(dāng)天大部分媒體在報道中提到的價格是3.5億美元，而這一價格在第二天變成了4.08億美元（根據(jù)Recode引援消息人士報道）。當(dāng)時，Nervana全體員工只有48人。
此時距Nervana首次宣布要打造深度學(xué)習(xí)專用硬件已經(jīng)過去了兩年多的時間，在被英特爾收購后，這款Nervana深度學(xué)習(xí)專用芯片終于有了第一個名字——代號為“Lake Crest”，第一代產(chǎn)品預(yù)計將于2017年第一季度使用臺積電28nm工藝進行流片測試，2017下半年開放給小部分用戶使用。第二代芯片則會由英特爾自己的芯片制造生產(chǎn)線打造。
與此同時，英特爾還宣布將使用Nervana的技術(shù)打造一款代號為“Knights Crest”的加速器，配合英特爾的Xeon（至強）處理器使用。
此前，GPU憑借其并行計算能力一度在深度學(xué)習(xí)訓(xùn)練中大放異彩，不僅股價一路飆升，英偉達創(chuàng)始人黃仁勛（粉絲愛稱“老黃”）還一再在各種場合diss摩爾定律，恐怕著實讓稱霸CPU多年的英特爾很是不爽。
除了一再買買買之外（收購Altera、Saffron、Movidius……）英特爾在人工智能領(lǐng)域一直相對低調(diào)。不過，也許收購Nervana成了砌成英特爾AI堡壘的最后一塊重要磚頭——就在收購Nervana的三個月后，英特爾首次公布了其人工智能的整體策略，預(yù)告了未來即將推出的一系列AI解決方案，同時在11月17日、11月30 日分別在舊金山和北京舉行人工智能論壇（AI Day），表達英特爾要從芯片到軟件、從架構(gòu)到飲用掀起一連串AI革命的決心。
而就在這個人工智能論壇上，我們終于第一次見到這款Nervana深度學(xué)習(xí)專用芯片的面紗，也就是本文第一段內(nèi)提到內(nèi)容（不容易啊，都兩年半了）。
轉(zhuǎn)過年來，在2017年3月25日，英特爾還宣布，公司上下要整合其AI力量，構(gòu)建一個統(tǒng)一的部門：人工智能產(chǎn)品事業(yè)部（ArTIficial Intelligence Products Group）AIPG，由Nervana前CEO Naveen Rao負責(zé)，直接向英特爾CEO科再奇匯報。
這一人工智能產(chǎn)品事業(yè)部將包括Xeon、Xeon Phi、Nervana和Altera等四個部分，這個新部門將整合公司的資源，包括工程、實驗室、軟件等等，打造英特爾Nervana平臺——既有包括Nervana云計算服務(wù)、數(shù)據(jù)庫、又包括Nervana專用芯片。
加入英特爾短短6個月就空降成四部門總管，這位今年僅40出頭的事業(yè)部總管在一向看中年齡與資歷的英特爾集團中可謂是坐了火箭了一般，足以見得英特爾內(nèi)部對于Nervana這一項目的看重之處。
今年，英特爾宣布這款芯片正式命名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器”（Nervana Neural Network Processors，簡稱NNP）在今年10月17日和《財富》雜志的采訪中，英特爾CEO科再奇表示，今年年底NNP就會正式和用戶見面。與此同時他還透露，F(xiàn)acebook正在參與合作打造這款A(yù)I專用芯片，不過他們沒有正式達成書面合作協(xié)議。
與此同時英特爾還表示，公司將暫時不會單獨售賣這些芯片，而是以兩類形式向用戶開放服務(wù)：
1、以數(shù)據(jù)中心服務(wù)器（data center appliance）的形式售賣，里面包含了幾個NNP和英特爾的其他CPU。
2、通過接入英特爾的Nervana云服務(wù)，獲取計算能力。
不過無論如何，2017年里我們恐怕是很難見到了。
結(jié)語：英特爾的AI芯片之旅
回到我們最開始拋出的問題，英特爾這三年多的等待和3.5億美元（或者4.08億）的資金砸得到底虧不虧？
——可以說虧，也可以說不虧。
在GPU崛起的時代，英偉達在人工智能訓(xùn)練階段大放異彩，市值動不動一年翻一倍，一年翻三倍，老黃還常年diss摩爾定律，老牌CPU霸主英特爾固然是不爽的。
然而，異構(gòu)計算的主流已經(jīng)不可逆轉(zhuǎn)，失去計算優(yōu)勢的CPU在計算機中的調(diào)度器功能逐漸加重。英特爾雖然一直在靠自我研發(fā)+“買買買”彌補其在人工智能產(chǎn)品線上的差距，以更好地參與到急速增長的人工智能市場中來，但是集團內(nèi)沒有一個拳頭產(chǎn)品可以撐起英特爾這么大的市場。
目前，Nervana芯片依舊存在以下挑戰(zhàn)：
1、圍繞GPU，英偉達已經(jīng)建立了包括CUDA、cuDNN、TensorRT等在內(nèi)的一系列豐富的軟件生態(tài)系統(tǒng)，其通用性、廣泛性、開發(fā)者友好性都使得它廣受歡迎。
在錯過了三年的市場生態(tài)打造后，英特爾想要讓廠商們舍棄自己在CUBA架構(gòu)和GPU硬件上的大量投資（時間+金錢），轉(zhuǎn)而投向Nervana芯片的懷抱，那這款產(chǎn)品必然要較之GPU有超過一個數(shù)量級的提升才足夠吸引。
2、在英特爾產(chǎn)品一再跳票的同時，不僅有老對頭英偉達在加速研發(fā)加速奔跑，各類人工智能專用AI芯片也不斷崛起，就拿國內(nèi)來說，寒武紀、深鑒科技、地平線等創(chuàng)業(yè)公司都已經(jīng)在2017年下半年陸續(xù)推出（或正要推出）專用AI芯片，普遍宣布在2018年上半年進入量產(chǎn)，英特爾可以說是活生生把一個藍海市場熬成了紅海市場。
3、性能、速度、功耗比等方面暫時都是英特爾或是Nervana宣布的理論性能或是測試性能，在芯片進入量產(chǎn)之前，工程化的坑依舊有很多，最后如何達到價格、性能、穩(wěn)定性等的多方平衡，仍是英特爾需要努力的方向。從英特爾決定一開始不單獨售賣芯片看來，這塊NNP的通用型、易用性可能還在攻克當(dāng)中。
不過從另一方面講，如果Nervana的產(chǎn)品真的成功量產(chǎn)，并且在性能、速度、功耗比等各個方面都較之GPU有著異常出色的表現(xiàn)，那么最起碼英特爾在云計算數(shù)據(jù)中心這一人工智能領(lǐng)域的短板能夠成功補足。再加上英偉達在邊緣計算（端智能）方面由于GPU功耗較大而存在一定劣勢，手握Movidius VPU低功耗視覺處理器的英特爾也許真的能夠在人工智能浪潮中扳回一局。
而且，隨著時間不斷推移，有關(guān)NNP的信息也越來越多，越來越具體。雖然我們在2017年可能看不到這塊芯片，但是在緊接著的2018 CES上，也許英特爾會給我們帶來一個新驚喜。
