觸控技術(shù)我們并不陌生，早就有了。銀行的取款機(jī)大多是觸摸屏，很多醫(yī)院、圖書館等的大廳都有這種觸控技術(shù)的電腦。而支持觸摸屏的手機(jī)、MP3、數(shù)碼相機(jī)也很多。觸控技術(shù)，用手指代替了鍵盤、鼠標(biāo)，既顯示出了最大的人性化，又在特定的場(chǎng)合減少了鼠標(biāo)、鍵盤的空間。但是這些已經(jīng)存在的觸控屏幕都是單點(diǎn)觸控，也可以說是電阻式觸控。他的缺點(diǎn)主要是只能識(shí)別和支持每次一個(gè)手指的觸控、點(diǎn)擊，若同時(shí)有兩個(gè)以上的點(diǎn)被觸碰，就不能做出正確反應(yīng)。
       而多點(diǎn)觸控技術(shù)能把任務(wù)分解為兩個(gè)方面的工作，一是同時(shí)采集多點(diǎn)信號(hào)，二是對(duì)每路信號(hào)的意義進(jìn)行判斷，也就是所謂的手勢(shì)識(shí)別，從而實(shí)現(xiàn)屏幕識(shí)別人的五個(gè)手指同時(shí)做的點(diǎn)擊、觸控動(dòng)作。
       iPhone為什么這么熱銷，關(guān)鍵就是它的多點(diǎn)觸控屏技術(shù)，這個(gè)對(duì)于其他手機(jī)廠家來說是很致命的。蘋果公司已經(jīng)為多點(diǎn)觸控技術(shù)申請(qǐng)了兩個(gè)專利。
多點(diǎn)觸控技術(shù)并不是那么容易實(shí)現(xiàn)的，它是從硬件到軟件的一個(gè)有機(jī)的整體，可以說是一個(gè)系統(tǒng)工程。多點(diǎn)觸控技術(shù)由硬件和軟件兩部分組成，如圖1所示。硬件就是多點(diǎn)觸控平臺(tái)，完成信號(hào)的采集;軟件部分是在硬件平臺(tái)采集數(shù)據(jù)基礎(chǔ)上進(jìn)行觸點(diǎn)的檢測(cè)定位、跟蹤、手勢(shì)定義與識(shí)別，最后將識(shí)別出的手勢(shì)映射為面向具體應(yīng)用的用戶指令。其中身份識(shí)別技術(shù)貫串整個(gè)軟件實(shí)現(xiàn)過程。

圖1 多點(diǎn)觸控技術(shù)的關(guān)鍵技術(shù)
 

       硬件平臺(tái)
       目前，多點(diǎn)觸控的硬件平臺(tái)有電容式、紅外式、受抑全內(nèi)反射(frustrated total internal reflection，F(xiàn)TIR)式、散射照明(Diffused Illumination，DI)式、激光平面(Laser Light Plane，LLP)式、散射式表明照明(Diffused Surface Illumination，DSI)式、發(fā)光二極管平面多點(diǎn)觸摸技術(shù)(LED Light Plane，LED-LP)等技術(shù)。每種技術(shù)都有其優(yōu)缺點(diǎn)，基于現(xiàn)有的多點(diǎn)觸控平臺(tái)存在的各種優(yōu)點(diǎn)和缺陷，有助于研制成本更加低廉、安裝移植更加方便、定位更加精確的交互式平臺(tái)，以及與此平臺(tái)無關(guān)的其他交互式技術(shù)。
       遮擋分析
       現(xiàn)有多點(diǎn)觸控平臺(tái)中，基于電容耦合電流或者基于紅外的多觸點(diǎn)檢測(cè)的精度取決于傳感器陣列的密度;而基于FTIR和多攝像頭等檢測(cè)方法都是基于計(jì)算機(jī)視覺技術(shù)的，如何完整地分割出觸點(diǎn)輪廓進(jìn)而實(shí)現(xiàn)觸點(diǎn)的檢測(cè)和定位本身就是計(jì)算機(jī)視覺技術(shù)領(lǐng)域的難點(diǎn)。
       觸點(diǎn)檢測(cè)
       多點(diǎn)觸控平臺(tái)在檢測(cè)和定位出多個(gè)觸點(diǎn)后，還需要對(duì)每個(gè)觸點(diǎn)進(jìn)行跟蹤，記錄每個(gè)觸點(diǎn)的軌跡信息，再作基于軌跡的動(dòng)態(tài)手勢(shì)識(shí)別，才能實(shí)現(xiàn)基于手勢(shì)的自由交互。多重觸控平臺(tái)所檢測(cè)出的目標(biāo)大都沒有顏色和紋理特征，形狀特征也相似，因此傳統(tǒng)的基于圖像特征的多目標(biāo)跟蹤方法不再適用。將主要根據(jù)觸點(diǎn)的運(yùn)動(dòng)軌跡信息如用戶手指運(yùn)動(dòng)的先驗(yàn)知識(shí)進(jìn)行運(yùn)動(dòng)估計(jì)，此外還需充分利用多攝像頭的物理位置關(guān)系約束對(duì)多攝像頭進(jìn)行一致性標(biāo)記，從而實(shí)現(xiàn)多攝像頭多目標(biāo)的跟蹤。研究?jī)?nèi)容包括同一傳感器前后采樣時(shí)間檢測(cè)到的多目標(biāo)之間的一致性標(biāo)記，以及不同傳感器之間多目標(biāo)之間的一致性標(biāo)記。
       手勢(shì)定義
       多點(diǎn)觸控技術(shù)最大的優(yōu)點(diǎn)就是能實(shí)現(xiàn)基于手勢(shì)的自由交互，手勢(shì)定義是其中的關(guān)鍵基礎(chǔ)。實(shí)際應(yīng)用中用戶的手勢(shì)與應(yīng)用背景是緊密相關(guān)的，所以在強(qiáng)調(diào)通用性的同時(shí)也應(yīng)重視應(yīng)用的導(dǎo)向作用。手勢(shì)的定義過程應(yīng)當(dāng)首先提取用戶意圖，即在特定的應(yīng)用環(huán)境下用戶想要完成何種語義功能，然后確定用戶要實(shí)現(xiàn)的功能通過何種手勢(shì)來完成，并將手勢(shì)分解為多個(gè)原子手勢(shì)的組合，最終用戶的一個(gè)意圖被轉(zhuǎn)換為一系列原子手勢(shì)在特定關(guān)系下的組合。
       手勢(shì)識(shí)別
       多點(diǎn)觸控系統(tǒng)中的手勢(shì)識(shí)別是基于觸點(diǎn)運(yùn)動(dòng)軌跡的動(dòng)態(tài)手勢(shì)識(shí)別，其中動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡，涉及時(shí)間上下文和空間上下文，且不同用戶做手勢(shì)時(shí)存在的速率差異、熟練程度會(huì)在軌跡的時(shí)間軸上引起非線性波動(dòng)。如何消除這些非線性波動(dòng)是動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)必須克服的一個(gè)重要問題。
       考慮到對(duì)時(shí)間軸的不同處理，現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)可以分歸三類：基于隱馬爾可夫模型(Hidden Markov Models, HMM)的識(shí)別、基于動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping, DTW)的識(shí)別、基于壓縮時(shí)間軸的識(shí)別。
       身份識(shí)別
       現(xiàn)有多點(diǎn)觸控技術(shù)檢測(cè)到的觸點(diǎn)大都不攜帶用戶信息，目前已知HTC的Diamond Touch平臺(tái)也最多只能識(shí)別四個(gè)用戶，而且多重觸控技術(shù)未來的一個(gè)重要應(yīng)用模式將是大尺寸交互區(qū)上多用戶的協(xié)同。因此必須實(shí)現(xiàn)觸點(diǎn)的用戶身份識(shí)別，而且除了識(shí)別觸點(diǎn)來源于某個(gè)用戶外，有些應(yīng)用還需要識(shí)別觸點(diǎn)來源于用戶的哪只手，這是多點(diǎn)觸控技術(shù)最難解決的問題。
       多點(diǎn)觸控硬件部分技術(shù)的分類
       LLP技術(shù)
       主要運(yùn)用紅外激光設(shè)備把紅外線投影到屏幕上。當(dāng)屏幕被阻擋時(shí)，紅外線便會(huì)反射，而屏幕下的攝影機(jī)則會(huì)捕捉反射去向。再經(jīng)系統(tǒng)分析，便可作出反應(yīng)。
       FTIR技術(shù)
       多點(diǎn)觸控它會(huì)在屏幕的夾層中加入LED光線，當(dāng)用戶按下屏幕時(shí)，便會(huì)使夾層的光線造成不同的反射效果，感應(yīng)器接收光線變化而捕捉用戶的施力點(diǎn)，從而作出反應(yīng)。      

 

        如圖2所示，由LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后，將產(chǎn)生反射。如果屏幕表層是空氣，當(dāng)入射光的角度滿足一定條件時(shí)，光就會(huì)在屏幕表面完全反射。但是如果有個(gè)折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板，屏幕表面全反射的條件就會(huì)被打破，部分光束透過表面，投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射)，散射光透過觸摸屏后到達(dá)光電傳感器，光電傳感器將光信號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)，系統(tǒng)由此獲得相應(yīng)的觸摸信息。
 
       由于多個(gè)觸點(diǎn)同時(shí)響應(yīng)，新型觸摸屏充分釋放了人手的控制潛力。不再像鼠標(biāo)那樣，一只手僅能夠操作一個(gè)點(diǎn)，而多點(diǎn)觸控技術(shù)是一種具有高度自由性的真正的多點(diǎn)控制界面。 
       ToughtLight技術(shù)
       運(yùn)用投影的的方法，把紅外線投影到屏幕上。
       Optical Touch技術(shù)
       它在屏幕頂部的兩端，分別設(shè)有一個(gè)鏡頭，來接收用戶的手勢(shì)改變和觸點(diǎn)的位置。經(jīng)計(jì)算后轉(zhuǎn)為坐標(biāo)，再作出反應(yīng)。
       各種多點(diǎn)觸摸技術(shù)的優(yōu)劣勢(shì)
       FTIR(受仰全內(nèi)反射)：
       優(yōu)勢(shì)：
       適應(yīng)各種按壓力度
       不需要封閉的箱子
       觸摸點(diǎn)對(duì)比度高
       如果有硅膠觸摸層(或類似)，即使像筆尖那么小的點(diǎn)也可以識(shí)別
       劣勢(shì)：
       無法識(shí)別薄片狀物體
       需要 LED 燈帶，燈條，這涉及到焊接
       需要硅膠層，以達(dá)到較好的觸摸效果
       不能用玻璃作為觸摸屏，因?yàn)橐玫絹喛肆Κ?dú)有的全內(nèi)反射特點(diǎn)
       背投式 DI(散射光照明)：
       優(yōu)勢(shì)：
       不需要硅膠層
       可以用任何透明的材料做觸摸屏，如玻璃，亞克力等
       不需要 LED 等條，等帶
       不用自己焊 LED
       設(shè)置簡(jiǎn)單
       可以識(shí)別物體，手指，薄片狀物體，甚至隔空操作
       劣勢(shì)：
       要使整個(gè)觸摸屏有一致的亮度比較難
       觸摸點(diǎn)的對(duì)比度低
       容易產(chǎn)生“假”的觸摸點(diǎn)
       需要封閉的箱子
       前投式 DI(散射光照明)：
       優(yōu)勢(shì)：
       不需要硅膠層
       可以使用任何透明材質(zhì)如玻璃，亞克力做觸摸屏
       不需要 LED 燈條，燈帶
       不需要焊接 LED
       設(shè)置簡(jiǎn)單
       可以識(shí)別手指，隔空操作