是時候解放您的雙手了!達特茅斯學院和曼尼托巴大學人機交互(HCI)實驗室的研究人員一直致力於開發一種即使不觸控式螢幕幕也能達到觸屏手勢效果的智慧手錶。通常,與智慧設備進行交互需要雙手操作,例如在螢幕上輕拂或滑動。研究人員發現,這種需要另一隻手協作的操作方式非常不便利,尤其是用戶的另一隻手被其他事情佔用的時候。他們對單手操作智慧設備的可能性進行了研究,並創建了一種稱為WristWhirl的新型智慧手錶的原型。使用該智慧手錶的時候,用戶只需要執行簡單的腕部運動即可實現查看電子郵件、聽音樂、健身活動追蹤及其他許多相關功能。
達特茅斯學院電腦科學助理教授Xing-Dong Yang解釋說,雖然過去已經對智慧手錶的單手手勢進行了研究,但將手腕的操縱杆動作作為智慧手錶輸入的可用性尚未得到廣泛探索。他說:“WristWhirl是第一個探索手勢輸入的設備。我們這種技術使用戶能夠單手(戴著手錶的那只手)實現與設備之間的交互,從而騰出另一隻手進行其他活動,這展示出了智慧手錶未來功能的可能性。
那麼“將手腕作為操縱杆”是什麼意思呢?手腕是人類最靈活的關節之一,可以雙向旋轉,也可以向前或向後彎折。這種靈活性使手腕可以進行多種動作,從而能夠變成“操縱杆”,對同只手腕上的智慧手錶進行操作。
在開發原型時,研究人員對手腕的生物力學特性進行了研究。一項針對用戶的研究在15至20歲之間的15位參與者(慣用右手)身上進行。為了更好地瞭解手腕作為操縱杆運動的可用性,他們測試了八種不同類型的手勢來控制智慧手錶。這些稱為自由形狀手勢,如下圖所示:
原型的可用性測試考慮了多種因素。研究人員對無視線狀態下的手勢輸入功能進行了研究,以防用戶在執行手勢時無法直視螢幕。在使用者進行激烈活動時,這種無視線狀態下的手勢輸入就變得非常方便。他們還研究了位置控制模式,該模式可將手腕的動作映射到螢幕上。螢幕上的視覺資訊代表了腕部彎曲的方向和彎曲量。同時還研究了手勢分隔符號,如用手指捏一下。
在用戶研究期間,要求參與者在兩種不同情況下盡可能準確、快速地執行手勢操作。首先,在看顯示器的同時進行手勢操作,其次,在不看顯示器的情況下進行手勢操作。對兩種情況下的回應時間進行了記錄,有趣的是,無視線輸入下的回應時間(877ms)小於前者(1043ms)。參與者在不看顯示器的情況下能夠更快地執行手勢。可以解釋為這是由於參與者試圖借助螢幕上的視覺回饋來確保更精確地繪製手勢。
WristWhirl包含了2英寸的TFT顯示幕和帶有內建紅外間隙監測感測器以及壓電振動感測器的塑膠錶帶。所有這些器件都位於錶帶內部。感測器獲得的資料由Arduino DUE板進行處理。
WristWhirl由一個2英吋的TFT顯示幕和帶有12個紅外接近感測器的塑膠錶帶組成,每個感測器都包含一對紅外發射器和檢測器(LITON LTE-301 和 302),工作距離為940nm,最大傳感距離約為12cm,和一個用於監測手指壓力的壓電振動感測器(Minisense 100)。感測器已連接到Arduino。
先由DUE處理,然後發送到Lenovo ThinkPad x1 Carbon筆記型電腦(2.1GHz Intel Core i7 CPU 8GB RAM)對感測器資料在9600Hz的速度下進行記錄(從0到1023讀取,1023是最接近的)。要執行一個手勢,用戶可以用手指捏一下就可以打開接近感測器來捕捉手腕的運動。完成手勢後,用戶可以再次捏合作為手勢結束的信號來關閉接近感測器,以節約電池用電。
從每個接近感測器記錄的資料會被轉換為一個向量。向量的方向由感測器沿錶帶的位置決定,向量的長度由感測器的值決定。值越高,向量的長度越長。透過匯總連續的感測器上獲得的三個向量來獲取資料。
研究人員透過Google Maps和流行的遊戲對原型進行了測試。WristWhirl具有以下四種應用程式:
1. 手勢快捷方式:類似於流行的手勢搜索應用程式,該快捷方式應用程式允許使用者透過執行手勢來打開應用程式。例如,用戶可以透過手勢(或繪製)三角形來打開日曆應用程式。用戶還可以執行手勢以實現快速撥號(例如,畫“L”來撥打給Lisa)。
圖3:透過執行手勢(繪製)三角形來打開日曆應用程式/©Gong 等,2016
2. 音樂播放機:透過一個較長的腕部輕掃動作,用戶可以跳過多個曲目,而透過較短的腕部輕掃動作,用戶可以跳轉至下一首歌曲。
圖4:手腕長掃至左側可以向左跳過多首歌曲/©Gong 等,2016
3. 2D導航:用戶可以左邊手腕或右邊手腕的動作(尺骨或橈骨方向)進行上下移動。要向左或向右平移,用戶可以使用上下的手腕動作(伸展或彎曲)。用戶還可以透過順時針或逆時針方向的旋轉(打轉)手腕來進行放大和縮小。
圖5:上下和左右平移(左);放大和縮小(右)/©Gong 等,2016
4. 遊戲:用戶可以透過上下左右揮動手腕來玩俄羅斯方塊。可以透過向上揮動改變方向,透過向下揮動放置方塊。
圖6:玩水果忍者(左)和俄羅斯方塊(右)/©Gong 等,2016
初步的原型評估結果表明,1美元硬幣大小的手勢識別器能夠識別出自由形狀的手勢,準確性為93.8%。未來的研究方向包括進一步改善手指捏動的監測,提升接近感測器以避免環境光干擾,探索多點觸摸手勢以及開發針對不同手腕尺寸的多選擇設計。