注:江南大学设计学院研究生曾丽霞对本文皆有贡献。
手势交互是利用计算机图形学等技术识别人的肢体语言,并转化为命令来操作设备。手势交互是继鼠标、键盘和触屏之后新的人机交互方式。手势交流是人的本能,在学会语言和文字之前,已经能用肢体语言与人交流。
其实在过去30年,研究人员一直在研究基于肢体语言的交互系统。因为手势在日常生活中最为频繁,便于识别。所有基于肢体语言的研究主要以手势识别为主,而对身体姿势和头部姿势语言较少。
翻译自《Gesture-controlled user interfacers,what have we done and what ’s next?》
手势交互系统中主要有几个部分:人、手势输入设备、手势分析和识别和被操作的设备或界面。最近几年生产出的Kinect和Leap Motion与之前的研究相比,整个手势交互系统都有较大的发展进步:
1.人。面向大众,而不只是老年人和残疾人,普通用户也可以使用这些产品。
2.手势输入设备。比起鼠标和键盘操作,这些手势交互是更加方便的交互方式。早期需要穿戴手套,对于普通用户来说比较累赘。之后摄像头作为输入设备,用户并不需要和实体设备接触,而且可以分析手势的3D运动轨迹。
3.手势分析。计算机图形学等科学的发展,识别率得到提升,可以实时捕捉手臂和手指的运动轨迹,技术推动了人机交互的发展。
4.被操作的设备或界面。可以识别的手势更多,可以输入的命令更多,不再限定在特定平台执行某项特定的任务。 MYO腕带可以视作一个开放的手势识别平台,除了电脑和电视机,智能电器和飞行器等设备都可以被操作,Leap Motion未来也可能被用来进行虚拟操作,比如虚拟雕塑和虚拟手术。
Leap Motion的手势交互
但和Leap Motion商业产品而不是完美的,还存在一定局限性。kinect是游戏产品,在开始使用时,需要一定的初始化操作。Leap Motion使用过程中,手要悬浮在空中,使用一段时间之后会比较疲劳。Leap Motion的识别精度达到了次毫米级,连接之后可以立即使用,但由于手悬浮时难免有细微的抖动,对屏幕在几个像素范围对精准操作非常困难。
Kinect主要是识别运动轨迹,手停留几秒识别为“选择”操作,但还没有更进一步的将手指关节识别为命令,Leap Motion可以识别手指关节的变化(如抓取),但像在电脑端那样执行任务流是不适合的。在产品商业化和设计时,扬长避短才能发挥手势交互真正的优势。
MYO腕带
Leap Motion和Kinect运用的是计算机图形学,MYO则涉及到生物科学,臂带上的感应器可以捕捉到用户手臂肌肉运动时产生的生物电变化,从而判断佩戴者的意图,再将电脑处理的结果通过蓝牙发送至受控设备。MYO的优点是不受镜头的摄像范围限制,反应更灵敏,但只限于单手手势,并且需要额外佩戴设备。
与已有成熟的交互方式相比,手势交互的技术更复杂,但同时有很多优势:
1.学习成本较低,识别人的自然手势,不像传统交互那样记住双击和鼠标左右点击的区别。
2.可以脱离实体接触,实现远距离控制。
3.交互动作更加丰富和自然,不同的操作有不同的手势,不像传统交互局限于点击和滑动等几种常用的操作。
4.对用户正常活动影响较少,可以随时继续手势操作。
因为游戏用户对科技接受程度更高,新鲜技术带来的游戏乐趣抵消了技术缺陷,所以手势交互率先在游戏领域得到了应用。未来将逐步进入人工智能、培训教育和仿真技术领域,但像传统交互形式一样进入大众化消费领域还需要一段时间。