实验人员正在用“意念”控制无人机编队飞行。
脑机接口设备越来越便捷,有利于脑控技术快速走向应用。
实验人员只需要戴上脑电帽就可以实现大脑信息的准确提取、指令的精确发出。
试想一下:你只需动动念头,机械设备就会按照你的想法运转;人与人之间的交流,不仅仅通过语音或文字,还可以通过心灵……
当AI与人脑联合,更多“不可能”会走向我们身边。多年来,西北工业大学谢松云教授团队致力于脑科学与人工智能的交叉研究,“脑机协同”技术取得重要进展,率先实现了意念与AI相结合的“双智能”控制。
“意念控物”的实现
“意念控物”是通过脑电检测设备采集脑电波,然后用计算机对脑电进行解读,提取脑电特征形成控制信号,进而实现对事物的控制。这些事物可以是设备装置,甚至可以是生物体。至于脑电波,其实很早就被人类所认识和获取,人脑神经元活动时就会产生电信号,这些信号相叠加,形成脑电波。
“要想实现高质量的控制,最关键也是难度最大的是对脑电波的提取、识别与区分,也就是所谓‘脑特征’的提取。”谢松云介绍,“通俗一点讲,就是需要知道大脑想要做什么,获取的脑电波要能代表这种诉求,不同诉求能在脑电波中体现出来。”
在利用脑电进行控制时,能提取出多少个不同的脑电特征,就能够通过编码生成多少个相应的控制量,控制量的多少在很大程度上决定了控制的水平。最简单的是利用一个脑特征,一般只能产生一个控制量,可用于控制“启动”或者“停止”、“增加”或者“减少”等任务。目前,应用最多的是基于注意力、专注度的脑控,脑控让设备动起来就是典型的案例。
显然只有1个脑特征的提取与识别远远不能满足人们对脑控技术的渴望期待。在现实中对物体的控制远不止2个状态,比如脑控汽车,仅走、停、加速、减速、转弯等基本动作至少需要4个到5个特征。基于这种需求,谢松云团队潜心研究,以期能利用更多的大脑特征。经过多年不懈的努力,该团队开发了多种模式联合诱发的大脑特征的提取技术,目前已经可以实现想象、视觉、眨眼等3种模式,12个脑特征的提取与识别。
“几个脑特征的增加,并非是简单的数量增减,而是在诱发方式和特征提取技术上都要有突破,其难度是多方面的!”谢松云介绍,人脑信号非常复杂并含有很多噪声,要实现脑特征的提取与识别难度很大。从技术上说,需要从四个模块进行研究:第一,如何诱发可识别的脑电特征信号;第二,对激发出的脑电信号进行解码;第三,对识别的脑电特征进行编码,转为对外部设备的控制指令;第四,通过通信技术将控制指令传输给被控设备。
据了解,可以诱发脑特征的方法包括运动想象、视觉刺激、事件相关电位等,还可结合肌电刺激形成多种模式的脑特征的应用。截至目前,团队相关技术已取得10件国家发明专利授权,推动了脑机接口技术的实用化进程。
脑控技术走向应用
尽管实现了多种脑特征的提取,但是脑控技术走向应用还有很多障碍。“比如脑机接口具有速度慢、正确率不高等固有局限性,这些都成为脑控技术发展的重要障碍。”谢松云介绍,为解决这些问题,团队率先实现了将意念控制与AI相结合实现“双智能”控制的新技术,并研发出多套脑机协同控制系统,推动了脑控技术的实用化进程。
脑机协同控制就是通过脑机接口等技术将大脑的智能和基于计算机技术的人工智能结合起来,将大脑作为计算机控制系统的一个组成部分,构成一个既有大脑的快速认知和灵活决策,又有计算机的高速计算和大容量存储的新型系统,用于对各种设备与系统的控制。这样,可以充分发挥“人脑智能快速认知与决策”和“人工智能高速计算与处理”的各自优势,通过脑机协同共同完成控制任务,克服了单一智能控制的局限,在减轻了大脑负担的同时,实现了无人系统快速、稳定和高效的控制。“这种模式充分发挥了‘人脑’和‘机脑’两种不同智能形式各自的优势,有利于脑控技术走向实际应用。”谢松云说。
团队的最新研究成果——“脑控”无人机编队飞行正是基于脑机协同的“双智能”控制技术的实际应用。这项新技术将AI和脑控相结合,使得无人机编队既能根据脑控指令迅速完成不同模式的转换,变换队形,又不需要负责脑控的操作人员长期耗费脑力。AI技术预设了不同的飞行模式,操作人员根据实际环境和任务需求,用脑控设备发出模式转换的指令,就能轻松完成无人机群的10余种不同模式的编队飞行任务。
这是脑控技术实际应用的重大突破。“脑机协同控制让‘意念控物’这个听起来高高在上的‘黑科技’的落地应用成为可能。”谢松云介绍。
脑机协同控制在医学、航天、救灾、安防、游戏、教育等领域具有广泛的应用前景。例如,救援救灾中,在未知的复杂环境或危险区域可采用无人探测设备进行探测,但是在复杂环境中不明情况下,单纯使用AI系统设备往往会无法准确识别目标,并造成不必要的时间、能量和装备的损失,使得任务完成质量下降。利用手—脑—机协同的技术,在环境不明情况下用“手控 脑控”驱动无人探测设备的快速运行和目标发现,待发现疑似目标后再启动AI系统精准实施探测、识别,人机联合认知、处理与决策保证了精准探测和施救。
随着5G技术的发展,5G技术结合脑控和AI技术将为无人驾驶提供更可靠的安全保障。如果在无人驾驶系统中,加入对人的状态监测,将人的本能反应与AI系统相结合,利用人的快速认知能力,在AI系统无法识别应对的情况下,利用监测到的人的本能反应快速给出正确的应急指令,可以最大程度保障行车安全,使无人驾驶汽车上路成为可能。
执着于“异想天开”
科研之路从来都不会一帆风顺,特别是创新学科交叉领域的研究更加艰辛。说起近20年的研究,谢松云最大的感悟是:满怀对科研的热爱和不被动摇的信念,遇到困难不退缩,没有解决不了的问题。
团队成立之初,遇到的最大难题是专业领域太超前,不被大多数人理解,认为想要实现脑控简直是异想天开。但是,谢松云没有因此而改变方向,在“异想天开”的道路上坚定地走下去。
“开放、共享,加强国际合作是我们能走到今天的一个重要原因。”谢松云介绍,一开始,由于专业跨度大、缺少可借鉴的经验和方法、没有实验条件等原因,给研究带来了巨大的挑战。“为此,我们与国外知名的大学和一流的医学院紧密合作,在他们的协助下我们快速建立了新的学科和实验室,并通过师生互访,赴德国做实验,获得了大量的国际先进技术和数据,保证了研究工作的顺利开展。”她说。
从2004年西北工业大学创建“985”学科实验室“神经信息技术实验室”开始,团队把这条本不被看好的路越走越宽:2014年,联合德国柏林工业大学、夏洛特医学院共同创建了“中德神经信息联合实验室”;2017年,联合德国柏林工业大学、夏洛特医学院、肯特大学等国际知名高校共同创建了“陕西省脑机一体化及其无人系统应用国际联合研究中心”;2019年,谢松云作为首席教授,创建了西北工业大学的“脑科学与类脑研究中心”。
近年来,团队完成了包括4项国家自然科学基金等国家级项目在内的科研项目30余项,首创了“多模式联合诱发的脑机协同无人机编队智能控制技术”“手—脑—机协作无人车智能控制与目标识别技术”“便携式抓取机器人脑控技术”等科研成果,并被成功应用。
“当时认为不可能的脑机技术,现在已成为国内外科研的重要竞争之地。看到现在的发展趋势,我们为自己的执着和坚持而自豪!”谢松云表示。