1960 年代,截瘫近常键盘英国医生 Grey Walter 为确认癫痫病人的意念脑内病灶,在其贴近大脑皮层的打字登N度接地方放了电极,清晰地获取了病人的面速神经活动。这仿佛为 Grey Walter 打开了新世界的人敲大门,突发奇想之下他把电极连接到自制的准确“电位转换器”上,竟让癫痫病人实现了「意念控制幻灯片切换」,截瘫近常键盘这便是意念脑机接口技术的第一次完整实现。
时至今日,打字登N度接脑机接口技术虽未真正大规模落地,面速但我们对其已不再陌生,人敲即便争议时常存在,准确技术突破也从未停歇——2021 年 5 月 13 日,截瘫近常键盘脑机接口领域最新突破登上了本期知名学术期刊 Nature 的意念封面。
借助斯坦福大学设计出的新型脑机接口系统,截瘫患者可以用意念打字。
患者打出单词 battle 的速度与常人手机打字速度相差并不多,很难想像这是通过意念控制做到的。
其实早在 2017 年已有通过植入式脑机接口使患者实现意念打字的先例,很明显,最新的脑机接口系统大大提升了打字速度。
官方给出的数据是,这一系统下,患者每分钟可输入 90 个字符,而此前「意念打字」速度最多只达到每分钟 60 个字符(注:常人打字速度为每分钟 115 个字符)。可见,这一系统在速度上有了显著提升。
除了速度,准确率也是一项关键因素——据了解,最新系统打字的原始准确率为 94.5%,经语言模型自动校正后的准确率能达到 99.2%。
2021 年 5 月 12 日,相关研究成果发表于 Nature,题为 High-performance brain-to-text communication via handwriting(通过手写实现的高性能大脑-文字交流)。
论文作者主要来自斯坦福大学(霍华德·休斯医学研究所 HHMI、医学院神经外科、电气工程系、Wu Tsai 神经科学研究所、Bio-X 研究所、生物工程系、神经生物学系)、美国退伍军人事务部神经修复和神经技术研发中心、布朗大学(工程学院、Carney 脑科学研究所)及哈佛医学院麻省总医院神经内科神经技术与神经康复中心。
实际上,这一研究是美国企业 BrainGate 临床试验的一部分,主要由布朗大学工程学院教授、重症监护神经学家 Leigh Hochberg 博士指导。
在平时敲键盘的过程中,我们不难注意到一点,人脑思考的速度往往要比交流的速度快得多。而对于严重瘫痪的患者而言,这种问题则显得尤为突出。
针对不便交流的群体,目前已有辅助打字设备进入商用。这种设备主要基于使用者的眼球运动或语音命令。据了解,一种眼球追踪键盘可使瘫患者每分钟输入约 47.5 个字符,速度明显低于常人打字速度;不仅如此,对于那些因瘫痪影响到眼球运动或发声的患者而言,这一技术将有着很大的局限性。
相比之下,脑机接口技术则可通过解读大脑活动模式来恢复患者的特定功能。
【借助脑机接口,猴子也能打游戏】
具体到打字任务上,脑机接口技术可以基于神经活动,建立分类算法来预测用户想要选择的字母,解决键入任务:
非侵入性脑机接口可向患者提供顺序的视觉提示,分析用户对提示的神经反应,从而确定他们想敲打的字母。
侵入式脑机接口则是在大脑中植入电极,使用户控制光标、选择字母键。
基于这一点,研究团队希望通过设计一种用于打字的脑机接口系统,使得截瘫患者按其思维速度进行交流。
据悉,研究团队设计的新型脑机接口系统原理为:
首先,在用户想象要写的字母时,大脑电极测量神经元活动(注:下图中的线条表示神经元发射的时间点)。
接着,递归神经网络(RNN)学习每个字母产生的神经活动模式,并分析这些活动模式在多个试验中的关系,从而生成聚类图。
最后,算法基于上述信息预测用户所想象的字母,并将该预测实时输出。
基于上述原理,研究团队的做法是:
对一个原本为语音识别而开发的机器学习算法进行改写,
构建一个数据集(数据集中包含与每个字母相对应的神经活动模式),
使用数据集来训练分类算法。
据 Nature 介绍:
为评估手写的神经表征,受试者需要按照电脑屏幕给出的指令一次 “手写” 一个字符,每个字母重复 27 次试验。
研究表明:
上述算法在有限的训练数据下也能很好地运行,但随着神经活动模式的改变,可能需要做进一步的研究,以使该设备在其生命周期内保持稳定的性能。
值得一提的是,论文一作 Frank Willett 博士还通过推特表示会将整个研究的代码和神经数据开源。
下图为此次植入患者大脑的微型电极阵列,据了解,参与试验的患者为一名 65 岁男性,颈部以下因脊髓损伤而瘫痪,研究团队在患者与右臂运动相关的大脑区域内放置了两枚微型电极。
写在最后
这一研究无疑是一次重要突破。
Nature 表示:
这一突破拓宽了侵入式脑机接口应用落地的前景,使用了机器学习方法,为脑机接口技术的改进提供了一条乐观的思路。
加州大学伯克利分校神经工程师 Jose Carmena 表示:
尽管技术还处于起步阶段,但这仍是一大进步。
美国国立卫生研究院脑科学计划主任 John Ngai 表示:
这一研究代表了脑机接口和机器学习发展的重要里程碑,为未来改善神经损伤和瘫痪患者的生活提供了重要基础。
国内有专家表示:
相比于 Neualink 的研究成果,这一研究可以说是真正的技术创新。原因在于,Neualink 的优势在于神经界面能够高通量地无线传输神经信号,但(猴子打游戏)任务属于一维控制,其实是非常简单的。
当然,上述褒奖之外,我们也要意识到,脑机接口仍有很大的发展空间。仅针对这一研究,Nature 就提出了潜在发展路径:
在 26 个英文字母中,有这样几个字母的书写方法相似(r、v 和 u),因此较难分类。但在其他语言中,比如泰米尔语就存在有 247 个相似字母,可能比起英语很难分类。因此,该方法如何能扩展到或转换为其他语言,是科学家们后续需要思考的问题。
华盛顿大学生物工程系专家 Pavithra Rajeswaran、华盛顿大学电气和计算机工程系专家 Amy L. Orsborn 一致认为:
将电极植入大脑的费用和风险是否合理仍需论证。
众所周知,在脑机接口领域,包括 Neuralink 在内的国外企业已有了一定进展;进入 2021 年,国内多家脑机初创企业也加速融资、腾讯阿里等大厂亦有相关布局。而在学术方面,浙江大学、TCCI(陈天桥雒芊芊研究院)等科研院所近两年也做出了重要科研进展。
脑机接口技术日新月异,未来还将如何进步,我们拭目以待。
引用来源:
https://www.nature.com/articles/s41586-021-03506-2
https://www.nature.com/articles/d41586-021-00776-8
https://www.brown.edu/new网s/2021-05-12/handwriting
https://www.youtube.com/watch?v=wyFj3yl3Aik
https://mp.weixin.qq.com/s/84O4_-mKQs2ixnJghZTVgw
雷锋网雷锋网雷锋网