脑机接口中脑电信号时空处理方法的研究

脑机接口中脑电信号时空处理方法的研究 分类号: TM15 密级:U D C:编号: 学 位 论 文脑机接口中脑电信号时空处理方法的研究 王 江 指导教师姓名:徐桂芝 教 授 河北工业大学 申请学位级别:博 士 学科、专业名称: 电气工程 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 提交日期: 2011 年 11 月 论文答辩日期: 2011 年 12 月 19 日 学位授予单位:河北工业大学 答辩委员会主席: 评 阅 人: 2011 年 12 月Dissertation Submitted to Hebei University of Technology for The Doctor Degree of Electrical Engineering SPATIAL AND TEMPORAL ANALYSIS OF EEG SIGNALS IN BRAIN COMPUTER INTERFACEby Wang JiangSupervisors: Prof. Xu Guizhi November 2011This work was supported by the Natural Science Foundation of Hebei Province under Grant No. E2009000062 and No. E2006000034河 北工业大学博士学位论文脑机接口中脑电信号时空处理方法的研究 摘 要 脑机接口Brain-Computer Interface, BCI系统能够实现人脑和外部设备之间直接的交 流与控制,使人脑与外界环境进行信息交流时不再依赖外周神经和肌肉组织。脑机接口初 期研究目的是为有运动残疾或 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达障碍的病人提供与外界交互及控制设备的能力,随着研 究的深入,目前其应用领域越来越广泛。由于脑电EEG信号很容易受到各种生理信号、 周边环境甚至不同精神状态的干扰,信噪比SNR很低;同时各被试生理结构的差异导致 脑机接口的推广性受到制约,因此直到目前仍然没有有效的方法能够稳定可靠的提取普通 人的思维脑电特征,导致脑机接口走出 实验室 17025实验室iso17025实验室认可实验室检查项目微生物实验室标识重点实验室计划 困难重重。本文针对基于运动想象的脑机接 口工作不稳定的问题,寻找更加稳健的特征提取方法并应用到在线脑机接口,主要内容如 下: 1、研究基于共空间模式CSP类算法的空间滤波及想象运动脑电特征提取,对比 CSP、 多频段 CSP及共空间时间模式CSSP算法提取脑电特征的效果,结果表明 CSSP算法能够 更有效分离两种不同思维任务的 EEG信号,分类效果昀好。这类算法虽然需 要较多脑电通 道,对噪声比较敏感,但其正确率明显高于其它特征提取算法。 2、采用卡尔曼滤波算法求解自适应自回归AAR模型参数的方法,实现动态提取非平 稳 EEG 信号特征。结合 AAR 和多变量 AARMVAAR模型参数的优点,进一步改进了特 征提取方法,更全面描述了想象运动 EEG信号特征,有效提高了分类正确率。改进了卡尔 曼滤波器状态方程中状态转移矩阵,结果表明改进的卡尔曼滤波算法更有助于动态提取运 动想象特征。此外还解决了连续提取 AAR 模型参数时数据易发散问题,使得算法更加适 应在线脑机接口系统。 3、研究利用盲源信号处理BSS/ICA算法直接分离大脑中想象运动源产生的脑电信 号,提高脑机接口系统稳定性和分类精度。分析了目前典型 BSS/ICA算法:AMUSE算法、 SOBI 算法、JADE 算法、基于概率分布的算法及 FastICA算法,研究这些算法单独作用提 取运动想象相关脑电特征的分类效果。根据算法特点从时间和空间两个角度提取和分析运 动想象的脑电源信号。从信号的时序结构角度考虑,讨论 SOBI 算法;从信号 的统计独立 性角度考虑,研究 FastICA 算法。实验结果表明结合 SOBI 和 FastICA 算法等 BSS/ICA 算 法的优点,从时间和空间角度提取与运动想象相关性更强的源信号,提高系统稳定性,同 时还消除其它干扰、噪声信号对脑机接口的影响,推动脑机接口技术的发展。 4、 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 基于想象运动的在线脑机接口,实现模拟环境开关量的控制和模拟小车运行 控制。分析了在离线情况下特征提取的方法,为了确定训练时间对分类正确率的影响,研 究了不同小样本情况对昀终分类正确率的影响,分析结果表明对于想象运动,通过半监督 i脑机接口中脑电信号时空处理方法的研究 学习算法能得到比较理想的分类结果。对于模拟开关量控制实验设计了二分类脑机接口, 被试在较短时间内完成改变目标开关量的状态。对于模拟小车控制分别设计了二分类和三 分类在线脑机接口,三分类脑机接口在控制小车行驶方面强于二分类脑机接口,但是由于 EEG高度不平稳导致系统工作不稳定,对被试要求高。在在线脑机接口的研究中,不同的 被试需要不同的分类参数,为了提高系统工作效率,加强系统的人机交互能 力,研究设计 了被试脑电特征数据库,在数据库中选择被试及其信号预处理、特征提取和 分类的算法及 参数。 关键词:脑机接口,盲源信号处理,独立分量分析,自回归模型 ii 河北工业大学博士学位论文 SPATIAL AND TEMPORAL ANALYSIS OF EEG SIGNALS IN BRAIN COMPUTER INTERFACE ABSTRACTBrain computer interface BCI is a new technology which provides user a direct communication system between the brain and the external devices without depending on the brain’s normal output channels of peripheral nerves and muscles. An initial BCI was designed to provide the ability to control equipment or communicate with outside world for the patient with physical disability or expressive disorder. With further research, more applications of BCI were studied. EEG recorded from scalp was analyzed in order to identify the human’s intentions. The feature extraction of EEG signals plays an important role for classifying these spontaneous mental activities. Although the accuracy of many BCI system are fairly high, there are still no sufficiently reliable and stable methods to extract feature for most of subject’s EEG signals. The features of different mental tasks maybe very vague due to the interference of biological noise or environmental noise, and the accuracy of many subjects would be very low. The main purpose of this paper is to find more robust methods for extraction EEG features of BCI based on motor-image and improve the performance of on-line BCI system, which improve Information transfer rate and Resolving instability of BCIThe main contributions and innovations of this paper have been listed as below: 1. In order to improve the stability and robustness of BCI, we utilized Common Spatial PatternCSP, multi-band CSP and Common Spatio-Spectral PatternCSSP to decompose the raw EEGs into two different spatial patterns which respect to different motor imagery classesThe result shows that CSSP method could get more distinctive components of two imageryThough they need more EEG channel and more sensitive for noise, the accuracy of CSP methods is higher than other methods2. An improved AAR models features was proposed and applied to the classification of Motor imagery. The experiment based on imaginations of left or right hand and foot movement were performed and the EEG data were analyzed by using AAR, MVAAR and improved MVAAR. Features of different mental states were extracted and the results show that the improved MVAAR can be used as an effective method for dynamically classifying motor imagery. We also proposed a method for solving divergence problem when extracting AAR model parameters sequentially for on-line BCI3. Blind Source Separation BSS or Independent component analysis ICA is a technique for recovering unobservable source signals from their mixtures. The aim of BSS/ICA is to make a projection which can extract meaningful features and finding useful representations of signalsBased on various criteria and diversities, several different methods of source separations were studied such as AMUSE, SOBI, JADE, FastICA and other methods base on Probabilities. SOBI can decompose mixtures of signals by utilizing temporal structures and FastICA utilizes iii脑机接口中脑电信号时空处理方法的研究 statistical technique for recovering statistically independent sources. In this paper, the combine of SOBI and FastICA for extraction EEG features of motor imagery was proposed. Different methods of extract physiological components were studied and achieved better performance. The BSS/ICA methods could not only reduce various artifacts and noise but also localize useful source and improve accuracy of BCI. Finally, we compared BSS/ICA methods and CSP methods, and analysis Advantages and disadvantages of these two category spatial methods 4. Based on the analysis of off-line data, an on-line BCI system using motor imagery EEG was designed for simulated home environment control and simulated automobile control. Firstly, we studied the small training sample learning problem for BCI and the testing result shows that with little training sample BCI could get more ideal Performance. Then the on-line BCIs based on two or three mental tasks were done for simulated home environment control and simulated automobile control. The result show that BCI with two classes motor imagery is more stable than three classes system while the performance of the latter is higher then the firster. In order to improve the ability of interaction, a database of different subjects’ EEG features was designedBefore the start of the experiment, one can choose the best methods and the best parameters of feature extraction and classification saved in the database to improve the BCI system efficiency KEY WORDS: Brain Computer InterfaceBCI,Blind Source Separation BSS, Independent Component Analysis ICA,Adaptive Autoregressive ModelsAAR iv河北工业大学博士学位论文 目 录 第一章 绪 论. 1 ?1-1 脑机接口概述. 1 1-1-1 脑机接口的概念及工作原理1 1-1-2 脑机接口系统的分类. 3 1-1-3 脑机接口的应用前景. 4 ?1-2 基于 EEG的脑机接口研究现状. 6 1-2-1 基于感觉运动皮层节律SMR的脑机接口6 1-2-2 基于诱发电位的脑机接口8 1-2-3 基于 P300 事件相关电位的脑机接口8 1-2-4 基于慢皮层电位的脑机接口10 ?1-3 本文研究目的和主要研究内容. 10 1-3-1 脑机接口遇到的问题 10 1-3-2 本文研究目的10 1-3-3 主要研究内容11 1-3-4 主要创新点.11 第二章 离线脑机接口实验设计与分析 13 ?2-1 大脑的结构与 EEG产生及特点13 ?2-2 脑机接口实验及评价标准 18 2-2-1 自发脑电想象运动实验18 2-2-2 评价标准19 ?2-3 脑电信号预处理. 20 2-3-1 脑电空间预处理. 20 2-3-2 盲源信号分离及独立分量分析. 23 ?2-4 特征提取. 24 2-4-1 功率谱估计算法. 24 2-4-2 空间滤波. 26 2-4-3 特征可分性判据30 ?2-5 分类识别. 31 2-5-1 Fisher线性分类器31 2-5-2 支持向量机 33 ?2-6 本章小结. 36 第三章 基于自适应自回归算法的脑电特征提取 37 ?3-1 AAR 模型及 MVAAR 模型37 3-1-1 随机信号参数模型及 AR 模型. 37 3-1-2 自适应自回归AAR模型算法38 3-1-3 多变量自适应自回归MVAAR模型算法43 ?3-2 改进的 MVAAR 模型算法45 3-2-1 改进的 MVAAR 模型算法45 v脑机接口中脑电信号时空处理方法的研究 3-2-2 离线数据处理及结果分析 46 ?3-3 AAR 模型算法改进 46 ?3-4 本章小结. 48 第四章 基于盲源信号处理的特征提取方法49 ?4-1 盲源信号处理简介. 49 4-1-1 盲源信号处理定义. 49 4-1-2 盲源信号处理相关知识50 ?4-2 盲源信号处理方法 52 4-2-1 AMUSE 算法. 52 4-2-2 二阶盲辨识SOBI算法54 4-2-3 联合近似对角化法JADE55 4-2-4 基于概率分布的算法 55 4-2-5 固定点Fixed-Point算法58 ?4-3 基于 BSS/ICA处理的脑机接口特征信号分析 59 4-3-1 实验及算法说明. 60 4-3-2 单独特征提取63 4-3-3 组合特征提取66 ?4-4 多分类特征提取方法的比较研究 71 4-4-1 多分类共空间模式算法. 71 4-4-2 两类空间滤波算法比较. 73 ?4-5 本章小结. 73 第五章 基于想象运动的在线脑机接口系统75 ?5-1 在线脑机接口结构设计. 75 5-1-1 在线脑机接口实验. 75 5-1-2 在线脑机接口平台 77 ?5-2 离线性能分析80 5-2-1 特征提取设置80 5-2-2 半监督学习算法. 81 ?5-3 系统工作过程83 5-3-1 开关量控制. 83 5-3-2 自动车控制. 86 ?5-4 本章小结. 87 第六章 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 和展望. 88 一、本文创新点. 88 二、下一步要进行的研究工作. 89 参考文献. 90 致谢 96 攻读博士学位期间所取得的相关科研成果. 97 vi河北工业大学博士学位论文 第一章 绪 论 ?1-1 脑机接口概述 千百年来,人们为了认识自身,试图揭示人类的意识产生和思维过程,解释人类的灵魂存在,不断 地探索大脑的神秘结构和工作原理,幻想着能够脱离肉体的桎梏,自由自在的存在于宇宙之中。随着 20 世纪以来科学技术的飞速发展,人们已经能够从细胞甚至各种粒子的角度分析大脑的结构和工作过 程,但是面对上千亿纠缠在一起的神经细胞,现有的科技水平仍难以探究思维意识过程。虽然如此,人 们想办法在现有技术条件下,充分发掘大脑活动规律,帮助人们完成许多过去无法想象的工作。通过大 脑直接控制外部设备就是其中的一种,这种技术就是脑机接口技术。随着生理学的新发现及信号处理和 计算机技术的新进展,脑机接口技术得到飞速的发展。脑机接口系统实时记 录人的脑电波,对其进行信 号处理,提取大脑活动特征,根据这些不同特征发出指令,通过各种通信传输方式控制外部设备。在脑 机接口研究过程中,信号处理技术是制约其发展的瓶颈,为了推动脑机接口技术的实用化,需要对信号 处理技术进行深入的研究。 1-1-1 脑机接口的概念及工作原理 脑机接口 Brain-Computer Interface, BCI系统实现人脑和外部设备之间直接的交流与控制,能够为 [1-3] 运动残疾或者有表达障碍的病人提供与外界交互和控制设备的能力 。随着脑科学研究的进展,人们 对大脑活动状况有了愈来愈深入的了解,许多思维活动包括实际运动或想象运动都会在大脑中产生特定 [4] 的信号 ,这为脑机接口的实现奠定了理论基础。 “脑-计算机接口”这一词汇由美国人 Vidal 于 1973 年首次提出,用来描述通过计算机技术提取分 [5] 析有关大脑信息并进行输出的系统 。在昀初的十几年里,虽然脑机接口研究取得了一些进展,但受当 时科技条件限制,其技术一直没有得到实质性发展。直到 20世纪 90 年代 初,随着微电子技术和计算机 技术的飞速发展以及脑认知、脑神经科学研究的进展,脑机接口进入了一个快速发展的阶段,相继出现 了一批有代表性的演示系统,而脑机接口的研究目的也从昀初为患有神经肌肉障碍疾病的残疾人士或者 [6][7] 行动不便的老年人提供自助服务扩展到各种辅助控制及娱乐领域 。 1999 年第一届国际 BCI大会在美国召开,吸引了来自美国、德国、加拿大等国家 22个脑机接口研 [8] 究小组参加会议,会议确定了脑机接口的发展方向 。2002 年、2005年及 2010 年在美国又相继召开了 三届 BCI 大会,大大推动了国际脑机接口技术的发展。为了提升脑电信号分析及特征提取的水平,欧 美几个著名的脑机接口研究小组在 2001年至 2008年期间组织了四次脑机接口竞赛BCI data competition I~IV,参赛者需要完成对离线数据的分析。首届中国脑机接口比赛China BCI 2010已于 2010 年 11 月 在北京清华大学举办,由国家自然科学基金委员会主办,天津大学、上海交通大学、浙江大学、电子科 技大学、华南理工大学、河北工业大学等高校和研究所参加了比赛。会上交流展示了我国近年来在脑机 接口研究中取得的重要成果,并以此推动我国在该领域研究的进一步发展,这次比赛推动了我国脑机接 口研究走向实用化。 脑机接口系统主要由信号采集、信号处理包括预处理、特征提取和特征分类和外部控制三部分组 [9] 成 ,系统结构如图 1.1。 1脑机接口中脑电信号时空处理方法的研究 数据预处理 特征提取 特征分类 信号采集 外部控制 反馈 图1.1 脑机接口系统结构图 Fig. 1.1 The system construction map of BCI 一、信号采集部分 信号采集部分实现了对大脑各种活动状态的采集。从不同角度或以不同观测方式采集大脑活动构成 了各种类型的脑机接口。例如,非侵入式脑机接口系统从大脑表面获得电信号、磁信号或其它与大脑活 动相关的信号,采集方式是无创的。对于基于脑电 EEG信号的脑机接口而言,其信噪比Signal-to-Noise, [10] SNR低,因而需要研究采用各种手段有效提取 EEG中的意识信息 。为了提高 信噪比,可将微电极或 微电极阵列等装置植入人的颅骨内,直接采集大脑皮层相应区域神经元的电位信号。这种方法的信噪比 高,特征位置准确,缺点是这类侵入式电极需要通过复杂的外科手术植入脑颅骨内,对人体造成一定伤 [11] 害,而且目前电极的生化反应使得这类系统无法长期使用 。 二、信号处理部分 信号处理是所有脑机接口系统的核心部分,主要包括对采集的信号做预处理、提取信号特征和分类 识别,下面主要介绍基于 EEG的脑机接口系统信号处理方法。 预处理操作主要有信号的消噪、伪迹去除及分段等。以 EEG 信号预处理为例,脑电信号受到眼动 EOG、心电ECG、肌电 EMG及工频干扰等影响。其中,眼动和眨眼产生的随机干扰信号混叠在 EEG 低中频部分,对大脑前半部分影响显著。头颈部等区域肌肉动作会产生幅度很强的肌电信号,混 叠在 EEG 信号中高频部分,传统滤波器无法滤除他们的影响,需要采用新的信号处理方法消除它们的 影响。目前常采用各种空间滤波方法,例如简单平均参考Common Average Reference,CAR,拉普拉 [1] [12] 斯滤波Laplacian Filter ,独立分量分析Independent Component Analysis, ICA 或主分量分析法 [13] Principle Component Analysis, PCA 等,通过线性组合多个部位的脑电数据,消除干扰信号,突出特 定空间分布的 EEG活动特征。还可以分析采集到的眼电、心电和肌电,用带约束 ICA算法Constrained [14] ICA , cICA 等去除它们对 EEG信号的影响。由于 50Hz 工频干扰非常强,通常需要设计 50Hz 陷波器, 以滤除这些干扰信号。 特征提取目的是从携带有被试意图的 EEG信号中提取反映被试思维的特征信息。由于 EEG信号的 非平稳性,且容易受到被试自身情绪、外部环境等各种因素的影响,需要采用更加有效的特征提取算法, 从 EEG 信号中消除这些干扰因素的影响,稳定可靠的提取不同思维意识状态的特征信息。目前特征提 [15] 取方法可分为时域、频域或是二者结合 。例如,小波变换等时频分析方法选择特征昀明显的频段进 行特征提取,提高信号时频分辨率;独立分量分析则假设脑电源信号满足独立条件,对多导 EEG 信号 进行独立分量的提取,得到与思维任务相关的源信号。 2河北工业大学博士学位论文 特征分类是对提取的样本特征进行分类,常用的方法有线性判别式、神经网络、支持向量机Support [16] Vector Machine, SVM 等。 通常为了获得足够数量的训练样本需要做大量实验,然而 EEG信号的采 集过程比较复杂,训练过程比较枯燥,往往难以得到数量满意的训练样本,为此需要研究性能更好的分 [17] 类器。支持向量机基于小样本情况下的机器学习理论,比较适于脑电信号的分类 ,通常在离线状态 下用于分析系统性能。而在线脑机接口系统对分类器的实时性要求比较高,需要系统能够对被试大脑活 动状态变化作出快速响应,减少分析数据的滞后时间,通常采用线性或二次判别式作为分类器。 三、外部控制及反馈部分 外部控制部分将分类识别的结果转换为相应控制命令,实现操纵各类外部设备。目前脑机接口的输 [18] 出信号可以用来控制计算机显示器,移动光标或者选择屏幕上的字母、图标等 。此外可以发出命令 控制被试周围的各种电器设备如轮椅、家用电器等。为了保证被试能够根据脑机接口系统的工作情况主 动调节自己的脑电信号,通常还需要反馈系统,例如在显示器上显示反馈信息,使被试能够适时调整自 己大脑活动状态。 1-1-2 脑机接口系统的分类 一、根据采集信号的方式分为侵入式和非侵入式 侵入式脑机接口需要做手术在颅骨内植入电极,直接采集大脑皮层的神经元活动信号,所以又被称 [19] 为植入式或有损式脑机接口 。由于直接采集颅骨内的脑电信号如皮层脑电图Electrocorticography, ECoG,所获得的信号信噪比较高,信号位置明确,故特征提取方法简单,分类正确率及信息传输率较 [20] 高。目前已经多例侵入式脑机接口实例,例如帮助被试实现假肢控制等功能 。然而电极植入手术有 风险,对人脑有一定损伤,长期使用会带来免疫反应、生物兼容影响,目前的研究主要集中在动物脑电 控制实验。 非侵入式脑机接口采用无损方式采集信号,如脑电图EEG、脑磁图Magnetoenphalography, [21] [22] MEG 、功能核磁共振成像Functional Magnetic Resonance Imaging, fMRI 、近红外光谱Functional [23] Near-infrared Spectroscopy, fNIRS 等;非侵入式脑机接口系统无需手术处理,安全性高,适用范围广。 目前昀常采用的分析信号是 EEG 信号,其采集设备简单,被试只需头戴电极帽,可通过便携式信号采 集和分析系统,实现具有更高实用性的脑机接口系统。但是由于颅骨对于大脑皮层电信号有很强的模糊、 衰减作用,使得 EEG 信号空间分辨率低,而且极易受到眼电、肌电及周边电磁环境的干扰,信噪比很 低。脑磁图能够准确测量大脑内生物电流引起的磁场变化,空间分辨率很高;功能性核磁共振检测大脑 内部新陈代谢活动信息,同样具有很高的空间分辨率。但是这两种方法时间分辨率都比较低,需要昂贵 笨重的采集设备,使用环境苛刻,目前仍处于实验室研究阶段。 二、根据控制信号产生方式分为独立和非独立脑机接口 非独立脑机接口又被称为诱发脑机接口,它依赖大脑对各种类型外界刺激声音、图像等做出的反 [24] 映。目前主要利用的现象有 P300 、事件相关电位Event Related Potentials,ERP、稳态视觉诱发电位 [25] Steady-state Visual Evoked Potential,SSVEP 等。非独立脑机接口一般不需要训练被试,脑电信号特 征明显,信噪比较高,因而准确率及信息传输率较高,但需要特定设备对被试进行刺激,在应用上有一 定的局限。 独立的脑机接口通常指在实验过程中不需要外界的刺激,被试通过完成特定的思维任务,自主控制 [26] [27,28] 脑电某些方面的特征,如慢皮层电位Slow Cortical Potential,SCP 、 α 波、 β 波或 μ 节律能量变化 等,所以又被称为自发的脑机接口。独立脑机接口灵活方便,适用范围更广,但是被试往往需要训练, 自发脑电信噪比低,特征提取比较困难。 三、根据信号处理方式分为离线off-line脑机接口和在线on-line脑机接口 3脑机接口中脑电信号时空处理方法的研究 在线脑机接口是真正工作的脑机接口系统,在采集信号同时,进行信号特征提取和分类,实时控制 计算机等外部接口设备。离线脑机接口通常在实验完成后对采集到的数据进行分析处理,由于不需要实 时得到结果,可以采用复杂耗时的算法,其研究目的是为了评估和改进各种信号处理方法,改善在线脑 机接口系统性能。 四、根据系统的工作方式分为同步式Synchronous和异步式Asynchronous脑机接口 同步式脑机接口中,被试大脑在同步信号可以是声音或图形的提示下产生控制信号,系统分析提 取此时的大脑活动特征,分类输出控制外部设备。这种系统的信号处理过程比较简单,但是应用上受到 同步信号的限制。异步式脑机接口系统由被试随意开始完成某种思维任务,系统自动识别并提取大脑活 动特征。这种脑机接口灵活方便,但是信号处理比较复杂,需要判别大脑空闲状态及思维任务的起始时 刻。 1-1-3 脑机接口的应用前景 一、康复和身体机能恢复 [6] 脑机接口昀初的研究目的是为了辅助患有神经肌肉系统疾病的人与外界进行交流 。这些疾病包括 肌萎缩性脊髓侧索硬化Amyotrophic Lateral Sclerosis,ALS、脑干损伤、脑中风等,严重影响到神经信 息的传输通道或肌肉本身的功能,导致患者对外周神经肌肉系统的自主控制 能力完全丧失,甚至无法说 话,无法与外界进行交流,给患者、家人及社会带来痛苦和沉重的负担。脑机接口技术是在无法治疗修 复受损的神经通道的情况下,尝试实现人脑与外界直接的沟通。通过采集大脑信号,解读病人意愿,借 助计算机和现代数字信号处理技术,将大脑信号直接转换成相应的控制命令,实现与外部环境的信息交 流与控制。例如,可以实现对康复设备、智能假肢、轮椅等辅助设备的控制,提高患者的生活质量。图 [29] 1.2 展示了瑞士 IDIAP 研究机构设计的 EEG信号控制的轮椅 。图 1.2 EEG控制轮椅 Fig. 1.2 Wheelchair controlled by EEG 二、辅助控制领域 脑机接口昀基本的功能是实现大脑与外界的信息交流,帮助人们与外部世界沟通,因而其同样能够 4河北工业大学博士学位论文 为普通人提供辅助控制能力。例如飞行员在高加速度下肢体难以活动,可以通过脑电控制飞机飞行。此 外可以通过 EEG控制周边环境各种设备如电视、电灯等的开关,输入电话号码拨打电话,上网浏览等。 [30] 如图 1.3 所示为通过脑电实现上网浏览查询资料的操作界面 。 图 1.3 脑电控制浏览网页 Fig. 1.3 The web browse controlled by EEG 三、娱乐生活 脑机接口提供了操控电脑游戏的新方式,如用脑电控制网络游戏。图 1.4 所示被试正在玩魔兽争霸 [31] 游戏,通过脑电控制游戏人物的状态转换 。 图 1.4 通过 EEG辅助操控魔兽争霸游戏 Fig. 1.4 The game controlled by EEG 四、脑功能研究及认知诊断 人的大脑是一个极其复杂的系统,脑机接口的研究过程也是对大脑一个不断认识的过程。通过深入 分析大脑在不同思维状态下的活动状态,可以推动研究人的认知过程和思维机理,以期能够进一步开发 人思维能力。此外脑机接口研究有助于昏迷检测、思维训练以及对被试进行注意力监控等。 5脑机接口中脑电信号时空处理方法的研究 ?1-2 基于 EEG 的脑机接口研究现状 基于 EEG 的脑机接口属于非侵入式系统,如前所述,采集系统简单廉价,使用安全方便,性价比 高,并且相对于 MEG、fMRI等信号,EEG信号的时间分辨率高,适合在线脑机 接口系统。从 20 世纪 [5] 70 年代开始,Vidal 等人开始研究 EEG 信号识别 ,由于 EEG 信号是人脑不同部位大量神经元电活动 的综合结果,其通过脑脊液和颅骨传导到头皮表面时信号经过很大的衰减和模糊,空间分辨率很低。信 号幅度通常仅为几十微伏,极易受到各种生理信号、周边环境噪声甚至不同的精神状态的干扰,信噪比 很低。此外不同被试生理结构及心理的差异导致很难确定公共的特征提取、分类的方法和参数,严重制 约着脑机接口的实用。为此,20 多年来,研究人员采用各种方法,从实验设计、生理规律、信号处理 等方面不断改进,以期提取稳定可靠的脑电特征。下面介绍几类著名的基于 EEG的脑机接口系统。 1-2-1 基于感觉运动皮层节律SMR的脑机接口 这类脑机接口系统基于被试控制感觉运动皮层的 α 波8-13Hz、β 波14-30Hz或 μ 节律8-12Hz的 幅度,Wolpaw 和 McFarland 等人发现 α 波或 μ 节律随着不同思维想象有规律的变化不但是一种生理现 [32] 象,而且可以通过训练强化 。这类脑机接口属于独立的自发脑机接口,不需要外界刺激系统。下图 [33] 是 Wadsworth 研究中心早期设计的字母输入系统 ,左侧光标以恒定速度向右运动,被试通过控制自 己大脑感觉运动皮层的 μ 节律,控制光标上下移动,选择目标字母。 图 1.5 Wadsworth研究中心设计的字母输入系统 Fig. 1.5 Binary speller of Wadsworth [34] 目前基于感觉运动皮层的自发脑机接口中应用昀广泛的生理现象是想象运动的 ERD/ERS现象 。 事件相关去同步Event related desynchronization, ERD电生理现象昀先由奥地利 Graz 科技大学的 [35] Pfurtscheller于 1977 年发现 。当被试想象某种运动时,大脑皮质相关区域被激活导致该区域血流速度 和代谢活动增强,这导致脑电 α 波及 μ 节律的震荡幅度减低或者阻滞。1992 年,Pfurtscheller又发现了 [36] 一种跟 ERD相反的电生理现象即事件相关同步Event related synchronization, ERS ,当大脑处于静息 或者不进行任何想象运动的“空闲”状态下, α 波及 μ 节律频谱会表现出明显波幅增高的电活动。ERD 与 ERS出现的区域和强度与信息加工有关。 奥地利科技大学的 Pfurtscheller等人首先将 ERD/ERS现象应用到脑机接口领域,设计了 Graz I 及 Graz II系统。Graz I 系统分析想象左手和右手两类运动的 EEG信号,输出控制命令;Graz II系统则分 6河北工业大学博士学位论文 析想象左、右手食指和右脚运动产生脑电信号,进行特征提取和分类。 [37] Graz 科技大学的研究小组还提出 CSP空间滤波算法来提取不同想象运动的脑电特征 。CSP算法 [38] 已被证明是目前脑机接口中昀成功的算法之一,脑机接口的系统中得到广泛运用 。通过与功能电刺 激FES相结合,该研究机构恢复了两位高位脊髓损伤病人的部分上肢活动能力,使其具备了运动抓紧 [39] 功能 ,如图 1.6 所示。此外还进行在虚拟现实环境的研究,被试通过想象运动产生的 EEG 信号,实 [40] 现对虚拟空间的控制 。图 1.7 为被试通过想象运动在虚拟现实中自由行走。 图 1.6 瘫痪手抓紧实验 Fig. 1.6 Grasping sequence of paralyzed hand图 1.7 Graz 虚拟现实 系统 Fig. 1.7 Virtual reality BCI system [41] 德国的Berlin大学基于想象运动设计了名为Hex-o-Spell的精神打字机 ,被试通过想象左手、右手 以及脚运动实现选择控制。该系统将26个英文字母和4个标点分6组显示在计算机屏幕上,图1.8为使用 Hex-o-Spell进行字母N的选择输入过程。被试通过想象右手运动,控制每组图形中心的指针按顺时针方 向转动。当指针变长时表示可以选择该组个字符,通过想象右脚运动对字符进行选定。被试重复上述 操作,可通过两轮选择选中字母或者符号。 7脑机接口中脑电信号时空处理方法的研究 图 1.8 Hex-o-Spell精神打字机 Fig. 1.8 Hex-o-Spell system 1-2-2 基于诱发电位的脑机接口 诱发电位Evoked Potential, EP是指神经系统受内、外界刺激所产生的特定电活动。临床和科研中 应用较为广泛的是视觉系统和听觉系统的诱发电位,分别称为视觉诱发电位Visual Evoked Potential, VEP 及听觉诱发电位Auditory Evoked Potential, AEP。昀初由 Vidal 的研究小组开发出的脑机接口系统 便是利用从视觉皮层区域记录到的视觉诱发电位信号来确定被试想象光标移动的方向,这类脑机接口均 属于为非独立的脑机接口。VEP 是指在头皮上测量到的由于视觉通路受外部视觉刺激而产生的电活动。实验证明,该现象主 要位于枕部位置。根据视觉皮层测量得到的 VEP 与视觉刺激的对应关系,脑机接口系统可以确定被试 所做的选择并发出控制命令。视觉诱发电位分为稳态视觉诱发电位SSVEP和瞬态视觉诱发电位两类。 当刺激频率较高时,新的刺激出现时前次刺激所引起的反应尚未消失,这种情况下产生的诱发电位称为 稳态视觉诱发电位。被试对视觉刺激的注意力会影响其 EEG 频谱中一系列与刺激频率成整数倍的频率 [42-45] 成分的强度。目前有很多机构研究基于稳态视觉诱发电位的脑机接口系统 。清华大学深入研究了基 于听觉诱发电位和稳态视觉诱发电位的脑机接口系统,被试通过注视不同频率闪烁的数字或者收听系统 [46-47] 朗读 1 至 8这八个数字而产生诱发电位信号,实现控制开关等的操作 。做基于视觉诱发电位的脑机 接口实验时,环境光线越暗、刺激越亮分类效果越好。但长时间注视眼睛容易感到疲劳,因此这类系统 不适合长期连续使用。 1-2-3 基于 P300 事件相关电位的脑机接口 当被试受到外加刺激时,大脑特定区域产生的电位变化被称为事件相关电位Event-Related Potentials, ERP。ERP 可以用 oddball 实验诱发产生,该实验由靶刺激和非靶刺激两种刺激事件组成, 它们随机排列成一个刺激序列,其中靶刺激是要求被试做出应激反应的小概率事件,其余事件均为非靶 [48] 刺激。P300是指潜伏期为 300ms 左右、呈正向峰值的 ERP 。在头皮的很多区域都能检测到 P300,尤 其在顶叶皮层幅值比较大。P300 反映了人脑对小概率关注事件的认知信息,其幅值与靶刺激出现的概 率成反比,即靶刺激出现的概率越小,P300 的幅值越高。基于 P300 的脑机接口系统的工作原理是通过 [49] 信号处理方法检测 P300,判断被试关注的靶刺激出现的时间,可以实现人脑和外界的通信 。 [50] 基于 P300 的脑机接口昀典型的实验是 Farewell和 Donchin设计的虚拟打字机系统 。该实验在计 算机屏幕上显示 6 行 6 列共 36 个单元的字符或命令选项,要求被试集中 注意力注视想要选择的单元。 图 1.9 为利用 P300 实现字符输入的系统界面。在实验过程中随机加亮屏幕上某一行或者列,当被试想 8河北工业大学博士学位论文 要选择的单元所在行或列被加亮时,便为靶刺激,反之为非靶刺激。每选择一个单元时,所有的行和列 都被随机加亮一次或多次。通过检测 P300 出现的时间,根据靶刺激所在的行列可判定被试要选择的单 元。Wadsworth 研究中心深入研究了不同行列数、闪烁频率、电极位置和特征提取参数等方面对系统的 [51] 影响。图 1.10 所示为通过 P300 控制一台咖啡冲制机 。 图 1.9 基于 P300的字符输入系统 Fig. 1.9 BCI system based on P300 图 1.10 P300控制咖啡冲制机 Fig. 1.10 Coffee-making robot controlled by P300为了提高基于 SMR 和 P300 的脑机接口的实用性, Wadsworth 研究中心开发了能够临床应用的便携 式脑机接口,帮助严重瘫痪者日常生活。他们在一个 ALS患者家中实验 P300 脑机接口,该患者 48 岁, 全身瘫痪,只有眼睛还能活动,通过一个 9 行 8 列共 72 个单元包括字母