1734
0
2022-11-11
2022-11-11
2022年，11月10日，在第十九届pricai会议上，华中科技大学的伍冬睿教授在大会上作“情感脑机接口(abci)教程”的主题报告。
标题：
情感脑机接口(abci)概述
abci的信号获取
abci的信号处理
abci的特征提取
abci的机器学习
abci的应用
挑战与机遇
一、情感脑机接口(abci)概述
情感计算是麻省理工学院媒体实验室1995年提出的，跟情绪相关的计算都属于情感计算。paul ekman在1971年提出人类有六种基本情绪（害怕、生气、伤心、厌恶、欢乐和惊讶）。1974年albert mehrabian和james russell提出3d情绪分类（dominance,arousal, pleasure）。1980年james russell提出2维情绪分类（arousal, valence）。
情感计算里的生理信号如图1所示。
图1 情感计算里的生理信号
基于脑电信号的脑机接口流程如图2所示。
图2 基于脑机接口的脑电信号情绪识别流程图
脑机接口主要分为三类：非侵入式、侵入式和半侵入式。
二、abci的信号获取
诱发被试情绪的方式一般是给他看有明显情感倾向的视频，常见的脑电信号获取方式是脑电帽，如图3。
图3 脑电帽
eeg信号分频段图4所示。
图4 eeg信号分段
eeg情感公共数据集如下图5所示。
图5 eeg情感公开数据集
三、abci的信号处理
信号处理大致分为五个步骤：
①时域滤波
对原始信号进行带通滤波（一般0.5-45hz）。
②重参考
记录脑电信号时会选取一个参考，信号处理的时候一般要做重参考。常用的重参考方法是选所有通道的均值做基线。
③去伪迹
用主成分分析（pca）或独立成分分析（ica）去除伪迹。
④重采样
实际使用时通常需要将信号进行下采样。
⑤分段
分段增加数据量，常见的是1秒或10秒为一段。
四、abci的特征提取
常用的有时域特征、频域特征、时频域特征、脑网络特征和它们的组会特征。
①时域特征包括均值、方差、能量等。
②频域特征包括de、psd、dasm、rasm、dlat和dcau等。用的最多的是de，公式如图6所示。
图6 de公式
③时频域特征包括短时傅里叶变化、小波变换等。
④脑网络特征最常见的有相关系数（pcc）、锁相值（plv）和相位滞后指数（pli）。
五、abci的机器学习
包括被试依赖学习、被试独立学习、多模态学习、跨模态学习。
被试依赖：同一个被试一批数据作训练集，另一些数据作测试集。
被试独立：用已有被试的数据作训练集，新的被试数据作测试集。
多模态学习：通过多种模态的数据共同学习。
跨模态学习：测试的时候不一定需要训练时的所有模态。
六、abci的应用
如检测脑电波，让压力处在合适水平。通过脑电进行疲劳检测等。
挑战与机遇
①如何让脑电帽的电机更准确地记录脑电信号。
②情绪标签，如用户看了高兴的视频不一定高兴。或者只有几秒钟感到高兴但是标签给他整个过程都高兴。
③数据量小。
④隐私保护问题。
⑤安全性问题。
