眼动和脑电多模态数据融合分析

EYE-EEG Hands On

Posted by 陈锐CR on April 15, 2020 | 阅读

眼动和脑电多模态数据融合分析

本文参考网址:http://www2.hu-berlin.de/eyetracking-eeg/tutorial.html

今天为大家介绍多模态数据分析(眼动和脑电)使用基于MATLAB下的EYE-EEG扩展包,它可以在EEGLAB中通过manage进行添加,也可以在网站:https://github.com/olafdimigen/eye-eeg 中下载最新版本。请注意,下载后的文件名为eye-eeg-master,为了实现EEGLAB兼容性,请先将文件夹从 eye-eeg-master重命名为 eye-eegX.XX,然后再将它复制到EEGLAB插件文件夹中,X.XX是当前的EYE-EEG版本(例如“ 0.85”)。

前期摘要

在很早的时候,我就已经写过一篇关于《眼动技术和脑电/近红外技术的联合使用》来介绍了,实现多模态采集的几种方法,在这里我也提醒大家采集时的注意点。

1、请保持采样率的一致性,这将在后期融合数据进行插补关系到数据对齐一致性;

2、在可能的情况下,标注开始和结束标记;

3、在采集过程中,不应关闭任何一方的设备记录,以防止设备中断导致数据记录时间点不齐。

4、通过组合TTL+message方式,请注意标注正确的TTL数字。

EYE-EEG简介

EYE-EEG工具箱是对开源分析软件EEGLAB的扩展,EEGLAB是为促进对电生理和眼动数据的综合分析而开发的。该工具箱可对同时记录的眼动数据解析,导入和同步数据,并将其添加为EEG的额外通道。 扫视和注视可以从眼动原始数据中导入,也可以使用基于速度的自适应算法进行检测。然后将眼动数据作为新的时间锁定事件添加到EEGLAB的事件结构中,从而可以进行扫视和注视相关的EEG分析(例如,注视相关的电位,FRP)。或者在给定的试次中,可以将脑电数据与刺激诱发进行比对,并根据眼动行为(例如瞳孔大小,微扫视)进行分析。扫视运动相关的ICA分量可以基于眼动数据分量进行独立成分分析来客观地识别。 EYE-EEG 在EEGLAB中添加了一个名为Eyetracker的顶级菜单。所有功能均可通过此菜单访问,并保存在EEGLAB的命令历史记录中。或者,可以从命令行调用函数,从而为高级用户提供了在自定义脚本中使用它们的选项。使用EEGLAB的导出功能,集成的数据集也可以导出到其他开源工具箱,例如Fieldtrip或Brainstorm。 EYE-EEG是由柏林洪堡大学Werner Sommer 生物心理学实验室的Olaf Dimigen和 Ulrich Reinacher撰写的。

操作步骤

本文中所使用的是EYE-EEG主页上的EyeLink数据集,可查看http://www2.hu-berlin.de/eyetracking-eeg/testdata.html#exampledata3

前处理

解析原始眼动追踪数据,并以MATLAB格式存储 使用EyeLink设备采集的数据可通过小工具EDF Converter(在开始菜单SR Research文件夹下找到),打开将原始眼动文件转换为.asc格式。

请注意红框中的内容,当你使用组合TTL+message方式时,需要勾选上并填写message信息,这样在下一步导入数据中才能识别出同步标记。

####导入和同步(Import & synchronize) 根据常见事件同步眼动和EEG数据 添加凝视位置和瞳孔大小作为额外的通道 导入眼动仪在线检测到的扫视/注视/眨眼

1、数据的开始和结束标记,如果没有打上就会自动识别同步的第一个和最后一个; 2、选择需要导入EEG数据结构中的数据,从上到下依次为时间、左眼X轴坐标、Y轴坐标、左眼瞳孔面积;右眼X轴、Y轴坐标、瞳孔面积以及其它输入值。不必全部选上,可将需要值(X/Y坐标)加载。 3、原始数据中的注视、扫视事件,EyeLink数据在采集时已经生成,如果需要在后期根据软件通过阈值计算,切记不勾选这里。如果不需要后期计算,可勾选上导致原始数据事件。 数据对齐结果

####根据眼动位置拒绝数据(Reject data based on eye position) 删除眼动轨迹中超出范围的连续或其它数据 控制注视,客观地拒绝眨眼的伪影 选择左右眼的通道,拒绝值设定,根据当时所使用的采集显示器的屏幕分辨率修改以上值。

####将功能应用至所选通道(Apply functions to selected channels) 仅将现有的EEGLAB功能(例如过滤器)应用于EEG或眼动数据

同时进行滤波等操作

####检测扫视和注视(Detect saccades & fixations) 具有相对阈值的基于速度的(微)扫视检测(Engbert&Mergenthaler,2006) 将扫视和注视作为时间锁定事件添加到EEG.event 绘制眼动特性 1、选择检测的通道和计算视角。 2、扫视的阈值检测,也就是按SD进行计算。 3、添加事件到EEG通道,一定不要忘记勾选上ADD。 数据通过检测后的事件结果,在图上可以查看到扫视和注视的相关事件数。

####改进ICA并对独立成分进行分类(Improve ICA and classify independent components) 在前期已经预处理好EEG和EYE数据后,首先运行Tool-run ica,然后在Eyetracker的菜单中选择Reject components with eye tracker,就会弹出如下图。 红框中是根据设定的扫视和注视的比值来拒绝眼动成分值。其余值不清楚的可以按默认设置,它就会基于眼动事件来自动计算眼动成分。就可以得到以下图

最后需要删去眼动成分,即可在Tool-Remove components中进行删去。

至此,多模态眼动-脑电中眼动数据融合到脑电中的处理已经完毕了。接下来就是按照正常的EEG/ERP数据处理流程进行,分段-叠加平均等


谢谢大家观看,如有帮助,来个喜欢或者关注吧!


本文作者:Chen Rui

博客地址 : Chen Rui Blog
知乎地址 : 知乎专栏
B站地址 : B站主页
书店地址 : 书店主页
简书地址 : 简书主页
CSDN地址 : csdn主页
学术导航 : 导航主页


版权声明:本文由 陈锐CR 在 2020年04月15日发表。本博客文章作者为陈锐CR时均采用属于个人原创撰写,未经许可,禁止在任何媒介以任何形式复制、发行本文章,如需转载,请查看About联系方式,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《眼动和脑电多模态数据融合分析》



☛您的打赏是我创作的动力☚


  相关文章:

「游客及非Github用户留言」:

%
UP
博客已运行