认知可信表征与伦理考量

### 认知可信表征与伦理考量 #### 1. 迈向认知可信表征 当前对于认知可信表征的研究，需超越静态概念知识，以更好捕捉动词和副词的表征动态及其在程序处理中的作用。例如，观察用户在受控环境中的行为，可用于改进模型生成的指令消息；反之，用户也会根据观察到的多模态行为调整对模型的指令。 在多模态场景中，眼动追踪数据可作为人类注意力的代理，用于研究人类如何选择性地关注视觉线索，并将其无缝整合到联合解释中。相关研究如下： - **图像描述生成**：研究人员记录参与者为屏幕上图像生成字幕时的眼动情况，并将这些眼动追踪信息添加到字幕生成模型的内部表征中，从而使图像描述更加自然和多样化。 - **视觉问答任务**：多模态模型的注意力与人类注视模式之间的高相关性，是视觉问答任务性能的重要预测指标，表明模型可从认知可信表征中受益。 - **信息检索**：整合注视信息有助于确定文档的相关性，但关键在于识别合适的表征合并操作。目前，这些特定任务的发现能否推广到更广泛的场景，仍是一个有待研究的问题。 #### 2. 认知基础 在自然语言处理的多模态模型中，通常是将文本和视觉模态相结合。认知驱动的方法则提议将认知信号作为额外的模态，并重新利用现有的多模态架构。不过，认知数据的计算建模研究仍处于早期发展阶段。 ##### 2.1 信号融合 - **早期融合**：分别获取每种模态的表征，然后直接将它们连接起来，作为神经模型的输入表征。例如，用眼动追踪特征的向量表征增强句子的语言模型表征，可提高实体识别、词性标注、情感分析和多词表达预测等自然语言处理任务的性能。但简单地在一个联合解码器组件中连接输入特征，需依靠模型来识别模态之间的边界以及各自信号中的不同类型噪声。由于与语言处理相关的认知信号数据集规模较小，目前还无法成功应用自监督表征学习。因此，明确整合每种认知信号类型的优缺点知识十分重要。 - **不同信号处理示例**： - **fMRI信号**：针对fMRI信号的低时间分辨率和血液动力学延迟问题，研究人员使用高斯滑动窗口处理阅读时间，将文本输入与预处理后的认知信号融合，从而提高词性归纳模型的性能。 - **EEG数据**：对时间序列数据应用希尔伯特变换，将来自多个传感器的信号进行组合，然后采用后期融合方法，即文本和EEG信号对应两个不同的输入通道，可通过不同的网络架构实现，并仅在预最终层进行组合。每种模态的表征针对特定任务（如情感分析和关系检测）进行联合优化，且不同通道能清晰标记模态之间的边界。 ##### 2.2 认知知情推理 信号融合方法存在一个缺点，即无论是在训练还是测试时，模型看到的每个输入单元（如每个标记或句子）都需要有认知信号。从伦理角度看，在推理过程中期望获取认知信号是不可取的，因为这意味着用户在使用应用程序时需要同意共享其认知信号。因此，认知信号应仅用于开发能够推广到推理场景的认知知情模型。 最简单的推广认知信号的方法是进行类型聚合，即对单个标记出现的所有认知特征进行平均。例如，若“turtle”这个标记在阅读的EEG记录中出现了三次，就对这三次出现的信号进行平均。这样可编译出一个包含平均认知特征的词类型词典。训练数据和测试集中的标记，若出现在类型聚合词典中，则映射到这些特征；否则映射到未知标记。不过，这种方法仅适用于非上下文相关的基于概念的表征。有研究表明，即使对于可能出现在多个词性类别的歧义标记，整合眼动追踪数据也有益处。