情感目标(Aspect)抽取是文本情感分析中的一个重要任务，主要从评论句子中找出用户具体评论的对象或特性。在之前的文章中介绍了两种情感目标抽取的算法CMLA和HAST，这两种算法结构比较复杂。本文介绍年提出的一种结构简洁的DE-CNN模型，DE-CNN模型主要使用了CNN结构，其输入的Embedding包括两种：通用Embedding和领域专用Embedding。
1.前言
情感目标抽取(ATE)任务主要是从句子中找出用户评论的对象或属性，即情感目标(Aspect)。下面句子中加黑的词即为情感目标：
这台电脑的速度很快那家店的拉面很好吃，服务态度也不错对应的还有情感极性(Opinion)抽取，如上面句子的很快、很好吃、不错等均为情感极性。之前的文章介绍了两种情感目标(Aspect)抽取算法：情感目标和情感极性联合抽取算法CMLA和情感目标抽取(ATE)算法HAST。因为考虑到Aspect和Opinion通常是成对出现的，所以CMLA和HAST模型在抽取Aspect的时候都利用了Opinion的信息，结构比较复杂。
DE-CNN(DualEmbeddingsCNN)是年提出的Aspect抽取模型，论文《DoubleEmbeddingsandCNN-basedSequenceLabelingforAspectExtraction》。和CMLA、HAST不同，DE-CNN不在模型中引入Opinion信息，只是把Aspect抽取看成是简单的序列标注问题，如下所示：
Aspect序列标注DE-CNN由多层CNN网络组成，结构非常简洁，其输入包括两种预训练的Embedding：通用embedding和领域专用(in-domain)Embedding。
2.DE-CNN
DE-CNN上图是DE-CNN模型结构，紫色的三角形表示多层CNN，底部的为两种Embedding。DE-CNN作者思考了Aspect抽取任务有两个比较重要的问题：
如何用自动学习到的特征(Embedding)，取得更好的预测效果？而不需要人工创建特征。根据奥卡姆剃刀准则，在效果相当的情况下，简洁的模型比复杂的模型效果要好。因此在能够实现较好效果的情况下，应该让模型尽可能的简洁。为了解决第一个问题，DE-CNN的作者提出使用两种不同的Embedding，因为Embedding层是模型的第一层，高质量的Embedding可以让后续的层更容易学习有用的信息。现有的深度学习方法通常只用了一些通用的预训练词向量，利用Word2Vec、Glove等。
作者认为在Aspect抽取时需要加入一些领域专用的Embedding，例如速度在笔记本用户评价和一般通用预料中通常是不同意思的。但是领域专用的语料库一般比较小，所以要同时利用通用Embedding和领域专用Embedding。
对于第二个问题，DE-CNN的作者采用了更高效的CNN模型而不是LSTM模型，因为LSTM是串行结构，速度受限。
2.1DE-CNN两种Embedding
DE-CNNEmbedding如上图所示，DE-CNN包含两种Embedding，图中的红色为全零向量，用于卷积时PAD。蓝色和绿色分别代表通用Embedding和领域专用的Embedding，两种Embedding直接拼接在一起。
领域专用Embedding(In-DomainEmbedding)是用一个专用领域的小语料库预训练得到的，例如我们的训练/测试集是笔记本电脑的评论，那么应该要用一些关于笔记本评论的语料库训练Embedding。
DE-CNN中这两种Embedding均是不可训练的(静态Embedding)，即通过预训练得到之后，在DE-CNN训练的过程中就保持不变了。作者这么做是因为训练/测试集的比较小，在测试集中会出现很多训练集中没有的token，如果Embedding是可以训练的，那么在训练过程中训练集token的Embedding会调整到新的分布空间中(拟合了label，丢弃部分无用特征，得到一些新特征)，但是此时测试集中未出现的token分布还是不变的，会影响模型在测试集的性能。
下图展示了让Embedding参与训练会导致的问题，DE-CNN模型会拟合新的Embedding分布，而不能很好地预测测试集数据。注意这个问题主要是在测试集包含比较多训练集没有的token时才出现。
DE-CNNEmbedding不能训练的原因2.2DE-CNN卷积层
DE-CNN卷积层DE-CNN用了4层卷积层，每层卷积核都使用多个一维卷积核，第一层的卷积核有两种尺寸，而后面三层的卷积核采用相同的尺寸。在卷积的过程中，要增加PAD使卷积后序列的长度不变。
卷积核采用ReLU激活函数，假设卷积核的尺寸为k=2c+1，则下一层的x如下计算：
最后一层卷积层与全连接层相连，全连接层采用Softmax，对序列进行标注，标注Y有三种{B,I,O}。
3.实验结果
作者在实验中对比了很多DE-CNN算法的变种，例如DE-CNN-CRF把DE-CNN最后一层Softmax改为CRF，结果显示用了CRF并不能提升性能。DE-OOD-CRF把领域专用Embedding改为一个更大的领域外Embedding，例如笔记本领域的Embedding改为电子产品领域的Embedding，结果显示会影响模型性能。
4.参考文献
DoubleEmbeddingsandCNN-basedSequenceLabelingforAspectExtraction