背景介绍
众所周知,人类自然语言中包含了丰富的情感色彩:表达人的情绪(如悲伤、快乐)、表达人的心情(如倦怠、忧郁)、表达人的喜好(如喜欢、讨厌)、表达人的个性特征和表达人的立场等等。情感分析在商品喜好、消费决策、舆情分析等场景中均有应用。利用机器自动分析这些情感倾向,不但有助于帮助企业了解消费者对其产品的感受,为产品改进提供依据;同时还有助于企业分析商业伙伴们的态度,以便更好地进行商业决策。
被人们所熟知的情感分析任务是将一段文本分类,如分为情感极性为正向、负向、其他的三分类问题:
情感分析任务正向:表示正面积极的情感,如高兴,幸福,惊喜,期待等。负向:表示负面消极的情感,如难过,伤心,愤怒,惊恐等。其他:其他类型的情感。实际上,以上熟悉的情感分析任务是句子级情感分析任务。
情感分析预训练模型SKEP
近年来,大量的研究表明基于大型语料库的预训练模型(PretrainedModels,PTM)可以学习通用的语言表示,有利于下游NLP任务,同时能够避免从零开始训练模型。随着计算能力的发展,深度模型的出现(即Transformer)和训练技巧的增强使得PTM不断发展,由浅变深。
情感预训练模型SKEP(SentimentKnowledgeEnhancedPre-trainingforSentimentAnalysis)。SKEP利用情感知识增强预训练模型,在14项中英情感分析典型任务上全面超越SOTA,此工作已经被ACL00录用。SKEP是百度研究团队提出的基于情感知识增强的情感预训练算法,此算法采用无监督方法自动挖掘情感知识,然后利用情感知识构建预训练目标,从而让机器学会理解情感语义。SKEP为各类情感分析任务提供统一且强大的情感语义表示。
论文