本文共 1406 字,大约阅读时间需要 4 分钟。
文章将任务区分为三个层次:
提出一些类MTL框架,包含并行网络结构、串行网络结构,在 ATIS, Snips和一个自有大数据集上表现良好。
Group features、Universe features、Task features并行生成。
Group features、Universe features、Task features三类特征会又先后顺序生成。
作者加入对抗损失(adversarial loss)和正交限制(orthogonality constraints),来避免 Task Features 在共享空间中:
L all = L tasks + λ ∗ L adv + γ ∗ L ortho \mathcal{L}_{\text {all }}=\mathcal{L}_{\text {tasks }}+\lambda * \mathcal{L}_{\text {adv }}+\gamma * \mathcal{L}_{\text {ortho }} Lall =Ltasks +λ∗Ladv +γ∗Lortho 具体见: 1. 2.任务主要包含:ner、intent classification.
L t a s k = w S F ∗ L S F + w I C ∗ L I C \mathcal{L}_{\mathrm{task}}=w_{\mathrm{SF}} * \mathcal{L}_{\mathrm{SF}}+w_{\mathrm{IC}} * \mathcal{L}_{\mathrm{IC}} Ltask=wSF∗LSF+wIC∗LICner使用BiLSTM+crf
转载地址:http://kxaji.baihongyu.com/