study-note-20201009-20201022

No tag
Publish Date:   2020-10-22
Update Date:   2020-10-22
Word Count:   569
Read Times:   2 Min
Read Count:  

一、学习内容

  1. 研读论文

    CCG方向：《CCG Supertagging with a Recurrent Neural Network》

    [^Question:the architecture of CCG Supertagging and parsing can’t consider local context text]: Strategy:Use feeed-forward RNN,distributed word represention Conclusion:substantial accuracy improvements

    ASR方向：《END-TO-END ASR: FROM SUPERVISED TO SEMI-SUPERVISED LEARNING WITH MODERN ARCHITECTURES》

    [^由于获取大量被标记的数据成本较高，提出了一种semi-supervised(半监督），用来利用未标记的数据进行训练模型]: 论文中提出一种评价未标记音频特性的方法，生成一种end-to-end 声学模型。

  2. 《统计学习方法》(李航）

    第6，7，9，10章：推导公式，理解原理

  3. 运行第一个allenlp模型

二、困难

  1. 对《统计学习方法》数学公式的推导原理不能理解透彻

    Q:在不等式约束的拉格朗日函数中，什么条件下取到极值？

    C1：假设目标函数是f(x),限定条件是等式h(x)=0,则极值点一定取在切点，假设不在切点那么h(x)向内移或者向外移动会变大或变小，所以不是极值点。

    C2：在限定条件中加一个不等式约束g(x)<=0,f(x)的等值图与h(x)与g(x)的图像如下

    关于f(x)极值点的分布有两种情况:

    1. f(x)本身的极值点在限制域中
    2. 极值点在h(x)的边界上取到

    第一种情况：h(x)限制无效，则不对它进行约束，目标函数可以看作f(x)+μg(x),对x求偏导得到f’(x)+μg’(x),由图像可知，在极值点f(x)与g(x)的极值符号相反，为了使目标函数的偏导为0，则μ>=0且g(x)=0

    [^取等号是因为有可能g(x)也在该点处取到极值点。]:

    第二种情况：g(x)限制无效，则μ=0且g(x)<=0

    综上μg(x)=0

三、下阶段计划

  1. 论文继续读CCG方向的论文，定期整理总结
  2. 继续研读《统计学习方法》
  3. 一周运行一个allenlp模型
Author: WeiRuoHe
Link: https://weiruohe.github.io/2020/10/22/study-note-20201009-20201022/
Reprint policy: All articles in this blog are used except for special statements CC BY 4.0 reprint polocy. If reproduced, please indicate source WeiRuoHe !
No tag
赏
 Previous
nlp-word-model nlp-word-model
基于HMM的分词：​ 隐含马尔可夫模型（HMM）是将分词作为字在句子中的序列标注任务来实现的。其基本思路是：每个字在构造一个特定词语时都占据着一个特定的位置即词位，一般采用四结构词位：B（词首），M（词中），E（词尾）和S（单独成词）
2020-10-23 Model summary
Statistics
Next 
study-note-20201009-20201022 study-note-20201009-20201022
一、学习内容 研读尝试常识图谱相关的论文 《Automatic Extraction of Rules Governing Morphological Agreement》 《How to marry a star: probabilist
2020-10-22 WeiRuoHe
  TOC