Notes-LiHang

第六章 logistic regression model(logistic 回归模型)

拟牛顿法：https://blog.csdn.net/itplus/article/details/21896453

第九章 EM算法及其推广

9.1EM算法引入

EM算法（expectation maximization algorithm)期望极大值算法

https://blog.csdn.net/u010834867/article/details/90762296

Jensen不等式

对于凸函数而言：

[^如果函数为凹函数，则符号的方向反之。]:

第十章 HMM（Hidden Markov model)隐马尔科夫模型

HMM是统计模型，包含五要素：观测序列，隐状态，初始概率，转移概率（隐含状态之间的概率），输出概率（隐含状态和可见状态之间的概率）

第七章 支持向量机

7.2线性支持向量机与软间隔最大化

p128 7.53,7.54

Q:在不等式约束的拉格朗日函数中，什么条件下取到极值？

C1：假设目标函数是f(x),限定条件是等式h(x)=0,则极值点一定取在切点，假设不在切点那么h(x)向内移或者向外移动会变大或变小，所以不是极值点。

C2：在限定条件中加一个不等式约束g(x)<=0,f(x)的等值图与h(x)与g(x)的图像如下

关于f(x)极值点的分布有两种情况:

1. f(x)本身的极值点在限制域中
2. 极值点在h(x)的边界上取到

第一种情况：h(x)限制无效，则不对它进行约束，目标函数可以看作f(x)+μg(x),对x求偏导得到f’(x)+μg’(x),由图像可知，在极值点f(x)与g(x)的极值符号相反，为了使目标函数的偏导为0，则μ>=0且g(x)=0（对μ求偏导得到g(x)

[^取等号是因为有可能g(x)也在该点处取到极值点。]:

第二种情况：g(x)限制无效，则μ=0且g(x)<=0

综上μg(x)=0

7.2.4合页损失函数

1. 0-1损失

   正确分类，损失为0；错误分类，损失为1

2. 感知机损失函数

   正确分类，损失为0；错误分离，损失为-y(w·x+b)

3. 合页损失函数

   正确分类且函数间隔>=1损失为0，否则损失为1-y(w·x+b)，*合页损失函数对函数有更高的要求 *

   [^函数间隔是指实例点到超级分离平面的距离，表示该实例点被分类的可信任程度。]:

Reference

https://blog.csdn.net/baidu_38172402/article/details/89090383

https://www.cnblogs.com/fulcra/p/11065474.html

https://blog.csdn.net/weixin_41500849/article/details/80493712?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

《统计学习方法》（李航）