博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
cs331n 线性分类器损失函数与最优化
阅读量:6608 次
发布时间:2019-06-24

本文共 1507 字,大约阅读时间需要 5 分钟。

。。。痛苦= =

线性分类器损失函数与最优化

\(Multiclass SVM loss: L_{i} = \sum_{j \neq y_{i}} max(0,s_{i}-s_{y_{i}}+1)\)

\(Loss = \frac{1}{N} \sum_{i=1}^{N} L_{i}\)

Q1: what if the sum was instead over all classes(j = yi)?

A1:在计算中,我们可以知道这个没有意义,在公式中相当于加上了1,因为yi-yi=0

Q2:我们用平均值来替代求和会怎么样?

A2:没有任何意义,只是相当于使得最后损失的计算成倍地缩小。

Q3:如果公式变成了 $ L_{i} = \sum_{j \neq y_{i}} max(0,s_{i}-s_{y_{i}}+1)^{2} $ 会怎么样?

A3:这个公式实际上是square hinge loss。第一个公式我们通常叫做 hinge loss。

Q4:最大的损失值和最小值是多少?

A4:显然最小就是0,最大是无穷

Q5:当W很小的时候,s都等于0的时候,我们的loss会是多少?

A5:loss将会是种类数-1

code:
def L_i_vectorized(x,y,W):    scores = W.dot(x)    margins = np.maximum(0,scores - scores[y] + 1)    margins[y] = 0 # margins[y] = 1    loss_i = np.sum(margins)    return loss_i

\(f(x,W) = Wx\)

\(L = \frac{1}{N} \sum_{i=1}^{N} \sum_{j!=y_{i}} max(0,f(x_{i};W)_{j} - f(x_{i};W)_{y-{i}} +1)\)

这个loss function实际上是有bug,这个可能得到我们不想得到的结果。

比如我们想找到损失函数为0的W,是否W是独一无二?

显然不是,只要score[y]>1即可……

Weight Regularization

\(L = \frac{1}{N} \sum_{i=1}^{N} \sum_{j!=y_{i}} max(0,f(x_{i};W)_{j} - f(x_{i};W)_{y-{i}} +1) + \lambda R(W)\)

L2 regularzation \(R(W) = \sum_{k}\sum{l}W_{k,l}^2\)

L1 regularzation \(R(W) = \sum\sum \left | W_{k,l} \right |\)

Elastic net(L1+L2),Max norm regularization,Dropout

加入正则化,使得泛化能力增强。

L2正则化实际上是想让你尽可能展开你的W,使得充分的考虑更多的元素。

L1会使得W变得稀疏。

Softmax Classifier(Multinomial Logistic Regression)

scores = unnormalized log probabilities of the classes

\(L_{i} = -logP(Y = y_{i} | X = x_{i})\)

最大化正确的概率(最小化负的对数概率)

Q1:最大最小的loss是多少?

A1:最小为0,最大为无穷,显然。

Q2:当w非常小,都接近0的时候,loss会是什么值?

A2:-log(1/n) 显然

转载地址:http://dsiso.baihongyu.com/

你可能感兴趣的文章
JavaScript的简单继承实现案例
查看>>
第六篇 VIM你值得拥有!
查看>>
项目管理学习笔记之八.课程总结
查看>>
setjmp与longjmp的分析
查看>>
generate ascii table
查看>>
MATLAB绘制3D隐函数曲面的几种方法
查看>>
jquery改变链接移上光标时的颜色实例
查看>>
2013吉林通化邀请赛 1005 GCD and LCM
查看>>
高淇java300集JAVA常用类作业
查看>>
oracle大型数据库系统在AIX/unix上的实战详解 这本书要二版
查看>>
关于JAVA中的static方法、并发问题以及JAVA运行时内存模型
查看>>
Direct3D 初涉: 颜色
查看>>
jquery的checked以及disabled
查看>>
XLua系统学习
查看>>
Scala提取器Extractor实战详解之Scala学习笔记-19
查看>>
vue--初识
查看>>
<Linux命令行学习 第一节> CentOS在虚拟机的安装
查看>>
MyEclipse(Eclipse)快捷键大全
查看>>
Vue.js(一)了解Vue
查看>>
** 不在 sudoers 文件中。此事将被报告。
查看>>