Ziyi Zhou's Blog

人间有味是清欢

Deep Learning Book 学习笔记（11）

Practical Methodology

实践是检验真理的唯一标准 常见的一个设计是：确定目标、建立流程、搭建系统、优化改进。 性能度量 确定目标，即使用什么误差度量，是必要的第一步，确定了改进哪个性能度量，然后专心提高性能度量。如果没有明确的目标，那么我们很难判断机器学习系统上的改动是否有所改进。值得注意的是对于大多数应用...

Posted by Wenlong Shen on May 19, 2018

Deep Learning Book 学习笔记（10）

Sequence Modeling: Recurrent and Recursive Nets

循环递归，无限往复 循环神经网络 循环神经网络是专门用于处理序列（包括可变长度的序列）的神经网络，其设计模式包括以下几种：1、每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络；2、每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络；3. 隐...

Posted by Wenlong Shen on May 16, 2018

Deep Learning Book 学习笔记（9）

Convolutional Networks

这可是我花了一下午才整明白的卷积！ 卷积神经网络更多地用于处理具有类似网格结构的数据，如时间序列数据（一维）和图像数据（二维）等。 卷积运算 卷积运算可以看作是一个函数在另一个函数上的加权叠加，同时，可以将二元函数卷成一元函数从而达到降维的作用： \[s(t)=\int x(a)w...

Posted by Wenlong Shen on May 12, 2018

Deep Learning Book 学习笔记（8）

Optimization for Training Deep Models

优化优化继续优化 学习和纯优化有什么不同 大多数机器学习是在间接地优化性能度量P，即通过降低代价函数\(J(\theta)\)来提高P，训练深度模型的优化算法通常也会包括一些针对机器学习目标函数的特定结构进行的特化。通常，我们更希望最小化取自数据生成分布\(P_{data}\)的期望，...

Posted by Wenlong Shen on May 9, 2018

Deep Learning Book 学习笔记（7）

Regularization for Deep Learning

泛化好才是真的好~ 机器学习的目的不是训练数据表现好，而是要泛化好，许多策略都显式地设计来减少误差，这些策略被统称为正则化。在实际的深度学习应用中总是会发现，最好的拟合模型是一个适当正则化的大型模型。 参数范数惩罚 一些正则化方法对目标函数\(J\)添加一个参数范数惩罚\(\Omeg...

Posted by Wenlong Shen on April 28, 2018

Deep Learning Book 学习笔记（6）

Deep Feedforward Networks

深度前馈网络（deep feedforward network），也叫作前馈神经网络（feedforward neural network）或者多层感知机（multilayer perceptron, MLP），是典型的深度学习模型。 我们首先理解下“前向”的概念，即信息流从输入\(x\...

Posted by Wenlong Shen on April 25, 2018

Deep Learning Book 学习笔记（5）

Machine Learning Basics

学而不思则罔，思而不学则殆。 学习算法 所谓机器学习，“学习”是什么？Mitchell提供了一个简洁的定义：“对于某个任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E得到改进后，它在任务T上由性能度量P衡量的性能有所提升。” 任务T从实际操作的角度来说，指的...

Posted by Wenlong Shen on April 21, 2018

ABOUT ME

修身、齐家、治国、平天下

CONTACT ME
  • Ziyi_zhou@foxmail.com
FRIENDS