Alexnet是2014年Imagenet竞赛的冠军模型，准确率达到了57.1%, top-5识别率达到80.2%。 AlexNet包含5个卷积层和3个全连接层，模型示意图： 精简版结构： conv1阶段 输入数据：227×227×3 卷积核：11×11×3；步长 ...

start small gradually increase the model size small parameter, deep is better than wider; dee ...

感知机（perceptron）是由输入空间（特征空间）到输出空间的函数：f(x) = sign(w*x+b), 其中w和b是感知机的权重参数和偏置参数。线性方程w*x+b=0表 ...

。 —————————————————————————————————————————————————————— 简介ResNet是何凯明大神在2015年提出的一种网络结构，获得了 ...

LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。可以说，LeNet-5就相当于编程语言入门中的“Hello world！”。 但是很奇怪的，原本 ...

Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段，其任务是优化目标函数：$h(\theta )=\theta+\theta_{1}x_{1}+\theta_{2}x_{2}+....\theta_{n ...

Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn 线性回归的求解法通常为两种： ①解优化多元一次方程（矩阵）的传统方法，在数 ...

一、神经网络 1、人工神经元 神经网络由很多的节点构成，这些节点又叫做人工神经元（或神经元） 他的结构如图所示： x1~xn是输入信号 wij代表从神经元j到神经元i的连接权值 θ表示一个阈值 ( threshold )，或称为偏置( bias ) 神经元i的输出与输入的关系表示 ...