2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，
二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x’尽可能一致。方法是
1，首先逐层构建单层神经元，这样每次都是训练一个单层网络。
2，当所有层训练完后，hinton使用wake-sleep算法进行调优。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，
而其它层则变为了图模型。向上的权重用于”认知“，向下的权重用于”生成“。
然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。
比如顶层的一个结点表示人脸，那么所有人脸的图像应该**这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。
Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。
2.1，wake阶段，认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），
并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想像的不一样，改变我的权重使得我想像的东西就是这样的“。
2.2，sleep阶段，生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。
也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念“。
由于自动编码器（auto-encoder，即上面说的神经网络。广义上的自动编码器指所有的从低级表示得到高级表示，
并能从高级表示生成低级表示的近似的结构，狭义上指的是其中的一种，谷歌的人脸识别用的）有联想功能，
也就是缺失部分输入也能得到正确的编码，所以上面说的算法也可以用于有监督学习，训练时y做为顶层网络输入的补充，应用时顶层网络生成y’。
(Part One)深度学习基础
课件
1.2 深度学习(Deep Learning)介绍_files
1-BOngaxvWRFHm3O2yo3YPhA.jpeg(68.53K)
1-RbQSv8m3SjBsWBniYdgwQQ.jpeg(95.00K)
1-sIKCN5ddB0BP55WxlYqtYg.jpeg(66.24K)
DeepNetwork.png(184.18K)
images [1].jpg(9.89K)
images.jpg(8.77K)
imgres [1].jpg(15.06K)
imgres [2].jpg(11.74K)
imgres [3].jpg(7.03K)
imgres [4].jpg(11.71K)
imgres [5].jpg(8.84K)
imgres [6].jpg(11.08K)
imgres.jpg(4.75K)
science-journal.gif(74.22K)
3.1 决策树(decision tree)算法_files
c2cec3fdfc0392456a6ac4258694a4c27d1e2538.jpg(65.54K)
Image [1].png(19.98K)
Image [2].png(3.12K)
Image [3].png(744B)
Image [4].png(19.98K)
Image [5].png(4.68K)
Image [6].png(8.17K)
Image [7].png(4.74K)
Image [8].png(23.02K)
Image.png(12.43K)
3.2 决策树(decision tree)应用_files
Image.png(19.98K)
4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法_files
Image [1].png(8.53K)
Image [2].png(617.22K)
Image [3].png(136.52K)
Image [4].png(248.12K)
Image.png(12.40K)
images.jpg(6.01K)
imgres.png(2.26K)
4.2 最邻近规则分类(K-Nearest Neighbor)KNN算法应用_files
kahi2.jpg(42.17K)
Virginia_Iris.png(65.62K)
5.1 支持向量机(SVM)算法（上）_files
220px-Svm_separating_hyperplanes_(SVG).svg.png(7.27K)
Image [1].png(3.51K)
Image [10].png(492B)
Image [11].png(2.66K)
Image [12].png(596B)
Image [13].png(2.47K)
Image [14].png(216.52K)
Image [15].png(270.45K)
Image [2].png(1.16K)
Image [3].png(1.48K)
Image [4].png(13.44K)
Image [5].png(1.51K)
Image [6].png(1.63K)
Image [7].png(1.58K)
Image [8].png(3.34K)
Image [9].png(2.20K)
Image.png(13.44K)
images [1].jpg(5.60K)
images.jpg(4.71K)
5.2 支持向量机(SVM)算法（下）_files
Image [1].png(3.01K)
Image [10].png(1.43K)
Image [11].png(1.81K)
Image [12].png(1.89K)
Image [2].png(1.03K)
Image [3].png(2.68K)
Image [4].png(1.51K)
Image [5].png(1.24K)
Image [6].png(4.12K)
Image [7].png(1.10K)
Image [8].png(746B)
Image [9].png(1.87K)
Image.png(13.44K)
main-qimg-b88037063b9a4cae241ee6b0ab841356.png(2.76K)
main-qimg-de8f2ca9c807ee184e2509639fce066d.jpg(40.39K)
main-qimg-dff9507297a2320460ff4d9cd5825683.png(1.38K)
6.1 神经网络算法(Nerual Networks)（上）_files
cross_validation.jpg(56.20K)
Image [1].png(11.94K)
Image [10].png(1.64K)
Image [11].png(1.94K)
Image [12].png(2.01K)
Image [13].png(1.93K)
Image [14].png(21.37K)
Image [2].png(1.36K)
Image [3].png(11.80K)
Image [4].png(945B)
Image [5].png(1.64K)
Image [6].png(1.94K)
Image [7].png(2.01K)
Image [8].png(1.93K)
Image [9].png(31.46K)
Image.png(11.94K)
6.2神经网络算法应用上
6.2神经网络算法应用上.mp4(95.96M)
6.3神经网络算法应用下
6.3神经网络算法应用下.mp4(34.25M)
7.1 简单线性回归 (Simple Linear Regression)上_files
Image [1].png(3.13K)
Image [2].png(1022B)
Image [3].png(1.70K)
Image [4].png(20.45K)
Image [5].png(19.67K)
Image [6].png(11.04K)
Image [7].png(74.47K)
Image.png(2.41K)
7.1 简单线性回归 (Simple Linear Regression)下_files
Image [1].png(12.58K)
Image [2].png(1.92K)
Image [3].png(18.15K)
Image [4].png(4.04K)
Image [5].png(1.26K)
Image [6].png(12.58K)
Image.png(18.15K)
7.3 多元回归分析(multiple regression)_files
Image [1].png(1.21K)
Image.png(74.47K)
7.5 非线性回归 logistic regression_files
001QAImHgy6I1oEKVWg50&690.jpg(14.90K)
001QAImHgy6I1oGTmnA36&690.jpg(5.07K)
001QAImHgy6I1ohlalO18&690.jpg(4.66K)
001QAImHgy6I1oi9u8Kae&690.jpg(1.79K)
001QAImHgy6I1ojfTjYaa&690.jpg(2.78K)
001QAImHgy6I1oJm3Qz27&690.jpg(6.67K)
001QAImHgy6I1ok9Brb61&690.jpg(12.78K)
001QAImHgy6I1olbW3yfc&690.jpg(4.93K)
001QAImHgy6I1omK5aoc8&690.jpg(3.97K)
001QAImHgy6I1osqQ7lc7&690.jpg(3.73K)
001QAImHgy6I1otAWE890&690.jpg(10.71K)
001QAImHgy6I1oudixl13&690.jpg(4.48K)
001QAImHgy6I1owps7Ud2&690.jpg(3.06K)
8694e4193ba45b55403595096b7d23c5.png(1.12K)
Image [1].png(50.50K)
Image.png(27.80K)
imgres [1].jpg(5.92K)
imgres.jpg(4.86K)
7.7 回归中的相关度和R平方值_files
cb8065380cd7912374922436af345982b2b78006.png(1.46K)
Image.png(1.68K)
imgf000045_0001.png(4.62K)
imgres [1].jpg(4.56K)
imgres [1].png(2.70K)
imgres.jpg(4.14K)
imgres.png(5.09K)
8.1 聚类(Clustering) K-means算法_files
Image [1].png(3.38K)
Image [10].png(8.26K)
Image [11].png(3.99K)
Image [12].png(1.70K)
Image [13].png(14.15K)
Image [2].png(7.11K)
Image [3].png(3.56K)
Image [4].png(1.77K)
Image [5].png(1.38K)
Image [6].png(7.68K)
Image [7].png(3.79K)
Image [8].png(1.70K)
Image [9].png(2.07K)
Image.png(13.41K)
imgres [1].jpg(8.44K)
imgres.jpg(8.44K)
8.3 聚类(Clustering) hierarchical clustering 层次聚类_files
810a19d8bc3eb1351e89fd05a41ea8d3fc1f44c5.png(4.47K)
1.1 课程介绍 & 机器学习介绍.html(2.86K)
1.2 深度学习(Deep Learning)介绍.html(9.06K)
2 基本概念 (Basic Concepts).html(6.15K)
3.1 决策树(decision tree)算法.html(9.00K)
3.2 决策树(decision tree)应用.html(2.66K)
4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法.html(4.32K)
4.2 最邻近规则分类(K-Nearest Neighbor)KNN算法应用.html(6.05K)
5.1 支持向量机(SVM)算法（上）.html(11.63K)
5.1 支持向量机(SVM)算法（上）应用.html(3.58K)
5.2 支持向量机(SVM)算法（下）.html(10.92K)
5.3 支持向量机(SVM)算法（下）应用.html(6.69K)
6.1 神经网络算法(Nerual Networks)（上）.html(8.59K)
6.2 神经网络算法(Nerual Networks)应用(上）.html(4.92K)
6.3 神经网络算法(Nerual Networks)应用(下）.html(2.70K)
7.1 简单线性回归 (Simple Linear Regression)上.html(13.11K)
7.1 简单线性回归 (Simple Linear Regression)下.html(3.81K)
7.3 多元回归分析(multiple regression).html(29.12K)
7.4 多元回归分析(multiple regression)应用.html(17.44K)
7.5 非线性回归 logistic regression.html(8.66K)
7.6 非线性回归应用：losgistic regression application.html(2.30K)
7.7 回归中的相关度和R平方值.html(5.43K)
7.8 回归中的相关度和R平方值应用.html(1.46K)
8.1 聚类(Clustering) K-means算法.html(5.89K)
8.2 聚类(Clustering) K-means算法应用.html(4.99K)
8.3 聚类(Clustering) hierarchical clustering 层次聚类.html(3.27K)
8.4 聚类(Clustering) hierarchical clustering 层次聚类应用.html(6.53K)
810a19d8bc3eb1351e89fd05a41ea8d3fc1f44c5.jpg(4.47K)
HierachecalClustering.png(9.03K)
视频
1.1课程介绍机器学习介绍上.mp4(50.56M)
1.1课程介绍机器学习介绍下.mp4(9.95M)
1.2深度学习介绍.mp4(52.68M)
2基本概念.mp4(56.92M)
3.1决策树算法.mp4(54.25M)
3.2决策树应用.mp4(72.42M)
4.1最邻近规则分类KNN算法.mp4(38.85M)
4.2最邻近规则KNN分类应用.mp4(57.47M)
5.1 支持向量机(SVM)算法（上）.html(11.63K)
5.1 支持向量机(SVM)算法（上）应用.html(3.58K)
5.1支持向量机SVM上.mp4(35.56M)
5.1支持向量机SVM上应用.mp4(34.97M)
6.2神经网络算法应用上.mp4(95.96M)
6.3神经网络算法应用下.mp4(34.25M)
7.1简单线性回归上.mp4(40.76M)
7.2简单线性回归下.mp4(52.49M)
7.3多元线性回归.mp4(42.22M)
7.4多元线性回归应用.mp4(51.17M)
7.5非线性回归 Logistic Regression.mp4(30.34M)
7.6非线性回归应用.mp4(56.58M)
7.7回归中的相关度和决定系数.mp4(38.05M)
7.8回归中的相关性和R平方值应用.mp4(43.12M)
8.1Kmeans算法.mp4(35.43M)
8.2Kmeans应用.mp4(61.00M)
8.3Hierarchical clustering 层次聚类.mp4(29.82M)
8.4Hierarchical clustering 层次聚类应用.mp4(62.52M)
神经网络NN算法.mp4(77.51M)
支持向量机(SVM)算法(下)应用.mp4(55.15M)
支持向量机(SVM)算法下.mp4(36.10M)
总结.mp4(55.39M)
代码与素材.rar(97.49M)
(Part Three)深度学习深入与强化
第10课 更多框架
5月班第10课_framework.pdf(22.02M)
第10课 更多框架.avi(429.37M)
第1课 机器学习中数学基础
第1课 机器学习中数学基础.avi(609.35M)
五月班第一次课件：机器学习中数学基础 (1).pdf(1.29M)
第2课 高效计算基础与图像线性分类器
5月班第2课课件：高效计算基础与图像线性分类器.pdf(32.88M)
image linear classification.zip(163.57M)
numpy_operations.ipynb(207.42K)
第2课 高效计算基础与图像线性分类器.avi(677.91M)
第3课 梯度下降法与反向传播
5月班第3课课件：梯度下降法与反向传播 (1).pdf(1.13M)
第3课 梯度下降法与反向传播.avi(438.73M)
第4课 CNN与常用框架
5月深度学习班第4课CNN，典型网络结构与常用框架.pdf(6.97M)
第4课 CNN与常用框架.avi(650.80M)
第5课 CNN训练注意事项与框架使用
5月班第5次课 – caffe TensorFlow使用与CNN训练注意事项.pdf(17.48M)
第5课 CNN训练注意事项与框架使用.avi(743.32M)
第6课 CNN推展案例
5月班第6次课 – CNN扩展 图像识别与定位 物体检测 NeuralStyle.pdf(48.34M)
第6课 CNN推展案例.avi(662.57M)
第7课 RNN介绍
5月班第7课课件_rnn_intrduction.pdf(8.48M)
第7课 RNN介绍.avi(362.89M)
第8课 RNN应用
5月班第8课_rnn_appliacation.pdf(22.52M)
第8课 RNN应用.avi(531.08M)
第9课 更多的网络类型
5月班第9次课课件_more_about_nn.pdf(4.18M)
第9课 更多的网络类型.avi(483.73M)
(Part Two)深度学习进阶
课件
深度学习进阶课件.rar(3.27M)
视频
第10章 神经网络手写数字演示.mp4(107.29M)
第11章 Backpropagation算法上.mp4(65.96M)
第12章 Backpropagation算法下.mp4(61.54M)
第13章 Backpropagation算法实现.mp4(64.12M)
第14章 cross-entropy函数.mp4(49.72M)
第15章 Softmax和Overfitting.mp4(75.90M)
第16章 Regulization.mp4(37.48M)
第17章 Regulazition和Dropout.mp4(50.49M)
第18章 正态分布和初始化(修正版).mp4(28.78M)
第19章 提高版本的手写数字识别实现.mp4(72.83M)
第1章 基本概念清晰版.mp4(42.58M)
第20章 神经网络参数hyper-parameters选择.mp4(54.96M)
第21章 深度神经网络中的难点.mp4(76.06M)
第22章 用ReL解决VanishingGradient问题.mp4(37.01M)
第23章 ConvolutionNerualNetwork算法.mp4(64.74M)
第24章 ConvolutionNeuralNetwork实现上.mp4(51.73M)
第25章 ConvolutionNeuralNetwork实现下.mp4(78.28M)
第26章 Restricted Boltzmann Machine.mp4(63.15M)
第27章 Restricted Boltzmann Machine下.mp4(49.49M)
第28章 Deep Brief Network 和 Autoencoder.mp4(47.36M)
第2章 软件包安装和环境配置总述.mp4(80.20M)
第3章 环境配置分部详解.mp4(77.09M)
第4章 环境配置分部详解下.mp4(111.05M)
第5章 手写数字识别.mp4(46.17M)
第6章 神经网络基本结构及梯度下降算法.mp4(82.79M)
第7章 随机梯度下降算法.mp4(20.57M)
第8章 梯度下降算法实现上.mp4(50.19M)
第9章 梯度下降算法实现下.mp4(69.03M)
本教程来自《途鸟吧知识分享论坛》用户分享.url(120B)
更多视频教程-途鸟吧知识论坛 .url(120B)
课前必读.txt(1.32K)
免费下载10000G海量学习资源.url(120B)
上课笔记.url(120B)
评论0