无监督样本
1. 有监督学习和无监督学习的区别
机器学习任务根据训练样本是否有label，可以分为监督学习和无监督学习
监督学习的训练样本有label，主要是学习得到一个特征空间到label的映射，如分类、回归等
无监督学习的训练样本没有label，主要是发现样本的内部结构，如聚类、降维、可视化等
2. 有监督和无监督学习都各有哪些有名的算法和深度学习
听他人说的：无监督与监督学习的区别在于一个无教学值，一个有教学值。专但是，个人认为他属们的区别在于无监督学习一般是采用聚簇等算法来分类不同样本。而监督学习一般是利用教学值与实际输出值产生的误差，进行误差反向传播修改权值来完成网络修正的。但是无监督学习没有反向传播修改权值操作，当然这里只是说的是特征提取阶段。
3. 非监督学习有哪些
无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，我们知道监督学习解决的是“分类”和“回归”问题，而无监督学习解决的主要是“聚类（Clustering）”问题。
从无监督学习说起：算法模型有哪几种？
监督学习通过对数据进行标注，来让机器学习到，比如：小曹多重多高就是胖纸，或者用身高体重等数据，来计算得到小曹的BMI系数；而无监督学习则没有任何的数据标注（超过多高算高，超过多重算胖），只有数据本身。
比如：有一大群人，知道他们的身高体重，但是我们不告诉机器“胖”和“瘦”的评判标准，聚类就是让机器根据数据间的相似度，把这些人分成几个类别。
那它是怎么实现的呢？怎么才能判断哪些数据属于一类呢？
这是几种常见的主要用于无监督学习的算法。
K均值（K-Means）算法；
自编码器（Auto-Encoder）；
主成分分析（Principal Component Analysis）。
K均值算法
K均值算法有这么几步：
从无监督学习说起：算法模型有哪几种？
随机的选取K个中心点，代表K个类别；
计算N个样本点和K个中心点之间的欧氏距离；
将每个样本点划分到最近的（欧氏距离最小的）中心点类别中——迭代1；
计算每个类别中样本点的均值，得到K个均值，将K个均值作为新的中心点——迭代2；
重复234；
得到收敛后的K个中心点（中心点不再变化）——迭代4。
上面提到的欧氏距离（Euclidean Distance），又叫欧几里得距离，表示欧几里得空间中两点间的距离。我们初中学过的坐标系，就是二维的欧几里得空间，欧氏距离就是两点间的距离，三维同理，多维空间的计算方式和三维二维相同。
4. 什么是无监督学习
无监督学习:设计分类器时候，用于处理未被分类标记的样本集
目标是我们不告诉计算机怎么做，而是让它(计算机)自己去学习怎样做一些事情。非监督学习一般有两种思路。第一种思路是在指导Agent时不为其指定明确的分类，而是在成功时采用某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架里，因为它的目标不是产生一个分类系统，而是做出最大回报的决定。这种思路很好的概括了现实世界，Agent可以对那些正确的行为做出激励，并对其他的行为进行处罚。
强化学习的一些形式常常可以被用于非监督学习，由于没有必然的途径学习影响世界的那些行为的全部信息，因此Agent把它的行为建立在前一次奖惩的基础上。在某种意义上，所有的这些信息都是不必要的，因为通过学习激励函数，Agent不需要任何处理就可以清楚地知道要做什么，因为它(Agent)知道自己采取的每个动作确切的预期收益。对于防止为了计算每一种可能性而进行的大量计算，以及为此消耗的大量时间(即使所有世界状态的变迁概率都已知)，这样的做法是非常有益的。另一方面，在尝试出错上，这也是一种非常耗费时间的学习。
不过这一类学习可能会非常强大，因为它假定没有事先分类的样本。在某些情况下，例如，我们的分类方法可能并非最佳选择。在这方面一个突出的例子是Backgammon(西洋双陆棋)游戏，有一系列计算机程序(例如neuro-gammon和TD-gammon)通过非监督学习自己一遍又一遍的玩这个游戏，变得比最强的人类棋手还要出色。这些程序发现的一些原则甚至令双陆棋专家都感到惊讶，并且它们比那些使用预分类样本训练的双陆棋程序工作得更出色。
一种次要的非监督学习类型称之为聚合(clustering)。这类学习类型的目标不是让效用函数最大化，而是找到训练数据中的近似点。聚合常常能发现那些与假设匹配的相当好的直观分类。例如，基于人口统计的聚合个体可能会在一个群体中形成一个富有的聚合，以及其他的贫穷的聚合。
5. 为什么目前的特征学习算法都是无监督的
听他人说的抄：无监督与监督学习袭的区别在于一个无教学值，一个有教学值。但是，个人认为他们的区别在于无监督学习一般是采用聚簇等算法来分类不同样本。而监督学习一般是利用教学值与实际输出值产生的误差，进行误差反向传播修改权值来完成网络修正的。但是无监督学习没有反向传播修改权值操作，当然这里只是说的是特征提取阶段。
6. 什么是无监督学习
监督学习
利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。正如人们通过已知病例学习诊断技术那样，计算机要通过学习才能具有识别各种事物和现象的能力。用来进行学习的材料就是与被识别对象属于同类的有限数量样本。监督学习中在给予计算机学习样本的同时，还告诉计算各个样本所属的类别。若所给的学习样本不带有类别信息,就是无监督学习。任何一种学习都有一定的目的,对于模式识别来说，就是要通过有限数量样本的学习，使分类器在对无限多个模式进行分类时所产生的错误概率最小。
不同设计方法的分类器有不同的学习算法。对于贝叶斯分类器来说，就是用学习样本估计特征向量的类条件概率密度函数。在已知类条件概率密度函数形式的条件下，用给定的独立和随机获取的样本集，根据最大似然法或贝叶斯学习估计出类条件概率密度函数的参数。例如，假定模式的特征向量服从正态分布，样本的平均特征向量和样本协方差矩阵就是正态分布的均值向量和协方差矩阵的最大似然估计。在类条件概率密度函数的形式未知的情况下，有各种非参数方法，用学习样本对类条件概率密度函数进行估计。在分类决策规则用判别函数表示的一般情况下,可以确定一个学习目标,例如使分类器对所给样本进行分类的结果尽可能与“教师”所给的类别一致，然后用迭代优化算法求取判别函数中的参数值。
在无监督学习的情况下，用全部学习样本可以估计混合概率密度函数，若认为每一模式类的概率密度函数只有一个极大值，则可以根据混合概率密度函数的形状求出用来把各类分开的分界面。
7. 为什么说深度学习是无监督学习的一种
听他人说的抄：无监督与监督学习的区别在于一个无教学值，一个有教学值。但是，个人认为他们的区别在于无监督学习一般是采用聚簇等算法来分类不同样本。而监督学习一般是利用教学值与实际输出值产生的误差，进行误差反向传播修改权值来完成网络修
8. 非监督学习对样本进行聚类的常见方法有哪几种
有简单聚类方法、层次聚类法以及动态聚类法
9. ML基础 无监督学习之协方差矩阵
在翻译sklearn文档 2.无监督学习 部分过程中，发现协方差矩阵几乎贯穿整个章节，但sklearn指导手册把协方差部分放在了这一章节偏后的部分，作为机器学习一个基础概念，在这篇文章中，想把协方差矩阵的相关知识以及主要应用。
统计学中常用平均值，方差，标准差等描述数据。平均值描述了样本集合的中间点；方差总是一个非负数，当随机变量的可能值集中在数学期望的附近时，方差较小; 反之, 则方差较大。所以, 由方差的大小可以推断随机变量分布的分散程度, 方差能反映随机变量的一切可能值在数学期望周围的分散程度。标准差描述了各个样本点到均值的距离的平均值。但这些统计量都是针对一维数据的计算，在处理高维数据时，便可以采用协方差来查看数据集中的一些规律。协方差来度量两个随机变量关系的统计量，它描述的意义是：如果结果为正值，则说明两者是正相关的，否则是负相关的。需要注意的是，协方差是计算不同特征之间的统计量，不是不同样本之间的统计量。
协方差基本知识：
协方差公式：
设n个随机向量：
从公式上看，协方差是两个变量与自身期望做差再相乘, 然后对乘积取期望。也就是说，当其中一个变量的取值大于自身期望，另一个变量的取值也大于自身期望时，即两个变量的变化趋势相同, 此时，两个变量之间的协方差取正值。反之，即其中一个变量大于自身期望时，另外一个变量小于自身期望，那么这两个变量之间的协方差取负值。下面根据举一个例子来对协方差形象的解释：
协方差矩阵是实对称矩阵，实对称矩阵的性质：
实对称矩阵的不同特征值对应的特征向量时正交的实对称矩阵的特征值是实数，特征向量是实向量实对称矩阵必可对角化，且其相似对角矩阵的对角线元素为n个特征值
协方差矩阵中的对角线元素表示方差, 非对角线元素表示随机向量 X 的不同分量之 问的协方差. 协方差一定程度上体现了相关性, 因而可作为刻画不同分 量之间相关性的一个评判量。若不同分量之问的相关性越小，则 非对角线元素的值就越小。特别地, 若不同分量彼此不相关, 那么 C 就变成了一个对角阵。注意, 我们并不能得到协方差矩阵 $C(X)$ 的真实值, 只能根据所提供的 X 的样本数据对其进行近似估计。因此, 这样计算得到的协方差矩阵是依赖于样本数据的, 通常提供的样本数目越多 , 样本在总体中的覆盖面就越广。
理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度，心中明确这个整个计算过程就会顺流而下，这么一来就不会迷茫了。其实还有一个更简单的容易记还不容易出错的方法：协方差矩阵一定是一个对称的方阵，
经验协方差
有时候由于种种原因，并不使用全部的样本数据计算协方差矩阵，而是利用部分样本数据计算，这时候就要考虑利用部分样本计算得到的协方差矩阵是否和真实的协方差矩阵相同或者近似。
当提供的样本数目相对于特征数足够多时，利用最大似然估计（或者称为经验协方差）计算的结果，可以认为是协方差矩阵的几个近似结果。这种情况下，会假设数据的分布符合一个多元正太分布，数据的概率密度函数中是包含协方差矩阵的，利用最大似然函数，对其进行估计。
收缩协方差
在矩阵的求逆过程中， 最大似然估计不是协方差矩阵的特征值的一个很好的估计， 所以从反演得到的精度矩阵是不准确的。 有时，甚至出现因矩阵元素地特性,经验协方差矩阵不能求逆。 为了避免这样的反演问题，引入了经验协方差矩阵的一种变换方式，收缩协方差。
协方差矩阵——PCA实现的关键
PCA的本质其实就是对角化协方差矩阵。PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差啊！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。我们需要的东西，协方差矩阵都有了。