• 1
  • 2
  • 3
  • 4
  • 5
  • 6

机器学习基础知识整理(考研复试用)

深度学习

从非常基础的层面上说,深度学习是一种机器学习技术,它教计算机通过层过滤输入(图像,文本或声音形式的观察),以学习如何预测和分类信息。

先把这四个字拆解成两个词,“深度”和“学习”,逐一说明。

任何的从已经有的信息,无论是通过计算,判断,推理而后得到一个认知的过程都可以称为“学习”。

那么为什么有的人学习能力好,成绩高,但有的人成绩就没那么好呢。这经常的被解释为学习方法,思考过程,经验不同而导致的差异,可以统一归为“学习策略”,好的学习策略会更快更准确的得到认知的结果,而不好的学习策略可能会花费更多的时间或者错误的结论。

现实世界中很多的问题都可以归为分类或者识别或者选择的问题,比如下围棋,下一步的棋子落在什么地方,就是此类问题。而研究此类问题,学术界研究出来一种叫做“神经网络”的学习策略。

这个词听起来,就知道和人脑有着一些关系。在人脑中负责活动的基本单元是“神经元”,它以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,我们把神经元的结构想象成一棵枯树的枝干就可以了。人脑中含有上百亿个神经元,而这些神经元互相连接成一个更庞大的结构,就称为“神经网络”。

最终要来解释什么是深度学习的”深度“了,就是从”输入层“到”输出层“所经历层次的数目,即”隐藏层“的层数,层数越多,板凳的深度也越深。所以越是复杂的选择问题,越需要深度的层次多。当然,除了层数多外,每层”神经元“,也就是如上图,橙色小圆圈的数目也要多。例如,AlphaGo的策略网络是13层。每一层的神经元数量为192个。

总结一句话,深度学习就是用多层次的分析和计算手段,得到结果的一种方法

过拟合和欠拟合

过拟合:机器学习训练的模型在训练集中表现非常好,但缺少泛化性,导致在测试集中表现不佳。

欠拟合:机器学习训练的模型在训练集中表现就很差。

处理过拟合:1. 添加训练数据 2. 减少特征个数 3. 增加lamda的值 4.正则化L1 L2正则化

处理欠拟合:1. 增加特征个数 2. 降低lamda的值

标题内容

数据预处理、特征工程、机器学习、模型评估。

机器学习的四个大块

通过有无标签分类:

有监督学习、无监督学习、半监督学习。

与监督学习相比,无监督学习的训练集中没有人为的标注的结果,在非监督的学习过程中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。

通过功能性分类:

分类、回归、聚类、降维

给定一个样本特征 ,希望预测其对应的属性值 , 如果是离散的, 那么这就是一个分类问题,反之,如果 是连续的实数, 这就是一个回归问题。

给定一组样本特征 , 我们没有对应的属性值 , 而是想发掘这组样本在多维空间的分布, 比如分析哪些样本靠的更近,哪些样本之间离得很远, 这就是属于聚类问题。

如果我们想用维数更低的子空间来表示原来高维的特征空间, 那么这就是降维问题。

 

机器学习

深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

正则化

给定一组数据,用一个函数去拟合这组数据,如果数据中有噪声,那么函数的波动就会比较大,函数不够平滑就会出现过拟合现象。用正则化,给参数一个取值范围,就可以减少噪声的影响,减少过拟合现象的发生。正则化的表现形式是通过在函数末尾加一个正则化项来实现的。

人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

 

参考文献

https://blog.csdn.net/xiaosongshine/article/details/86551838

https://blog.csdn.net/qq_30719815/article/details/105316924

点赞

发表评论

电子邮件地址不会被公开。必填项已用 * 标注