机器学习入门

这个其实是台湾大学的李宏毅教授的《机器学习》教程的笔记。

1 简史

1. 1956 年 达特茅斯会议提出「人工智能」一词，因此这一年也被称为人工智能元年。人工智能是人类发展史上的一个宏伟目标，自此以后，人类想尽各种办法实现它。
2. 对于「机器学习」的出现，暂时还没有一个明确的说法，大概是在 1980 年 左右出现。它是人工智能的一个子领域，同时也是实现人工智能的一种手段。
3. 「深度学习」是由 Hinton 等人于 2006 年 提出，它是机器学习中一个有效的方法。

综上，不论是从出现的先后顺序，还是领域划分来看，都有如下关系：

人工智能 > 机器学习 > 深度学习

2 定义

先来看下定义：

机器学习 ≈ 从数据中找出一个函数

很简单对不对！

3 步骤

1. 定义一个函数集合define a set of function
2. 衡量函数的好坏goodness of function
3. 选出最优的函数pick the best function

4 学习图谱

4.1 监督学习Supervised Learning

输入：有标签数据

1 回归Regression

输出：标量scalar

2 分类Classification

按照种类划分：

1. 二元分类Binary Classification

   • 输出：布尔值bool

2. 多元分类Multi-class Classification

   • 输出：类别class(一般是概率)

按照模型划分：

1. 线性模型Linear Model

2. 非线性模型Non-linear Model

   • 深度学习Deep Learning
   • 支持向量机SVM、决策树decision tree、K 近邻K-NN等

3 结构化学习Structured Learning

输入输出：序列Sequence、列表List或者树Tree等

4.2 半监督学习Semi-supervised Learning

输入：一部分有标签数据，一部分无标签数据

4.3 迁移学习Transfer Learning

输入：不相关数据

4.4 无监督学习Unsupervised Learning

输入：无标签数据

4.5 强化学习Reinforcement Learning

从评价critics中学习

5 总结

All Right，一图胜千言：

6 其他

6.1 「回归任务」和「分类任务」的区别

• 从任务本身来说，回归所做的是「定量」分析，要评估输出结果和实际结果偏差，而分类所做的是「定性」分析，要评估输出结果属于哪个类别。
• 从输出类型上来说，回归任务的输出是连续的数据，而分类任务的输出是离散的数据。其实分类任务和回归任务在一定情况下可以相互转化，比如有一种分类方法叫Logistic Regression。
• 参考：分类与回归区别是什么？