机器学习应该准备哪些数学预备知识？

机器学习数学 Robin Shen

2017/11/07 17:38

雷锋网按：本文原作者Robin Shen，本文整理自作者在知乎《机器学习应该准备哪些数学预备知识？》问题下的回答。雷锋网已获得转载授权。

问题详情：

数据分析师，工作中经常使用机器学习模型，但是以调库为主。自己一直也在研究算法，也裸写过一些经典的算法。最近在看PRML这类书籍，感觉有点吃劲，主要是公式推导看不懂，很多数学符号不知其意。也特地学过线性代数、微积分等，但是然并卵，还是看不懂大段的公式以及那些神奇的矩阵计算~

机器学习新手，想前来问下，有没有哪些数学知识是可以弥补这一类缺陷的?能否具体的说一些知识点或者相关的文章和书籍？

回答：

利益相关：楼主@Robin Shen以本科应用数学和硕士运筹学、优化理论的背景转到德国海德堡大学读博，主要从事机器学习、计算机视觉的研究，希望自己的一些经验可以对想入门机器学习的朋友们有点借鉴作用。

此回答的部分答案摘自我另外一个相关回答：Robin Shen：想转专业机器学习（人工智能）需要学哪些课程？

首先对人工智能、机器学习一个综述：大话“人工智能、数据科学、机器学习”--综述 - 知乎专栏

笼统地说，原理和基础都在数学这边，当然有很多偏应用和软件使用的技术，例如“深度学习调参”等，这些报个培训速成班就能学会的技术含量不那么高的东西，不在讨论范围内。

这里要讨论的，是如何系统的学习，然后自己能编出这机器学习或深度学习的程序或软件－－我想，这才能称为一个合格的机器学习、数据科学家。

入门基础

1.微积分（求导，极限，极值）和线性代数（矩阵表示、矩阵运算、特征根、特征向量）是基础中的基础，某篇图像分割1w+引用的神文核心思想便就求解构造矩阵的特征向量；

2.数据处理当然需要编程了，因此C/C++/Python任选一门（推荐Python，因为目前很多库和Library都是用python封装），数据结构可以学学，让你编程更顺手更高效，但是编程不是数据处理的核心。

当然了，楼主所在的图像处理界，熟练使用matlab或者Python调用opencv库是必要条件，但是again他们只是工具，业余时间自学，多练练就没问题。有同学问用R行不行，补充一点，用什么编程语言很大部分取决于你的核心算法会调用什么已有的库函数，比如楼主的科研里面核心算法往往是MIP（混合整数规划）问题需要调用Cplex或Gurobi库函数，因此C/C++/Python/Java这些和Cplex接口良好的语言都可以拿来用，这时候R就别想了。(更新：最新Gurobi版本支持R)

另外虽然图像处理界一些open-source的code都用C++写的，但是鉴于使用方便都会提供Python的接口，因此需要用到这些code的话，用Python调用比较方便；但是，如果是高阶骨灰级玩家，需要修改甚至自己写源代码，那么还是推荐C/C++，因为他们的速度最快。

3.算法

通常高校都会有算法类的课程，会概述各类算法的基础和应用，其中包括：精确算法、近似算法、启发式算法、演化算法、递归算法、贪婪算法等待，还有各类优化算法。

算法非常核心，想必大家都听说过算法工程师这个职位。

关于数学模型和算法的区别、联系，参见：

【学界】整数规划精确算法/近似算法/(元)启发算法/神经网络方反向传播等算法的区别与关联

中级教程

1.概率论+统计（很多数据分析建模基于统计模型）、统计推断、随机过程等

2.线性规划+凸优化（或者只学一门叫numerical optimization，统计、机器学习到最后就是求解一个优化问题）、非线性规划等

3.数值计算、数值线代等

当年我是在数学系学的这门课，主要是偏微分方程的数值解。

但我觉得其开篇讲的数值计算的一些numerical issue更为重要，会颠覆一个数学系出身小朋友的三观。(原来理论和现实差距可以这么大！)

Conditional number, ill-conditioned problem，会让你以后的编程多留个心眼。

恭喜你，到这里，你就可以无压力地学习Machine Learning这门课了（其实机器学习，通篇都是在讲用一些统计和优化来做clustering 和 classification这俩个人工智能最常见的应用）。并且你就会发现，ML课中间会穿插着很多其他课的内容。恩，知识总是相通的嘛，特别是这些跨专业的新兴学科，都是在以往学科的基础上由社会需求发展而来。

到这里，其实你已经能看懂并且自己可以编写机器学习里面很多经典案例的算法了，比如regression，clustering，outlier detection。

关于优化类课程的综述，欢迎关注我的专栏：

[运筹帷幄]大数据和人工智能时代下的运筹学 - 知乎专栏

运筹学（最优化理论）如何入门？ - 知乎

学到Mid-level，就已经具备绝大部分理论基础了。然后做几个实际项目，就能上手然后就可以“吹嘘”自己是搞机器学习的，就能找到一份工作了。

但是要读Phd搞机器学习的科研，那么高阶课程必不可少，而且同一个topic你需要上好几门课，并且你博士的课题，很可能只是一本书中一个章节里面一小节里讲的算法，去改进他。

比如，楼主的博士课题就是mixed linear programming + discrete graphical models + markov random fields + regression + clustering + segmentation。

高阶课程

再高阶的课程，就是比较specific的课程了，可以看你做的项目或者以后的concentration再选择选修，比如：Probabilistic Graphical Models（概率图模型）， Integer Programming（整数规划），计算机视觉，模式识别，视频追踪，医学图像处理，增强学习，深度学习, 神经网络，自然语言处理，网络信息安全，等等等等。

深度学习：目前非常火，打败了非常多几十年积累起来的经典方法。

增强学习：也很火，游戏AI、自动驾驶、机器人等等，它都是核心。

概率图模型：深度学习之前非常popular的“学习”方法，有严格的数学模型和优美的算法，虽然目前被前俩者盖过了风头，但是依然有它的立足之处。什么？你不知道最近用PGM发了篇Nature，打败了CNN？快看下面：

Robin Shen：如何评价 Vicarious 在 Science 上提出基于概率图模型（PGM）的 RCN 模型？

再比如有用偏微分方程做图像处理的（比较小众），那么这时候你肯定要去学一下偏微分方程了，大都是以科研为主导的。

科研嘛，为了发文章，就是要尝试前人没尝试过的方法，万一效果不错呢，就是一篇好paper了，对吧。

附上顶尖会议排名，共勉：

国际“顶尖”计算机视觉、机器学习会议大搜罗--附排名&接收率

互联网教学资源

书目没有特别推荐的，但是建议看英文原版。

另外直接翻墙Youtube看视频课程，很多国际知名教授都很无私地把自己上课的视频放在youtube上免费学习（搜索我上面列出的科目名字）。如果确实要楼主推荐，那就推荐海德堡大学历史上最年轻的教授 Fred的机器学习视频（我基本都看过）（http://t.cn/RlNKGop）

另外一个教授给你上课的时候，开头一般是会推荐书给你的（如果你确实喜欢看书的话）。当然了，翻墙是楼主suppose你们需要拥有的基本生存技能。