Skip to content

Latest commit

 

History

History
243 lines (168 loc) · 21.8 KB

finlayson-machine-learning-resources.md

File metadata and controls

243 lines (168 loc) · 21.8 KB
Raw

机器学习资源的全面列表：开放课程、教科书、教程、备忘单等

原文：www.kdnuggets.com/2018/12/finlayson-machine-learning-resources.html

c 评论

由Sam Finlayson，哈佛-麻省理工学院医学博士生。

原文。经许可转载。

以下是原始内容的快照，会随着时间的推移而更新

这是一个不特别系统的尝试，旨在整理我最喜欢的统计学和机器学习资源。这并不是全面的，实际上还缺少我最喜欢的大多数解释资源。相反，这只是一些我多次使用的资源，希望能够集中在一个地方。组织方式如下：

  • 开放课程和教科书：涵盖一个相当broad的主题，通常比较全面，需要几周到几个月的时间从头到尾完成。

  • 教程、概述和（单独）讲义：对一个specific的主题解释得非常清楚，通常需要几分钟到几小时（或最多几天）完成。

  • 备忘单：提供结构化的信息，通常能在几秒钟内访问。

我们的前三个课程推荐

1. Google 网络安全证书 - 快速进入网络安全职业生涯。

2. Google 数据分析专业证书 - 提升你的数据分析技能

3. Google IT 支持专业证书 - 支持你的组织的 IT

最后，我添加了一个部分，包含了a 些杂项网站的链接，这些网站通常会产生优秀的内容。

上述内容中，第二部分既最不完整，也是我最兴奋的部分。我希望用它来捕捉我在网上阅读过的难题最佳解释，以便在我不可避免地忘记时，能更容易地重新学习。（在理想的世界里，Chris Olah和/或distill.pub会为一切写文章，但在此期间，我必须从其他地方收集零碎的资料。）

如果你发现了这个列表并有建议让我添加（特别是中间部分！），请随时联系我！但我只打算发布我已经阅读过的内容，因此它可能会在我的待读列表中待一段时间才会出现在这里。当然，这个网页的来源是在 github 上，所以你也可以直接获取它。 |

开放课程和教科书

我试图将此列表限制为那些可以在线合法免费访问的内容。

基础

文件 描述
机器学习数学书 Faisal 和 Ong 的机器学习数学书，available on github。
Boyd 应用线性代数 Boyd 和 Vandenberghe 的应用线性代数免费书籍（网站）。
Fast.ai 计算线性代数 Rachel Thomas 整理了这本关于计算线性代数的优秀在线教科书，并附有YouTube 视频。
MIT 6.041 Intro Probability John Tsitsiklis 等人整理了一些很棒的资源。他们经典的 MIT 概率入门课程已在OCW上归档，并且也在 edX 上提供（第一部分、第二部分）。教科书也非常优秀。
Joe Blitzstein 的 Stat110 Joe Blitzstein 的本科概率课程与 6.041 的内容高度重叠。像 6.041 一样，它也有很棒的教科书、youtube视频和edx课程。它也稍微更有趣一点。
MathematicalMonk 这个家伙真棒。有大约 250 个关于机器学习、概率和信息理论的 YouTube 教程。这些播放列表的优点在于任何单独的视频都可以进入第二部分！
Tim Roughgarden 的算法讲义和算法照亮 Tim Roughgarden 是我见过的最自然的老师之一，幸运的是，他决定将大量算法资源公开。第一个链接是来自许多课程的 PDF 讲义 – 对于数据导向的学习者，他的 CS 168 课程既易于访问又非常棒。他的算法 2 课程（CS 261）的录像可以在这里找到（pdf 讲义在第一个链接中）。第二个链接是他新教材的页面，但该页面还链接到他 Coursera 版 CS 161（算法 1）的所有 YouTube 视频。

统计学

文件 描述
观察理论 这是一本在线视觉教材，提供了一些很酷的互动展示，用于介绍概率/统计概念。我最喜欢的是推断可视化。
拉塞尔·波德拉克（Russell Poldracks）的21 世纪统计思维 这似乎是一本相当出色（虽然相当基础）的教材，适用于一个季度的统计学入门课程（斯坦福的统计 60）。尽管假设较少，但涉及了很多精彩的主题。
现代生物学统计学 这本在线教材由苏珊·霍尔姆斯（Susan Holmes）和沃尔夫冈·休伯（Wolfgang Huber）编写，提供了对现代数据科学中与计算生物学家相关部分的一个简明易懂的介绍。它也恰好是一个排版的艺术品，由bookdown创建。
统计重思 讲座录像在youtube上与这本评价很高的入门教材配套。
赫尔南和罗宾斯的因果推断书 这本关于因果推断的长期待出版教材（从流行病学的角度），草稿在网页上频繁更新。

经典机器学习

文件 描述
比 ishop 的模式识别与机器学习 这是一本经典的机器学习教材，现在终于在网上（合法）免费发布。
CS 229 讲义 安德鲁·吴（Andrew Ng）的经典讲义，来自他令人惊叹的研究生级别机器学习入门课程：CS229。
ESL 和 ISL 来自 Hastie 等人 从世界级统计学教授那里获得的经典机器学习入门（ISL）和高级（ESL）讲解。关于 ISL 的幻灯片和视频可以在 这里 获取。
CS 228 PGM 笔记 来自斯坦福大学的优秀概率图模型课程笔记。PDF 导出效果不佳，因此仅提供网站链接。
Blei Foundations of Graphical Models Course 2016 年 David Blei 提供的图形模型基础课程笔记。

深度学习

文件 描述
Roger Grosse 的 CSC231 笔记 来自 Roger Grosse 的 CSC 231 完整网站在这里。可能是我从任何大学找到的最佳深度学习入门课程。笔记和幻灯片都非常出色。
Fast.Ai Jeremy Howard 和 Rachel Thomas 的精彩入门讲座和笔记。此外，Hiromi Suenaga 发布了整个系列的优秀且独立的笔记，并提供了指向视频的时间戳链接：FastAI DL Part 1、FastAI DL Part 2 和 FastAI ML。
CS231N 视觉深度学习 Andrej Karpathy 的惊人笔记，讲座也在 YouTube 上。
CS224 深度学习在 NLP 中 2017 来自斯坦福大学 CS224 的深度学习在 NLP 中的精彩课程笔记。GitHub 仓库 这里
CMU CS 11-747 来自 CMU 的 Graham Neubig 提供的深度学习在 NLP 中的精彩课程。在 YouTube 上有很棒的讲座视频 这里
深度学习书籍 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 的这本教科书可能是我们最接近深度学习标准教科书的资料。

强化学习

文件 描述
Sutton 和 Barto 开放 RL 书 实际上是 RL 的标准入门书籍，尽管教科书现在才即将出版！
伯克利深度强化学习 伯克利大学的 RL 课程，由该领域的顶级专家讲授，讲座已上传到 YouTube。

优化

文件 描述
Boyd 凸优化书籍 Boyd 和 Vandenberghe 合著的著名且免费提供的教科书，附有幻灯片和 YouTube 视频。更高级的后续课程在这里
NYU 基于优化的数据分析 2016 和 2017 NYU 2016 网站 和 2017 网站 上关于基于优化的数据分析的极佳课程笔记。

教程、概述和（个人）讲义

这一部分充其量也只是初步的，但这是我制作此页面的真正动机。包括基本上任何在 distill.pub 上的内容、好的博客或中等帖子等。深度学习在这里似乎是一个很好的切入点，但我还没有做更多的深入研究。

基础知识

文件 描述
CS 229 线性代数笔记 来自斯坦福大学机器学习课程的线性代数参考资料。
深度学习的矩阵微积分 (pdf 版本在此) Parr/Howard 提供的深度学习矩阵微积分的非常好的概述。可以在arxiv上引用。

概率与统计

文件 描述
Seeing Theory 频率推断 这是对频率推断基本思想的非常美丽的视觉展示，来自 Seeing Theory 教科书。我非常喜欢它。
Hernan 选择偏倚 Hernan 等人通过 DAG 对选择偏倚的很好的总结。

经典机器学习/数据科学 NOS

文件 描述
Roughgarden SVD 讲义 来自Tim Roughgarden 的 CS168 课程在斯坦福大学对 SVD 的非常精彩的展示。
Roughgarden PCA 讲义 来自Tim Roughgarden 的 CS168 课程在斯坦福大学对 PCA 的非常精彩的展示。

贝叶斯机器学习

文件 描述
Blei 指数分布/变分推断 我特别喜欢的 Blei 的2011 概率建模课程的一些课程笔记。
Blei 变分推断综述 David Blei 提供的变分推断概述，可在arxiv上找到

深度学习

文件 描述
对抗样本/鲁棒 ML 第一部分, 第二部分, 和 第三部分 Madry 实验室是鲁棒深度学习研究领域的顶尖研究小组之一。他们在博客上整理了对这些主题的极佳介绍。希望他们能继续发布…
Distill 注意力机制 对注意力机制及其（早期）变体的惊人清晰的展示
Distill 构建可解释性 我见过的最酷的神经网络内部可视化
Distill 特征可视化 一贯的主题：如果只有 distill.pub，就读它。
Chris Olah 理解 LSTMs Chris Olah 是他的领域的专家，这里提供了 LSTMs 和 GRUs 的极佳概述。
联邦学习简介 Andrew Trask 等人提供的联邦学习和 PySyft 简介，使用 PyTorch。

自然语言处理

文件 描述
Chris Olah 关于词嵌入 Chris Olah 解释词嵌入及相关内容。
注释版 Transformer 哈佛的 Sasha Rush 创建了“Attention is All You Need”的逐行注释，也作为一个工作笔记本。教育上的卓越，能够每年为几篇论文做这样的工作将会非常棒。
Goldberg 的 NLP 神经网络入门 Yoav Goldberg 提供的深度学习在 NLP 中的概述，下载链接。
Neubig 的 NLP 神经网络教程 Graham Neubig 提供的深度学习在 NLP 中的概述。下载链接，并与他的课程和视频很好地配对。

强化学习

文件 描述
Karpathy 的像素 Pong Andrej Karpathy 在教学方面有真正的天赋。这是一个自足的深度强化学习解释，足以理解一个基础的 Atari 代理。
Weng 对强化学习的深入了解 一篇很好的博客文章，涵盖了强化学习的基础知识
OpenAI 的强化学习简介 OpenAI 新的“深度强化学习入门”网站的入门教程

信息论

文件 描述
Chris Olah 视觉信息理论 一如既往，Chris Olah 提供了一个在文字和图像方面都很出色的演示。目的是可视化信息理论的关键概念。
基于最大熵原理推导概率分布 这感觉有点自我宣传，但我写这篇文章是为了更好地理解如何利用信息论从基本原理推导常见的概率分布。
推导多变量高斯分布的信息熵 另一篇我写的博客文章，旨在尝试理解信息论和统计学。

优化

文件 描述
Ruder 梯度下降概述 (PDF 在这里) 梯度下降算法的优秀概述。
Bottou 大规模优化 Bottou、Curtis 和 Nocedal 的优化笔记。下载自arxiv。

速查表

数学

文件 描述
概率速查表 概率速查表，来自威廉·陈的github
CS 229 TA 速查表 2018 2018 年斯坦福机器学习课程的 TA 速查表，Github 仓库在这里。
CS 理论速查表 CS 理论速查表，最初访问这里

编程

文件 描述
R dplyr 速查表 Hadley 的出色数据处理包 dplyr 的速查表。来自RStudio
R ggplot2 速查表 Hadley 的出色绘图包 ggplot2 的速查表。来自RStudio
SQL 连接备忘单 经典 SQL 连接的图形描述以及示例代码。
Python pandas 备忘单 Python 数据处理包 pandas 的备忘单。下载自 这里。
Python numpy 备忘单 Python 数值包 numpy 的备忘单。下载自 Datacamp。
Python keras 备忘单 Python 神经网络包 keras 的备忘单。下载自 Datacamp。
Python scikit-learn 备忘单 Python 机器学习包 scikit-learn 的备忘单。下载自 Datacamp。
Python seaborn 教程 Python 绘图系统 seaborn 的教程。尚未找到很棒的 matplotlib 教程。
图形设计备忘单 可爱的小图形设计备忘单，下载自 这里。

杂项网站

文件 描述
Chris Olah 的博客 这里的内容几乎都是珍贵的。我非常感激他在这些帖子上投入的时间。
distill.pub Distill 在超级博客和研究期刊之间导航，填补了一个非常有趣的空白。希望我们能有更多这样的出版物。
Pytorch 教程 Pytorch 开发者发布的教程非常棒。很容易理解为什么社区在快速增长。
Sebastian Ruder 的博客 Sebastian 提供了很多非常好的解释，比如我上面链接的关于梯度下降方法的解释。他还维护了一个 跟踪 NLP 基准进展的网站。
ShortScience 这个网站包含机器学习、计算机科学和生物学论文的公共总结/讨论。
伯克利人工智能研究（BAIR）博客 BAIR 产生了大量优秀的研究，并利用这个博客发布其论文的更易懂的展示。
Off the Convex Path 机器学习和优化的优质博客。
Ferenc Huszár 的博客 相当受欢迎的博客，包含了很多对机器学习的探讨和思考，作者有着严谨的数学视角。
Thibaut Lienart 的博客 这个网站有一些关于数学和优化的笔记，看起来很有趣。

简介：Sam Finlayson 是哈佛/麻省理工学院的 MD-PhD 学生，目前从事医学中的机器学习工作。

资源：

相关：

更多相关话题