并行计算与机器学习(1/3)（中文） Parallel Computing for Machine Learning (Part 1/3)

大数据时代的机器学习面临计算量的挑战。这节课里，我给大家讲解并行计算的基础，已经如何用MapReduce实现并行梯度下降。
这节课的主要内容：
0:28 Motivation：并行计算有什么用？为什么机器学习的人需要懂并行计算。
2:42 最小二乘回归（如果已经懂最小二乘，建议跳到 6:43 ）。
6:43 用并行计算来解最小二乘回归。
11:14 并行计算中的通信问题。
13:10 MapReduce，已经如何用MapReduce实现并行梯度下降，以及通信、同步的问题
并行计算与机器学习课程所有视频：
1. 并行计算基础以及MapReduce： https://youtu.be/gVcnOe6_c6Q
2. 参数服务器、去中心化： https://youtu.be/Aga2Lxp3G7M
3. Ring All-Reduce： https://youtu.be/rj-hjS5L8Bw
4. 联邦学习： https://youtu.be/STxtRucv_zo
课件：https://github.com/wangshusen/DeepLearning/blob/master/Slides/14_Parallel_1.pdf
讲义：
https://github.com/wangshusen/DeepLearning/blob/master/LectureNotes/Parallel/Parallel.pdf
CS583: Deep Learning的其他课件：https://github.com/wangshusen/DeepLearning

Видео 并行计算与机器学习(1/3)（中文） Parallel Computing for Machine Learning (Part 1/3) канала Shusen Wang