高级分布式系统-第15讲 分布式机器学习--分布式机器学习算法

高级分布式系统汇总：高级分布式系统目录汇总-CSDN博客

分布式机器学习算法

按照通信步调，大致可以分为同步算法和异步算法两大类。

同步算法下，通信过程中有一个显式的全局同步状态，称之为同步屏障。当工作节点运行到同步屏障 ，就会进入等待状态，直到其工作节点均运行到同步屏障为止。接下来不同工作节点的信息被聚合并分发回来，然后各个工作节点据此开展下一轮的模型训练。

异步算法下，各个工作节点不再需要等待，而是以一个或多个全局服务器为作为中介，实现对全局模型的更新和读取。这样可以显著减少通信时间，从而获得更好的多机扩展性。

同步算法--同步SGD算法（SSGD）

同步算法--同步SGD算法（SSGD）最基础的同步算