TensorFlow白皮书读后感

Google Brain 出品的第一代分布式机器学习的系统名叫 DistBelief，TensorFlow 是他的二代改良版，针对真对学习做了特殊优化。支持单机/单机多卡/集群，支持不同平台，如 CPU/GPU，iOS/Android，支持 Python/C++调用接口。

编程模型使用图的方式，好处是 tf 可以通过 placement 算法将图放入不同节点（如果是多个 device）

数据在图中以流的方式传递

Variables 都有相应的 backup 节点

不同的 Device 对图中边做修改，增加 Send/Recv 节点，worker 直接控制下一个是哪个 device 运行，降低了 master 的任务量，便于扩容

可以在图中定义 node 在哪个/哪种 device 上运行，可以定义哪几个 node 要在一个 device 上运行，可以优化空间，减少传输

占坑，明儿继续