MXNet和caffe、theano的关系

caffe是很优秀的dl平台。影响了后面很多相关框架。cxxnet借鉴了很多caffe的思想。相比之下，cxxnet在实现上更加干净，例如依赖很少，通过mshadow的模板化使得gpu和cpu代码只用写一份，分布式接口也很干净。mxnet是cxxnet的下一代，目前实现了cxxnet所有功能，但借鉴了minerva/torch7/theano，加入更多新的功能。ndarray编程接口，类似matlab/numpy.ndarray/torch.tensor。独有优势在于通过背后的engine可以在性能上和内存使用上更优symbolic接口。这个可以使得快速构建一个神经网络，和自动求导。更多binding 目前支持比较好的是python，马上会有julia和R更加方便的多卡和多机运行性能上更优。目前mxnet比cxxnet快40%，而且gpu内存使用少了一半。目前mxnet还在快速发展中。这个月的主要方向有三，更多的binding，更好的文档，和更多的应用。