集群磁盘损坏导致hadoop文件丢失的概率计算

在与客户沟通的时候，经常会有客户询问关于hadoop的安全问题。由于hadoop的底层的磁盘不做raid或者仅仅是做raid 0，客户认为磁盘损坏容易造成数据丢失。你跟客户阐述采用3副本机制，客户也会说：即使3副本也会有3块不同节点的磁盘同时损坏的可能啊！这时候我会跟客户举例子算一下三个不同节点的磁盘同时损坏的概率。

为了简单起见，我们假如数据节点上的文件都小于64MB，这样这些文件的每一个都在hdfs上仅有3个block块，分布在三个不同的数据节点中。假设磁盘在一年中某一天某一时刻损坏的概率是p=1/1000（非常保守的假设），总共有5个数据节点，每个数据节点10块磁盘，分布在三个不同数据节点的磁盘同时损坏的概率计算如下：



计算结果为0.001%。假如磁盘在某一天某一时刻损坏的概率为1/10000，这样得到的三个在不同节点上的磁盘同时损坏的概率小于0.000001%。

实际上，三个损坏的磁盘不一定同时存储一个文件的三个block块，所以文件丢失的概率远远要小于磁盘同时损坏的概率。所以，如果hadoop中数据采用3副本，磁盘不做raid 1或者raid 5，数据都是安全的。除非hadoop的元数据损坏。