Hadoop是否要使用RAID存储?
namenode存放的是元数据,这部分数据要放在raid5或者raid1存储中,实现对数据冗余,避免磁盘损坏丢失。 datanode存储的数据,则不应该放在RAID存储中,而是使用多个单独磁盘。HDFS自身拥有节点间的数据复制技术,实现了自我冗余,不需要依赖外部冗余措施。另外,RAID速度也要比HDFS的JBOD(just a bunch of disks)慢。也不建议使用LVM存储。
Read morenamenode存放的是元数据,这部分数据要放在raid5或者raid1存储中,实现对数据冗余,避免磁盘损坏丢失。 datanode存储的数据,则不应该放在RAID存储中,而是使用多个单独磁盘。HDFS自身拥有节点间的数据复制技术,实现了自我冗余,不需要依赖外部冗余措施。另外,RAID速度也要比HDFS的JBOD(just a bunch of disks)慢。也不建议使用LVM存储。
Read more