HDFS架构设计及副本放置策略
HDFS主要由3个组件构成,分别是NameNode、SecondaryNameNode和DataNode,HSFS是以master/slave模式运行的,其中NameNode、SecondaryNameNode 运行在master节点,DataNode运行slave节点。
NameNode和DataNode架构图
NameNode(名称节点)
存储:元信息的种类,包含:
- 文件名称
- 文件目录结构
- 文件的属性[权限,创建时间,副本数]
- 文件对应哪些数据块–>数据块对应哪些datanode节点
- 作用:
- 管理着文件系统命名空间
- 维护这文件系统树及树中的所有文件和目录
- 维护所有这些文件或目录的打开、关闭、移动、重命名等操作
DataNode(数据节点)
存储:数据块、数据块校验、与NameNode通信
作用: