下面哪个程序负责hdfs数据存储 存放到HDFS 一般都是要分析的数据。分析完成的数据直接存储到MYSQL 或者ORACLE 中。这种处理方式是离线处理。如日志文件存储到hdfs 分析出网站的流量 UV PV 等等。一般都是。
HDFS 上每个数据节点最多能存多少,多大的数据 hadoop 的datanode上存储多少数据就是由该datanode的磁盘空间决定的,配置文件中dfs.data.dir参数指定了hdfs数据存放目录(多个目录由逗号分隔),设置好该参数后,这个datanode节点的最大存储空间就由设定目录的空间决定。
hadoop hdfs的默认目录问题 frostfish425说的是对的!抄/user/hadoop是安装目录,2113就是说你hadoop相关的配置和代码都5261是放在这个4102位置,这个你自己定就可1653以了,但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录,也就是数据存放目录,在hdfs-site.xml中配置的,当然你也可以改变这个目录!这个目录挂载的磁盘要足够大,不然数据存放不下,你初始化的时候报的这个Storage directory/tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录,意思就是告诉你,数据存放目录已经创建成功了!