ZKX's LAB

Hadoop不同salve节点可以区分以处理不同的指定数据吗? hadoop指定数据目录下

2021-04-23知识2

hadoop中怎么创建文件夹? 从fs-ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。frostfish425说的是对的!user/hadoop是安装目录,就是说你hadoop相关的配置和代码都是放在这个位置,这个你自己定就可以了,但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录,也就是数据存放目录,在hdfs-site.xml中配置的,当然你也可以改变这个目录!这个目录挂载的磁盘要足够大,不然数据存放不下,你初始化的时候报的这个Storage directory/tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录,意思就是告诉你,数据存放目录已经创建成功了!

安装hadoop JDK已安装好 用户也配置完了 hadoop已经拷到指定文件夹 但hadoop服务无法启动 怎么办 服务无法启动有报什么错吗?你hadoop的配置文件配置了吗

用 java遍历hadoop分布式文件系统中某个目录下的全部文件,我的hadoop是单节点的 原因:你访问的是本地文件系统而非hdfs,因为Configuration默认的是在core-default.xml中的属性fs.default.name默认值是file:/,表示本地文件系统。在我们new Configuration();时会默认加载core-default.xml文件,所以根据这个文件的fs.default.name值使用了本地文件系统。解决方法:一般安装hadoop时都是修改core-site.xml文件,这个文件设置的属性值一般使用来覆盖core-default.xml这个文件的,在core-site.xml文件中会设置fs.default.name值为hadoop的namenode的地址以及端口号,如hdfs:/localhost:9000,即表示namenode是本机,也就是为分布式。所以我们在连接hdfs时需要指定连接的地址,也就是hadoop集群中core-site.xml中fs.default.name属性值。所以解决方法有三种:1)在代码Configuration conf=new Configuration();之后手动为Configuration对象设置fs.default.name属性值,如:conf.set(\"fs.default.name\",\"hdfs:localhost:9000\");2)在代码的classpath下创建一个文件,在文件中设置fs.default.name属性值,再使用conf.addResource(\"文件路径\")将该文件添加到Configuration中;3)直接将集群的core-site.xml添加到classpath下即可,无需手动添加到。

#hadoop目录结构#hadoop指定数据目录下

随机阅读

qrcode
访问手机版