Hadoop到底是干什么用的？ 原文：https：// blog.csdn.net/qq_326495 81/article/details/82892861 ？ 495 ？ ？ 24 条评论 ？ ？ ？ 喜欢 ？ 继续浏览内容 知乎 发现更大的世界 。
用 java遍历hadoop分布式文件系统中某个目录下的全部文件，我的hadoop是单节点的 原因：你访问的是本地文件系统而非hdfs，因为Configuration默认的是在core-default.xml中的属性fs.default.name默认值是file：/，表示本地文件系统。在我们new Configuration()；时会默认加载core-default.xml文件，所以根据这个文件的fs.default.name值使用了本地文件系统。解决方法：一般安装hadoop时都是修改core-site.xml文件，这个文件设置的属性值一般使用来覆盖core-default.xml这个文件的，在core-site.xml文件中会设置fs.default.name值为hadoop的namenode的地址以及端口号，如hdfs：/localhost：9000，即表示namenode是本机，也就是为分布式。所以我们在连接hdfs时需要指定连接的地址，也就是hadoop集群中core-site.xml中fs.default.name属性值。所以解决方法有三种：1）在代码Configuration conf=new Configuration()；之后手动为Configuration对象设置fs.default.name属性值，如：conf.set(\"fs.default.name\"，\"hdfs：localhost：9000\")；2）在代码的classpath下创建一个文件，在文件中设置fs.default.name属性值，再使用conf.addResource(\"文件路径\")将该文件添加到Configuration中；3）直接将集群的core-site.xml添加到classpath下即可，无需手动添加到。
Hadoop hadoop.tmp.dir 配置的目录下数据可以删除吗？ 不可以随意删。Hadoop的HDFS、MapReduce、Yarn（Spark、MR作业的shuffle）的很多配置路径默认是依赖该参数的值，删除后很可能会影响HDFS（元数据、数据）、Yarn的作业，最好是看下hdfs-site yarn-site 等xml文件中对该参数的依赖。
请问在hadoop中，文件是存储在那里的，是在本地系统吗？？在本地系统是否可以找到或看得见？ Hadoop集群存储数据肯定还是要存放到本地的，在本地也能看见Hadoop集群存储的文件，不过是以快形式出现的，文件里的内容本地看不出来，具体的本地存储路径为dfs.data.dir配置项配置的参数。
hadoop dn目录的数据如何清理 安装的是CDH4.3，DataNode配置的目录是/home/dfs/dn，现在发现已使用1.4T了，请问下，这个目录的文件用什么命令清理？有说修改dfs.blockreport.intervalMsec配置，这个。
为什么Hadoop的logs目录下的hadoop-root-namenode-Master.log文件可以达到10个G
