ZKX's LAB

hadoop 数据目录 Hadoop相关数据库

2021-04-10知识3

hadoop的数据存储 存放到HDFS 一般都是要分2113析的数据。5261分析完成的数据直接存储到4102MYSQL 或者ORACLE 中。这种处理方式是1653离线处理。如日志文件存储到hdfs 分析出网站的流量 UV PV 等等。一般都是用pig hive 和mr 等进行分析的。存放到HBASE 一般都是数据拿过来直接用的。而且他是实时的。也就是说数据就是成型的而且不需要进行分析就能得到结果的数据。大致就是这么个意思。有点啰嗦了。

hadoop hdfs的默认目录问题 frostfish425说的是对的!抄/user/hadoop是安装目录,2113就是说你hadoop相关的配置和代码都5261是放在这个4102位置,这个你自己定就可1653以了,但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录,也就是数据存放目录,在hdfs-site.xml中配置的,当然你也可以改变这个目录!这个目录挂载的磁盘要足够大,不然数据存放不下,你初始化的时候报的这个Storage directory/tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录,意思就是告诉你,数据存放目录已经创建成功了!

Hadoop相关数据库 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google 。

随机阅读

qrcode
访问手机版