spark从hive数据仓库中读取的数据可以使用sparksql进行查询吗 1、为了让Spark能够连接到Hive的原有数据仓库，我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放。在这里由于我的Spark是自动安装和部署的，因此需要知道CDH将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。同理，spark的conf也是在/etc/spark/conf。此时，如上所述，将对应的hive-site.xml拷贝到spark/conf目录下即可如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。2、编写测试代码val conf=new SparkConf().setAppName(\"Spark-Hive\").setMaster(\"local\")val sc=new SparkContext(conf)create hivecontextval sqlContext=new org.apache.spark.sql.hive.HiveContext(sc)sqlContext.sql(\"CREATE TABLE IF NOT EXISTS src(key INT，value STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t'\")/这里需要注意数据的间隔符sqlContext.sql(\"LOAD DATA INPATH '/user/liujiyu/spark/kv1.txt' INTO TABLE src\")；sqlContext.sql(\"SELECT*FROM jn1\").collect().foreach(println)sc.stop()3。
hive中创建外部分区表使用location是指定数据存放位置还是指数据来源 共6 59分粑粑 LV.1 2020-03-08 关注 指定数据存放位置，如果没有指定，就会在hdfs的默认位置建立表文件。Hive 没有专门的数据存储格式，也没有为数据建立索引，用户。
hive在数据仓库中的应用，数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。Hive起源于Faceook（一个美国的社交。
