python3.6如何连接hive？ hive_config={ 'mapreduce.job.queuename'：'my_hive'，'hive.exec.compress.output'： 'false'，'hive.exec.compress.intermediate'： 'true'，'mapred.min.split.size.per.node。
是否有必要使用Flink替换传统批处理平台？ 最近流计算十分火爆，流批全一的框架也在不断推广，不断有互联网企业推进实时数仓的框架演变图。那么对于…
索引，分区和分桶的区别 一、索引简介Hive支持索引，但是e69da5e887aa3231313335323631343130323136353331333366303062Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。为什么要创建索引？Hive的索引目的是提高Hive表指定列的查询速度。没有索引时，类似'WHERE tab1.col1=10' 的查询，Hive会加载整张表或分区，然后处理所有的rows，但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引表和需要更多的磁盘空间存储索引。二、分区简介为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中每个分区对应着表很多的子目录，将所有的数据按照分区列放入到不同的子目录中去。为什么要分区？庞大的数据集可能需要耗费大量的。
