ZKX's LAB

Hive常见属性配置 hive 服务进程

2021-04-08知识5

hive中提交的任务进程总是跑一半后被系统杀掉是怎么回事 kmzx.com 广告 激光美容的价格 嫩肤380元 波尿酸380元 025yxzx.com 广告 加载失败 点击重新加载 向网友提问 微信 微博 QQ QQ空间 答案纠错 。电脑版 ?2020Baidu 。

如何进行Hive debug 本文主要总结我在使2113用HQL执行Query类操5261作时用到的DEBUG方法,主要有这么几板斧:4102打开hive DEBUG日志1653explain查看plan.xml使用IDE远程Debug下面一一简单说明下方法,例子先不举了,一时手头没特合适的CASE。打开hive DEBUG日志这个比较基本,也很容易操作。出问题时先打开,兴许有些有用的信息。另外我们自己的UDF或SerDe里也可以输出些DEBUG日志,方便定位问题:hive-hiveconf hive.root.logger=DEBUG,consoleexplain即在HQL前加上EXPLAIN,比如EXPLAIN SELECT*FROM.不过这个在查错误的时候用处不大,我还没用它定位到什么BUG。不过在查一些性能问题,或者查看下hive到MR任务的执行过程时会用得着查看plan.xml先得说下hive的执行过程。大体上是这样的:hive 客户端(一般是hive cli,入口类为CliDriver)把HQL翻译成MR执行计划(Operator树)并序列化到 plan.xmlplan.xml 上传到hdfs上hive 客户端新起一进程,提交MapReduce程序,其入口类为ExecDriver,ExecDriver的Mapper会在setup阶段读取plan.xml,反序列化成Operator树结构,然后执行。所以plan.xml精确的描述了MR程序具体的执行过程,而且xml文件层次清楚,比explain输出更丰富的。

Hive常见属性配置,Hive常见属性配置步骤详解 2)在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹。

随机阅读

qrcode
访问手机版