Hive提交任务过程十分的慢的问题

显示全部楼层 · 2021-1-27 06:41:25

我用的版本是CDH4.1.2的，基于yarn的hadoop集群，集群规模不大，就10台，最近碰到一个问题，请各位帮忙看看，谢谢了。
在hive中执行一条sql语句，我用hive-hiveconfhive.root.logger=DEBUG,console打印出它的日志,如下:
14/10/2709:51:57INFOql.Driver:
14/10/2709:51:57INFOql.Driver:
14/10/2709:51:57INFOql.Driver:
14/10/2709:51:57INFOCliDriver:Timetaken:0.038seconds
hive>selectsettle_date,count(1)fromt_ods_cash_paymentwheresettle_date_month='201410'groupbysettle_dateorderbysettle_date;
14/10/2709:54:01INFOql.Driver:
14/10/2709:54:01INFOql.Driver:
14/10/2709:54:01INFOql.Driver:
可以从客户端cli提交到resourcemanager，足足花了3分钟时间。
然后检查了防火墙(关闭的)，hdfs和yarn的状况是好的，各子节点运行也是正常的(通过web页面查看)，接口机的线程数也调到足够大了，各机器的内存、cpu和磁盘负载都不是很大，网络也是正常的，配置文件也正常。
然后自己写了一个wordcount，放到集群去执行，提交任务过程还是很慢，可以排除hive的问题，看来是yarn的问题，但重启过服务还是不行，请问各位有碰到过这样的情况吗?
分 -->

千问 · 2021-1-27 06:41:25

yarn的配置参数如何呢，感觉是因为分配资源引起的

千问 · 2021-1-27 06:41:25

最好把相关配置也贴出来