​

 在hive控制台设置执行 set mapred.max.split.size=100000 时报错：cannot modify mapred.max.split.size at runtime。

问题描述

合并小文件可在map 端进行参数设置。
set hive.input.format 查看输入格式
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat （默认格式）

set mapred.max.split.size=100000000;  #每个Map最大输入大小

执行报错

解决方案：

在hive-site.xml 修改参数：

ambari-》hive-》configs配置参数

hive.security.authorization.sqlstd.confwhitelist.append=mapred.*|hive.*|mapreduce.*|spark.*

​

转载至：https://www.w2us.com/article/131

注意：本文归作者所有，未经作者允许，不得转载