hive 生成小文件自动合并设置
Hive生成小文件自动合并设置主要通过以下几种方法实现：
1. 使用concatenate方法：对于非分区表，使用`alter table tablename concatenate`；对于分区表，使用`alter table tablename partition(dt=20201224) concatenate`。这种方法使用方便，但只支持RCFILE和ORC文件类型，需要执行多次才能把文件合并为1个。
2. 使用insert overwrite方法：`insert overwrite table tableName partition(dt=2022031100) select column1,column2 from tableName where dt=2022031100`。这种方法支持所有数据类型，但select的字段需要自己拼起来，select *的话，由于带有dt字段，无法写入新分区。
3. 设置Hive参数：开启合并MapReduce任务输出的小文件，使用`set hive.merge.mapredfiles=true`；合并后的文件大小，使用`set hive.merge.size.per.task=256000000`；触发小文件合并任务的阈值，使用`set hive.merge.smallfiles.avgsize=16000000`。
需要注意的是，这些方法和设置可以根据具体的业务需求和数据量进行调整。
标签： #科技数码
郑重声明：图文由自媒体作者发布，我们尊重原作版权，但因数量庞大无法逐一核实，图片与文字所有方如有疑问可与我们联系，核实后我们将予以删除。
