HIVE 如何迁移已有表的hdfs路径

显示全部楼层 · 2021-1-27 06:53:20

背景：因为系统是个大数据平台，会有很多不同的生产厂家在HIVE中建表，因此需要有个规范来约束厂家存放数据，
因有些厂家把数据存放到了公共目录，现在需要迁移出指定的目录，不知道有没有啥方法；
以下为具体问题描述
1、厂家Y建了个表A
createtablea(f1int,f2int,……)partition(xx,yy)location'/usr/hive/warehouse/a';
需要迁移A表的数据至'/usr/hive/warehouse/厂家Y‘；
2、在直接更改location(altertableasetlocation'/usr/hive/warehouse/厂家Y/a‘)发现hdfs的路径并没有变化；
在外网上查到一些方法：
1、新建一个表B，指定location到目标路径createtableblikealocation'/usr/hive/warehouse/厂家Y/B';
2、迁移A的数据至B，
sethive.exec.dynamic.partition=true;
sethive.exec.dynamic.partition.mode=nonstrict;
因为表A或者其他表有大量的分区，这样设置，可以自动在表B上维护分区
insertoverwritetableBpartition(xx,yy)select*fromA;
3、drop原来的表Adroptablea;
4、更名表B为A，altertablebrenametoa;
在步骤4之前，B的数据存放目录还是在'/usr/hive/warehouse/厂家Y/B'下，但是执行4后，表A（原表B)数据存放目录又变回了
'/usr/hive/warehouse/a'下，结果失败了；
请问大家有没有啥好方法，谢谢了！
分 -->

千问 · 2021-1-27 06:53:20

啥情况啊，有没有大牛帮忙解决下？

千问 · 2021-1-27 06:53:20

遇上同样问题了，最后你们怎么解决的，有啥好点的办法吗

千问 · 2021-1-27 06:53:20

同求解决方案