這篇文章將為大家詳細(xì)講解有關(guān)Hive使用過程有什么坑，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供新會(huì)網(wǎng)站建設(shè)、新會(huì)做網(wǎng)站、新會(huì)網(wǎng)站設(shè)計(jì)、新會(huì)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、新會(huì)企業(yè)網(wǎng)站模板建站服務(wù)，10余年新會(huì)做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

1. 在使用INSERT OVERWRITE DIRECTORY語(yǔ)句的時(shí)候報(bào)出如下異常

Caused by: java.io.IOException: Cannot get DistCp constructor: org.apache.hadoop.tools.DistCp.()
        at org.apache.hadoop.hive.shims.Hadoop23Shims.runDistCp(Hadoop23Shims.java:1160)
        at org.apache.hadoop.hive.common.FileUtils.copy(FileUtils.java:553)
        at org.apache.hadoop.hive.ql.metadata.Hive.moveFile(Hive.java:2622)
        ... 21 more

環(huán)境：hive-1.2.1 hadoop-2.7.2

錯(cuò)誤原因：

hadoop-2.7.2源代碼中org.apache.hadoop.tools.DistCp的無參構(gòu)造方法已經(jīng)取消public。

  /**
   * To be used with the ToolRunner. Not for public consumption.
   */
  @VisibleForTesting
  DistCp() {}

而hive-1.2.1中使用反射機(jī)制初始化org.apache.hadoop.tools.DistCp時(shí)，調(diào)用的正是無參構(gòu)造方法。

@Override
  public boolean runDistCp(Path src, Path dst, Configuration conf) throws IOException {
    int rc;

    // Creates the command-line parameters for distcp
    String[] params = {"-update", "-skipcrccheck", src.toString(), dst.toString()};

    try {
      Class clazzDistCp = Class.forName("org.apache.hadoop.tools.DistCp");
      Constructor c = clazzDistCp.getConstructor();
      c.setAccessible(true);
      Tool distcp = (Tool)c.newInstance();
      distcp.setConf(conf);
      rc = distcp.run(params);
    } catch (ClassNotFoundException e) {
      throw new IOException("Cannot find DistCp class package: " + e.getMessage());
    } catch (NoSuchMethodException e) {
      throw new IOException("Cannot get DistCp constructor: " + e.getMessage());
    } catch (Exception e) {
      throw new IOException("Cannot execute DistCp process: " + e, e);
    }

    return (0 == rc);
  }

解決方案：使用老版本的hadoop-distcp-x.x.x.jar，我這里使用的是hadoop-distcp-2.6.2.jar。

  @VisibleForTesting
  public DistCp() {}

關(guān)于“Hive使用過程有什么坑”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。