如何在Java中執(zhí)行Hive命令或HiveQL

Java在1.5過后提供了ProcessBuilder根據(jù)運行時環(huán)境啟動一個Process調(diào)用執(zhí)行運行時環(huán)境下的命令或應(yīng)用程序（1.5以前使用Runtime），關(guān)于ProcessBuilder請參考Java相關(guān)文檔。調(diào)用代碼如下：

網(wǎng)站建設(shè)公司,為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁設(shè)計及定制網(wǎng)站建設(shè)服務(wù),專注于企業(yè)網(wǎng)站設(shè)計,高端網(wǎng)頁制作,對成都航空箱等多個行業(yè)擁有豐富的網(wǎng)站建設(shè)經(jīng)驗的網(wǎng)站建設(shè)公司。專業(yè)網(wǎng)站設(shè)計,網(wǎng)站優(yōu)化推廣哪家好,專業(yè)seo優(yōu)化優(yōu)化,H5建站,響應(yīng)式網(wǎng)站。

String sql="show tables; select * from test_tb limit 10";

ListString command = new ArrayListString();

command.add("hive");

command.add("-e");

command.add(sql);

ListString results = new ArrayListString();

ProcessBuilder hiveProcessBuilder = new ProcessBuilder(command);

hiveProcess = hiveProcessBuilder.start();

BufferedReader br = new BufferedReader(new InputStreamReader(

hiveProcess.getInputStream()));

String data = null;

while ((data = br.readLine()) != null) {

results.add(data);

}

其中command可以是其它Hive命令，不一定是HiveQL。

java運行hiveQL，如何獲取并打印日志信息？

log4j 可以打印日志

首先把log4j.jar文件考到工程里面,然后把log4j.properties考到工程項目的src下。

log4j.properties文件配置如下:

log4j.rootLogger=DEBUG, A1 ,R

log4j.appender.A1=org.apache.log4j.ConsoleAppender

log4j.appender.A1.layout=org.apache.log4j.PatternLayout

log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss} [%c]-[%p] %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender

log4j.appender.R.File=D:\\Test_Log4j.log

log4j.appender.R.MaxFileSize=100KB log4j.appender.R.MaxBackupIndex=1

log4j.appender.R.layout=org.apache.log4j.PatternLayout

log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

以上參數(shù)下面有詳解.

LogTest.java代碼如下

package com.log4j.junit;

import org.apache.log4j.Logger;

import org.apache.log4j.PropertyConfigurator;

import com.log4j.dao.EmployeeDao;

import com.log4j.entity.Employee;

/**

* 采用log4j打印日志類

* @author Administrator

*

*/

public class LogTest {

/**

* 采用單例模式

*/

static Logger logger = null;

public static void testAddMethod(EmployeeDao empDao,Employee emp) throws ClassNotFoundException{

logger=Logger.getLogger(EmployeeDao.class.getName());

PropertyConfigurator.configure(".\\src\\log4j.properties");

logger.info("Info "+EmployeeDao.class.getName()+"\t "+" \t param="+emp.getClass().getName());

//獲取類的相應(yīng)方法

logger.warn("Warn ...");

logger.error("Error ...");

}

}

EmployeeDao.java文件代碼如下:

package com.log4j.dao;

import com.log4j.entity.Employee;

public class EmployeeDao {

public void addEmployee(Employee emp){

System.out.println(emp.getEmpId()+" "+emp.getEmpName());

}

}

Employee.java代碼如下:

package com.log4j.entity;

public class Employee {

private int empId;

private String empName;

public int getEmpId() {

return empId;

}

public void setEmpId(int empId) {

this.empId = empId;

}

public String getEmpName() {

return empName;

}

public void setEmpName(String empName) {

this.empName = empName;

}

}

EmployeeJuint.java代碼如下:

package com.log4j.junit;

import org.junit.Test;

import com.log4j.dao.EmployeeDao;

import com.log4j.entity.Employee;

/**

* 測試員工使用log4j打印日志junit

* @author tfq

* datetime 2011-08-14

*/

public class EmployeeJuint {

@Test

public void addEmployee(){

Employee emp=new Employee();

emp.setEmpId(1);

emp.setEmpName("tfq");

EmployeeDao empDao=new EmployeeDao();

//打印日志

//LogTest.testAddMethod(EmployeeDao.class.getName());

//LogTest.testAddMethod(empDao);

try {

LogTest.testAddMethod(empDao,emp);

empDao.addEmployee(emp);

} catch (ClassNotFoundException e) {

e.printStackTrace();

}

}

}

運行EmployeeJuint .java中的addEmployee().在D盤的Test_Log4j.log會有如下記錄:

param=com.log4j.entity.Employee

WARN main com.log4j.dao.EmployeeDao - Warn ...

ERROR main com.log4j.dao.EmployeeDao - Error ..

下面是lo4j.propertites中配置詳解:

1、定義配置文件

首先使用配置文件將使我們的應(yīng)用程序更加靈活配置log日志輸出方式包括輸出優(yōu)先級、輸出目的地、輸出格式。Log4j支持兩種配置文件格式，一種是 XML格式的文件，一種是Java特性文件log4j.properties（鍵=值）。下面將介紹使用log4j.properties文件作為配置文 件的方法：

①配置根Logger，其語法為：0

log4j.rootLogger = [ level ] , appenderName, appenderName, …

其中，level 是日志記錄的優(yōu)先級，分為OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者自定義的級別。Log4j建議只使用四個級別，優(yōu) 先級從高到低分別是ERROR、WARN、INFO、DEBUG。通過在這里定義的級別，您可以控制到應(yīng)用程序中相應(yīng)級別的日志信息的開關(guān)。比如在這里定 義了INFO級別，則應(yīng)用程序中所有DEBUG級別的日志信息將不被打印出來。 appenderName就是指定日志信息輸出到哪個地方?？赏瑫r指定多個輸出目的地。

②配置日志信息輸出目的地Appender，其語法為：

log4j.appender.appenderName = fully.qualified.name.of.appender.class

log4j.appender.appenderName.option1 = value1

…

log4j.appender.appenderName.option = valueN

其中，Log4j提供的appender有以下幾種：

org.apache.log4j.ConsoleAppender（控制臺），

org.apache.log4j.FileAppender（文件），

org.apache.log4j.DailyRollingFileAppender（每天產(chǎn)生一個日志文件），

org.apache.log4j.RollingFileAppender（文件大小到達指定尺寸的時候產(chǎn)生一個新的文件），

org.apache.log4j.WriterAppender（將日志信息以流格式發(fā)送到任意指定的地方）

③配置日志信息的格式（布局），其語法為：

log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class

log4j.appender.appenderName.layout.option1 = value1

…

log4j.appender.appenderName.layout.option = valueN

其中，Log4j提供的layout有以下幾種：

org.apache.log4j.HTMLLayout（以HTML表格形式布局），

org.apache.log4j.PatternLayout（可以靈活地指定布局模式），

org.apache.log4j.SimpleLayout（包含日志信息的級別和信息字符串），

org.apache.log4j.TTCCLayout（包含日志產(chǎn)生的時間、線程、類別等等信息）

Log4J采用類似C語言中的printf函數(shù)的打印格式格式化日志信息，打印參數(shù)如下： %m 輸出代碼中指定的消息

%p 輸出優(yōu)先級，即DEBUG，INFO，WARN，ERROR，F(xiàn)ATAL

%r 輸出自應(yīng)用啟動到輸出該log信息耗費的毫秒數(shù)

%c 輸出所屬的類目，通常就是所在類的全名

%t 輸出產(chǎn)生該日志事件的線程名

%n 輸出一個回車換行符，Windows平臺為“\r\n”，Unix平臺為“\n”

%d 輸出日志時間點的日期或時間，默認格式為ISO8601，也可以在其后指定格式，比如：%d{yyy MMM dd HH:mm:ss,SSS}，輸出類似：2002年10月18日 22：10：28，921

%l 輸出日志事件的發(fā)生位置，包括類目名、發(fā)生的線程，以及在代碼中的行數(shù)。舉例：Testlog4.main(TestLog4.java:10)

2、在代碼中使用Log4j

①得到記錄器

使用Log4j，第一步就是獲取日志記錄器，這個記錄器將負責(zé)控制日志信息。其語法為：

public static Logger getLogger( String name)

通過指定的名字獲得記錄器，如果必要的話，則為這個名字創(chuàng)建一個新的記錄器。Name一般取本類的名字，比如：

static Logger logger = Logger.getLogger ( ServerWithLog4j.class.getName () )

②讀取配置文件

當(dāng)獲得了日志記錄器之后，第二步將配置Log4j環(huán)境，其語法為：

BasicConfigurator.configure ()： 自動快速地使用缺省Log4j環(huán)境。

PropertyConfigurator.configure ( String configFilename) ：讀取使用Java的特性文件編寫的配置文件。

例：PropertyConfigurator.configure(".\\src\\log4j.properties")

DOMConfigurator.configure ( String filename ) ：讀取XML形式的配置文件。

③插入記錄信息（格式化日志信息）

當(dāng)上兩個必要步驟執(zhí)行完畢，就可輕松地使用不同優(yōu)先級別的日志記錄語句插入到您想記錄日志的任何地方，其語法如下：

Logger.debug ( Object message ) ;

Logger.info ( Object message ) ;

Logger.warn ( Object message ) ;

Logger.error ( Object message ) ;

在web程序中使用log4j注意問題

1、 由于jsp或servlet在執(zhí)行狀態(tài)時沒有當(dāng)前路徑概念，所有使用PropertyConfigurator.configure（String）語句找log4j.properties文件時要給出相對于當(dāng)前jsp或servlet的路徑轉(zhuǎn)化成為一個絕對的文件系統(tǒng)路徑。方法是使用servletcontext.getrealpath(string)語句。例：

//得到當(dāng)前jsp路徑

String prefix = getServletContext().getRealPath("/");

//讀取log4j.properties

PropertyConfigurator.configure(prefix+"\\WEB-INF\\log4j.properties");

2、相應(yīng)的log4j.properties設(shè)置某個屬性時也要在程序中設(shè)置絕對路徑。例：

log4j.appender.R.File屬性設(shè)置日志文件存放位置。我們可以用讀寫.properties配置文件的方法進行靈活設(shè)置。

hive 需要寫java代碼嗎

如果你的項目是java項目的話，就需要使用hive提供的java api，如下代碼：

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import org.apache.log4j.Logger;

/**

* Hive的JavaApi

*

* 啟動hive的遠程服務(wù)接口命令行執(zhí)行：hive --service hiveserver /dev/null 2/dev/null

*

* @author 吖大哥

*

*/

public class HiveJdbcCli {

private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

private static String url = "jdbc:hive://hadoop3:10000/default";

private static String user = "hive";

private static String password = "mysql";

private static String sql = "";

private static ResultSet res;

private static final Logger log = Logger.getLogger(HiveJdbcCli.class);

public static void main(String[] args) {

Connection conn = null;

Statement stmt = null;

try {

conn = getConn();

stmt = conn.createStatement();

// 第一步:存在就先刪除

String tableName = dropTable(stmt);

// 第二步:不存在就創(chuàng)建

createTable(stmt, tableName);

// 第三步:查看創(chuàng)建的表

showTables(stmt, tableName);

// 執(zhí)行describe table操作

describeTables(stmt, tableName);

// 執(zhí)行l(wèi)oad data into table操作

loadData(stmt, tableName);

// 執(zhí)行 select * query 操作

selectData(stmt, tableName);

// 執(zhí)行 regular hive query 統(tǒng)計操作

countData(stmt, tableName);

} catch (ClassNotFoundException e) {

e.printStackTrace();

log.error(driverName + " not found!", e);

System.exit(1);

} catch (SQLException e) {

e.printStackTrace();

log.error("Connection error!", e);

System.exit(1);

} finally {

try {

if (conn != null) {

conn.close();

conn = null;

}

if (stmt != null) {

stmt.close();

stmt = null;

}

} catch (SQLException e) {

e.printStackTrace();

}

}

}

private static void countData(Statement stmt, String tableName)

throws SQLException {

sql = "select count(1) from " + tableName;

System.out.println("Running:" + sql);

res = stmt.executeQuery(sql);

System.out.println("執(zhí)行“regular hive query”運行結(jié)果:");

while (res.next()) {

System.out.println("count ------" + res.getString(1));

}

}

private static void selectData(Statement stmt, String tableName)

throws SQLException {

sql = "select * from " + tableName;

System.out.println("Running:" + sql);

res = stmt.executeQuery(sql);

System.out.println("執(zhí)行 select * query 運行結(jié)果:");

while (res.next()) {

System.out.println(res.getInt(1) + "\t" + res.getString(2));

}

}

private static void loadData(Statement stmt, String tableName)

throws SQLException {

String filepath = "/home/hadoop01/data";

sql = "load data local inpath '" + filepath + "' into table "

+ tableName;

System.out.println("Running:" + sql);

res = stmt.executeQuery(sql);

}

private static void describeTables(Statement stmt, String tableName)

throws SQLException {

sql = "describe " + tableName;

System.out.println("Running:" + sql);

res = stmt.executeQuery(sql);

System.out.println("執(zhí)行 describe table 運行結(jié)果:");

while (res.next()) {

System.out.println(res.getString(1) + "\t" + res.getString(2));

}

}

private static void showTables(Statement stmt, String tableName)

throws SQLException {

sql = "show tables '" + tableName + "'";

System.out.println("Running:" + sql);

res = stmt.executeQuery(sql);

System.out.println("執(zhí)行 show tables 運行結(jié)果:");

if (res.next()) {

System.out.println(res.getString(1));

}

}

private static void createTable(Statement stmt, String tableName)

throws SQLException {

sql = "create table "

+ tableName

+ " (key int, value string) row format delimited fields terminated by '\t'";

stmt.executeQuery(sql);

}

private static String dropTable(Statement stmt) throws SQLException {

// 創(chuàng)建的表名

String tableName = "testHive";

sql = "drop table " + tableName;

stmt.executeQuery(sql);

return tableName;

}

private static Connection getConn() throws ClassNotFoundException,

SQLException {

Class.forName(driverName);

Connection conn = DriverManager.getConnection(url, user, password);

return conn;

}

}