小編給大家分享一下hive內(nèi)置函數(shù)有什么用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

大箐山網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司,大箐山網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為大箐山近千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營銷網(wǎng)站建設(shè)要多少錢，請找那個售后服務(wù)好的大箐山做網(wǎng)站的公司定做！

hive內(nèi)置函數(shù)：1、用戶自定義函數(shù)對數(shù)據(jù)進行處理；2、用來解決輸入一行輸出多行【(On-to-many maping)】的需求；3、用戶自定義聚合函數(shù)，操作多個數(shù)據(jù)行，產(chǎn)生一個數(shù)據(jù)行。

hive內(nèi)置函數(shù)：

定義：

UDF(User-Defined-Function)，用戶自定義函數(shù)對數(shù)據(jù)進行處理。

UDTF(User-Defined Table-Generating Functions) 用來解決 輸入一行輸出多行(On-to-many maping) 的需求。

UDAF(User Defined Aggregation Function)用戶自定義聚合函數(shù)，操作多個數(shù)據(jù)行，產(chǎn)生一個數(shù)據(jù)行。

用法：

1、UDF函數(shù)可以直接應(yīng)用于select語句，對查詢結(jié)構(gòu)做格式化處理后，再輸出內(nèi)容。

2、編寫UDF函數(shù)的時候需要注意一下幾點：

a）自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF。

b）需要實現(xiàn)evaluate函。

c）evaluate函數(shù)支持重載。

hive的本地模式：

大多數(shù)的Hadoop job是需要hadoop提供的完整的可擴展性來處理大數(shù)據(jù)的。不過，有時hive的輸入數(shù)據(jù)量是非常小的。在這種情況下，為查詢出發(fā)執(zhí)行任務(wù)的時間消耗可能會比實際job的執(zhí)行時間要多的多。對于大多數(shù)這種情況，hive可以通過本地模式在單臺機器上處理所有的任務(wù)。對于小數(shù)據(jù)集，執(zhí)行時間會明顯被縮短。

如此一來，對數(shù)據(jù)量比較小的操作，就可以在本地執(zhí)行，這樣要比提交任務(wù)到集群執(zhí)行效率要快很多。

配置如下參數(shù)，可以開啟Hive的本地模式：

hive> set hive.exec.mode.local.auto=true;(默認為false)

當一個job滿足如下條件才能真正使用本地模式：

1.job的輸入數(shù)據(jù)大小必須小于參數(shù)：hive.exec.mode.local.auto.inputbytes.max(默認128MB)

2.job的map數(shù)必須小于參數(shù)：hive.exec.mode.local.auto.tasks.max(默認4)

3.job的reduce數(shù)必須為0或者1

以上是“hive內(nèi)置函數(shù)有什么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！