這篇文章將為大家詳細(xì)講解有關(guān)如何從Hadoop URL中讀取數(shù)據(jù)，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)是專業(yè)的甘孜州網(wǎng)站建設(shè)公司，甘孜州接單;提供網(wǎng)站設(shè)計(jì)、做網(wǎng)站,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行甘孜州網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

要從Hadoop文件系統(tǒng)中讀取文件，一個(gè)最簡單的方法是使用java.net.URL對(duì)象來打開一個(gè)數(shù)據(jù)流，從而從中讀取數(shù)據(jù)。一般的格式如下：

1.      InputStream in = null;  

2.  try {  

3.       in = new URL("hdfs://host/path").openStream();

4.       // process in

5.  } finally {  

6.       IOUtils.closeStream(in);

7.  }

這里還需要一點(diǎn)工作來讓Java識(shí)別Hadoop文件系統(tǒng)的URL 方案，就是通過一個(gè)FsUrlStreamHandlerFactory實(shí)例來調(diào)用在URL中的setURLStreamHandler-Factory方法。這種方法在一個(gè)Java虛擬機(jī)中只能被調(diào)用一次，因此一般都在一個(gè)靜態(tài)塊中執(zhí)行。這個(gè)限制意味著如果程序的其他部件(可能是不在你控制中的第三方部件)設(shè)置一個(gè)URLStreamHandlerFactory，我們便無法再從Hadoop中讀取數(shù)據(jù)。下一節(jié)將討論另一種方法。

例3-1展示了以標(biāo)準(zhǔn)輸出顯示Hadoop文件系統(tǒng)的文件的程序，它類似于Unix的cat命令。

例3-1：用URLStreamHandler以標(biāo)準(zhǔn)輸出格式顯示Hadoop文件系統(tǒng)的文件

1.  public class URLCat {  

2.   

3.    static {  

4.      URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

5.    }  

6.      

7.    public static void main(String[] args) throws Exception {

8.      InputStream in = null;  

9.      try {  

10.       in = new URL(args[0]).openStream();

11.       IOUtils.copyBytes(in, System.out, 4096, false);

12.     } finally {

13.       IOUtils.closeStream(in);

14.     }  

15.   }  

16. }

我們使用Hadoop中簡潔的IOUtils類在finally子句中關(guān)閉數(shù)據(jù)流，同時(shí)復(fù)制輸入流和輸出流之間的字節(jié)(本例中是System.out)。copyBytes方法的最后兩個(gè)參數(shù)，前者是要復(fù)制的緩沖的大小，后者表示復(fù)制結(jié)束后是否關(guān)閉數(shù)據(jù)流。這里是將輸入流關(guān)掉了，而System.out不需要關(guān)閉。

下面是一個(gè)運(yùn)行示例：

1.      % hadoop URLCat hdfs://localhost/user/tom/quangle.txt

2.  On the top of the Crumpetty Tree

3.  The Quangle Wangle sat,  

4.  But his face you could not see,

5.  On account of his Beaver Hat.

關(guān)于“如何從Hadoop URL中讀取數(shù)據(jù)”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。