最近工作中需要用spark對(duì)中文的字符提取，由于環(huán)境一直是英文的，發(fā)現(xiàn)打印出來(lái)是亂碼。后經(jīng)研究，需要做一個(gè)UTF-8的轉(zhuǎn)換
大概如下：

val data_file = sc.textFile(“test.txt”)
val item1 = data_file.map(p => new String(p.getBytes, 0, p.getLength, "UTF-8")).map{
    item => XXX
    }