Spark SQL中怎么操作JSON字段，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：國(guó)際域名空間、雅安服務(wù)器托管、營(yíng)銷軟件、網(wǎng)站建設(shè)、橫縣網(wǎng)站維護(hù)、網(wǎng)站推廣。

get_json_object

第一個(gè)就是get_json_object，具體用法如下：

select get_json_object('{"k": "foo", "v": 1.0}','$.k') as k

需要給定get_json_object 一個(gè)json字段名（或者字符串），然后通過(guò)類似jsonPath的方式去拿具體的值。
這個(gè)方法其實(shí)有點(diǎn)麻煩，如果要提取里面的是個(gè)字段，我就要寫(xiě)是個(gè)類似的東西，很復(fù)雜。

from_json

具體用法如下：

select a.k from (
select from_json('{"k": "foo", "v": 1.0}','k STRING, v STRING',map("","")) as a
)

這個(gè)方法可以給json定義一個(gè)Schema,這樣在使用時(shí)，就可以直接使用a.k這種方式了，會(huì)簡(jiǎn)化很多。

to_json

該方法可以把對(duì)應(yīng)字段轉(zhuǎn)化為json字符串，比如：

select to_json(struct(*)) AS value

可以把所有字段轉(zhuǎn)化為json字符串，然后表示成value字段，接著你就可以把value字段寫(xiě)入Kafka了。是不是很簡(jiǎn)單。

處理具有大量字段的JSON數(shù)據(jù)集

JSON數(shù)據(jù)通常是半結(jié)構(gòu)化、非固定結(jié)構(gòu)的。將來(lái)，我們將擴(kuò)展Spark SQL對(duì)JSON支持，以處理數(shù)據(jù)集中的每個(gè)對(duì)象可能具有相當(dāng)不同的結(jié)構(gòu)的情況。例如，考慮使用JSON字段來(lái)保存表示HTTP標(biāo)頭的鍵/值對(duì)的數(shù)據(jù)集。每個(gè)記錄可能會(huì)引入新的標(biāo)題類型，并為每個(gè)記錄使用一個(gè)不同的列將產(chǎn)生一個(gè)非常寬的模式。我們計(jì)劃支持自動(dòng)檢測(cè)這種情況，而是使用map類型。因此，每行可以包含Map，使得能夠查詢其鍵/值對(duì)。這樣，Spark SQL將處理具有更少結(jié)構(gòu)的JSON數(shù)據(jù)集，推動(dòng)了基于SQL的系統(tǒng)可以處理的那種查詢的邊界。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司，的支持。

本文題目：SparkSQL中怎么操作JSON字段-創(chuàng)新互聯(lián)
路徑分享：http://weahome.cn/article/cseehd.html