Amazon Kinesis

概念

• 處理AWS上大量流數(shù)據(jù)的數(shù)據(jù)平臺
• Kinesis Streams 用于搜集數(shù)據(jù)，Client Library 用于分析后的展示
• 構(gòu)建用于處理或分析流數(shù)據(jù)的自定義應(yīng)用程序
• 可以支持從數(shù)十萬中來源捕獲和存儲TB級的數(shù)據(jù)，如網(wǎng)站點(diǎn)擊流、財(cái)務(wù)交易、媒體饋送、IT日志等
• 使用IAM限制用戶和角色對Kinesis的訪問，使用角色的臨時(shí)安全憑證可以提高安全性
• Kiesis只能使用SSL加密進(jìn)行訪問

Kinesis組件

Kinesis Data Firehose

• 加載大量流數(shù)據(jù)到AWS服務(wù)中
• 數(shù)據(jù)默認(rèn)被存儲在S3中，從S3還可以再被進(jìn)一步轉(zhuǎn)存到Redshift
• 數(shù)據(jù)也可以被寫入到ElaticSearch中，并且同時(shí)備份到S3

Kinesis Data Streams:

• 自定義構(gòu)建應(yīng)用程序，實(shí)時(shí)分析流數(shù)據(jù)
• 利用AWS開發(fā)工具包，可以實(shí)現(xiàn)數(shù)據(jù)在流中移動時(shí)仍然能被處理，從而接近實(shí)時(shí)
• 為了接近實(shí)時(shí)，處理的復(fù)雜度通常較輕
• 創(chuàng)建者 Producer 持續(xù)將數(shù)據(jù)推送進(jìn)Data Streams
• 數(shù)據(jù)在DataStream 由一組組分片（Shards）組成，每個(gè)分片就是一條記錄，通過不斷分片實(shí)現(xiàn)幾乎無限的擴(kuò)展能力
• 使用者 Comsumer 會實(shí)時(shí)對Data Steams的內(nèi)容進(jìn)行處理，并且將結(jié)果推送到不同的AWS服務(wù)
• 數(shù)據(jù)在Stream中是臨時(shí)的，默認(rèn)存儲24小時(shí)，大可以設(shè)置為7天

創(chuàng)新互聯(lián)建站一直秉承“誠信做人，踏實(shí)做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個(gè)客戶多一個(gè)朋友！為您提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、成都網(wǎng)頁設(shè)計(jì)、微信小程序開發(fā)、成都網(wǎng)站開發(fā)、成都網(wǎng)站制作、成都軟件開發(fā)、app開發(fā)定制是成都本地專業(yè)的網(wǎng)站建設(shè)和網(wǎng)站設(shè)計(jì)公司，等你一起來見證！

Kinesis Data Analytics

• 使用標(biāo)準(zhǔn)SQL實(shí)時(shí)分析流數(shù)據(jù)

Kinesis Video Streams

• 捕獲、處理并存儲視頻流用于分析和機(jī)器學(xué)習(xí)

適用場景

• 大量的數(shù)據(jù)攝取
• 海量流數(shù)據(jù)的實(shí)時(shí)處理

Elastic MapReduce ( EMR)

概念

• 提供完全托管的按需 Hadoop 框架
• 啟動EMR集群的必選項(xiàng)
• 集群節(jié)點(diǎn)的實(shí)例類型
• 集群中的節(jié)點(diǎn)數(shù)量
• 希望運(yùn)行的Hadoop版本
• Hadoop集群選擇存儲類型至關(guān)重要，主要因素是集群是持久的還是瞬態(tài)的
• 需要持續(xù)運(yùn)行并分析數(shù)據(jù)的集群是持久集群
• 按需啟動并在完成后立即停止的集群為瞬時(shí)集群
• 默認(rèn)不限制EMR集群數(shù)量，但限制用于EMR節(jié)點(diǎn)總數(shù)為20個(gè)，可申請擴(kuò)展
• 可以從S3以及其他任何位置攝取數(shù)據(jù)
• Hadoop 日志文件默認(rèn)存儲在S3中，且不支持壓縮
• EMR支持競價(jià)實(shí)例
• EMR需要在一個(gè)可用區(qū)部署，不支持跨可用區(qū)部署，通常建議選擇數(shù)據(jù)所在的區(qū)域
• 集群啟動通常在15分鐘內(nèi)可以開始進(jìn)行數(shù)據(jù)處理
• EMR允許使用磁性、SSD和 PIOPS SSD三種EBS卷。
• 適用場景
  • 日志處理，點(diǎn)擊流分析，基因?qū)W和生命科學(xué)

文件系統(tǒng)

HDFS

• Hadoop標(biāo)準(zhǔn)文件系統(tǒng)
• 所有數(shù)據(jù)都在多個(gè)實(shí)例中被復(fù)制保證持久性
• HDFS可以利用EBS存儲確保在關(guān)閉集群時(shí)不丟失數(shù)據(jù)
• 非常適合于持久的集群

EMRFS

• HDFS在AWS S3上的實(shí)現(xiàn)，將數(shù)據(jù)保存在S3中
• 可以使用所有Hadoop生態(tài)的工具系統(tǒng)
• 非常適合于瞬時(shí)集群

EMR NoteBooks

• EMR Notebooks 提供基于 Jupyter Notebook 的托管環(huán)境，可供數(shù)據(jù)科學(xué)家、分析員和開發(fā)人員準(zhǔn)備數(shù)據(jù)并使其可視化、與同伴協(xié)作、構(gòu)建應(yīng)用程序，并使用 EMR 群集執(zhí)行交互分析。
• 您可以使用 EMR Notebooks 構(gòu)建 Apache Spark 應(yīng)用程序，并且輕而易舉地在 EMR 群集上運(yùn)行交互查詢。多個(gè)用戶可以直接從控制臺創(chuàng)建無服務(wù)器筆記本、將其掛載到現(xiàn)有的共享 EMR 群集，或直接從控制臺提供至少 1 個(gè)節(jié)點(diǎn)的并立即開始使用 Spark 進(jìn)行實(shí)驗(yàn)。

安全設(shè)置

• EMR默認(rèn)將設(shè)置兩個(gè)EC2安全組： 主節(jié)點(diǎn)和從屬節(jié)點(diǎn)
  • 主安全組
    • 定義一個(gè)端口用于與服務(wù)的通信
    • 打開的SSH端口，允許啟動時(shí)指定的SSH密鑰進(jìn)入實(shí)例
    • 默認(rèn)不允許被外部實(shí)例訪問，但可設(shè)置
  • 從屬安全組
    • 只允許與主實(shí)例進(jìn)行交互
• 默認(rèn)使用SSL向S3傳送數(shù)據(jù)
• 可以支持對集群進(jìn)行標(biāo)記，最多10個(gè)標(biāo)記，但不支持基于標(biāo)記的IAM許可。
• 使用IAM權(quán)限和角色控制對EMR的訪問和控制
• 可以設(shè)置允許非Hadoop用戶將作業(yè)提交至集群的權(quán)限
• 可以將EMR放入到私有VPC中實(shí)現(xiàn)額外的保護(hù)

AWS Data Pipeline

概念

• 實(shí)現(xiàn)在指定時(shí)間間隔，在AWS資源和本地?cái)?shù)據(jù)之間可靠地處理和移動數(shù)據(jù)
• 您可以快速輕松地部署管道，無需分心管理日常數(shù)據(jù)操作，從而讓您能夠集中精力從該數(shù)據(jù)獲取所需的信息。您只需為您的數(shù)據(jù)管道指定所需數(shù)據(jù)源、時(shí)間表和處理活動即可。
• 與SWF相比，Data Pipeline 專門設(shè)計(jì)用于簡化大多數(shù)數(shù)據(jù)驅(qū)動工作流程中常見的特定步驟。例如：在輸入數(shù)據(jù)符合特定準(zhǔn)備就緒標(biāo)準(zhǔn)后執(zhí)行活動，輕松在不同數(shù)據(jù)存儲之間復(fù)制數(shù)據(jù)，以及調(diào)度鏈接的轉(zhuǎn)換。這種高度具體的側(cè)重點(diǎn)意味著 Data Pipeline 工作流定義可以快速創(chuàng)建，并且無需代碼或編程知識。
• 定期訪問存儲數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行大規(guī)模處理，并且將結(jié)果轉(zhuǎn)換為AWS服務(wù)

• 利用Pipeline的定義安排和運(yùn)行任務(wù)，可以每15分鐘，每天，每周運(yùn)行等
• 數(shù)據(jù)節(jié)點(diǎn)是pipeline流水線讀取和寫入數(shù)據(jù)的位置，可以是S3，MySQL，Redshift等AWS或本地存儲
• Pipeline通常需要配合其他服務(wù)執(zhí)行預(yù)定義的任務(wù)，如EMR，EC2等，并在執(zhí)行完成后自動關(guān)閉該服務(wù)
• Pipeline在編排的過程支持條件語句
• 若某項(xiàng)活動失敗，默認(rèn)會不斷重試，所以需要配置限制重試次數(shù)或未成功時(shí)采取的行動
• 每個(gè)賬戶默認(rèn)支持100個(gè)管道，單一管道中可以擁有100個(gè)對象，可以申請擴(kuò)展

屬性

• 管道
  • 即 AWS Data Pipeline 資源，其中包含由執(zhí)行業(yè)務(wù)邏輯所需的數(shù)據(jù)源、目的地和預(yù)定義或自定義數(shù)據(jù)處理活動所組成的關(guān)聯(lián)數(shù)據(jù)鏈的定義。
• 數(shù)據(jù)節(jié)點(diǎn)
  • 數(shù)據(jù)節(jié)點(diǎn)代表您的業(yè)務(wù)數(shù)據(jù)。例如，數(shù)據(jù)節(jié)點(diǎn)可以表示特定的 Amazon S3 路徑。AWS Data Pipeline 支持表達(dá)式語言，使其更容易引用常態(tài)生成的數(shù)據(jù)。
• 活動
  • 是 AWS Data Pipeline 代表您啟動的操作，它是管道的一部分。示例活動包括 EMR 或 Hive 作業(yè)、復(fù)制、SQL 查詢或命令行腳本。
• 前提條件
  • 前提條件是指成熟度檢查，可選擇性地將其關(guān)聯(lián)到數(shù)據(jù)源或活動。如果數(shù)據(jù)源具有前提條件檢查，那么必須先成功完成檢查，然后才能啟動任何需要用到該數(shù)據(jù)源的活動。如果活動具有前提條件，那么必須先成功完成檢查，然后才能運(yùn)行活動。
• 時(shí)間表
  • 定義管道活動運(yùn)行的時(shí)間和服務(wù)預(yù)計(jì)的可使用數(shù)據(jù)的頻率。可以選擇時(shí)間表結(jié)束日期，在此時(shí)間后，AWS Data Pipeline 服務(wù)不執(zhí)行任何活動。
  • 當(dāng)您將時(shí)間表與活動關(guān)聯(lián)起來后，活動就會按時(shí)間表運(yùn)行。當(dāng)您將時(shí)間表與數(shù)據(jù)源關(guān)聯(lián)起來，就表示您告訴 AWS Data Pipeline 服務(wù)，您期望數(shù)據(jù)會按照該時(shí)間表更新。

適用場景

• 非常適用于常規(guī)批處理的ETL流程，而不是連續(xù)數(shù)據(jù)流

Amazon Elastic Transcoder

• 一種在線媒體轉(zhuǎn)碼的工具
• 將視頻從源格式轉(zhuǎn)換到其他的格式和分辨率，以便在手機(jī)、平板、PC等設(shè)備上播放
• 一般來說，將需要轉(zhuǎn)碼的媒體文件放在AWS S3的存儲桶上，創(chuàng)建相應(yīng)的管道和任務(wù)將文件轉(zhuǎn)碼為特定的格式，最后將文件輸出到另一個(gè)S3的存儲桶上面去。
• 也可以使用一些預(yù)設(shè)的模板來轉(zhuǎn)換媒體格式。
• 可以配合Lambda函數(shù)，在有新的文件上傳到S3后觸發(fā)函數(shù)代碼，執(zhí)行Elastic Transcoder并自動進(jìn)行媒體文件的轉(zhuǎn)碼。

Amazon Athena

• Amazon Athena 是一種交互式查詢服務(wù)，讓您能夠輕松使用標(biāo)準(zhǔn) SQL 分析 Amazon S3 中的數(shù)據(jù)。Athena 沒有服務(wù)器，因此您無需管理任何基礎(chǔ)設(shè)施，且只需為您運(yùn)行的查詢付費(fèi)。
• Athena 簡單易用。只需指向您存儲在 Amazon S3 中的數(shù)據(jù)，定義架構(gòu)并使用標(biāo)準(zhǔn) SQL 開始查詢就可在數(shù)秒內(nèi)獲取最多的結(jié)果。
• 使用 Athena，無需執(zhí)行復(fù)雜的 ETL 作業(yè)來為數(shù)據(jù)分析做準(zhǔn)備。這樣一來，具備 SQL 技能的任何人都可以輕松快速地分析大規(guī)模數(shù)據(jù)集。
• 支持的數(shù)據(jù)格式包括 JSON，Apache Parquet, Apache ORC

Amazon Elasticsearch Service

• Amazon Elasticsearch Service 是一項(xiàng)完全托管的服務(wù)，方便您部署、保護(hù)和運(yùn)行大量 Elasticsearch 操作，且不用停機(jī)。
• 該服務(wù)提供開源 Elasticsearch API、受托管的 Kibana 以及與 Logstash 和其他 AWS 服務(wù)的集成，支持您安全獲取任何來源的數(shù)據(jù)，并開展實(shí)時(shí)搜索、分析和可視化。
• 使用 Amazon Elasticsearch Service 時(shí)，您只需按實(shí)際用量付費(fèi)，沒有預(yù)付成本或使用要求。有了 Amazon Elasticsearch Service，您無需承擔(dān)運(yùn)營開銷，便可獲得所需的 ELK 堆棧。

AWS X-Ray

• AWS X-Ray 可以幫助開發(fā)人員分析與調(diào)試分布式生產(chǎn)應(yīng)用程序，例如使用微服務(wù)架構(gòu)構(gòu)建的應(yīng)用程序。
• 借助 X-Ray，您可以了解應(yīng)用程序及其底層服務(wù)的執(zhí)行方式，從而識別和排查導(dǎo)致性能問題和錯(cuò)誤的根本原因。
• X-Ray 可在請求通過應(yīng)用程序時(shí)提供請求的端到端視圖，并展示應(yīng)用程序底層組件的映射。
• 您可以使用 X-Ray 分析開發(fā)和生產(chǎn)中的應(yīng)用程序，從簡單的三層應(yīng)用程序到包含上千種服務(wù)的復(fù)雜微服務(wù)應(yīng)用程序。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁標(biāo)題：AWS數(shù)據(jù)分析服務(wù)（十）-創(chuàng)新互聯(lián)
鏈接URL：http://weahome.cn/article/icegj.html