1、將KNN算法調(diào)用Spark的api進(jìn)行重寫。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名與空間、網(wǎng)頁空間、營銷軟件、網(wǎng)站建設(shè)、招遠(yuǎn)網(wǎng)站維護(hù)、網(wǎng)站推廣。
2、然后就可以在sparkshell里運行了
轉(zhuǎn)行這個詞匯，一直是職場上此起彼伏的一個熱門話題，相信很多朋友都想過或已經(jīng)經(jīng)歷過轉(zhuǎn)行。工作可謂是我們生存乃至生活的主要收入來源，誰都希望擁有一份高薪又穩(wěn)定的工作，以此來改善自己的生活和實現(xiàn)自己的大大小小的夢想!但又擔(dān)心轉(zhuǎn)行后的工作待遇達(dá)不到自己的預(yù)期，顧慮重重……
不少想進(jìn)入大數(shù)據(jù)分析行業(yè)的零基礎(chǔ)學(xué)員經(jīng)常會有這樣一些疑問：大數(shù)據(jù)分析零基礎(chǔ)應(yīng)該怎么學(xué)習(xí)?自己適合學(xué)習(xí)大數(shù)據(jù)分析嗎?人生，就是在不斷地做選擇，然后在這個選擇過程中成長，讓自己從一棵小樹苗變成參天大樹。就是我們每個對大數(shù)據(jù)充滿幻想終于下定決心行動的學(xué)員的選擇，我們給了自己4個月的時間，想要在大數(shù)據(jù)分析這個領(lǐng)域汲取養(yǎng)分，讓自己壯大成長。
【明確方向】
通過國家的戰(zhàn)略規(guī)劃，看到BAT的大牛們都在大數(shù)據(jù)行業(yè)布局，新聞媒體追捧這大數(shù)據(jù)分析行業(yè)的項目和熱點，我想如果我還沒有能力獨立判斷的時候，跟著國家政策和互聯(lián)網(wǎng)大佬們的步調(diào)走，這應(yīng)該是錯不了的。
【付諸行動】
明確了方向之后，我就整裝待發(fā)，剛開始是在網(wǎng)絡(luò)上購買了很多的視頻教程，也買了很多書籍，但是最大的問題就在于，我不知道怎么入手，沒關(guān)系，有信心有耐心肯定能戰(zhàn)勝困難，我堅持了一個月，學(xué)習(xí)的節(jié)奏越來越亂，陸陸續(xù)續(xù)出現(xiàn)了很多的問題，沒人指導(dǎo)，請教了幾個業(yè)內(nèi)的朋友，但對方工作繁忙，問了幾次之后就不好意思了，自學(xué)陷入了死循環(huán)。
意識到我學(xué)習(xí)效率的低下，以及無人指導(dǎo)的問題想想未來的康莊大道，咬咬牙告訴自己，一定好好好學(xué)，不然就浪費太多時間最后還會是一無所獲。最后找到組織(AAA教育)一起學(xué)習(xí)進(jìn)步!
大數(shù)據(jù)分析零基礎(chǔ)學(xué)習(xí)路線，有信心能堅持學(xué)習(xí)的話，那就當(dāng)下開始行動吧!
一、大數(shù)據(jù)技術(shù)基礎(chǔ)
1、linux操作基礎(chǔ)
linux系統(tǒng)簡介與安裝
linux常用命令–文件操作
linux常用命令–用戶管理與權(quán)限
linux常用命令–系統(tǒng)管理
linux常用命令–免密登陸配置與網(wǎng)絡(luò)管理
linux上常用軟件安裝
linux本地yum源配置及yum軟件安裝
linux防火墻配置
linux高級文本處理命令cut、sed、awk
linux定時任務(wù)crontab
2、shell編程
shell編程–基本語法
shell編程–流程控制
shell編程–函數(shù)
shell編程–綜合案例–自動化部署腳本
3、內(nèi)存數(shù)據(jù)庫redis
redis和nosql簡介
redis客戶端連接
redis的string類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用-對象緩存
redis的list類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-任務(wù)調(diào)度隊列
redis的hash及set數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-購物車
redis的sortedset數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-排行榜
4、布式協(xié)調(diào)服務(wù)zookeeper
zookeeper簡介及應(yīng)用場景
zookeeper集群安裝部署
zookeeper的數(shù)據(jù)節(jié)點與命令行操作
zookeeper的java客戶端基本操作及事件監(jiān)聽
zookeeper核心機(jī)制及數(shù)據(jù)節(jié)點
zookeeper應(yīng)用案例–分布式共享資源鎖
zookeeper應(yīng)用案例–服務(wù)器上下線動態(tài)感知
zookeeper的數(shù)據(jù)一致性原理及l(fā)eader選舉機(jī)制
5、java高級特性增強(qiáng)
Java多線程基本知識
Java同步關(guān)鍵詞詳解
java并發(fā)包線程池及在開源軟件中的應(yīng)用
Java并發(fā)包消息隊里及在開源軟件中的應(yīng)用
Java JMS技術(shù)
Java動態(tài)代理反射
6、輕量級RPC框架開發(fā)
RPC原理學(xué)習(xí)
Nio原理學(xué)習(xí)
Netty常用API學(xué)習(xí)
輕量級RPC框架需求分析及原理分析
輕量級RPC框架開發(fā)
二、離線計算系統(tǒng)
1、hadoop快速入門
hadoop背景介紹
分布式系統(tǒng)概述
離線數(shù)據(jù)分析流程介紹
集群搭建
集群使用初步
2、HDFS增強(qiáng)
HDFS的概念和特性
HDFS的shell(命令行客戶端)操作
HDFS的工作機(jī)制
NAMENODE的工作機(jī)制
java的api操作
案例1：開發(fā)shell采集腳本
3、MAPREDUCE詳解
自定義hadoop的RPC框架
Mapreduce編程規(guī)范及示例編寫
Mapreduce程序運行模式及debug方法
mapreduce程序運行模式的內(nèi)在機(jī)理
mapreduce運算框架的主體工作流程
自定義對象的序列化方法
MapReduce編程案例
4、MAPREDUCE增強(qiáng)
Mapreduce排序
自定義partitioner
Mapreduce的combiner
mapreduce工作機(jī)制詳解
5、MAPREDUCE實戰(zhàn)
maptask并行度機(jī)制-文件切片
maptask并行度設(shè)置
倒排索引
共同好友
6、federation介紹和hive使用
Hadoop的HA機(jī)制
HA集群的安裝部署
集群運維測試之Datanode動態(tài)上下線
集群運維測試之Namenode狀態(tài)切換管理
集群運維測試之?dāng)?shù)據(jù)塊的balance
HA下HDFS-API變化
hive簡介
hive架構(gòu)
hive安裝部署
hvie初使用
7、hive增強(qiáng)和flume介紹
HQL-DDL基本語法
HQL-DML基本語法
HIVE的join
HIVE 參數(shù)配置
HIVE 自定義函數(shù)和Transform
HIVE 執(zhí)行HQL的實例分析
HIVE最佳實踐注意點
HIVE優(yōu)化策略
HIVE實戰(zhàn)案例
Flume介紹
Flume的安裝部署
案例：采集目錄到HDFS
案例：采集文件到HDFS
三、流式計算
1、Storm從入門到精通
Storm是什么
Storm架構(gòu)分析
Storm架構(gòu)分析
Storm編程模型、Tuple源碼、并發(fā)度分析
Storm WordCount案例及常用Api分析
Storm集群部署實戰(zhàn)
Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計算
Storm源碼下載編譯
Strom集群啟動及源碼分析
Storm任務(wù)提交及源碼分析
Storm數(shù)據(jù)發(fā)送流程分析
Storm通信機(jī)制分析
Storm消息容錯機(jī)制及源碼分析
Storm多stream項目分析
編寫自己的流式任務(wù)執(zhí)行框架
2、Storm上下游及架構(gòu)集成
消息隊列是什么
Kakfa核心組件
Kafka集群部署實戰(zhàn)及常用命令
Kafka配置文件梳理
Kakfa JavaApi學(xué)習(xí)
Kafka文件存儲機(jī)制分析
Redis基礎(chǔ)及單機(jī)環(huán)境部署
Redis數(shù)據(jù)結(jié)構(gòu)及典型案例
Flume快速入門
Flume+Kafka+Storm+Redis整合
四、內(nèi)存計算體系Spark
1、scala編程
scala編程介紹
scala相關(guān)軟件安裝
scala基礎(chǔ)語法
scala方法和函數(shù)
scala函數(shù)式編程特點
scala數(shù)組和集合
scala編程練習(xí)(單機(jī)版WordCount)
scala面向?qū)ο?/p>
scala模式匹配
actor編程介紹
option和偏函數(shù)
實戰(zhàn)：actor的并發(fā)WordCount
柯里化
隱式轉(zhuǎn)換
2、AKKA與RPC
Akka并發(fā)編程框架
實戰(zhàn)：RPC編程實戰(zhàn)
3、Spark快速入門
spark介紹
spark環(huán)境搭建
RDD簡介
RDD的轉(zhuǎn)換和動作
實戰(zhàn)：RDD綜合練習(xí)
RDD高級算子
自定義Partitioner
實戰(zhàn)：網(wǎng)站訪問次數(shù)
廣播變量
實戰(zhàn)：根據(jù)IP計算歸屬地
自定義排序
利用JDBC RDD實現(xiàn)數(shù)據(jù)導(dǎo)入導(dǎo)出
WorldCount執(zhí)行流程詳解
4、RDD詳解
RDD依賴關(guān)系
RDD緩存機(jī)制
RDD的Checkpoint檢查點機(jī)制
Spark任務(wù)執(zhí)行過程分析
RDD的Stage劃分
5、Spark-Sql應(yīng)用
Spark-SQL
Spark結(jié)合Hive
DataFrame
實戰(zhàn)：Spark-SQL和DataFrame案例
6、SparkStreaming應(yīng)用實戰(zhàn)
Spark-Streaming簡介
Spark-Streaming編程
實戰(zhàn)：StageFulWordCount
Flume結(jié)合Spark Streaming
Kafka結(jié)合Spark Streaming
窗口函數(shù)
ELK技術(shù)棧介紹
ElasticSearch安裝和使用
Storm架構(gòu)分析
Storm編程模型、Tuple源碼、并發(fā)度分析
Storm WordCount案例及常用Api分析
7、Spark核心源碼解析
Spark源碼編譯
Spark遠(yuǎn)程debug
Spark任務(wù)提交行流程源碼分析
Spark通信流程源碼分析
SparkContext創(chuàng)建過程源碼分析
DriverActor和ClientActor通信過程源碼分析
Worker啟動Executor過程源碼分析
Executor向DriverActor注冊過程源碼分析
Executor向Driver注冊過程源碼分析
DAGScheduler和TaskScheduler源碼分析
Shuffle過程源碼分析
Task執(zhí)行過程源碼分析
五、機(jī)器學(xué)習(xí)算法
1、python及numpy庫
機(jī)器學(xué)習(xí)簡介
機(jī)器學(xué)習(xí)與python
python語言–快速入門
python語言–數(shù)據(jù)類型詳解
python語言–流程控制語句
python語言–函數(shù)使用
python語言–模塊和包
phthon語言–面向?qū)ο?/p>
python機(jī)器學(xué)習(xí)算法庫–numpy
機(jī)器學(xué)習(xí)必備數(shù)學(xué)知識–概率論
2、常用算法實現(xiàn)
knn分類算法–算法原理
knn分類算法–代碼實現(xiàn)
knn分類算法–手寫字識別案例
lineage回歸分類算法–算法原理
lineage回歸分類算法–算法實現(xiàn)及demo
樸素貝葉斯分類算法–算法原理
樸素貝葉斯分類算法–算法實現(xiàn)
樸素貝葉斯分類算法–垃圾郵件識別應(yīng)用案例
kmeans聚類算法–算法原理
kmeans聚類算法–算法實現(xiàn)
kmeans聚類算法–地理位置聚類應(yīng)用
決策樹分類算法–算法原理
決策樹分類算法–算法實現(xiàn)
時下的大數(shù)據(jù)分析時代與人工智能熱潮，相信有許多對大數(shù)據(jù)分析師非常感興趣、躍躍欲試想著轉(zhuǎn)行的朋友，但面向整個社會，最不缺的其實就是人才，對于是否轉(zhuǎn)行大數(shù)據(jù)分析行列，對于能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過如果你已經(jīng)轉(zhuǎn)行到大數(shù)據(jù)分析領(lǐng)域，就不要后悔，做到如何脫穎而出才是關(guān)鍵。因此本文給出一些建議，針對想要轉(zhuǎn)行大數(shù)據(jù)分析行列且是零基礎(chǔ)轉(zhuǎn)行的小伙伴們，希望對你們有所裨益，也希望你們將來學(xué)有所成，不后悔，更不灰心!
相關(guān)推薦：
《轉(zhuǎn)行大數(shù)據(jù)分析師后悔了》、《ui設(shè)計培訓(xùn)四個月騙局大爆料》、《零基礎(chǔ)學(xué)大數(shù)據(jù)分析現(xiàn)實嗎》、《大數(shù)據(jù)分析十八般工具》
knn算法，即k-NearestNeighbor，后面的nn意思是最近鄰的意思，前面的k是前k個的意思，就是找到前k個離得最近的元素
離得最近這個詞具體實現(xiàn)有很多種，我使用的是歐式幾何中的距離公式
二維中兩點x(x1,y1),y(x2,y2)間距離公式為sqrt( (x1-x2)^2+(y1-y2)^2 )
推廣到n維就是
x(x1,x2, … ,xn),y(y1,y2, … ,yn)
sqrt [ ∑( x[i] - y[i] )^2 ] (i=1,2, … ,n)
knn算法是要計算距離的，也就是數(shù)字之間的運算，而圖像是png，jpg這種格式，并不是數(shù)字也不能直接參與運算，所以我們需要進(jìn)行一下轉(zhuǎn)換
如圖所示一個數(shù)字8，首先要確定的是這一步我做的是一個最簡單的轉(zhuǎn)換，因為我假定背景和圖之間是沒有雜物的，而且整個圖只有一個數(shù)字（0-9）如果遇到其他情況，比如背景色不純或者有其他干擾圖像需要重新設(shè)計轉(zhuǎn)換函數(shù)
接下來就是最簡單的轉(zhuǎn)換，將圖片白色部分（背景）變0，有圖像的部分變1。轉(zhuǎn)換后的大小要合適，太小會影響識別準(zhǔn)確度，太大會增加計算量。所以我用的是書上的32*32，轉(zhuǎn)換后結(jié)果如圖所示
這樣一來，圖片就變成了能進(jìn)行計算的數(shù)字了。
接下來我們需要創(chuàng)建一個庫，這個庫里面存著0-9這些數(shù)字的各種類似上圖的實例。因為我們待識別的圖像要進(jìn)行對比，選出前k個最近的，比較的對象就是我們的庫。假定庫中有0-9十個數(shù)字，每個數(shù)字各有100個這種由0和1表示的實例，那么我們就有了一共1000個實例。
最后一步就是進(jìn)行對比，利用開頭說的歐式幾何距離計算公式，首先這個32*32的方陣要轉(zhuǎn)換成一個1*1024的1024維坐標(biāo)表示，然后拿這個待識別的圖像和庫中的1000個實例進(jìn)行距離計算，選出前k個距離最近的。比如50個，這50個里面出現(xiàn)次數(shù)最多的數(shù)字除以50就是結(jié)果數(shù)字的概率。比如50個里面數(shù)字8出現(xiàn)40次，那么待識別數(shù)字是8的可能性就是40/50 = 80%
個人理解：
只能識別單個數(shù)字，背景不能有干擾。如果想多數(shù)字識別或者背景有干擾需要針對具體情況考慮具體的圖像轉(zhuǎn)01的方法。
數(shù)字識別非常依賴庫中的圖像，庫中的圖像的樣子嚴(yán)重影響圖像的識別（因為我們是和庫中的一一對比找出距離最近的前k個），所以數(shù)字的粗細(xì)，高低，胖瘦等待都是決定性因素，建庫時一定全面考慮數(shù)字的可能樣子
計算量比較大，待識別圖像要和庫中所有實例一一計算，如果使用32*32，就已經(jīng)是1024維了。如果庫中有1000個，那就是1024維向量之間的1000次計算，圖像更清晰，庫更豐富只會使計算量更大
對于其他可以直接計算距離的數(shù)值型問題，可以用歐式距離，也可以用其他能代表距離的計算公式，對于非數(shù)值型的問題需要進(jìn)行合適的轉(zhuǎn)換，轉(zhuǎn)換方式很重要，我覺得首先信息不能丟失，其次要精確不能模糊，要實現(xiàn)圖片轉(zhuǎn)換前后是一對一的關(guān)系
參考資料：機(jī)器學(xué)習(xí)實戰(zhàn) [美] Peter Harrington 人民郵電出版社
python源碼
import numpy
import os
from PIL import Image
import heapq
from collections import Counter
def pictureconvert(filename1,filename2,size=(32,32)):
#filename1待識別圖像，filename2 待識別圖像轉(zhuǎn)換為01txt文件輸出，size圖像大小，默認(rèn)32*32
image_file = Image.open(filename1)
image_file = image_file.resize(size)
width,height = image_file.size
f1 = open(filename1,'r')
f2 = open(filename2,'w')
for i in range(height):
? ? for j in range(width):
? ? ? ? pixel = image_file.getpixel((j,i))
? ? ? ? pixel = pixel[0] + pixel[1] + pixel[2]
? ? ? ? if(pixel == 0):
? ? ? ? ? ? pixel = 0
? ? ? ? elif(pixel != 765 and pixel != 0):
? ? ? ? ? ? pixel = 1
? ? ? ? # 0代表黑色（無圖像），255代表白色（有圖像）
? ? ? ? # 0/255 = 0,255/255 = 1
? ? ? ? f2.write(str(pixel))
? ? ? ? if(j == width-1):
? ? ? ? ? ? f2.write('\n')
f1.close()
f2.close()
def imgvector(filename):
#filename將待識別圖像的01txt文件轉(zhuǎn)換為向量
vector = numpy.zeros((1,1024),numpy.int)
with open(filename) as f:
? ? for i in range(0,32):
? ? ? ? linestr = f.readline()
? ? ? ? for j in range(0,32):
? ? ? ? ? ? vector[0,32*i+j] = int(linestr[j])
return? vector
def compare(filename1,filename2):
#compare直接讀取資源庫識別
#filename1資源庫目錄，filename2 待識別圖像01txt文檔路徑
trainingfilelist = os.listdir(filename1)
m = len(trainingfilelist)
labelvector = []
trainingmatrix = numpy.zeros((m, 1024), numpy.int8)
for i in range(0,m):
? ? filenamestr = trainingfilelist[i]
? ? filestr = filenamestr.split('.')[0]
? ? classnumber = int(filestr.split('_')[0])
? ? labelvector.append(classnumber)
? ? trainingmatrix[i,:] = imgvector(filename1 + '/' + filenamestr)
textvector = imgvector(filename2)
resultdistance = numpy.zeros((1,m))
result = []
for i in range(0,m):
? ? resultdistance[0,i] = numpy.vdot(textvector[0],trainingmatrix[i])
resultindices = heapq.nlargest(50,range(0,len(resultdistance[0])),resultdistance[0].take)
for i in resultindices:
? ? result.append(labelvector[i])
number = Counter(result).most_common(1)
print('此數(shù)字是',number[0][0],'的可能性是','%.2f%%' % ((number[0][1]/len(result))*100))
def distinguish(filename1,filename2,filename3,size=(32,32)):
# filename1 png，jpg等格式原始圖像路徑，filename2 原始圖像轉(zhuǎn)換成01txt文件路徑，filename3 資源庫路徑
pictureconvert(filename1,filename2,size)
compare(filename3,filename2)
url1 = "/Users/wang/Desktop/number.png"
url2 = "/Users/wang/Desktop/number.txt"
traininglibrary = "/Users/wang/Documents/trainingDigits"
distinguish(url1,url2,traininglibrary)
重慶分公司
重慶分公司
