簡(jiǎn)單說(shuō)有三大核心技術(shù)：拿數(shù)據(jù)，算數(shù)據(jù)，賣數(shù)據(jù)。通用化的大數(shù)據(jù)處理框架，主要分為下面幾個(gè)方面：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。涉及到的技術(shù)很多
成都創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站設(shè)計(jì)制作、網(wǎng)站制作與策劃設(shè)計(jì),宏偉網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:宏偉等地區(qū)。宏偉做網(wǎng)站價(jià)格咨詢:18982081108
Logstash
Sqoop
Strom
Zookeeper
Hadoop
等等
隨著大數(shù)據(jù)分析市場(chǎng)迅速擴(kuò)展，哪些技術(shù)是最有需求和最有增長(zhǎng)潛力的呢？在Forrester Research的一份最新研究報(bào)告中，評(píng)估了22種技術(shù)在整個(gè)數(shù)據(jù)生命周期中的成熟度和軌跡。這些技術(shù)都對(duì)大數(shù)據(jù)的實(shí)時(shí)、預(yù)測(cè)和綜合洞察有著巨大的貢獻(xiàn)。
1. 預(yù)測(cè)分析技術(shù)
這也是大數(shù)據(jù)的主要功能之一。預(yù)測(cè)分析允許公司通過(guò)分析大數(shù)據(jù)源來(lái)發(fā)現(xiàn)、評(píng)估、優(yōu)化和部署預(yù)測(cè)模型，從而提高業(yè)務(wù)性能或降低風(fēng)險(xiǎn)。同時(shí)，大數(shù)據(jù)的預(yù)測(cè)分析也與我們的生活息息相關(guān)。淘寶會(huì)預(yù)測(cè)你每次購(gòu)物可能還想買什么，愛(ài)奇藝正在預(yù)測(cè)你可能想看什么，百合網(wǎng)和其他約會(huì)網(wǎng)站甚至試圖預(yù)測(cè)你會(huì)愛(ài)上誰(shuí)……
2. NoSQL數(shù)據(jù)庫(kù)
NoSQL，Not Only SQL，意思是“不僅僅是SQL”，泛指非關(guān)系型數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)提供了比關(guān)系數(shù)據(jù)庫(kù)更靈活、可伸縮和更便宜的替代方案，打破了傳統(tǒng)數(shù)據(jù)庫(kù)市場(chǎng)一統(tǒng)江山的格局。并且，NoSQL數(shù)據(jù)庫(kù)能夠更好地處理大數(shù)據(jù)應(yīng)用的需求。常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識(shí)發(fā)現(xiàn)
支持來(lái)自于多種數(shù)據(jù)源(如文件系統(tǒng)、數(shù)據(jù)庫(kù)、流、api和其他平臺(tái)和應(yīng)用程序)中的大型非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫(kù)中自助提取信息的工具和技術(shù)。如，數(shù)據(jù)挖掘技術(shù)和各種大數(shù)據(jù)平臺(tái)。
4. 大數(shù)據(jù)流計(jì)算引擎
能夠過(guò)濾、聚合、豐富和分析來(lái)自多個(gè)完全不同的活動(dòng)數(shù)據(jù)源的數(shù)據(jù)的高吞吐量的框架，可以采用任何數(shù)據(jù)格式。現(xiàn)今流行的流式計(jì)算引擎有Spark Streaming和Flink。
5. 內(nèi)存數(shù)據(jù)結(jié)構(gòu)
通過(guò)在分布式計(jì)算機(jī)系統(tǒng)中動(dòng)態(tài)隨機(jī)訪問(wèn)內(nèi)存(DRAM)、閃存或SSD上分布數(shù)據(jù)，提供低延遲的訪問(wèn)和處理大量數(shù)據(jù)。
6. 分布式文件存儲(chǔ)
為了保證文件的可靠性和存取性能，數(shù)據(jù)通常以副本的方式存儲(chǔ)在多個(gè)節(jié)點(diǎn)上的計(jì)算機(jī)網(wǎng)絡(luò)。常見(jiàn)的分布式文件系統(tǒng)有GFS、HDFS、Lustre 、Ceph等。
7. 數(shù)據(jù)虛擬化
數(shù)據(jù)虛擬化是一種數(shù)據(jù)管理方法，它允許應(yīng)用程序檢索和操作數(shù)據(jù)，而不需要關(guān)心有關(guān)數(shù)據(jù)的技術(shù)細(xì)節(jié)，比如數(shù)據(jù)在源文件中是何種格式，或者數(shù)據(jù)存儲(chǔ)的物理位置，并且可以提供單個(gè)客戶用戶視圖。
8. 數(shù)據(jù)集成
用于跨解決方案進(jìn)行數(shù)據(jù)編排的工具，如Amazon Elastic MapReduce (EMR)、Apache Hive、Apache Pig、Apache Spark、MapReduce、Couchbase、Hadoop和MongoDB等。
9. 數(shù)據(jù)準(zhǔn)備
減輕采購(gòu)、成形、清理和共享各種雜亂數(shù)據(jù)集的負(fù)擔(dān)的軟件，以加速數(shù)據(jù)對(duì)分析的有用性。
10. 數(shù)據(jù)質(zhì)量
使用分布式數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫(kù)上的并行操作，對(duì)大型高速數(shù)據(jù)集進(jìn)行數(shù)據(jù)清理和充實(shí)的產(chǎn)品。
學(xué)籍信息管理系統(tǒng)摘要：隨著網(wǎng)絡(luò)技術(shù)與計(jì)算機(jī)的廣泛普及，絕大部分的機(jī)構(gòu)都對(duì)計(jì)算機(jī)管理系統(tǒng)進(jìn)行了合理的運(yùn)用，本設(shè)計(jì)通過(guò)Java面向?qū)ο笳Z(yǔ)言完成對(duì)學(xué)生信息管理系統(tǒng)進(jìn)行編寫，基于B/S模式，所用開(kāi)發(fā)工具為Eclipse以及AndroidStudio，然后基于Mysql的數(shù)據(jù)庫(kù)基礎(chǔ)上，通過(guò)Adobe Photoshop CS6的圖像處理軟件美化界面，在系統(tǒng)開(kāi)發(fā)過(guò)程中用到了Postman測(cè)試工具，在系統(tǒng)開(kāi)發(fā)完成后進(jìn)行了相關(guān)模塊的用例測(cè)試，所得系統(tǒng)有美觀、友好的界面，并且人機(jī)信息比較安全可靠、靈活與方便等，這種系統(tǒng)可擴(kuò)展性比較強(qiáng)。本文以學(xué)生信息管理系統(tǒng)為例說(shuō)明JavaWeb在信息管理中的應(yīng)用，主要實(shí)現(xiàn)了管理員模塊，老師模塊以及學(xué)生模塊，主要實(shí)現(xiàn)了管理員對(duì)于系統(tǒng)中教師，學(xué)生以及課程數(shù)據(jù)的增刪改查操作；以及教師對(duì)于學(xué)生相關(guān)信息的管理，例如學(xué)生的成績(jī)和考勤信息等；以及學(xué)生對(duì)于個(gè)人信息的修改以及選課信息和課程成績(jī)的查看等功能。本系統(tǒng)功能完善，對(duì)開(kāi)發(fā)管理信息系統(tǒng)提供了較高的理論指導(dǎo)和實(shí)際意義。關(guān)鍵詞：學(xué)生信息管理系統(tǒng)，Java Web，B/S模式，Mysq
畢業(yè)設(shè)計(jì)(論文)外文摘要Title : Student information ManagerAbstract:With the wide spread of network technology and computer, the vast majority of institutions have made reasonable use of the computer management system. Based on B / S mode, the development tools used are eclipse and Android studio. Then based on MySQL database, the interface is beautified by Adobe Photoshop CS6 image processing software. In the process of system development, postman test tool is used, After the completion of the system development, the use case test of related modules is carried out. The system has beautiful and friendly interface, and the man-machine information is safe, reliable, flexible and convenient. This system has strong scalability.This paper takes the student information management system as an example to illustrate the application of Java Web in information management, which provides higher theoretical guidance and practical significance for the development of management information system.keywords:Student information management system; Java Web; B/S；Mysql
目錄
1 緒論………………………1
1.1 研究背景及研究意義………………………1
1.2 研究狀況………………………1
2 系統(tǒng)相關(guān)技術(shù)分析………………………2
2.1 java………………………2
2.2 javaweb………………………3
2.3 數(shù)據(jù)庫(kù)………………………4
3 可行性和需求性分析………………………4
3.1 可行性分析………………………4
3.2 總體需求分析………………………5
4 系統(tǒng)的設(shè)計(jì)………………………7
4.1 系統(tǒng)架構(gòu)設(shè)計(jì)………………………7
4.2 系統(tǒng)功能模塊設(shè)計(jì)………………………8
4.3 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)………………………8
5 系統(tǒng)開(kāi)發(fā)與實(shí)現(xiàn)………………………10
5.1 登錄界面的實(shí)現(xiàn)………………………10
5.2 教師管理的實(shí)現(xiàn)………………………14
5.3 學(xué)生管理的實(shí)現(xiàn)………………………16
5.4 課程管理的實(shí)現(xiàn)………………………17
5.5 老師模塊的實(shí)現(xiàn)………………………17
5.6 學(xué)生模塊的實(shí)現(xiàn)………………………20
6 系統(tǒng)測(cè)試………………………23
6.1 用戶登入功能測(cè)試………………………23
6.2 各項(xiàng)信息管理功能測(cè)試………………………23
6.3 Excel導(dǎo)出學(xué)生成績(jī)表功能測(cè)試………………………24
總結(jié)………………………25
致謝………………………26
參考文獻(xiàn)………………………27
1 緒論1.1 研究背景及研究意義
學(xué)生的信息，必須要實(shí)現(xiàn)安全，高效的管理，因此，學(xué)生信息管理系統(tǒng)對(duì)于一個(gè)學(xué)校來(lái)說(shuō)是必不可少的組成部分。由于學(xué)生信息量比較龐大，對(duì)于那些需要記錄存檔的數(shù)據(jù)比較多的高校來(lái)說(shuō)，系統(tǒng)化的管理統(tǒng)計(jì)更加方便。而且當(dāng)查找某條記錄時(shí)只需要輸入該學(xué)生的有關(guān)信息便可以查詢到幾乎所有信息。
基于信息的學(xué)生信息管理系統(tǒng)可以有效解決傳統(tǒng)的手動(dòng)文件管理的缺點(diǎn)，充分利用信息管理的優(yōu)點(diǎn)，提高學(xué)生狀態(tài)管理的效率。學(xué)生信息管理系統(tǒng)對(duì)學(xué)生信息的管理更有效且方便。有效的信息管理學(xué)生的狀態(tài)，不僅保證學(xué)生的狀態(tài)有效率、有秩序的管理，而且使大學(xué)能夠達(dá)到一定程度的快速發(fā)展。
為了提高學(xué)生個(gè)人信息的管理效率，此設(shè)計(jì)一款學(xué)生信息管理系統(tǒng)將在很大程度上提升高校學(xué)生信息的管理效率。開(kāi)發(fā)一個(gè)功能完善的學(xué)生信息管理系統(tǒng)可以使得高校學(xué)生的信息檔案管理效率。
1.2 研究現(xiàn)狀
我國(guó)高校中的信息管理員一般為年齡比較大一點(diǎn)的阿姨，叔叔，他們之中，不乏有一些人的文化程度較低，因此，存在使用學(xué)生信息管理系統(tǒng)的老宿管對(duì)計(jì)算機(jī)系統(tǒng)的操作并不熟悉，需要他人指導(dǎo)，甚至對(duì)該系統(tǒng)的接受程度較低，仍會(huì)選擇使用紙質(zhì)的方式進(jìn)行信息的記錄，如果學(xué)生的報(bào)修信息量大，就會(huì)存在問(wèn)題解決不及時(shí)的問(wèn)題。
因此，我國(guó)高校的信息管理系統(tǒng)未來(lái)的發(fā)展路線需要進(jìn)一步的簡(jiǎn)化信息管理系統(tǒng)的使用，使得系統(tǒng)的受眾變得更大，使得可以更多的人可以使用，從而更好的提高學(xué)生信息管理系統(tǒng)的效率和便捷性，以及提供更加系統(tǒng)的服務(wù).
1.3 學(xué)生信息管理系統(tǒng)的必要
目前，人口數(shù)量在不斷飆升，學(xué)生數(shù)量更是急劇增加，這就給各大高校提供了大量學(xué)生信息統(tǒng)計(jì)的艱巨的挑戰(zhàn)。學(xué)生信息管理系統(tǒng)可以減輕學(xué)生信息統(tǒng)計(jì)的負(fù)擔(dān)，使得學(xué)生的信息統(tǒng)計(jì)和查詢更加的方便和快捷。本文研究的重點(diǎn)是WEB框架在學(xué)生信息管理系統(tǒng)中的應(yīng)用，對(duì)學(xué)校長(zhǎng)期的學(xué)生信息化建設(shè)，實(shí)現(xiàn)學(xué)生信息數(shù)據(jù)化有非常重要的意義。
2 系統(tǒng)相關(guān)技術(shù)分析
本系統(tǒng)采用現(xiàn)階段較為成熟的Java編程語(yǔ)言，運(yùn)用了面向?qū)ο蟮乃枷?。開(kāi)發(fā)過(guò)程中使用了Java1.8、Eclipse集成開(kāi)發(fā)環(huán)境、Tomcat7.0以及Mysql數(shù)據(jù)庫(kù)。
2.1 Java
Java是一種由Sun公司推出的面向?qū)ο缶幊陶Z(yǔ)言，廣受全球開(kāi)發(fā)人員的歡迎，占據(jù)著軟件開(kāi)發(fā)領(lǐng)域的主要地位。Java語(yǔ)言具有功能強(qiáng)大、變成簡(jiǎn)單、開(kāi)發(fā)效率高、運(yùn)行穩(wěn)定、可以獨(dú)立運(yùn)作等優(yōu)勢(shì)。由于Java語(yǔ)言能夠獨(dú)立構(gòu)建程序運(yùn)行環(huán)境，因此不需要多強(qiáng)大的平臺(tái)即可使用。與此同時(shí)，Java語(yǔ)言還支持多線程開(kāi)發(fā)，可以和互聯(lián)網(wǎng)結(jié)合運(yùn)用。
Java語(yǔ)言的設(shè)計(jì)集中于對(duì)象及其接口，它提供了簡(jiǎn)單的類機(jī)制以及動(dòng)態(tài)的接口模型。對(duì)象中封裝了它的狀態(tài)變量以及相應(yīng)的方法，實(shí)現(xiàn)了模塊化和信息隱藏;而類則提供了一類對(duì)象的原型，并且通過(guò)繼承機(jī)制，子類可以使用父類所提供的方法，實(shí)現(xiàn)了代碼的復(fù)用。
Java不同于一般的編譯執(zhí)行計(jì)算機(jī)語(yǔ)言和解釋執(zhí)行計(jì)算機(jī)語(yǔ)言。它首先將源代碼編譯成二進(jìn)制字節(jié)碼（bytecode），然后依賴各種不同平臺(tái)上的虛擬機(jī)來(lái)解釋執(zhí)行字節(jié)碼。從而實(shí)現(xiàn)了“一次編譯、到處執(zhí)行”的跨平臺(tái)特性。不過(guò)，每次的執(zhí)行編譯后的字節(jié)碼需要消耗一定的時(shí)間，這同時(shí)也在一定程度上降低了 Java 程序的性能。
2.2 JavaWeb
2.2.1 HTML
HTML5是用于取代1999年所制定的 HTML 4.01 和 XHTML 1.0 標(biāo)準(zhǔn)的 HTML 標(biāo)準(zhǔn)版本，現(xiàn)在仍處于發(fā)展階段，但大部分瀏覽器已經(jīng)支持某些 HTML5 技術(shù)。HTML 5有兩大特點(diǎn)：首先，強(qiáng)化了 Web 網(wǎng)頁(yè)的表現(xiàn)性能。其次，追加了本地?cái)?shù)據(jù)庫(kù)等 Web 應(yīng)用的功能。廣義論及HTML5時(shí)，實(shí)際指的是包括HTML、CSS和JavaScript在內(nèi)的一套技術(shù)組合。它希望能夠減少瀏覽器對(duì)于需要插件的豐富性網(wǎng)絡(luò)應(yīng)用服務(wù)（plug-in-based rich internet application，RIA)，如Adobe Flash、Microsoft Silverlight，與Oracle JavaFX的需求，并且提供更多能有效增強(qiáng)網(wǎng)絡(luò)應(yīng)用的標(biāo)準(zhǔn)集。
HTML就是所謂的超文本標(biāo)記語(yǔ)言，這種語(yǔ)言普遍存在與網(wǎng)絡(luò)之中的各個(gè)網(wǎng)頁(yè)內(nèi)，是開(kāi)發(fā)網(wǎng)頁(yè)的基礎(chǔ)工具之一。HTML主要是借助標(biāo)簽來(lái)控制網(wǎng)頁(yè)中的圖像、視頻、文本等各種信息，從而實(shí)現(xiàn)預(yù)期的顯示效果。HTML語(yǔ)言產(chǎn)生的互聯(lián)網(wǎng)操作會(huì)受到http協(xié)議的制約，并且瀏覽器在運(yùn)行HTML語(yǔ)言的時(shí)候同樣會(huì)受到約束。HTML之所以可以很快得到大規(guī)模應(yīng)用，主要是因?yàn)椴捎昧顺谋炯夹g(shù)，這樣就能夠和任何連接到網(wǎng)絡(luò)中的計(jì)算機(jī)互相傳輸數(shù)據(jù)。所謂的“超文本”實(shí)質(zhì)上指的是不包含文本的其他內(nèi)容，例如視頻、音頻等等。
2.2.2 Servlet
Servlet是在JSP技術(shù)基礎(chǔ)上發(fā)展出的全新技術(shù)，主要應(yīng)用于服務(wù)器中，具有接收數(shù)據(jù)請(qǐng)求、轉(zhuǎn)發(fā)數(shù)據(jù)請(qǐng)求等功能。本質(zhì)上來(lái)說(shuō)，Servlet屬于Java程序的一個(gè)類型。Servlet主要遵循如下流程進(jìn)行運(yùn)作：服務(wù)器在接收到Http請(qǐng)求之后，會(huì)立即分析接受的這些請(qǐng)求，并以此為基礎(chǔ)創(chuàng)建Servlet，緊接著借助調(diào)用等各種手段向客戶端反饋請(qǐng)求信息，最后服務(wù)器重啟并調(diào)用destroy。
瀏覽器提交的請(qǐng)求是滿足Http協(xié)議的文本，該文本是由服務(wù)器容器，例如Tomcat接受并解析封裝成了HttpServletRequest類型的request，所有的HTTP頭數(shù)據(jù)都是可以通過(guò)request的對(duì)應(yīng)方法查詢到（get），當(dāng)需要輸出給客戶端瀏覽器時(shí)，Tomcat將輸出流文本封裝成HttpServletResponse的response對(duì)象，通過(guò)設(shè)置response的屬性，來(lái)控制輸出的內(nèi)容。其中，Tomcat利用request和response做為參數(shù)，調(diào)用Servlet中的方法，例如doget(request,response);
2.2.3 JSP
JSP實(shí)際上屬于Java Servlet的分支技術(shù)之一，是基于B/S結(jié)構(gòu)研發(fā)出的網(wǎng)頁(yè)開(kāi)發(fā)技術(shù)，允許用戶和網(wǎng)頁(yè)進(jìn)行交互，極大增強(qiáng)了網(wǎng)頁(yè)的擴(kuò)展性。JSP主要遵循如下流程進(jìn)行運(yùn)作：利用JSP標(biāo)簽把Java語(yǔ)言編寫的代碼插入到超文本標(biāo)記語(yǔ)言開(kāi)發(fā)的網(wǎng)頁(yè)中。標(biāo)準(zhǔn)的JSP標(biāo)簽格式是：“%內(nèi)容%”。
JSP技術(shù)主要起到了實(shí)現(xiàn)Java web用戶界面的作用。在進(jìn)行JSP編程之前，應(yīng)當(dāng)把HTML、XHTML、XML三者有效結(jié)合運(yùn)用。JSP技術(shù)通常是利用表單來(lái)實(shí)現(xiàn)各項(xiàng)需求的，比方說(shuō)數(shù)據(jù)輸入、數(shù)據(jù)庫(kù)訪問(wèn)等等需求。在得到全部信息后，便可以開(kāi)始設(shè)計(jì)網(wǎng)頁(yè)。
JSP標(biāo)簽?zāi)軌驅(qū)崿F(xiàn)數(shù)據(jù)庫(kù)訪問(wèn)等眾多功能與請(qǐng)求，此外，還能夠轉(zhuǎn)發(fā)、傳輸、共享各個(gè)網(wǎng)頁(yè)發(fā)送的信息，主要有請(qǐng)求、轉(zhuǎn)換、編譯、執(zhí)行以及響應(yīng)五個(gè)步驟。
第一步，客戶端將會(huì)發(fā)送出網(wǎng)頁(yè)請(qǐng)求；第二步，JSP Container將會(huì)對(duì)網(wǎng)頁(yè)請(qǐng)求進(jìn)行轉(zhuǎn)換，將其轉(zhuǎn)換成Servlet文件；第三步，進(jìn)一步對(duì)Servlet文件進(jìn)行編譯，將其編譯成.class文件；第四步，執(zhí)行網(wǎng)頁(yè)請(qǐng)求并產(chǎn)生Servlet實(shí)例；第五步，將網(wǎng)頁(yè)請(qǐng)求的Servlet實(shí)例返回至客戶端進(jìn)行響應(yīng)。
從整體角度來(lái)看，JSP執(zhí)行過(guò)程里面最核心的兩個(gè)階段應(yīng)當(dāng)是請(qǐng)求期和轉(zhuǎn)譯期。顧名思義，所謂的請(qǐng)求期指的是把.class文件返回給客戶端的過(guò)程，而所謂的轉(zhuǎn)譯期就是一步步把網(wǎng)頁(yè)請(qǐng)求轉(zhuǎn)換成.class文件的過(guò)程。
JSP擁有眾多性能方面的優(yōu)勢(shì)。在應(yīng)用JSP技術(shù)之后，程序開(kāi)發(fā)者在程序設(shè)計(jì)時(shí)候面臨的編程工作復(fù)雜程度會(huì)顯著減少，并且能夠與可視化工具一同運(yùn)用，進(jìn)一步降低程序開(kāi)發(fā)者的開(kāi)發(fā)壓力。除此之外，由于JSP本身包含內(nèi)置對(duì)象等特點(diǎn)，可以在很大程度上給servlet編程提供助力，有效提高了編程速度，降低了編程難度，程序開(kāi)發(fā)者無(wú)須再人工翻譯網(wǎng)頁(yè)請(qǐng)求和外部信息。并且JSP囊括了Java的全部技術(shù)內(nèi)容，所以只要是Java支持的插件包、工具包等等都可以被JSP調(diào)用，也不需要性能多強(qiáng)的運(yùn)作平臺(tái)。
2.2.4 B/S結(jié)構(gòu)
B/S（Brower/Server）體系結(jié)構(gòu)的優(yōu)勢(shì)：
（1）程序基本建立在服務(wù)器中，便于維護(hù)更新；
（2）能夠與客戶端有效區(qū)分進(jìn)行邏輯處理、數(shù)據(jù)處理等操作，這樣的話，在維護(hù)客戶端之時(shí)，就無(wú)須更改其他內(nèi)容。
B/S體系結(jié)構(gòu)的交互模式：
B/S結(jié)構(gòu)可以把網(wǎng)頁(yè)請(qǐng)求和返回響應(yīng)連接起來(lái)，進(jìn)而實(shí)現(xiàn)兩者間的實(shí)時(shí)交互，并且允許瀏覽器直接發(fā)送request請(qǐng)求，依靠服務(wù)器來(lái)訪問(wèn)系統(tǒng)服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器。從應(yīng)用服務(wù)器角度來(lái)說(shuō)，應(yīng)用服務(wù)器可以從數(shù)據(jù)庫(kù)中獲得所需數(shù)據(jù)，隨后再向?yàn)g覽器發(fā)送請(qǐng)求，最后，由瀏覽器對(duì)HTML文件進(jìn)行處理。
2.3 Mysql數(shù)據(jù)庫(kù)
數(shù)據(jù)庫(kù)，簡(jiǎn)而言之可視為電子化的文件柜——存儲(chǔ)電子文件的處所，用戶可以對(duì)文件中的數(shù)據(jù)運(yùn)行新增、截取、更新、刪除等操作。所謂“數(shù)據(jù)庫(kù)”系以一定方式儲(chǔ)存在一起、能予多個(gè)用戶共享、具有盡可能小的冗余度、與應(yīng)用程序彼此獨(dú)立的數(shù)據(jù)集合數(shù)據(jù)庫(kù)管理系統(tǒng)（Database Management System，簡(jiǎn)稱DBMS）是為管理數(shù)據(jù)庫(kù)而設(shè)計(jì)的電腦軟件系統(tǒng)，一般具有存儲(chǔ)、截取、安全保障、備份等基礎(chǔ)功能
數(shù)據(jù)庫(kù)管理系統(tǒng)主要分為以下兩類：關(guān)系數(shù)據(jù)庫(kù)（關(guān)系數(shù)據(jù)庫(kù)是創(chuàng)建在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)?，F(xiàn)實(shí)世界中的各種實(shí)體以及實(shí)體之間的各種聯(lián)系均用關(guān)系模型來(lái)表示。）非關(guān)系型數(shù)據(jù)庫(kù) NoSQL（ 非關(guān)系型數(shù)據(jù)庫(kù)是對(duì)不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)的統(tǒng)稱。與關(guān)系數(shù)據(jù)庫(kù)最大的不同點(diǎn)是不使用SQL作為查詢語(yǔ)言。）。幾乎所有的數(shù)據(jù)庫(kù)管理系統(tǒng)都配備了一個(gè)開(kāi)放式數(shù)據(jù)庫(kù)連接（ODBC）驅(qū)動(dòng)程序，令各個(gè)數(shù)據(jù)庫(kù)之間得以互相集成。
Mysql 是一種廣泛使用且流行的數(shù)據(jù)庫(kù)服務(wù)器，長(zhǎng)時(shí)間存儲(chǔ)在計(jì)算機(jī)設(shè)備上的數(shù)據(jù)集合，由各種用戶和應(yīng)用程序根據(jù)某些規(guī)則進(jìn)行組織和通信，簡(jiǎn)單地說(shuō)就是數(shù)據(jù)文件存儲(chǔ)的大型倉(cāng)庫(kù)。它功能強(qiáng)大,易于使用和管理，安全靠譜，跨平臺(tái)界面，安全穩(wěn)定的網(wǎng)絡(luò)，適合大多數(shù)軟件和應(yīng)用程序軟件數(shù)據(jù)庫(kù)的后端開(kāi)發(fā)。另外，Mysql 數(shù)據(jù)庫(kù)允許用戶以多種語(yǔ)言編寫程序進(jìn)行訪問(wèn)，同時(shí)，開(kāi)元也是該數(shù)據(jù)路最大的特點(diǎn)，可以在不同平臺(tái)上工作，還可以應(yīng)用于 Web 的開(kāi)發(fā)站點(diǎn)以及其他程序的數(shù)據(jù)后端。
3 可行性和需求性分析
3.1 可行性分析
3.1.1 技術(shù)可行性分析
基于Java收集和監(jiān)控系統(tǒng)設(shè)計(jì)的電腦產(chǎn)品價(jià)格沒(méi)有嚴(yán)格要求。只需熟練使用java和數(shù)據(jù)庫(kù)即可，不需要太多復(fù)雜的不同類型的語(yǔ)中，減輕了設(shè)計(jì)實(shí)現(xiàn)的復(fù)雜度。高成本性能；高安全性。
3.1.2 操作條件可行性分析
操作性主要是完成了用于收集商品價(jià)格的監(jiān)視管理系統(tǒng)的設(shè)計(jì)，完成了用戶Experience的使用管理者總是通過(guò)系統(tǒng)方便管理相關(guān)數(shù)據(jù)信息用戶信息的請(qǐng)求和管理者管理數(shù)據(jù)和信息系統(tǒng)的操作不需要專家，可以直接對(duì)應(yīng)操作管理的通用模塊系統(tǒng)的操作性完全可能。因?yàn)橄到y(tǒng)的操作也是用于登錄的接口窗口的使用，所以只要操作簡(jiǎn)單，操作人員就可以完全操作。
3.2 總體需求分析
系統(tǒng)主要實(shí)現(xiàn)的是管理學(xué)生信息，管理員可以對(duì)學(xué)生、教師、課程進(jìn)行直接的操作（添加，修改，刪除）具體有：
(1) 對(duì)新教師的添加；
(2) 系統(tǒng)數(shù)據(jù)庫(kù)中已經(jīng)添加后、存在的教師的有關(guān)信息的修改；
(3) 學(xué)生信息管理系統(tǒng)中已經(jīng)存在的教師數(shù)據(jù)的刪除；
(4) 對(duì)系統(tǒng)中已經(jīng)存在的所有教師數(shù)據(jù)的查看等。
還有對(duì)課程數(shù)據(jù)的相關(guān)相關(guān)操作，具體包括：
(1) 對(duì)新課程數(shù)據(jù)的添加；
(2) 系統(tǒng)數(shù)據(jù)庫(kù)中已添加存在的課程數(shù)據(jù)的修改；
(3) 系統(tǒng)中已經(jīng)添加后存在的課程數(shù)據(jù)的刪除；
(4) 對(duì)系統(tǒng)中已經(jīng)存在的所有課程數(shù)據(jù)的查看等。
管理員對(duì)自己的操作：點(diǎn)擊修改個(gè)人信息按鈕，管理員可以對(duì)自己的密碼進(jìn)行修改。
關(guān)于據(jù)庫(kù)中管理員的用例如圖3-1所示。
圖3-1 管理員用例圖
教師模塊的主要功能包括對(duì)于課程數(shù)據(jù)以及學(xué)生相關(guān)數(shù)據(jù)的修改，具體操作同管理員類似，教師模塊的用例圖如圖3-2所示。
圖3-2 教師角色用例圖
學(xué)生模塊主要的功能包括對(duì)于個(gè)人信息的修改查看以及成績(jī)的查看等，具體如圖3-3所示。
圖3-3 學(xué)生角色用例圖
4 系統(tǒng)的設(shè)計(jì)
4.1 系統(tǒng)架構(gòu)設(shè)計(jì)
架構(gòu)設(shè)計(jì)的目的是為了反映一個(gè)結(jié)構(gòu)和其他元素之間的關(guān)系，抽象，通常用于指導(dǎo)大型軟件系統(tǒng)，數(shù)將模型層、視圖層和控制層。并且結(jié)合工廠模式整體設(shè)計(jì)思路，分別將數(shù)據(jù)訪問(wèn)層，服務(wù)層每一層的最上方封裝一個(gè)工廠類，控制層通過(guò)服務(wù)層的工廠類調(diào)用相關(guān)服務(wù)，服務(wù)類再調(diào)用數(shù)據(jù)訪問(wèn)層的工廠類來(lái)實(shí)現(xiàn)相關(guān)的數(shù)據(jù)訪問(wèn)層操作，本系統(tǒng)的體系結(jié)構(gòu)設(shè)計(jì)的詳情如圖4-1。
圖4-1 學(xué)生信息管理系統(tǒng)結(jié)構(gòu)圖
4.2 系統(tǒng)功能模塊設(shè)計(jì)
本學(xué)生信息管理系統(tǒng)共設(shè)計(jì)了四個(gè)功能模塊，其為教師管理功能模塊、學(xué)生信息管理功能模塊、課程管理功能模塊和成績(jī)管理功能模塊等。系統(tǒng)的功能模塊設(shè)計(jì)圖如圖4-2所示。
圖4-2 系統(tǒng)功能模塊設(shè)計(jì)
4.3 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)
1.教師可以管理學(xué)生（學(xué)號(hào)、姓名、性別、出生日期）的所有信息以及課程和成績(jī)。
2.學(xué)生通過(guò)選課來(lái)選取課程，老師工作，授予學(xué)生所選課程并給予學(xué)生成績(jī)，學(xué)生擁有成績(jī)。如圖4-3所示。
圖4-3系統(tǒng)數(shù)據(jù)庫(kù)ER圖
系統(tǒng)中的管理員有用戶名和密碼兩個(gè)屬性，用來(lái)登錄系統(tǒng)，如圖4-1所示。
圖4-1管理員信息圖
學(xué)生信息表在數(shù)據(jù)庫(kù)中的表名定義為student，其共有七個(gè)字段用來(lái)存儲(chǔ)學(xué)生的學(xué)號(hào)、姓名、班級(jí)、性別、身份證號(hào)、所在省份、電話信息。具體學(xué)生信息表字段如圖4-2所示。
圖4-2學(xué)生信息圖
課程信息表在數(shù)據(jù)庫(kù)中的表名定義為course，其共有六個(gè)字段用來(lái)存儲(chǔ)課程的課程編號(hào)、課程名、上課班級(jí)、任課教師、課時(shí)、課程學(xué)分信息。具體課程信息表字段如圖4-3所示。
圖4-3課程信息圖
成績(jī)信息表在數(shù)據(jù)庫(kù)中的表名定義為grade，其共有8個(gè)字段用來(lái)存儲(chǔ)成績(jī)的成績(jī)編號(hào)、學(xué)生學(xué)號(hào)、學(xué)生姓名、課程班級(jí)、課程編號(hào)、課程名、成績(jī)分?jǐn)?shù)、成績(jī)類型。具體成績(jī)信息表字段如圖4-4所示。
圖4-4成績(jī)信息圖
教師信息表在數(shù)據(jù)庫(kù)中的表名定義為teacher，其共有七個(gè)字段用來(lái)存儲(chǔ)教師信息。具體教師信息表字段如圖4-5所示。
圖4-5教師信息圖
5 系統(tǒng)開(kāi)發(fā)與實(shí)現(xiàn)
5.1 登入界面的實(shí)現(xiàn)
登錄界面如圖5-1所示，在登錄界面需要選擇不同的登錄對(duì)象，選擇之后輸入對(duì)應(yīng)的用戶名和密碼以及驗(yàn)證碼，然后點(diǎn)擊確定按鈕即可登入學(xué)籍信息管理系統(tǒng)。
圖5-1 登錄界面
(1) 點(diǎn)擊登錄選項(xiàng)中的管理員登錄選項(xiàng)，輸入管理員賬戶和密碼可進(jìn)行管理員登錄，管理員登錄部分代碼：
//管理員登錄
(2)點(diǎn)擊登錄選項(xiàng)中的學(xué)生登錄選項(xiàng)，輸入學(xué)生賬戶和密碼可進(jìn)行學(xué)生端的登錄，學(xué)生端登錄后可進(jìn)行自己的有關(guān)信息的修改（個(gè)人信息、密碼等）
學(xué)生端登錄部分代碼：
//學(xué)生端登錄
(3)點(diǎn)擊登錄選項(xiàng)中的教師登錄選項(xiàng)，輸入教師賬戶和密碼可進(jìn)行教師端的登錄，
教師端登錄部分代碼：
//教師端登錄
登錄之后就可以看到系統(tǒng)的主界面，左側(cè)是導(dǎo)航菜單，不同的身份登錄后導(dǎo)航菜單的功能也不同：
學(xué)生登錄：學(xué)生可對(duì)自己的個(gè)人信息進(jìn)行修改，可以選課、打卡、請(qǐng)假，也可以對(duì)自己的選課和成績(jī)進(jìn)行查詢。
老師登錄：老師可以對(duì)學(xué)生的信息進(jìn)行添加、修改、刪除、導(dǎo)出學(xué)生成績(jī)操作。
管理員登錄：管理員可以對(duì)學(xué)生和老師的信息進(jìn)行添加、修改和刪除操作。
如圖5-2所示
圖5-2 系統(tǒng)主界面
5.2 教師管理的實(shí)現(xiàn)
管理員登錄成功之后可以完成系統(tǒng)中教師的管理，對(duì)教師數(shù)據(jù)進(jìn)行修改和添加的簡(jiǎn)單操作，添加教師如圖5-3所示。
圖5-3 添加教師
添加教師功能主要代碼如下：
教師添加成功之后可以查看已經(jīng)添加的教師，并且仍能夠?qū)σ呀?jīng)添加的教師信息進(jìn)行修改和刪除操作。如圖5-4所示。
圖5-4 教師列表查看
如果教師的相關(guān)信息需要修改，首先需要選中想要修改的教師，點(diǎn)擊修改，將信息修改即可，如圖5-5所示。
圖5-5 教師信息修改
教師信息修改部分代碼如下：
如果有教師的相關(guān)信息需要?jiǎng)h除，首先需要選中想要修改的教師，點(diǎn)擊刪除按鈕，即可將想要?jiǎng)h除的教師進(jìn)行刪除操作，具體如圖5-6所示。
圖5-6教師的刪除
教師刪除功能主要代碼如下：
5.3 學(xué)生管理的實(shí)現(xiàn)
管理員登錄成功之后可以完成系統(tǒng)中學(xué)生的管理，對(duì)教師數(shù)據(jù)進(jìn)行增刪改查操作，對(duì)學(xué)生的管理和對(duì)教師的管理類似，學(xué)生管理界面如圖5-7所示。
圖5-7 學(xué)生管理界面
5.4 課程管理的實(shí)現(xiàn)
管理員登錄成功之后可以完成系統(tǒng)中課程的管理，對(duì)課程數(shù)據(jù)進(jìn)行增刪改查操作，對(duì)課程的管理類似，不再贅述，課程管理界面如圖5-8所示。
圖5-8 課程管理界面
5.5 老師模塊的實(shí)現(xiàn)
教師登錄到系統(tǒng)之后，可以對(duì)學(xué)生的考勤信息以及成績(jī)進(jìn)行管理，學(xué)生成績(jī)的添加，點(diǎn)擊添加按鈕即可對(duì)學(xué)生的成績(jī)信息添加，選中一名學(xué)生，點(diǎn)擊修改，可對(duì)學(xué)生成績(jī)進(jìn)行修改操作，如圖5-9所示。
圖5-9 學(xué)生成績(jī)的修改
學(xué)生成績(jī)修改功能部分代碼如下：
教師還可以對(duì)學(xué)生的成績(jī)進(jìn)行統(tǒng)計(jì)，可以查看學(xué)生每門課程的所有成績(jī)的統(tǒng)計(jì)圖，據(jù)圖如圖5-10所示。
圖5-10 學(xué)生成績(jī)的統(tǒng)計(jì)
教師可以對(duì)學(xué)生的成績(jī)表進(jìn)行導(dǎo)出操作，學(xué)生成績(jī)導(dǎo)出如圖5-11所示。
圖5-11 學(xué)生成績(jī)單導(dǎo)出
學(xué)生成績(jī)導(dǎo)出之后效果如圖5-12所示。
圖5-12 學(xué)生成績(jī)導(dǎo)出
什么是NoSQL
大家有沒(méi)有聽(tīng)說(shuō)過(guò)“NoSQL”呢?近年，這個(gè)詞極受關(guān)注?？吹健癗oSQL”這個(gè)詞，大家可能會(huì)誤以為是“No!SQL”的縮寫，并深感憤怒：“SQL怎么會(huì)沒(méi)有必要了呢?”但實(shí)際上，它是“Not Only SQL”的縮寫。它的意義是：適用關(guān)系型數(shù)據(jù)庫(kù)的時(shí)候就使用關(guān)系型數(shù)據(jù)庫(kù)，不適用的時(shí)候也沒(méi)有必要非使用關(guān)系型數(shù)據(jù)庫(kù)不可，可以考慮使用更加合適的數(shù)據(jù)存儲(chǔ)。
為彌補(bǔ)關(guān)系型數(shù)據(jù)庫(kù)的不足，各種各樣的NoSQL數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。
為了更好地了解本書所介紹的NoSQL數(shù)據(jù)庫(kù)，對(duì)關(guān)系型數(shù)據(jù)庫(kù)的理解是必不可少的。那么，就讓我們先來(lái)看一看關(guān)系型數(shù)據(jù)庫(kù)的歷史、分類和特征吧。
關(guān)系型數(shù)據(jù)庫(kù)簡(jiǎn)史
1969年，埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發(fā)表了劃時(shí)代的論文，首次提出了關(guān)系數(shù)據(jù)模型的概念。但可惜的是，刊登論文的《IBM Research Report》只是IBM公司的內(nèi)部刊物，因此論文反響平平。1970年，他再次在刊物《Communication of the ACM》上發(fā)表了題為“A Relational Model of Data for Large Shared Data banks”(大型共享數(shù)據(jù)庫(kù)的關(guān)系模型)的論文，終于引起了大家的關(guān)注。
科德所提出的關(guān)系數(shù)據(jù)模型的概念成為了現(xiàn)今關(guān)系型數(shù)據(jù)庫(kù)的基礎(chǔ)。當(dāng)時(shí)的關(guān)系型數(shù)據(jù)庫(kù)由于硬件性能低劣、處理速度過(guò)慢而遲遲沒(méi)有得到實(shí)際應(yīng)用。但之后隨著硬件性能的提升，加之使用簡(jiǎn)單、性能優(yōu)越等優(yōu)點(diǎn)，關(guān)系型數(shù)據(jù)庫(kù)得到了廣泛的應(yīng)用。
通用性及高性能
雖然本書是講解NoSQL數(shù)據(jù)庫(kù)的，但有一個(gè)重要的大前提，請(qǐng)大家一定不要誤解。這個(gè)大前提就是“關(guān)系型數(shù)據(jù)庫(kù)的性能絕對(duì)不低，它具有非常好的通用性和非常高的性能”。毫無(wú)疑問(wèn)，對(duì)于絕大多數(shù)的應(yīng)用來(lái)說(shuō)它都是最有效的解決方案。
突出的優(yōu)勢(shì)
關(guān)系型數(shù)據(jù)庫(kù)作為應(yīng)用廣泛的通用型數(shù)據(jù)庫(kù)，它的突出優(yōu)勢(shì)主要有以下幾點(diǎn):
保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)
由于以標(biāo)準(zhǔn)化為前提，數(shù)據(jù)更新的開(kāi)銷很小(相同的字段基本上都只有一處)
可以進(jìn)行JOIN等復(fù)雜查詢
存在很多實(shí)際成果和專業(yè)技術(shù)信息(成熟的技術(shù))
這其中，能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫(kù)的最大優(yōu)勢(shì)。在需要嚴(yán)格保證數(shù)據(jù)一致性和處理完整性的情況下，用關(guān)系型數(shù)據(jù)庫(kù)是肯定沒(méi)有錯(cuò)的。但是有些情況不需要JOIN，對(duì)上述關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)也沒(méi)有什么特別需要，這時(shí)似乎也就沒(méi)有必要拘泥于關(guān)系型數(shù)據(jù)庫(kù)了。
關(guān)系型數(shù)據(jù)庫(kù)的不足
不擅長(zhǎng)的處理
就像之前提到的那樣，關(guān)系型數(shù)據(jù)庫(kù)的性能非常高。但是它畢竟是一個(gè)通用型的數(shù)據(jù)庫(kù)，并不能完全適應(yīng)所有的用途。具體來(lái)說(shuō)它并不擅長(zhǎng)以下處理：
大量數(shù)據(jù)的寫入處理
為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更
字段不固定時(shí)應(yīng)用
對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理
。。。。。。
NoSQL數(shù)據(jù)庫(kù)
為了彌補(bǔ)關(guān)系型數(shù)據(jù)庫(kù)的不足(特別是最近幾年)，NoSQL數(shù)據(jù)庫(kù)出現(xiàn)了。關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用廣泛，能進(jìn)行事務(wù)處理和JOIN等復(fù)雜處理。相對(duì)地，NoSQL數(shù)據(jù)庫(kù)只應(yīng)用在特定領(lǐng)域，基本上不進(jìn)行復(fù)雜的處理，但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫(kù)的不足之處。
易于數(shù)據(jù)的分散
如前所述，關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)大量數(shù)據(jù)的寫入處理。原本關(guān)系型數(shù)據(jù)庫(kù)就是以JOIN為前提的，就是說(shuō)，各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫(kù)得名的主要原因。為了進(jìn)行JOIN處理，關(guān)系型數(shù)據(jù)庫(kù)不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散。相反，NoSQL數(shù)據(jù)庫(kù)原本就不支持JOIN處理，各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的，很容易把數(shù)據(jù)分散到多個(gè)服務(wù)器上。由于數(shù)據(jù)被分散到了多個(gè)服務(wù)器上，減少了每個(gè)服務(wù)器上的數(shù)據(jù)量，即使要進(jìn)行大量數(shù)據(jù)的寫入操作，處理起來(lái)也更加容易。同理，數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。
提升性能和增大規(guī)模
下面說(shuō)一點(diǎn)題外話，如果想要使服務(wù)器能夠輕松地處理更大量的數(shù)據(jù)，那么只有兩個(gè)選擇：一是提升性能，二是增大規(guī)模。下面我們來(lái)整理一下這兩者的不同。
首先，提升性能指的就是通過(guò)提升現(xiàn)行服務(wù)器自身的性能來(lái)提高處理能力。這是非常簡(jiǎn)單的方法，程序方面也不需要進(jìn)行變更，但需要一些費(fèi)用。若要購(gòu)買性能翻倍的服務(wù)器，需要花費(fèi)的資金往往不只是原來(lái)的2倍，可能需要多達(dá)5到10倍。這種方法雖然簡(jiǎn)單，但是成本較高。
另一方面，增大規(guī)模指的是使用多臺(tái)廉價(jià)的服務(wù)器來(lái)提高處理能力。它需要對(duì)程序進(jìn)行變更，但由于使用廉價(jià)的服務(wù)器，可以控制成本。另外，以后只要依葫蘆畫瓢增加廉價(jià)服務(wù)器的數(shù)量就可以了。
不對(duì)大量數(shù)據(jù)進(jìn)行處理的話就沒(méi)有使用的必要嗎？
NoSQL數(shù)據(jù)庫(kù)基本上來(lái)說(shuō)為了“使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務(wù)器數(shù)量更容易)”而設(shè)計(jì)的。但如果不是對(duì)大量數(shù)據(jù)進(jìn)行操作的話，NoSQL數(shù)據(jù)庫(kù)的應(yīng)用就沒(méi)有意義嗎?
答案是否定的。的確，它在處理大量數(shù)據(jù)方面很有優(yōu)勢(shì)。但實(shí)際上NoSQL數(shù)據(jù)庫(kù)還有各種各樣的特點(diǎn)，如果能夠恰當(dāng)?shù)乩眠@些特點(diǎn)將會(huì)是非常有幫助。具體的例子將會(huì)在第2章和第3章進(jìn)行介紹，這些用途將會(huì)讓你感受到利用NoSQL的好處。
希望順暢地對(duì)數(shù)據(jù)進(jìn)行緩存(Cache)處理
希望對(duì)數(shù)組類型的數(shù)據(jù)進(jìn)行高速處理
希望進(jìn)行全部保存
多樣的NoSQL數(shù)據(jù)庫(kù)
NoSQL數(shù)據(jù)庫(kù)存在著“key-value存儲(chǔ)”、“文檔型數(shù)據(jù)庫(kù)”、“列存儲(chǔ)數(shù)據(jù)庫(kù)”等各種各樣的種類，每種數(shù)據(jù)庫(kù)又包含各自的特點(diǎn)。下一節(jié)讓我們一起來(lái)了解一下NoSQL數(shù)據(jù)庫(kù)的種類和特點(diǎn)。
NoSQL數(shù)據(jù)庫(kù)是什么
NoSQL說(shuō)起來(lái)簡(jiǎn)單，但實(shí)際上到底有多少種呢?我在提筆的時(shí)候，到NoSQL的官方網(wǎng)站上確認(rèn)了一下，竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒(méi)有涉及到的圖形數(shù)據(jù)庫(kù)和對(duì)象數(shù)據(jù)庫(kù)等各個(gè)類別。不知不覺(jué)間，原來(lái)已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫(kù)啊。
本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫(kù)。
key-value存儲(chǔ)
這是最常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)，它的數(shù)據(jù)是以key-value的形式存儲(chǔ)的。雖然它的處理速度非?？?，但是基本上只能通過(guò)key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具三種。
臨時(shí)性
memcached屬于這種類型。所謂臨時(shí)性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非常快，但是當(dāng)memcached停止的時(shí)候，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無(wú)法操作超出內(nèi)存容量的數(shù)據(jù)(舊數(shù)據(jù)會(huì)丟失)。
在內(nèi)存中保存數(shù)據(jù)
可以進(jìn)行非常快速的保存和讀取處理
數(shù)據(jù)有可能丟失
永久性
Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時(shí)性相反，所謂永久性就是“數(shù)據(jù)不會(huì)丟失”的意思。這里的key-value存儲(chǔ)不像memcached那樣在內(nèi)存中保存數(shù)據(jù)，而是把數(shù)據(jù)保存在硬盤上。與memcached在內(nèi)存中處理數(shù)據(jù)比起來(lái)，由于必然要發(fā)生對(duì)硬盤的IO操作，所以性能上還是有差距的。但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢(shì)。
在硬盤上保存數(shù)據(jù)
可以進(jìn)行非常快速的保存和讀取處理(但無(wú)法與memcached相比)
數(shù)據(jù)不會(huì)丟失
兩者兼具
Redis屬于這種類型。Redis有些特殊，臨時(shí)性和永久性兼具，且集合了臨時(shí)性key-value存儲(chǔ)和永久性key-value存儲(chǔ)的優(yōu)點(diǎn)。Redis首先把數(shù)據(jù)保存到內(nèi)存中，在滿足特定條件(默認(rèn)是15分鐘一次以上，5分鐘內(nèi)10個(gè)以上，1分鐘內(nèi)10000個(gè)以上的key發(fā)生變更)的時(shí)候?qū)?shù)據(jù)寫入到硬盤中。這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過(guò)寫入硬盤來(lái)保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫(kù)特別適合于處理數(shù)組類型的數(shù)據(jù)。
同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)
可以進(jìn)行非?？焖俚谋４婧妥x取處理
保存在硬盤上的數(shù)據(jù)不會(huì)消失(可以恢復(fù))
適合于處理數(shù)組類型的數(shù)據(jù)
面向文檔的數(shù)據(jù)庫(kù)
MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫(kù)，但與key-value存儲(chǔ)相異。
不定義表結(jié)構(gòu)
面向文檔的數(shù)據(jù)庫(kù)具有以下特征：即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用。關(guān)系型數(shù)據(jù)庫(kù)在變更表結(jié)構(gòu)時(shí)比較費(fèi)事，而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫(kù)則可省去這些麻煩(通常程序都是正確的)，確實(shí)是方便快捷。
可以使用復(fù)雜的查詢條件
跟key-value存儲(chǔ)不同的是，面向文檔的數(shù)據(jù)庫(kù)可以通過(guò)復(fù)雜的查詢條件來(lái)獲取數(shù)據(jù)。雖然不具備事務(wù)處理和JOIN這些關(guān)系型數(shù)據(jù)庫(kù)所具有的處理能力，但除此以外的其他處理基本上都能實(shí)現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫(kù)。
不需要定義表結(jié)構(gòu)
可以利用復(fù)雜的查詢條件
面向列的數(shù)據(jù)庫(kù)
Cassandra、Hbase、HyperTable屬于這種類型。由于近年來(lái)數(shù)據(jù)量出現(xiàn)爆發(fā)性增長(zhǎng)，這種類型的NoSQL數(shù)據(jù)庫(kù)尤其引人注目。
面向行的數(shù)據(jù)庫(kù)和面向列的數(shù)據(jù)庫(kù)
普通的關(guān)系型數(shù)據(jù)庫(kù)都是以行為單位來(lái)存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)進(jìn)行以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫(kù)也被稱為面向行的數(shù)據(jù)庫(kù)。相反，面向列的數(shù)據(jù)庫(kù)是以列為單位來(lái)存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)以列為單位讀入數(shù)據(jù)。
高擴(kuò)展性
面向列的數(shù)據(jù)庫(kù)具有高擴(kuò)展性，即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度(特別是寫入速度)，所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，利用面向列的數(shù)據(jù)庫(kù)的優(yōu)勢(shì)，把它作為批處理程序的存儲(chǔ)器來(lái)對(duì)大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫(kù)跟現(xiàn)行數(shù)據(jù)庫(kù)存儲(chǔ)的思維方式有很大不同，應(yīng)用起來(lái)十分困難。
高擴(kuò)展性(特別是寫入處理)
應(yīng)用十分困難
最近，像Twitter和Facebook這樣需要對(duì)大量數(shù)據(jù)進(jìn)行更新和查詢的網(wǎng)絡(luò)服務(wù)不斷增加，面向列的數(shù)據(jù)庫(kù)的優(yōu)勢(shì)對(duì)其中一些服務(wù)是非常有用的，但是由于這與本書所要介紹的內(nèi)容關(guān)系不大，就不進(jìn)行詳細(xì)介紹了。
總結(jié)：
NoSQL并不是No-SQL，而是指Not Only SQL。
NoSQL的出現(xiàn)是為了彌補(bǔ)SQL數(shù)據(jù)庫(kù)因?yàn)槭聞?wù)等機(jī)制帶來(lái)的對(duì)海量數(shù)據(jù)、高并發(fā)請(qǐng)求的處理的性能上的欠缺。
NoSQL不是為了替代SQL而出現(xiàn)的，它是一種替補(bǔ)方案，而不是解決方案的首選。
絕大多數(shù)的NoSQL產(chǎn)品都是基于大內(nèi)存和高性能隨機(jī)讀寫的（比如具有更高性能的固態(tài)硬盤陣列），一般的小型企業(yè)在選擇NoSQL時(shí)一定要慎重！不要為了NoSQL而NoSQL，可能會(huì)導(dǎo)致花了冤枉錢又耽擱了項(xiàng)目進(jìn)程。
NoSQL不是萬(wàn)能的，但在大型項(xiàng)目中，你往往需要它！
在大數(shù)據(jù)環(huán)境下，計(jì)算機(jī)信息處理技術(shù)也面臨新的挑戰(zhàn)，要求計(jì)算機(jī)信息處理技術(shù)必須不斷的更新發(fā)展，以能夠?qū)Ξ?dāng)前的計(jì)算機(jī)信息處理需求滿足。下面是我給大家推薦的計(jì)算機(jī)與大數(shù)據(jù)的相關(guān)論文，希望大家喜歡!
計(jì)算機(jī)與大數(shù)據(jù)的相關(guān)論文篇一
淺談“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)
[摘 要]在大數(shù)據(jù)環(huán)境下，計(jì)算機(jī)信息處理技術(shù)也面臨新的挑戰(zhàn)，要求計(jì)算機(jī)信息處理技術(shù)必須不斷的更新發(fā)展，以能夠?qū)Ξ?dāng)前的計(jì)算機(jī)信息處理需求滿足。本文重點(diǎn)分析大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理技術(shù)。
[關(guān)鍵詞]大數(shù)據(jù)時(shí)代;計(jì)算機(jī);信息處理技術(shù)
在科學(xué)技術(shù)迅速發(fā)展的當(dāng)前，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，大數(shù)據(jù)時(shí)代已經(jīng)占領(lǐng)了整個(gè)環(huán)境，它對(duì)計(jì)算機(jī)的信息處理技術(shù)產(chǎn)生了很大的影響。計(jì)算機(jī)在短短的幾年內(nèi)，從稀少到普及，使人們的生活有了翻天覆地的變化，計(jì)算機(jī)的快速發(fā)展和應(yīng)用使人們走進(jìn)了大數(shù)據(jù)時(shí)代，這就要求對(duì)計(jì)算機(jī)信息處理技術(shù)應(yīng)用時(shí)，則也就需要在之前基礎(chǔ)上對(duì)技術(shù)實(shí)施創(chuàng)新，優(yōu)化結(jié)構(gòu)處理，從而讓計(jì)算機(jī)數(shù)據(jù)更符合當(dāng)前時(shí)代發(fā)展。
一、大數(shù)據(jù)時(shí)代信息及其傳播特點(diǎn)
自從“大數(shù)據(jù)”時(shí)代的到來(lái)，人們的信息接收量有明顯加大，在信息傳播中也出現(xiàn)傳播速度快、數(shù)據(jù)量大以及多樣化等特點(diǎn)。其中數(shù)據(jù)量大是目前信息最顯著的特點(diǎn)，隨著時(shí)間的不斷變化計(jì)算機(jī)信息處理量也有顯著加大，只能夠用海量還對(duì)當(dāng)前信息數(shù)量之大形容;傳播速度快也是當(dāng)前信息的主要特點(diǎn)，計(jì)算機(jī)在信息傳播中傳播途徑相當(dāng)廣泛，傳播速度也相當(dāng)驚人，1s內(nèi)可以完成整個(gè)信息傳播任務(wù)，具有較高傳播效率。在傳播信息過(guò)程中，還需要實(shí)施一定的信息處理，在此過(guò)程中則需要應(yīng)用相應(yīng)的信息處理工具，實(shí)現(xiàn)對(duì)信息的專門處理，隨著目前信息處理任務(wù)的不斷加強(qiáng)，信息處理工具也有不斷的進(jìn)行創(chuàng)新[1];信息多樣化，則也就是目前數(shù)據(jù)具有多種類型，在龐大的數(shù)據(jù)庫(kù)中，信息以不同的類型存在著，其中包括有文字、圖片、視頻等等。這些信息類型的格式也在不斷發(fā)生著變化，從而進(jìn)一步提高了計(jì)算機(jī)信息處理難度。目前計(jì)算機(jī)的處理能力、打印能力等各項(xiàng)能力均有顯著提升，尤其是當(dāng)前軟件技術(shù)的迅速發(fā)展，進(jìn)一步提高了計(jì)算機(jī)應(yīng)用便利性。微電子技術(shù)的發(fā)展促進(jìn)了微型計(jì)算機(jī)的應(yīng)用發(fā)展，進(jìn)一步強(qiáng)化了計(jì)算機(jī)應(yīng)用管理?xiàng)l件。
大數(shù)據(jù)信息不但具有較大容量，同時(shí)相對(duì)于傳統(tǒng)數(shù)據(jù)來(lái)講進(jìn)一步增強(qiáng)了信息間關(guān)聯(lián)性，同時(shí)關(guān)聯(lián)結(jié)構(gòu)也越來(lái)越復(fù)雜，導(dǎo)致在進(jìn)行信息處理中需要面臨新的難度。在 網(wǎng)絡(luò)技術(shù) 發(fā)展中重點(diǎn)集中在傳輸結(jié)構(gòu)發(fā)展上，在這種情況下計(jì)算機(jī)必須要首先實(shí)現(xiàn)網(wǎng)絡(luò)傳輸結(jié)構(gòu)的開(kāi)放性設(shè)定，從而打破之前計(jì)算機(jī)信息處理中，硬件所具有的限制作用。因?yàn)樵诋?dāng)前計(jì)算機(jī)網(wǎng)絡(luò)發(fā)展中還存在一定的不足，在完成云計(jì)算機(jī)網(wǎng)絡(luò)構(gòu)建之后，才能夠在信息處理過(guò)程中，真正的實(shí)現(xiàn)收放自如[2]。
二、大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理技術(shù)
(一)數(shù)據(jù)收集和傳播技術(shù)
現(xiàn)在人們通過(guò)電腦也就可以接收到不同的信息類型，但是在進(jìn)行信息發(fā)布之前，工作人員必須要根據(jù)需要采用信息處理技術(shù)實(shí)施相應(yīng)的信息處理。計(jì)算機(jī)采用信息處理技術(shù)實(shí)施信息處理，此過(guò)程具有一定復(fù)雜性，首先需要進(jìn)行數(shù)據(jù)收集，在將相關(guān)有效信息收集之后首先對(duì)這些信息實(shí)施初步分析，完成信息的初級(jí)操作處理，總體上來(lái)說(shuō)信息處理主要包括：分類、分析以及整理。只有將這三步操作全部都完成之后，才能夠把這些信息完整的在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行傳播，讓用戶依照自己的實(shí)際需求篩選滿足自己需求的信息，借助于計(jì)算機(jī)傳播特點(diǎn)將信息數(shù)據(jù)的閱讀價(jià)值有效的實(shí)現(xiàn)。
(二)信息存儲(chǔ)技術(shù)
在目前計(jì)算機(jī)網(wǎng)絡(luò)中出現(xiàn)了很多視頻和虛擬網(wǎng)頁(yè)等內(nèi)容，隨著人們信息接收量的不斷加大，對(duì)信息儲(chǔ)存空間也有較大需求，這也就是對(duì)計(jì)算機(jī)信息存儲(chǔ)技術(shù)提供了一個(gè)新的要求。在數(shù)據(jù)存儲(chǔ)過(guò)程中，已經(jīng)出現(xiàn)一系列存儲(chǔ)空間無(wú)法滿足當(dāng)前存儲(chǔ)要求，因此必須要對(duì)當(dāng)前計(jì)算機(jī)存儲(chǔ)技術(shù)實(shí)施創(chuàng)新發(fā)展。一般來(lái)講計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)空間可以對(duì)當(dāng)前用戶關(guān)于不同信息的存儲(chǔ)需求滿足，但是也有一部分用戶對(duì)于計(jì)算機(jī)存儲(chǔ)具有較高要求，在這種情況下也就必須要提高計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)性能[3]，從而為計(jì)算機(jī)存儲(chǔ)效率提供有效保障。因此可以在大數(shù)據(jù)存儲(chǔ)特點(diǎn)上完成計(jì)算機(jī)信息新存儲(chǔ)方式，不但可以有效的滿足用戶信息存儲(chǔ)需求，同時(shí)還可以有效的保障普通儲(chǔ)存空間不會(huì)出現(xiàn)被大數(shù)據(jù)消耗問(wèn)題。
(三)信息安全技術(shù)
大量數(shù)據(jù)信息在計(jì)算機(jī)技術(shù)發(fā)展過(guò)程中的出現(xiàn)，導(dǎo)致有一部分信息內(nèi)容已經(jīng)出現(xiàn)和之前信息形式的偏移，構(gòu)建出一些新的計(jì)算機(jī)信息關(guān)聯(lián)結(jié)構(gòu)，同時(shí)具有非常強(qiáng)大的數(shù)據(jù)關(guān)聯(lián)性，從而也就導(dǎo)致在計(jì)算機(jī)信息處理中出現(xiàn)了新的問(wèn)題，一旦在信息處理過(guò)程中某個(gè)信息出現(xiàn)問(wèn)題，也就會(huì)導(dǎo)致與之關(guān)聯(lián)緊密的數(shù)據(jù)出現(xiàn)問(wèn)題。在實(shí)施相應(yīng)的計(jì)算機(jī)信息管理的時(shí)候，也不像之前一樣直接在單一數(shù)據(jù)信息之上建立，必須要實(shí)現(xiàn)整個(gè)數(shù)據(jù)庫(kù)中所有將數(shù)據(jù)的統(tǒng)一安全管理。從一些角度分析，這種模式可以對(duì)計(jì)算機(jī)信息處理技術(shù)水平有顯著提升，并且也為計(jì)算機(jī)信息處理技術(shù)發(fā)展指明了方向，但是因?yàn)樵谟?jì)算機(jī)硬件中存在一定的性能不足，也就導(dǎo)致在大數(shù)據(jù)信息安全管理中具有一定難度。想要為數(shù)據(jù)安全提供有效保障，就必須要注重?cái)?shù)據(jù)安全技術(shù)管理技術(shù)的發(fā)展。加強(qiáng)當(dāng)前信息安全體系建設(shè)，另外也必須要對(duì)計(jì)算機(jī)信息管理人員專業(yè)水平進(jìn)行培養(yǎng)，提高管理人員專業(yè)素質(zhì)和專業(yè)能力，從而更好的滿足當(dāng)前網(wǎng)絡(luò)信息管理體系發(fā)展需求，同時(shí)也要加強(qiáng)關(guān)于安全技術(shù)的全面深入研究工作[4]。目前在大數(shù)據(jù)時(shí)代下計(jì)算機(jī)信息安全管理技術(shù)發(fā)展還不夠成熟，對(duì)于大量的信息還不能夠?qū)嵤┤娴陌踩詸z測(cè)，因此在未來(lái)計(jì)算機(jī)信息技術(shù)研究中安全管理屬于重點(diǎn)方向。但是因?yàn)槟壳斑€沒(méi)有構(gòu)建完善的計(jì)算機(jī)安全信息管理體系，因此首先應(yīng)該強(qiáng)化關(guān)于計(jì)算機(jī)重點(diǎn)信息的安全管理，這些信息一旦發(fā)生泄漏，就有可能會(huì)導(dǎo)致出現(xiàn)非常嚴(yán)重的損失。目前來(lái)看，這種 方法 具有一定可行性。
(四)信息加工、傳輸技術(shù)
在實(shí)施計(jì)算機(jī)信息數(shù)據(jù)處理和傳輸過(guò)程中，首先需要完成數(shù)據(jù)采集，同時(shí)還要實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)信息源，在數(shù)據(jù)庫(kù)中將采集來(lái)的各種信息數(shù)據(jù)進(jìn)行存儲(chǔ)，所有數(shù)據(jù)信息的第一步均是完成采集。其次才能夠?qū)@些采集來(lái)的信息進(jìn)行加工處理，通常來(lái)說(shuō)也就是各種分類及加工。最后把已經(jīng)處理好的信息，通過(guò)數(shù)據(jù)傳送系統(tǒng)完整的傳輸?shù)娇蛻舳耍瑸橛脩糸喿x提供便利。
結(jié)語(yǔ)：
在大數(shù)據(jù)時(shí)代下，計(jì)算機(jī)信息處理技術(shù)也存在一定的發(fā)展難度，從目前專業(yè)方面來(lái)看，還存在一些問(wèn)題無(wú)法解決，但是這些難題均蘊(yùn)含著信息技術(shù)發(fā)展的重要機(jī)遇。在當(dāng)前計(jì)算機(jī)硬件中，想要完成計(jì)算機(jī)更新也存在一定的難度，但是目前計(jì)算機(jī)未來(lái)的發(fā)展方向依舊是云計(jì)算網(wǎng)絡(luò)，把網(wǎng)絡(luò)數(shù)據(jù)和計(jì)算機(jī)硬件數(shù)據(jù)兩者分開(kāi)，也就有助于實(shí)現(xiàn)云計(jì)算機(jī)網(wǎng)絡(luò)的有效轉(zhuǎn)化。隨著科學(xué)技術(shù)的不斷發(fā)展相信在未來(lái)的某一天定能夠進(jìn)入到計(jì)算機(jī)信息處理的高速發(fā)展階段。
參考文獻(xiàn)
[1] 馮瀟婧.“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的分析[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014，(05)：105+107.
[2] 詹少?gòu)?qiáng).基于“大數(shù)據(jù)”時(shí)代剖析計(jì)算機(jī)信息處理技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014，(08)：49-50.
[3] 曹婷.在信息網(wǎng)絡(luò)下計(jì)算機(jī)信息處理技術(shù)的安全性[J].民營(yíng)科技，2014， (12)：89CNKI
[4] 申鵬.“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)初探[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014，(21)：109-110
計(jì)算機(jī)與大數(shù)據(jù)的相關(guān)論文篇二
試談?dòng)?jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用
摘要：大數(shù)據(jù)的爆炸式增長(zhǎng)在大容量、多樣性和高增速方面，全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力;同時(shí)，也為企業(yè)帶來(lái)了獲取更豐富、更深入和更準(zhǔn)確地洞察市場(chǎng)行為的大量機(jī)會(huì)。對(duì)企業(yè)而言，能夠從大數(shù)據(jù)中獲得全新價(jià)值的消息是令人振奮的。然而，如何從大數(shù)據(jù)中發(fā)掘出“真金白銀”則是一個(gè)現(xiàn)實(shí)的挑戰(zhàn)。這就要求采用一套全新的、對(duì)企業(yè)決策具有深遠(yuǎn)影響的解決方案。
關(guān)鍵詞：計(jì)算機(jī) 大數(shù)據(jù)時(shí)代 容量 準(zhǔn)確 價(jià)值 影響 方案
1 概述
自從計(jì)算機(jī)出現(xiàn)以后，傳統(tǒng)的計(jì)算工作已經(jīng)逐步被淘汰出去，為了在新的競(jìng)爭(zhēng)與挑戰(zhàn)中取得勝利，許多網(wǎng)絡(luò)公司開(kāi)始致力于數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)庫(kù)的研究，為互聯(lián)網(wǎng)用戶提供各種服務(wù)。隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)已經(jīng)開(kāi)始被人們廣泛關(guān)注。一般來(lái)講，大數(shù)據(jù)指的是這樣的一種現(xiàn)象：互聯(lián)網(wǎng)在不斷運(yùn)營(yíng)過(guò)程中逐步壯大，產(chǎn)生的數(shù)據(jù)越來(lái)越多，甚至已經(jīng)達(dá)到了10億T。大數(shù)據(jù)時(shí)代的到來(lái)給計(jì)算機(jī)信息處理技術(shù)帶來(lái)了更多的機(jī)遇和挑戰(zhàn)，隨著科技的發(fā)展，計(jì)算機(jī)信息處理技術(shù)一定會(huì)越來(lái)越完善，為我們提供更大的方便。
大數(shù)據(jù)是IT行業(yè)在云計(jì)算和物聯(lián)網(wǎng)之后的又一次技術(shù)變革，在企業(yè)的管理、國(guó)家的治理和人們的生活方式等領(lǐng)域都造成了巨大的影響。大數(shù)據(jù)將網(wǎng)民與消費(fèi)的界限和企業(yè)之間的界限變得模糊，在這里，數(shù)據(jù)才是最核心的資產(chǎn)，對(duì)于企業(yè)的運(yùn)營(yíng)模式、組織結(jié)構(gòu)以及 文化 塑造中起著很大的作用。所有的企業(yè)在大數(shù)據(jù)時(shí)代都將面對(duì)戰(zhàn)略、組織、文化、公共關(guān)系和人才培養(yǎng)等許多方面的挑戰(zhàn)，但是也會(huì)迎來(lái)很大的機(jī)遇，因?yàn)橹皇亲鳛橐环N共享的公共網(wǎng)絡(luò)資源，其層次化和商業(yè)化不但會(huì)為其自身發(fā)展帶來(lái)新的契機(jī)，而且良好的服務(wù)品質(zhì)更會(huì)讓其充分具有獨(dú)創(chuàng)性和專用性的鮮明特點(diǎn)。所以，知識(shí)層次化和商業(yè)化勢(shì)必會(huì)開(kāi)啟知識(shí)創(chuàng)造的嶄新時(shí)代?？梢?jiàn)，這是一個(gè)競(jìng)爭(zhēng)與機(jī)遇并存的時(shí)代。
2 大數(shù)據(jù)時(shí)代的數(shù)據(jù)整合應(yīng)用
自從2013年，大數(shù)據(jù)應(yīng)用帶來(lái)令人矚目的成績(jī)，不僅國(guó)內(nèi)外的產(chǎn)業(yè)界與科技界，還有各國(guó)政府部門都在積極布局、制定戰(zhàn)略規(guī)劃。更多的機(jī)構(gòu)和企業(yè)都準(zhǔn)備好了迎接大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)的內(nèi)涵應(yīng)是數(shù)據(jù)的資產(chǎn)化和服務(wù)化，而挖掘數(shù)據(jù)的內(nèi)在價(jià)值是研究大數(shù)據(jù)技術(shù)的最終目標(biāo)。在應(yīng)用數(shù)據(jù)快速增長(zhǎng)的背景下，為了降低成本獲得更好的能效，越來(lái)越趨向?qū)Ｓ没南到y(tǒng)架構(gòu)和數(shù)據(jù)處理技術(shù)逐漸擺脫傳統(tǒng)的通用技術(shù)體系。如何解決“通用”和“專用”體系和技術(shù)的取舍，以及如何解決數(shù)據(jù)資產(chǎn)化和價(jià)值挖掘問(wèn)題。
企業(yè)數(shù)據(jù)的應(yīng)用內(nèi)容涵蓋數(shù)據(jù)獲取與清理、傳輸、存儲(chǔ)、計(jì)算、挖掘、展現(xiàn)、開(kāi)發(fā)平臺(tái)與應(yīng)用市場(chǎng)等方面，覆蓋了數(shù)據(jù)生產(chǎn)的全生命周期。除了Hadoop版本2.0系統(tǒng)YARN，以及Spark等新型系統(tǒng)架構(gòu)介紹外，還將探討研究流式計(jì)算(Storm，Samza，Puma，S4等)、實(shí)時(shí)計(jì)算(Dremel，Impala，Drill)、圖計(jì)算(Pregel，Hama，Graphlab)、NoSQL、NewSQL和BigSQL等的最新進(jìn)展。在大數(shù)據(jù)時(shí)代，借力計(jì)算機(jī)智能(MI)技術(shù)，通過(guò)更透明、更可用的數(shù)據(jù)，企業(yè)可以釋放更多蘊(yùn)含在數(shù)據(jù)中的價(jià)值。實(shí)時(shí)、有效的一線質(zhì)量數(shù)據(jù)可以更好地幫助企業(yè)提高產(chǎn)品品質(zhì)、降低生產(chǎn)成本。企業(yè)領(lǐng)導(dǎo)者也可根據(jù)真實(shí)可靠的數(shù)據(jù)制訂正確戰(zhàn)略經(jīng)營(yíng)決策，讓企業(yè)真正實(shí)現(xiàn)高度的計(jì)算機(jī)智能決策辦公，下面我們從通信和商業(yè)運(yùn)營(yíng)兩個(gè)方面進(jìn)行闡述。
2.1 通信行業(yè)：XO Communications通過(guò)使用IBM SPSS預(yù)測(cè)分析軟件，減少了將近一半的客戶流失率。XO現(xiàn)在可以預(yù)測(cè)客戶的行為，發(fā)現(xiàn)行為趨勢(shì)，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時(shí)采取 措施 ，保留客戶。此外，IBM新的Netezza網(wǎng)絡(luò)分析加速器，將通過(guò)提供單個(gè)端到端網(wǎng)絡(luò)、服務(wù)、客戶分析視圖的可擴(kuò)展平臺(tái)，幫助通信企業(yè)制定更科學(xué)、合理決策。電信業(yè)者透過(guò)數(shù)以千萬(wàn)計(jì)的客戶資料，能分析出多種使用者行為和趨勢(shì)，賣給需要的企業(yè)，這是全新的資料經(jīng)濟(jì)。中國(guó)移動(dòng)通過(guò)大數(shù)據(jù)分析，對(duì) 企業(yè)運(yùn)營(yíng) 的全業(yè)務(wù)進(jìn)行針對(duì)性的監(jiān)控、預(yù)警、跟蹤。系統(tǒng)在第一時(shí)間自動(dòng)捕捉市場(chǎng)變化，再以最快捷的方式推送給指定負(fù)責(zé)人，使他在最短時(shí)間內(nèi)獲知市場(chǎng)行情。
2.2 商業(yè)運(yùn)營(yíng)：辛辛那提動(dòng)物園使用了Cognos，為iPad提供了單一視圖查看管理即時(shí)訪問(wèn)的游客和商務(wù)信息的服務(wù)。借此，動(dòng)物園可以獲得新的收入來(lái)源和提高營(yíng)收，并根據(jù)這些信息及時(shí)調(diào)整營(yíng)銷政策。數(shù)據(jù)收集和分析工具能夠幫助銀行設(shè)立最佳網(wǎng)點(diǎn)，確定最好的網(wǎng)點(diǎn)位置，幫助這個(gè)銀行更好地運(yùn)作業(yè)務(wù)，推動(dòng)業(yè)務(wù)的成長(zhǎng)。
3 企業(yè)信息解決方案在大數(shù)據(jù)時(shí)代的應(yīng)用
企業(yè)信息管理軟件廣泛應(yīng)用于解決欺詐偵測(cè)、雇員流動(dòng)、客戶獲取與維持、網(wǎng)絡(luò)銷售、市場(chǎng)細(xì)分、風(fēng)險(xiǎn)分析、親和性分析、客戶滿意度、破產(chǎn)預(yù)測(cè)和投資組合分析等多樣化問(wèn)題。根據(jù)大數(shù)據(jù)時(shí)代的企業(yè)挖掘的特征，提出了數(shù)據(jù)挖掘的SEMMA方法論――在SAS/EM環(huán)境中，數(shù)據(jù)挖掘過(guò)程被劃分為Sample、Explore、Modify、Model、Assess這五個(gè)階段，簡(jiǎn)記為SEMMA：
3.1 Sample 抽取一些代表性的樣本數(shù)據(jù)集(通常為訓(xùn)練集、驗(yàn)證集和測(cè)試集)。樣本容量的選擇標(biāo)準(zhǔn)為：包含足夠的重要信息，同時(shí)也要便于分析操作。該步驟涉及的處理工具為：數(shù)據(jù)導(dǎo)入、合并、粘貼、過(guò)濾以及統(tǒng)計(jì)抽樣方法。
3.2 Explore 通過(guò)考察關(guān)聯(lián)性、趨勢(shì)性以及異常值的方式來(lái)探索數(shù)據(jù)，增進(jìn)對(duì)于數(shù)據(jù)的認(rèn)識(shí)。該步驟涉及的工具為：統(tǒng)計(jì) 報(bào)告 、視圖探索、變量選擇以及變量聚類等方法。
3.3 Modify 以模型選擇為目標(biāo)，通過(guò)創(chuàng)建、選擇以及轉(zhuǎn)換變量的方式來(lái)修改數(shù)據(jù)集。該步驟涉及工具為：變量轉(zhuǎn)換、缺失處理、重新編碼以及數(shù)據(jù)分箱等。
3.4 Model 為了獲得可靠的預(yù)測(cè)結(jié)果，我們需要借助于分析工具來(lái)訓(xùn)練統(tǒng)計(jì)模型或者機(jī)器學(xué)習(xí)模型。該步驟涉及技術(shù)為：線性及邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、偏最小二乘法、LARS及LASSO、K近鄰法以及其他用戶(包括非SAS用戶)的模型算法。
3.5 Assess 評(píng)估數(shù)據(jù)挖掘結(jié)果的有效性和可靠性。涉及技術(shù)為：比較模型及計(jì)算新的擬合統(tǒng)計(jì)量、臨界分析、決策支持、報(bào)告生成、評(píng)分代碼管理等。數(shù)據(jù)挖掘者可能不會(huì)使用全部SEMMA分析步驟。然而，在獲得滿意結(jié)果之前，可能需要多次重復(fù)其中部分或者全部步驟。
在完成SEMMA步驟后，可將從優(yōu)選模型中獲取的評(píng)分公式應(yīng)用于(可能不含目標(biāo)變量的)新數(shù)據(jù)。將優(yōu)選公式應(yīng)用于新數(shù)據(jù)，這是大多數(shù)數(shù)據(jù)挖掘問(wèn)題的目標(biāo)。此外，先進(jìn)的可視化工具使得用戶能在多維直方圖中快速、輕松地查閱大量數(shù)據(jù)并以圖形化方式比較模擬結(jié)果。SAS/EM包括了一些非同尋常的工具，比如：能用來(lái)產(chǎn)生數(shù)據(jù)挖掘流程圖的完整評(píng)分代碼(SAS、C以及Java代碼)的工具，以及交換式進(jìn)行新數(shù)據(jù)評(píng)分計(jì)算和考察執(zhí)行結(jié)果的工具。
如果您將優(yōu)選模型注冊(cè)進(jìn)入SAS元數(shù)據(jù)服務(wù)器，便可以讓SAS/EG和SAS/DI Studio的用戶分享您的模型，從而將優(yōu)選模型的評(píng)分代碼整合進(jìn)入 工作報(bào)告 和生產(chǎn)流程之中。SAS模型管理系統(tǒng)，通過(guò)提供了開(kāi)發(fā)、測(cè)試和生產(chǎn)系列環(huán)境的項(xiàng)目管理結(jié)構(gòu)，進(jìn)一步補(bǔ)充了數(shù)據(jù)挖掘過(guò)程，實(shí)現(xiàn)了與SAS/EM的無(wú)縫聯(lián)接。
在SAS/EM環(huán)境中，您可以從SEMMA工具欄上拖放節(jié)點(diǎn)進(jìn)入工作區(qū)的工藝流程圖中，這種流程圖驅(qū)動(dòng)著整個(gè)數(shù)據(jù)挖掘過(guò)程。SAS/EM的圖形用戶界面(GUI)是按照這樣的思路來(lái)設(shè)計(jì)的：一方面，掌握少量統(tǒng)計(jì)知識(shí)的商務(wù)分析者可以瀏覽數(shù)據(jù)挖掘過(guò)程的技術(shù)方法;另一方面，具備數(shù)量分析技術(shù)的專家可以用微調(diào)方式深入探索每一個(gè)分析節(jié)點(diǎn)。
4 結(jié)束語(yǔ)
在近十年時(shí)間里，數(shù)據(jù)采集、存儲(chǔ)和數(shù)據(jù)分析技術(shù)飛速發(fā)展，大大降低了數(shù)據(jù)儲(chǔ)存和處理的成本，一個(gè)大數(shù)據(jù)時(shí)代逐漸展現(xiàn)在我們的面前。大數(shù)據(jù)革新性地將海量數(shù)據(jù)處理變?yōu)榭赡?，并且大幅降低了成本，使得越?lái)越多跨專業(yè)學(xué)科的人投入到大數(shù)據(jù)的開(kāi)發(fā)應(yīng)用中來(lái)。
參考文獻(xiàn)：
[1]薛志文.淺析計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)及其發(fā)展趨勢(shì)[J].信息與電腦，2009.
[2]張帆，朱國(guó)仲.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展綜述[J].光盤技術(shù)，2007.
[3]孫雅珍.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[J].東北水利水電，1994.
[4]史萍.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展及展望[J].五邑大學(xué)學(xué)報(bào)，1999.
[5]桑新民.步入信息時(shí)代的學(xué)習(xí)理論與實(shí)踐[M].中央廣播大學(xué)出版社，2000.
[6]張浩，郭燦.數(shù)據(jù)可視化技術(shù)應(yīng)用趨勢(shì)與分類研究[J].軟件導(dǎo)刊.
[7]王丹.數(shù)字城市與城市地理信息產(chǎn)業(yè)化――機(jī)遇與挑戰(zhàn)[J].遙感信息，2000(02).
[8]楊鳳霞.淺析 Excel 2000對(duì)數(shù)據(jù)的安全管理[J].湖北商業(yè)高等?？茖W(xué)校學(xué)報(bào)，2001(01).
計(jì)算機(jī)與大數(shù)據(jù)的相關(guān)論文篇三
淺談利用大數(shù)據(jù)推進(jìn)計(jì)算機(jī)審計(jì)的策略
[摘要]社會(huì)發(fā)展以及時(shí)代更新，在該種環(huán)境背景下大數(shù)據(jù)風(fēng)潮席卷全球，尤其是在進(jìn)入新時(shí)期之后數(shù)據(jù)方面處理技術(shù)更加成熟，各領(lǐng)域行業(yè)對(duì)此也給予了較高的關(guān)注，針對(duì)當(dāng)前計(jì)算機(jī)審計(jì)(英文簡(jiǎn)稱CAT)而言要想加速其發(fā)展腳步并將其質(zhì)量拔高就需要結(jié)合大數(shù)據(jù)，依托于大數(shù)據(jù)實(shí)現(xiàn)長(zhǎng)足發(fā)展，本文基于此就大數(shù)據(jù)于CAT影響進(jìn)行著手分析，之后探討依托于大數(shù)據(jù)良好推進(jìn)CAT，以期為后續(xù)關(guān)于CAT方面研究提供理論上參考依據(jù)。
[關(guān)鍵詞]大數(shù)據(jù) 計(jì)算機(jī)審計(jì) 影響
前言：相較于網(wǎng)絡(luò)時(shí)代而言大數(shù)據(jù)風(fēng)潮一方面提供了共享化以及開(kāi)放化、深層次性資源，另一方面也促使信息管理具備精準(zhǔn)性以及高效性，走進(jìn)新時(shí)期CAT應(yīng)該融合于大數(shù)據(jù)風(fēng)潮中，相應(yīng)CAT人員也需要積極應(yīng)對(duì)大數(shù)據(jù)帶了的機(jī)遇和挑戰(zhàn)，正面CAT工作，進(jìn)而促使CAT緊跟時(shí)代腳步。
一、初探大數(shù)據(jù)于CAT影響
1.1影響之機(jī)遇
大數(shù)據(jù)于CAT影響體現(xiàn)在為CAT帶來(lái)了較大發(fā)展機(jī)遇，具體來(lái)講，信息技術(shù)的更新以及其質(zhì)量的提升促使數(shù)據(jù)方面處理技術(shù)受到了眾多領(lǐng)域行業(yè)的喜愛(ài)，當(dāng)前在數(shù)據(jù)技術(shù)推廣普及階段中呈現(xiàn)三大變化趨勢(shì)：其一是大眾工作生活中涉及的數(shù)據(jù)開(kāi)始由以往的樣本數(shù)據(jù)實(shí)際轉(zhuǎn)化為全數(shù)據(jù)。其二是全數(shù)據(jù)產(chǎn)生促使不同數(shù)據(jù)間具備復(fù)雜內(nèi)部關(guān)系，而該種復(fù)雜關(guān)系從很大程度上也推動(dòng)工作效率以及數(shù)據(jù)精準(zhǔn)性日漸提升，尤其是數(shù)據(jù)間轉(zhuǎn)化關(guān)系等更為清晰明了。其三是大眾在當(dāng)前處理數(shù)據(jù)環(huán)節(jié)中更加關(guān)注數(shù)據(jù)之間關(guān)系研究，相較于以往僅僅關(guān)注數(shù)據(jù)因果有了較大進(jìn)步?；谏鲜鋈笞兓厔?shì)，也深刻的代表著大眾對(duì)于數(shù)據(jù)處理的態(tài)度改變，尤其是在當(dāng)下海量數(shù)據(jù)生成背景下，人工審計(jì)具備較強(qiáng)滯后性，只有依托于大數(shù)據(jù)并發(fā)揮其優(yōu)勢(shì)才能真正滿足大眾需求，而這也是大數(shù)據(jù)對(duì)CAT帶來(lái)的重要發(fā)展機(jī)遇，更是促進(jìn)CAT在新時(shí)期得以穩(wěn)定發(fā)展重要手段。
1.2影響之挑戰(zhàn)
大數(shù)據(jù)于CAT影響還體現(xiàn)在為CAT帶來(lái)一定挑戰(zhàn)，具體來(lái)講，審計(jì)評(píng)估實(shí)際工作質(zhì)量?jī)?yōu)劣依托于其中數(shù)據(jù)質(zhì)量，數(shù)據(jù)具備的高質(zhì)量則集中在可靠真實(shí)以及內(nèi)容詳細(xì)和相應(yīng)信息準(zhǔn)確三方面，而在CAT實(shí)際工作環(huán)節(jié)中常常由于外界環(huán)境以及人為因素導(dǎo)致數(shù)據(jù)質(zhì)量較低，如數(shù)據(jù)方面人為隨意修改刪除等等，而這些均是大數(shù)據(jù)環(huán)境背景下需要嚴(yán)格把控的重點(diǎn)工作內(nèi)容。
二、探析依托于大數(shù)據(jù)良好推進(jìn)CAT措施
2.1數(shù)據(jù)質(zhì)量的有效保障
依托于大數(shù)據(jù)良好推進(jìn)CAT措施集中在數(shù)據(jù)質(zhì)量有效保障上，對(duì)數(shù)據(jù)質(zhì)量予以有效保障需要從兩方面入手，其一是把控電子數(shù)據(jù)有效存儲(chǔ)，簡(jiǎn)單來(lái)講就是信息存儲(chǔ)，對(duì)電子信息進(jìn)行定期檢查，監(jiān)督數(shù)據(jù)實(shí)際傳輸，對(duì)信息系統(tǒng)予以有效確認(rèn)以及評(píng)估和相應(yīng)的測(cè)試等等，進(jìn)而將不合理數(shù)據(jù)及時(shí)發(fā)現(xiàn)并找出信息系統(tǒng)不可靠不準(zhǔn)確地方;其二是把控電子數(shù)據(jù)采集，通常電子數(shù)據(jù)具備多樣化采集方式，如將審計(jì)單位相應(yīng)數(shù)據(jù)庫(kù)直接連接采集庫(kù)進(jìn)而實(shí)現(xiàn)數(shù)據(jù)采集，該種直接采集需要備份初始傳輸數(shù)據(jù)，避免數(shù)據(jù)采集之后相關(guān)人員隨意修改，更加可以與審計(jì)單位進(jìn)行數(shù)據(jù)采集真實(shí)性 承諾書 簽訂等等，最終通過(guò)電子數(shù)據(jù)方面采集以及存儲(chǔ)兩大內(nèi)容把控促使數(shù)據(jù)質(zhì)量更高，從而推動(dòng)CAT發(fā)展。
2.2公共數(shù)據(jù)平臺(tái)的建立
依托于大數(shù)據(jù)良好推進(jìn)CAT措施還集中在公共數(shù)據(jù)平臺(tái)的建立，建立公共化分析平臺(tái)一方面能夠?qū)⑺胁杉南嚓P(guān)數(shù)據(jù)予以集中化管理存儲(chǔ)，更能夠予以多角度全方面有效分析;另一方面也能夠推動(dòng)CAT作業(yè)相關(guān)標(biāo)準(zhǔn)予以良好執(zhí)行。如果將分析模型看作是CAT作業(yè)標(biāo)準(zhǔn)以及相應(yīng)的核心技術(shù)，則公共分析平臺(tái)則是標(biāo)準(zhǔn)執(zhí)行和相應(yīng)技術(shù)實(shí)現(xiàn)關(guān)鍵載體。依托于公共數(shù)據(jù)平臺(tái)不僅能夠?qū)⒒A(chǔ)的CAT工作實(shí)現(xiàn)便捷化以及統(tǒng)一化，而且深層次的實(shí)質(zhì)研究有利于CAT數(shù)據(jù)處理的高速性以及高效性，最終為推動(dòng)CAT發(fā)展起到重要影響作用。
2.3審計(jì)人員的強(qiáng)化培訓(xùn)
依托于大數(shù)據(jù)良好推進(jìn)CAT措施除了集中在上述兩方面之外，還集中在審計(jì)人員的強(qiáng)化培訓(xùn)上，具體來(lái)講，培訓(xùn)重點(diǎn)關(guān)注審計(jì)工作于計(jì)算機(jī)上的具 體操 作以及操作重點(diǎn)難點(diǎn)，可以構(gòu)建統(tǒng)一培訓(xùn)平臺(tái)，在該培訓(xùn)平臺(tái)中予以多元化資料的分享，聘請(qǐng)高技能豐富 經(jīng)驗(yàn) 人士予以平臺(tái)授課，提供專業(yè)技能知識(shí)溝通互動(dòng)等等機(jī)會(huì)，最終通過(guò)強(qiáng)化培訓(xùn)提升審計(jì)人員綜合素質(zhì)，更加推動(dòng)CAT未來(lái)發(fā)展。
三、結(jié)論
綜上分析可知，當(dāng)前大數(shù)據(jù)環(huán)境背景下CAT需要將日常工作予以不斷調(diào)整，依托于大數(shù)據(jù)促使審計(jì)人員得以素質(zhì)提升，并利用公共數(shù)據(jù)平臺(tái)建立和相應(yīng)的數(shù)據(jù)質(zhì)量保障促使CAT工作更加高效，而本文對(duì)依托于大數(shù)據(jù)良好推進(jìn)CAT進(jìn)行研究旨在為未來(lái)CAT優(yōu)化發(fā)展獻(xiàn)出自己的一份研究力量。
猜你喜歡：
1. 人工智能與大數(shù)據(jù)論文
2. 大數(shù)據(jù)和人工智能論文
3. 計(jì)算機(jī)大數(shù)據(jù)論文參考
4. 計(jì)算機(jī)有關(guān)大數(shù)據(jù)的應(yīng)用論文
5. 有關(guān)大數(shù)據(jù)應(yīng)用的論文
重慶分公司
重慶分公司
