12577 智能數(shù)據(jù)處理（高綱1728）

高綱1728江蘇省高等教育自學考試大綱12577 智能數(shù)據(jù)處理南京信息工程大學編（2018年）江蘇省高等教育自學考試委員會辦公室Ⅰ 課程性質(zhì)與課程目標一、課程性質(zhì)和特點本課程是針對物聯(lián)網(wǎng)工程專業(yè)開設(shè)的專業(yè)必修課，是為從事科學研究、理論研究、工程實踐提供基本知識儲備和基本訓練的基礎(chǔ)理論性課程。本課程以理論聯(lián)系實際為特點介紹設(shè)計處理、分析和應(yīng)用方法與技術(shù)，是物聯(lián)網(wǎng)工程學科的重要內(nèi)容、核心與趨勢。課程通過系統(tǒng)地分析物聯(lián)網(wǎng)中各類感知數(shù)據(jù)的特點及相應(yīng)的事務(wù)處理特性，針對互聯(lián)網(wǎng)場景下的物聯(lián)網(wǎng)數(shù)據(jù)提出了三層的物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)體系。在此基礎(chǔ)上，就相關(guān)技術(shù)發(fā)展進行深入的探討和分析。通過介紹物聯(lián)網(wǎng)相關(guān)應(yīng)用產(chǎn)品，以及這些產(chǎn)品在智能交通、智能電廠、教育、安全監(jiān)控等不同領(lǐng)域的應(yīng)用，使學生在理論學習的基礎(chǔ)上，能夠?qū)ξ锫?lián)網(wǎng)應(yīng)用的開發(fā)及兩化融合、工業(yè)4.0環(huán)境下的數(shù)據(jù)處理分析提供重要的指導(dǎo)。通過本課程內(nèi)容的學習，能夠使學生對物聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展、處理、分析、服務(wù)和應(yīng)用的工程化方法有較為系統(tǒng)和完整的理解。以這些內(nèi)容作為對智能數(shù)據(jù)處理技術(shù)的代表和延伸，旨在傳遞概念、方法和技術(shù)內(nèi)涵與理論，為學生進一步學習和研究面向數(shù)據(jù)科學的方法和技術(shù)提供支撐。本課程的目的主要是培養(yǎng)學生對數(shù)據(jù)科學研究的興趣和數(shù)據(jù)處理的初步能力。培養(yǎng)學生分析數(shù)據(jù)與處理數(shù)據(jù)的基本能力，并提高數(shù)據(jù)服務(wù)實踐應(yīng)用的能力。通過本課程的學習，將使得學生能夠?qū)ξ锫?lián)網(wǎng)產(chǎn)業(yè)及數(shù)據(jù)處理相關(guān)技術(shù)有初步的認識，對物聯(lián)網(wǎng)大數(shù)據(jù)處理和分析有進一步的理解，并獲得更多實踐的體會。最后，通過本課程的學習，還將加深物聯(lián)網(wǎng)工程專業(yè)的學生對本專業(yè)基本理論的理解及科學解決本專業(yè)相關(guān)問題的能力。二、課程目標作為物聯(lián)網(wǎng)工程專業(yè)的專業(yè)主干課，要求學生了解物聯(lián)網(wǎng)大數(shù)據(jù)的源起與發(fā)展趨勢，物聯(lián)網(wǎng)大數(shù)據(jù)處理的挑戰(zhàn)和相應(yīng)的計算體系；熟悉感知數(shù)據(jù)特性與模型，以及相應(yīng)的物聯(lián)網(wǎng)感知數(shù)控系統(tǒng)；掌握物聯(lián)網(wǎng)感知數(shù)據(jù)庫系統(tǒng)的設(shè)計、關(guān)鍵技術(shù)及部署體系；能夠面對物聯(lián)網(wǎng)感知數(shù)據(jù)處理的實時性需求給出解決辦法，對實時性事務(wù)的實時調(diào)度、并發(fā)控制及事務(wù)的執(zhí)行模式與框架有深入的理解，從而為這類系統(tǒng)的開發(fā)實現(xiàn)提供有價值的參考；領(lǐng)會物聯(lián)網(wǎng)大數(shù)據(jù)在云端的存儲管理，了解物聯(lián)網(wǎng)大數(shù)據(jù)的計算與分析技術(shù)；了解物聯(lián)網(wǎng)大數(shù)據(jù)處理的三個層次中對應(yīng)的產(chǎn)品以及這些產(chǎn)品的成功應(yīng)用案例，為開展物聯(lián)網(wǎng)大數(shù)據(jù)的實際應(yīng)用工作打下基礎(chǔ)。本課程的目標大致包括：1．掌握物聯(lián)網(wǎng)大數(shù)據(jù)的概念、特征、技術(shù)體系及相關(guān)關(guān)鍵技術(shù)；2．熟悉物聯(lián)網(wǎng)數(shù)據(jù)處理的應(yīng)用背景，對數(shù)據(jù)處理對象所在的系統(tǒng)完整過程有較全面的認識，對數(shù)據(jù)處理之前的過程有基本的理解；3.熟悉智能數(shù)據(jù)處理的應(yīng)用情況，在感知數(shù)據(jù)庫系統(tǒng)與云平臺的基礎(chǔ)上，通過數(shù)據(jù)處理在智能交通、智能電廠、教育、安全監(jiān)控等領(lǐng)域的應(yīng)用案例學習，理解物聯(lián)網(wǎng)感知、傳輸、處理三個階段的特點和詳細過程。三、與相關(guān)課程的聯(lián)系與區(qū)別《智能數(shù)據(jù)處理》是江蘇省高等教育自學考試物聯(lián)網(wǎng)工程專業(yè)（本科段）必修的專業(yè)課程，與物聯(lián)網(wǎng)工程專業(yè)的許多其他課程有著密切的關(guān)系?！队嬎銠C技術(shù)基礎(chǔ)》、《數(shù)據(jù)庫技術(shù)》、《數(shù)據(jù)通信與網(wǎng)絡(luò)》等課程是本課程的基礎(chǔ)。四、課程的重點和難點本課程的重點之一是物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵技術(shù)，包括物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系、感知數(shù)據(jù)特性與模型、感知數(shù)據(jù)庫管理系統(tǒng)、實時事務(wù)調(diào)度處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析幾部分內(nèi)容，尤其是物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析部分，需要掌握其技術(shù)細節(jié)。本課程的重點之二是物聯(lián)網(wǎng)大數(shù)據(jù)處理對象的應(yīng)用產(chǎn)品研發(fā)，包括物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne，ChinaDB感知數(shù)據(jù)庫系統(tǒng)，DeCloud物聯(lián)網(wǎng)大數(shù)據(jù)云平臺幾部分內(nèi)容。需要熟悉這些產(chǎn)品的組成結(jié)構(gòu)、功能特點及數(shù)據(jù)處理技術(shù)。本課程的難點是物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵技術(shù)，包括感知數(shù)據(jù)庫管理系統(tǒng)、實時事務(wù)調(diào)度處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析幾部分內(nèi)容。尤其是物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析部分，對物聯(lián)網(wǎng)大數(shù)據(jù)批處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢、物聯(lián)網(wǎng)大數(shù)據(jù)流式計算、物聯(lián)網(wǎng)大數(shù)據(jù)分析等內(nèi)容，需要深入掌握各類技術(shù)細節(jié)。Ⅱ 考核目標本大綱在考核目標中，按照識記、領(lǐng)會、簡單應(yīng)用和綜合應(yīng)用四個層次規(guī)定其應(yīng)達到的能力層次要求。四個能力層次是遞進關(guān)系，各能力層次的含義是：識記（Ⅰ）：要求考生能夠識別和記憶本課程中有關(guān)物聯(lián)網(wǎng)數(shù)據(jù)處理的相關(guān)名詞、概念、知識的含義，并能夠根據(jù)考核的不同要求，進行正確的表述和選擇。領(lǐng)會（Ⅱ）：要求考生能夠領(lǐng)悟和理解本課程中有關(guān)物聯(lián)網(wǎng)的概念、理論和方法技巧的內(nèi)涵及外延，能夠鑒別關(guān)于概念和特性的似是而非的說法，理解相關(guān)物聯(lián)網(wǎng)知識的區(qū)別和聯(lián)系，能根據(jù)考核的不同要求對相關(guān)物聯(lián)網(wǎng)數(shù)據(jù)處理知識進行論證，做出正確的解釋和說明。此外；并能根據(jù)考核的不同要求分析各種不同領(lǐng)域或背景下所使用的數(shù)據(jù)處理和分析技術(shù)簡單應(yīng)用（Ⅲ）：要求考生能夠根據(jù)已知的物聯(lián)網(wǎng)數(shù)據(jù)處理對象的一個應(yīng)用需求或應(yīng)用背景，提出可以采用的數(shù)據(jù)處理技術(shù)，比如感知數(shù)據(jù)庫管理方面、實時事務(wù)調(diào)度管理方面、大數(shù)據(jù)存儲與管理方面、大數(shù)據(jù)分析方法等。能夠分析和解決有關(guān)的物聯(lián)網(wǎng)大數(shù)據(jù)理論問題和實際問題，并得出正確的結(jié)論。綜合應(yīng)用（Ⅳ）：要求考生能夠根據(jù)已知的物聯(lián)網(wǎng)大數(shù)據(jù)的多個知識點，分析和解決有關(guān)的物聯(lián)網(wǎng)理論問題和實際問題，并得出解決問題的綜合方案。對物聯(lián)網(wǎng)大數(shù)據(jù)處理的相關(guān)應(yīng)用具有一定的分析和設(shè)計能力，在相關(guān)產(chǎn)品的組成結(jié)構(gòu)、功能特點及數(shù)據(jù)處理技術(shù)方面具有一些基本的見解。Ⅲ 課程內(nèi)容與考核要求第一章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展一、學習目的與要求通過本章學習，要求了解物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展歷史，理解傳感器與智能硬件的概念，了解物聯(lián)網(wǎng)服務(wù)平臺，了解工業(yè)4.0與CPS；理解物聯(lián)網(wǎng)與大數(shù)據(jù)的概念及關(guān)系；理解物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)，理解物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫，理解物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。二、課程內(nèi)容（考試內(nèi)容）1.1聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展 1.1.1傳感器與智能硬件 1.1.2物聯(lián)網(wǎng)服務(wù)平臺 1.1.3工業(yè)4.0與CPS1.2物聯(lián)網(wǎng)與大數(shù)據(jù)1.3物聯(lián)網(wǎng)產(chǎn)業(yè)的機遇與挑戰(zhàn) 1.3.1物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn) 1.3.2物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫 1.3.3物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用三、考核知識點與考核要求1. 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展領(lǐng)會：傳感器與智能硬件。簡單應(yīng)用：物聯(lián)網(wǎng)服務(wù)平臺，工業(yè)4.0與CPS2. 物聯(lián)網(wǎng)與大數(shù)據(jù)領(lǐng)會：物聯(lián)網(wǎng)與大數(shù)據(jù)的概念、關(guān)系、作用意義。3. 物聯(lián)網(wǎng)產(chǎn)業(yè)的機遇與挑戰(zhàn)領(lǐng)會：物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)，物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫，物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。四、本章關(guān)鍵問題物聯(lián)網(wǎng)與大數(shù)據(jù)，物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫，物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。第二章 大數(shù)據(jù)處理技術(shù)的發(fā)展一、學習目的與要求通過本章學習，掌握大數(shù)據(jù)的基本概念及其剖析過程，理解大數(shù)據(jù)的若干關(guān)鍵技術(shù)，并進行適當?shù)目偨Y(jié)，理解大數(shù)據(jù)技術(shù)對整個產(chǎn)業(yè)鏈的調(diào)整和重構(gòu)，對經(jīng)濟轉(zhuǎn)型的推動作用。理解大數(shù)據(jù)技術(shù)為發(fā)展物聯(lián)網(wǎng)等新興產(chǎn)業(yè)和促進傳統(tǒng)產(chǎn)業(yè)升級提供的基礎(chǔ)作用。了解大數(shù)據(jù)面臨的挑戰(zhàn)，尤其是其規(guī)模效應(yīng)給數(shù)據(jù)存儲、管理及分析所帶來的巨大壓力，了解大數(shù)據(jù)技術(shù)的發(fā)展趨勢。本章要求從三個方面學習大數(shù)據(jù)處理技術(shù)的發(fā)展，包括大數(shù)據(jù)存儲和管理技術(shù)，大數(shù)據(jù)計算技術(shù)和大數(shù)據(jù)分析技術(shù)。二、課程內(nèi)容（考試內(nèi)容）2.1大數(shù)據(jù)存儲和管理技術(shù) 2.1.1面向大數(shù)據(jù)的文件系統(tǒng) 2.1.2面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)2.2大數(shù)據(jù)計算技術(shù) 2.2．1批處理計算模式 2.2.2交互式查詢計算模式 2.2.3流處理計算模式 2.2.4大數(shù)據(jù)實時處理的框架：Lambda架構(gòu)2.3大數(shù)據(jù)分析技術(shù) 2.3.1傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析 2.3.2文本數(shù)據(jù)分析 2.3.3多媒體數(shù)據(jù)分析 2.3.4社交網(wǎng)絡(luò)數(shù)據(jù)分析 2.3.5物聯(lián)網(wǎng)傳感數(shù)據(jù)分析 2.3.6大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢三、考核知識點與考核要求1. 大數(shù)據(jù)存儲和管理技術(shù)識記：三類面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。領(lǐng)會：面向大數(shù)據(jù)的文件系統(tǒng)，面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)的基本思想和應(yīng)用。2. 大數(shù)據(jù)計算技術(shù)識記：大數(shù)據(jù)的兩類處理模式；流處理計算模式的概念和兩種典型的處理方式。領(lǐng)會：批量數(shù)據(jù)的3個特征。簡單應(yīng)用：MapReduce編程模型，理解其技術(shù)優(yōu)勢和局限性；交互式數(shù)據(jù)處理的代表系統(tǒng)Spark系統(tǒng)、Dremel系統(tǒng)；流式數(shù)據(jù)處理的典型應(yīng)用Storm系統(tǒng)、Samza系統(tǒng)、Spark Streaming系統(tǒng)；大數(shù)據(jù)實時處理的框架：Lambda架構(gòu)。3. 大數(shù)據(jù)分析技術(shù)識記：針對不同數(shù)據(jù)類型，所采用的大數(shù)據(jù)分析技術(shù)；文本分析技術(shù)中的信息提取、主題建模、摘要、分類、聚類、問答系統(tǒng)和觀點挖掘技術(shù)。領(lǐng)會：大數(shù)據(jù)分析技術(shù)的必要性；傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析；文本數(shù)據(jù)分析；多媒體數(shù)據(jù)分析；社交網(wǎng)絡(luò)數(shù)據(jù)分析；物聯(lián)網(wǎng)傳感數(shù)據(jù)分析；大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢四、本章關(guān)鍵問題面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)、批處理計算模式、大數(shù)據(jù)實時處理的架構(gòu)Lambda架構(gòu)、大數(shù)據(jù)分析技術(shù)。第2篇 技術(shù)解析篇第三章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系一、學習目的與要求本章包括物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)和技術(shù)體系。通過本章學習，對物聯(lián)網(wǎng)中產(chǎn)生的感知數(shù)據(jù)發(fā)展有較為深入的理解，了解從工業(yè)企業(yè)自動化生產(chǎn)線及設(shè)備上的運行數(shù)據(jù)，以及隨著工業(yè)4.0推進而帶來的數(shù)據(jù)爆炸，感知數(shù)據(jù)呈現(xiàn)幾何級數(shù)增長的數(shù)量對物聯(lián)網(wǎng)大數(shù)據(jù)的獲取、傳輸、存儲、分析、挖掘及應(yīng)用面臨的各種挑戰(zhàn)。理解互聯(lián)網(wǎng)大數(shù)據(jù)和物聯(lián)網(wǎng)大數(shù)據(jù)的異同，掌握物聯(lián)網(wǎng)大數(shù)據(jù)的特征5HV。了解物聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用面臨的技術(shù)需求及價值目標，及在此基礎(chǔ)上進一步提出的面向物聯(lián)網(wǎng)大數(shù)據(jù)進行處理分析的技術(shù)體系。掌握感知數(shù)據(jù)的概念，掌握物聯(lián)網(wǎng)應(yīng)用中的兩種數(shù)據(jù)即結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。掌握物聯(lián)網(wǎng)中感知數(shù)據(jù)處理的三個層次，感知數(shù)據(jù)的采集與傳輸、感知數(shù)據(jù)管理與實時計算、物聯(lián)網(wǎng)平臺與大數(shù)據(jù)中心。二、課程內(nèi)容（考試內(nèi)容）3.1物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn) 3.1.1互聯(lián)網(wǎng)大數(shù)據(jù)的特征 3.1.2物聯(lián)網(wǎng)大數(shù)據(jù)的特征3.2技術(shù)體系 3.2.1感知數(shù)據(jù)采集與傳輸 3.2.2感知數(shù)據(jù)管理與實時計算 3.2.3物聯(lián)網(wǎng)平臺與大數(shù)據(jù)中心三、考核知識點與考核要求1. 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)識記：互聯(lián)網(wǎng)大數(shù)據(jù)的特征5V；物聯(lián)網(wǎng)大數(shù)據(jù)的特征5HV。領(lǐng)會：數(shù)據(jù)的可視化；工業(yè)大數(shù)據(jù)分析技術(shù)所需解決的”3B”問題；物聯(lián)網(wǎng)大數(shù)據(jù)的管理與處理分析需要解決的問題與挑戰(zhàn)；感知數(shù)據(jù)管理與實時計算。2. 技術(shù)體系識記：感知數(shù)據(jù)采集與傳輸所實現(xiàn)的功能；物聯(lián)網(wǎng)網(wǎng)關(guān)的分類；物聯(lián)網(wǎng)網(wǎng)關(guān)需要具備的能力。領(lǐng)會：感知數(shù)據(jù)處理的三層體系結(jié)構(gòu)；。簡單應(yīng)用：物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺的部署；物聯(lián)網(wǎng)平臺。四、本章關(guān)鍵問題互聯(lián)網(wǎng)大數(shù)據(jù)與物聯(lián)網(wǎng)大數(shù)據(jù)的特征、異同點，感知數(shù)據(jù)采集與傳輸，物聯(lián)網(wǎng)平臺與大數(shù)據(jù)中心。第四章 感知數(shù)據(jù)特性與模型一、學習目的與要求通過本章學習，理解感知數(shù)據(jù)的特性，掌握感知數(shù)據(jù)的表示，理解感知數(shù)據(jù)模型。掌握感知數(shù)據(jù)庫的定義，能夠?qū)Ω兄獢?shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫及NoSQL的異同進行簡要的分析，掌握感知數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點和差異之處。 二、課程內(nèi)容（考試內(nèi)容）4.1 感知數(shù)據(jù)的特性分析4.1.1 常用的感知數(shù)據(jù)類型4.1.2 感知數(shù)據(jù)的主要特征4.2 感知數(shù)據(jù)的表示與組織4.2.1 物聯(lián)網(wǎng)數(shù)據(jù)模型4.2.2 時態(tài)對象模型4.3 感知數(shù)據(jù)庫的定位4.3.1 感知數(shù)據(jù)庫的定位4.3.2 感知數(shù)據(jù)庫的特征4.4 感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫4.4.1 感知數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫4.4.2 感知數(shù)據(jù)庫與實時數(shù)據(jù)庫系統(tǒng)4.4.3 感知數(shù)據(jù)庫與工廠數(shù)據(jù)庫系統(tǒng)4.4.4 感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng)三、考核知識點與考核要求1. 感知數(shù)據(jù)的特性分析識記：常用的感知數(shù)據(jù)類型，感知數(shù)據(jù)的主要特征。領(lǐng)會：時態(tài)屬性帶來數(shù)據(jù)時態(tài)一致性要求所包括的兩個方面，事件觸發(fā)中的兩類事件。2. 感知數(shù)據(jù)的表示與組織識記：感知對象的屬性。領(lǐng)會：物聯(lián)網(wǎng)數(shù)據(jù)模型，時態(tài)對象數(shù)據(jù)模型。簡單應(yīng)用：OPC對象模型。3. 感知數(shù)據(jù)庫的定位識記：感知數(shù)據(jù)庫的定位。領(lǐng)會：感知數(shù)據(jù)庫的功能定位，感知數(shù)據(jù)庫的基本特征。4. 感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫識記：流數(shù)據(jù)的概念，流數(shù)據(jù)應(yīng)用需求的例子。領(lǐng)會：關(guān)系數(shù)據(jù)庫和感知數(shù)據(jù)庫的對比，感知數(shù)據(jù)庫與實時數(shù)據(jù)庫系統(tǒng)，感知數(shù)據(jù)庫與工廠數(shù)據(jù)庫系統(tǒng)，感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng)，流數(shù)據(jù)處理系統(tǒng)的需求來源，感知數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點和差異之處。四、本章關(guān)鍵問題感知數(shù)據(jù)的特性分析，物聯(lián)網(wǎng)數(shù)據(jù)模型，時態(tài)對象數(shù)據(jù)模型，感知數(shù)據(jù)庫的功能定位和基本特征，感知數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點和差異之處。第五章 感知數(shù)據(jù)庫管理系統(tǒng)一、學習目的與要求基于感知數(shù)據(jù)的特征需求，本章闡述感知數(shù)據(jù)庫系統(tǒng)的設(shè)計、架構(gòu)及其中的關(guān)鍵技術(shù)。通過本章學習，掌握感知數(shù)據(jù)庫系統(tǒng)的設(shè)計原則和設(shè)計框架。掌握感知數(shù)據(jù)庫的分布部署在系統(tǒng)分級、分區(qū)管理的需求，以及在高性能與高可用性上的需求，理解系統(tǒng)高可用性的分布部署模式是整個系統(tǒng)分布部署的基礎(chǔ)環(huán)節(jié)。理解感知數(shù)據(jù)庫所面臨的數(shù)據(jù)多元性及處理需求的特殊性，掌握感知數(shù)據(jù)庫系統(tǒng)設(shè)計中多方面的關(guān)鍵技術(shù)，從數(shù)據(jù)采集到數(shù)據(jù)存儲管理，以及數(shù)據(jù)處理、查詢訪問的多個方面。在概念掌握之外，要求對各種模型、體系結(jié)構(gòu)、算法等有較多的理解。二、課程內(nèi)容（考試內(nèi)容）5.1 感知數(shù)據(jù)庫的總體設(shè)計5.1.1 總體設(shè)計的主要原則5.1.2 感知數(shù)據(jù)庫的設(shè)計框架5.2 感知數(shù)據(jù)庫的分布部署體系5.2.1 系統(tǒng)的集群部署模式5.2.2 多層級的系統(tǒng)部署體系5.2.3 服務(wù)分布的部署體系5.3 感知數(shù)據(jù)庫中的關(guān)鍵技術(shù)5.3.1 智能設(shè)備及傳感器接口技術(shù) 5.3.2 流數(shù)據(jù)實時在線處理技術(shù)5.3.3 事件驅(qū)動的高效處理機制5.3.4 感知數(shù)據(jù)的壓縮存儲技術(shù)三、考核知識點與考核要求1．感知數(shù)據(jù)庫的總體設(shè)計識記：感知數(shù)據(jù)庫系統(tǒng)的設(shè)計需要滿足及遵循的原則，網(wǎng)閘設(shè)計及其結(jié)構(gòu)。領(lǐng)會：數(shù)據(jù)采集協(xié)調(diào)器，數(shù)據(jù)組織管理器，內(nèi)存數(shù)據(jù)管理器，歷史數(shù)據(jù)管理器，實時事務(wù)調(diào)度中心，數(shù)據(jù)訂閱/發(fā)布中心，數(shù)據(jù)同步服務(wù)器，內(nèi)網(wǎng)處理單元，外網(wǎng)處理單元，隔離與交換控制單元，日志管理器，應(yīng)用接口服務(wù)器。簡單應(yīng)用：感知數(shù)據(jù)庫的設(shè)計框架。2．感知數(shù)據(jù)庫的分布部署體系識記：兩種不同標準下的集群分類，高性能集群的目的、應(yīng)用環(huán)境，負載均衡集群概念、目的、應(yīng)用場合，高可用性集群概念、應(yīng)用領(lǐng)域，數(shù)據(jù)庫集群的實現(xiàn)方式。領(lǐng)會：幾種典型數(shù)據(jù)庫集群如Oracle實時應(yīng)用集群（RAC）、IBM DB2，MSCS和鏡像等，多層次的系統(tǒng)部署體系，服務(wù)分布的部署體系。簡單應(yīng)用：雙機熱備與鏡像，數(shù)據(jù)庫系統(tǒng)的雙機部署模式，多點集群，數(shù)據(jù)庫系統(tǒng)的三級部署體系，感知數(shù)據(jù)庫系統(tǒng)的服務(wù)分布部署體系。3. 感知數(shù)據(jù)庫中的關(guān)鍵技術(shù)識記：插件特點，感知數(shù)據(jù)庫工作原理（結(jié)合圖文），事件驅(qū)動系統(tǒng)，事件驅(qū)動框架（EDA）概念，給予訂閱/發(fā)布的實時消息通信體系提供的功能，在線壓縮技術(shù)更加有效的幾種情況。領(lǐng)會：智能設(shè)備及傳感器接口技術(shù)，感知數(shù)據(jù)采集協(xié)調(diào)器的框架和插件模型，感知數(shù)據(jù)采集協(xié)調(diào)器的數(shù)據(jù)交互模型，感知數(shù)據(jù)的流數(shù)據(jù)處理典型特征，流數(shù)據(jù)在線處理過程針對采集的數(shù)據(jù)進行的常規(guī)處理內(nèi)容，EDA特點，數(shù)據(jù)的訂閱/發(fā)布，消息的調(diào)度對消息傳輸?shù)挠绊?，?fù)合事件處理技術(shù)，規(guī)則語言和持續(xù)查詢語言的比較，用復(fù)雜事件處理技術(shù)替代普通編程語言來實現(xiàn)應(yīng)用的好處，感知數(shù)據(jù)的壓縮存儲技術(shù)，數(shù)據(jù)存儲管理采用的管理體制，數(shù)據(jù)在線壓縮技術(shù)，感知數(shù)據(jù)的索引技術(shù)。簡單應(yīng)用：系統(tǒng)文件隊列支持定制的舉例（SEG-Y或SEG-D），數(shù)據(jù)在線壓縮技術(shù)中的死去壓縮算法，旋轉(zhuǎn)門趨勢化（SDT）算法。四、本章關(guān)鍵問題感知數(shù)據(jù)采集協(xié)調(diào)器的框架和插件模型，感知數(shù)據(jù)采集協(xié)調(diào)器的數(shù)據(jù)交互模型，感知數(shù)據(jù)庫的分布部署體系，感知數(shù)據(jù)的流數(shù)據(jù)處理，復(fù)合事件處理技術(shù)，數(shù)據(jù)在線壓縮技術(shù)，感知數(shù)據(jù)的索引技術(shù)。第六章 實時事務(wù)調(diào)度處理技術(shù)一、學習目的與要求本章主要針對物聯(lián)網(wǎng)、工業(yè)4.0、智能制造等理念及產(chǎn)業(yè)的發(fā)展中物物之間及人與物之間越來越強的的感知與交互需求，分析感知事物的特性，探討感知事務(wù)的調(diào)度方法及并發(fā)控制方法，基于目前硬件的計算能力與系統(tǒng)架構(gòu)，提出可行的、優(yōu)化的實時事務(wù)執(zhí)行框架及模式。通過本章學習，掌握常見事務(wù)及其特性，理解事務(wù)調(diào)度方法和并發(fā)控制策略，理解服務(wù)器體系結(jié)構(gòu)與發(fā)展過程，了解操作系統(tǒng)的多任務(wù)機制,理解事務(wù)的執(zhí)行框架與模式，了解系統(tǒng)框架的分析與性能優(yōu)化。二、課程內(nèi)容（考試內(nèi)容）6.1 常見事務(wù)特性分析6.1.1 感知事務(wù)6.1.2 觸發(fā)事務(wù)6.1.3 用戶事務(wù)6.2 事務(wù)調(diào)度與并發(fā)控制6.2.1 事務(wù)的調(diào)度方法6.2.2 并發(fā)控制策略6.3 服務(wù)器與操作系統(tǒng)6.3.1 服務(wù)器體系結(jié)構(gòu)與發(fā)展6.3.2 操作系統(tǒng)的多任務(wù)機制6.4 事務(wù)的執(zhí)行框架與模式6.4.1 通用系統(tǒng)模型與調(diào)度方法6.4.2 事務(wù)處理框架的設(shè)計模式6.5 系統(tǒng)框架的分析與性能優(yōu)化三、考核知識點與考核要求1．常見事務(wù)特性分析識記：事務(wù)分類，感知事務(wù)、觸發(fā)事務(wù)、用戶事務(wù)的概念，觸發(fā)事務(wù)分類。領(lǐng)會：觸發(fā)事務(wù)的任務(wù)和特點。2．事務(wù)調(diào)度與并發(fā)控制識記：事務(wù)調(diào)度的目標，方法的目的，領(lǐng)會：事務(wù)調(diào)度和控制的過程，并發(fā)控制策略。3．服務(wù)器與操作系統(tǒng)識記：商用服務(wù)器分類，持續(xù)、進程與線程的概念。領(lǐng)會：SMP體系結(jié)構(gòu)的概念及特征，NUMA體系結(jié)構(gòu)的概念及特征,MPP體系結(jié)構(gòu)的概念及特征,NUMA和MPP的比較（異同點），進程與線程的關(guān)系。簡單應(yīng)用：Linux操作系統(tǒng)體系結(jié)構(gòu)，Linux進程調(diào)度原理。4．事務(wù)的執(zhí)行框架與模式識記：數(shù)據(jù)分類。領(lǐng)會：通用的數(shù)據(jù)庫系統(tǒng)模型（結(jié)合圖文），通用系統(tǒng)模型與調(diào)度方法，事務(wù)處理框架的設(shè)計模式，單進程多線程模式，單進程多線程的事務(wù)調(diào)度處理框架，基于功能劃分的多進程模式，基于功能劃分的數(shù)據(jù)庫多進程系統(tǒng)模型，基于數(shù)據(jù)分區(qū)的多進程框架。簡單應(yīng)用：多進程模型的優(yōu)點。5系統(tǒng)框架的分析與性能優(yōu)化識記：系統(tǒng)設(shè)計模式分類，多線程服務(wù)程序中的線程分類。領(lǐng)會：系統(tǒng)框架的分析過程，性能優(yōu)化的因素。四、本章關(guān)鍵問題本章難點在于事務(wù)的執(zhí)行框架與模式，主要有通用的數(shù)據(jù)庫系統(tǒng)模型（結(jié)合圖文），通用系統(tǒng)模型與調(diào)度方法，事務(wù)處理框架的設(shè)計模式，單進程多線程模式，基于功能劃分的多進程模式，基于數(shù)據(jù)分區(qū)的多進程框架。第七章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理一、學習目的與要求本章是課程的重點章節(jié)之一，在學習本章內(nèi)容之前，需要對物聯(lián)網(wǎng)中大量的傳感器采集的數(shù)據(jù)連續(xù)不斷地向物聯(lián)網(wǎng)大數(shù)據(jù)中心傳遞形成的海量物聯(lián)網(wǎng)數(shù)據(jù)之特點有較好的掌握，包括海量性、高緯度和部分稀疏特性、實況相關(guān)性、序列性與動態(tài)流式特性等，針對這些物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理的挑戰(zhàn)，本章主要學習利用云文件系統(tǒng)、NoSQL數(shù)據(jù)庫系統(tǒng)來解決問題。通過本章學習，要求掌握云文件系統(tǒng)的關(guān)鍵技術(shù)，理解HDFS的目標和基本假設(shè)條件，掌握HDFS體系架構(gòu)，理解HDFS實現(xiàn)中的性能保障；掌握NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù)，理解NoSQL數(shù)據(jù)庫的概念，理解NoSQL數(shù)據(jù)庫的優(yōu)勢和劣勢，掌握HBase數(shù)據(jù)庫系統(tǒng)概念、HBase數(shù)據(jù)模型和HBase系統(tǒng)架構(gòu)。理解基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲于管理，掌握基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計技術(shù)，掌握基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫寫入技術(shù)。二、課程內(nèi)容（考試內(nèi)容）7.1 云文件系統(tǒng)的關(guān)鍵技術(shù) 997.1.1 HDFS的目標和基本假設(shè)條件 997.1.2 HDFS體系架構(gòu) 1007.1.3 性能保障 1027.2 NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù) 1067.2.1 NoSQL數(shù)據(jù)庫概述 1067.2.2 基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理三、考核知識點與考核要求1．云文件系統(tǒng)的關(guān)鍵技術(shù)識記：系統(tǒng)設(shè)計的核心目標。領(lǐng)會：硬件失敗，流式數(shù)據(jù)存取，大數(shù)據(jù)集，簡單的一致性模型，異構(gòu)軟硬件平臺的可移植性，HDFS體系架構(gòu)（HDFS邏輯分層結(jié)構(gòu)），HDFS的性能保障（HDFS元數(shù)據(jù)操作、數(shù)據(jù)塊的讀/寫、錯誤處理、垃圾回收、訪問接口）。簡單應(yīng)用：HDFS物理部署實例，HDFS系統(tǒng)管理，HDFS的機架感知技術(shù)（原理、數(shù)據(jù)庫復(fù)制策略、網(wǎng)絡(luò)距離的計算、節(jié)點組織圖）。2．NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù)識記：常見的NoSQL數(shù)據(jù)庫及其分類，HBase數(shù)據(jù)模型（表，行，版本號，數(shù)據(jù)項）,HBase的表和分區(qū)、分區(qū)和存儲塊概念，HBase訪問接口。領(lǐng)會：NoSQL數(shù)據(jù)庫的優(yōu)勢和劣勢，HBase數(shù)據(jù)庫系統(tǒng)，HBase系統(tǒng)架構(gòu)，集群組織架構(gòu)，基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計技術(shù)（RowKey的設(shè)計、列族和列的設(shè)計），基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫寫入技術(shù)，HBase數(shù)據(jù)數(shù)據(jù)緩沖。簡單應(yīng)用：數(shù)據(jù)存儲服務(wù)詳細設(shè)計。四、本章關(guān)鍵問題重點和難點：HDFS的機架感知技術(shù)，NoSQL數(shù)據(jù)庫的優(yōu)勢和劣勢，HBase數(shù)據(jù)庫系統(tǒng)，HBase系統(tǒng)架構(gòu)，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計技術(shù)，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫寫入技術(shù)。第八章 物聯(lián)網(wǎng)大數(shù)據(jù)計算與分析一、學習目的與要求本章是課程的最重要的章節(jié)之一，需要學生從理論上深入學習物聯(lián)網(wǎng)大數(shù)據(jù)的計算與分析技術(shù)。通過本章學習，要求理解物聯(lián)網(wǎng)大數(shù)據(jù)批處理計算，掌握MapReduce的設(shè)計思想，理解MapReduce的工作機制，理解MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用，掌握物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢，理解原生SQL on HBase，理解SQL on Hadoop，掌握基于HBase的交互式查詢，掌握物聯(lián)網(wǎng)大數(shù)據(jù)流式計算，掌握流式計算的需求特點，掌握流數(shù)據(jù)基本概念，掌握流數(shù)據(jù)查詢操作，掌握基于云計算的流數(shù)據(jù)聚集查詢操作，掌握流數(shù)據(jù)定制化服務(wù)，理解評測基準，理解Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用，理解物聯(lián)網(wǎng)大數(shù)據(jù)分析計算，理解物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，理解ROLAP方式的交互式大數(shù)據(jù)分析，理解MOLAP方式的多維交叉大數(shù)據(jù)分析，理解物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，理解城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程和工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。二、課程內(nèi)容（考試內(nèi)容）8.1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計算8.1.1 MapReduce的設(shè)計思想8.1.2 MapReduce的工作機制8.1.3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用8.2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢8.2.1 原生SQL on HBase8.2.2 SQL on Hadoop8.2.3 基于HBase的交互式查詢8.3 物聯(lián)網(wǎng)大數(shù)據(jù)流式計算8.3.1 流式計算的需求特點8.3.2 流數(shù)據(jù)基本概念8.3.3 流數(shù)據(jù)查詢操作8.3.4 流數(shù)據(jù)定制化服務(wù)8.3.5 評測基準8.3.6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用8.4 物聯(lián)網(wǎng)大數(shù)據(jù)分析 1508.4.1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析8.4.2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析三、考核知識點與考核要求1．物聯(lián)網(wǎng)大數(shù)據(jù)批處理計算識記：MapReduce的設(shè)計思想，工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)類型。領(lǐng)會：，MapReduce的工作機制，MapReduce的總工作流程。簡單應(yīng)用：MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用。2．物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢識記：Hive概念。領(lǐng)會：原生SQL On HBase，SQL on Hadoop，基于HBase的交互式查詢。簡單應(yīng)用：基于SQL語句的底層數(shù)據(jù)庫調(diào)度過程。3. 物聯(lián)網(wǎng)大數(shù)據(jù)流式計算識記：流數(shù)據(jù)基本概念，流數(shù)據(jù)處理系統(tǒng)分類，固定窗口，界標窗口，華東窗口，窗格式窗口和翻滾式窗口，流式處理規(guī)則（轉(zhuǎn)換規(guī)則、檢測規(guī)則），聲明式語言和命令式語言，常用的算子運算符。領(lǐng)會：感知數(shù)據(jù)流式計算的需求特點，流數(shù)據(jù)處理的一般功能模型，流數(shù)據(jù)處理的算子，流管理運算符，Bag集合運算符，聚集操作運算符，“增量式”思想的應(yīng)用，流數(shù)據(jù)查詢操作，流數(shù)據(jù)連接查詢操作，基于云計算的流數(shù)據(jù)聚集查詢操作，流數(shù)據(jù)上的滑動窗口聚集操作優(yōu)化方法，流數(shù)據(jù)中的高級查詢操作，利用云計算環(huán)境提升流數(shù)據(jù)查詢處理性能和效率的思想，流數(shù)據(jù)定制化服務(wù)，評測基準。簡單應(yīng)用：大規(guī)模流數(shù)據(jù)服務(wù)模型與傳統(tǒng)數(shù)據(jù)服務(wù)模型的比較，Stream Feed流數(shù)據(jù)服務(wù)抽象模型，流數(shù)據(jù)服務(wù)托管案例。綜合應(yīng)用：Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用（優(yōu)勢，場景分析，示例設(shè)計，示例實現(xiàn)）。4. 物聯(lián)網(wǎng)大數(shù)據(jù)分析識記：OLAP的實現(xiàn)方法。領(lǐng)會：傳統(tǒng)數(shù)據(jù)分析和物聯(lián)網(wǎng)大數(shù)據(jù)分析的對比，物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，ROLAP方式的交互式大數(shù)據(jù)分析，MOLAP方式的多維交叉大數(shù)據(jù)分析，物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，F(xiàn)P-Growth算法思路，基于Spark的并行FP-Growth處理計算框架及算法的計算步驟。簡單應(yīng)用：Kylin的方案和架構(gòu)，Pinot的方案、架構(gòu)和實時數(shù)據(jù)分析，Druid的方案和架構(gòu)。綜合應(yīng)用：城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程（結(jié)合圖文）：問題建模，準備數(shù)據(jù)，使用算法或訓練算法，工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程（結(jié)合圖文）：信號處理，特征提取，健康評估，健康預(yù)測與診斷，可視化呈現(xiàn)與可視化分析。四、本章關(guān)鍵問題重點和難點：MapReduce的工作機制，流數(shù)據(jù)查詢操作，物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程，工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。第3篇 產(chǎn)品研發(fā)篇第九章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne一、學習目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的具體應(yīng)用，主要介紹物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne，通過本章學習，要求了解工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne的基本情況，理解無線傳感器網(wǎng)絡(luò)網(wǎng)關(guān)，了解無線傳感器網(wǎng)絡(luò)概述，理解ZigBee-WiFi網(wǎng)關(guān)，理解ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例。二、課程內(nèi)容（考試內(nèi)容）9.1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)9.1.1 CubeOne產(chǎn)品概述9.1.2 CubeOne功能特點9.1.3 CubeOne的應(yīng)用領(lǐng)域9.2 無線傳感器網(wǎng)絡(luò)網(wǎng)關(guān)9.2.1 無線傳感器網(wǎng)絡(luò)概述9.2.2 ZigBee-WiFi網(wǎng)關(guān)9.2.3 ZigBee網(wǎng)絡(luò)應(yīng)用案例三、考核知識點與考核要求1. 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)識記：CubeOne功能特點。領(lǐng)會：CubeOne產(chǎn)品概述，CubeOne的應(yīng)用領(lǐng)域。2. 無線傳感器網(wǎng)絡(luò)網(wǎng)關(guān)識記：無線傳感器網(wǎng)絡(luò)特點。領(lǐng)會：無線傳感器網(wǎng)絡(luò)概述，無線傳感器網(wǎng)絡(luò)典型結(jié)構(gòu)，ZigBee-WiFi網(wǎng)關(guān)。簡單應(yīng)用，ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例四、本章關(guān)鍵問題重點：無線傳感器網(wǎng)絡(luò)概述，無線傳感器網(wǎng)絡(luò)典型結(jié)構(gòu)，ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例。第十章 ChinDB感知數(shù)據(jù)庫系統(tǒng)一、學習目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的實踐部分，主要介紹ChinDB感知數(shù)據(jù)庫系統(tǒng)。通過本章學習，要求理解ChinDB概念，理解ChinDB組成與功能特點，理解ChinDB數(shù)據(jù)組織管理，，理解ECA規(guī)則與實時計算，掌握ChinDB的HA方案，了解HA概念及模式分類，理解ChinDB HA的兩種部署模式，理解物聯(lián)網(wǎng)應(yīng)用平臺，了解平臺結(jié)構(gòu)和主要特點，了解應(yīng)用領(lǐng)域與應(yīng)用案例。二、課程內(nèi)容（考試內(nèi)容）10.1 ChinDB系統(tǒng)概述10.2 ChinDB組成與功能特點10.3 ChinDB數(shù)據(jù)組織管理10.3.1 標簽點及其屬性10.3.2 標簽點的組織方式10.3.3 關(guān)系數(shù)據(jù)管理10.3.4 歷史數(shù)據(jù)管理10.4 ECA規(guī)則與實時計算10.5 ChinDB的HA方案10.5.1 HA概述及模式分類10.5.2 ChinDB HA的部署模式10.6 物聯(lián)網(wǎng)應(yīng)用平臺10.6.1 物聯(lián)網(wǎng)平臺概述10.6.2 平臺主要特點10.6.3 應(yīng)用領(lǐng)域與應(yīng)用案例三、考核知識點與考核要求1. ChinDB系統(tǒng)概述識記：ChinDB系統(tǒng)概念。領(lǐng)會：ChinDB的特點，支持的操作系統(tǒng)，優(yōu)點，應(yīng)用情況。2. ChinDB組成與功能特點識記：關(guān)系數(shù)據(jù)與斷面查詢關(guān)聯(lián)，關(guān)系數(shù)據(jù)與歷史查詢關(guān)聯(lián)。領(lǐng)會ChinDB系統(tǒng)組成（結(jié)合圖），ChinDB的主要功能特點，。3. ChinDB數(shù)據(jù)組織管理識記：標簽及其屬性，標簽點的組織方式，傳統(tǒng)組織方式中標簽點的組織和索引分層。領(lǐng)會：面向?qū)ο蠼M織方式，關(guān)系數(shù)據(jù)管理，ChinDB歷史數(shù)據(jù)管理。4. ECA規(guī)則與實時計算識記：ECA概念，領(lǐng)會：基于ECA規(guī)則的實時計算主要實現(xiàn)的功能。5. ChinDB的HA方案識記：HA概念，定義式，高可用的三種工作模式。領(lǐng)會：備份服務(wù)器系統(tǒng)，ChinDB HA的部署模式，共享存儲部署模式（結(jié)合圖文），非共享存儲部署模式（結(jié)合圖文）。6.物聯(lián)網(wǎng)應(yīng)用平臺識記：ChinPMC概念。領(lǐng)會：物聯(lián)網(wǎng)平臺概述，平臺主要特點。簡單應(yīng)用：ChinPMC物聯(lián)網(wǎng)應(yīng)用平臺。綜合應(yīng)用：應(yīng)用領(lǐng)域與應(yīng)用案例，工業(yè)企業(yè)應(yīng)用案例（結(jié)合圖），智慧礦山應(yīng)用案例（結(jié)合圖），智能化裝備應(yīng)用案例（結(jié)合圖），廣域監(jiān)測監(jiān)控應(yīng)用案例（結(jié)合圖）。四、本章關(guān)鍵問題重點：ECA規(guī)則與實時計算，ChinDB的HA方案，ChinPMC物聯(lián)網(wǎng)應(yīng)用平臺，應(yīng)用領(lǐng)域與應(yīng)用案例。第十一章 DeCloud物聯(lián)大數(shù)據(jù)云平臺一、學習目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理的實踐部分，主要關(guān)注DeCloud物聯(lián)網(wǎng)大數(shù)據(jù)的云平臺。通過本章學習，要求掌握DeCloud組成，理解DeCloud軟件概述，掌握DeCloud通信服務(wù)，掌握DeCloud通信服務(wù)，掌握DeCloud計算服務(wù)，了解DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù)，了解DeCloud在智能交通領(lǐng)域的應(yīng)用，了解DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺中的應(yīng)用，了解DeCloud在電梯安全監(jiān)控中的應(yīng)用，了解DeCloud在高精度位置服務(wù)中的應(yīng)用。二、課程內(nèi)容（考試內(nèi)容）11.1 DeCloud組成11.1.1 軟件概述11.1.2 通信服務(wù)11.1.3 計算服務(wù)11.1.4 存儲服務(wù)11.1.5 數(shù)據(jù)發(fā)布/訂閱服務(wù)11.2 DeCloud在智能交通領(lǐng)域的應(yīng)用11.3 DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺中的應(yīng)用11.4 DeCloud在電廠設(shè)備故障預(yù)警的應(yīng)用11.5 DeCloud在電梯安全監(jiān)控中的應(yīng)用11.6 DeCloud在高精度位置服務(wù)中的應(yīng)用三、考核知識點與考核要求1. DeCloud組成識記：DeCloud軟件概述，DeCloud核心功能定位，DeCloud特點，。領(lǐng)會：DeCloud通信服務(wù)（結(jié)合圖文），DeCloud通信服務(wù)的構(gòu)造，DeCloud計算服務(wù)（結(jié)合圖文），DeCloud計算服務(wù)的構(gòu)造，DeCloud的存儲服務(wù)，DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù)。2. DeCloud在智能交通領(lǐng)域的應(yīng)用領(lǐng)會：DeCloud4ITS的優(yōu)勢，DeCloud4ITS在線運行的任務(wù)，違章嫌疑車輛處理，車輛實時布控預(yù)警，實時佳通路況及交通流信息服務(wù)，城市車輛綜合分析。簡單應(yīng)用：DeCloud4I5S交通數(shù)據(jù)處理平臺，基于DeCloud平臺的智能交通應(yīng)用系統(tǒng)，3. DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺中的應(yīng)用識記：DeCloud教育物聯(lián)網(wǎng)云服務(wù)平臺中傳感數(shù)據(jù)的生命周期。領(lǐng)會：DeCloud教育物聯(lián)網(wǎng)云服務(wù)平臺總體架構(gòu)，。4. DeCloud在電廠設(shè)備故障預(yù)警中的應(yīng)用識記：電廠設(shè)備故障的常用檢測方法，單側(cè)點數(shù)據(jù)分析中的孤立點檢測法，多測點數(shù)據(jù)分析中的相關(guān)性分析，皮爾遜相關(guān)系統(tǒng)公式。領(lǐng)會：單側(cè)點數(shù)據(jù)分析，多測點數(shù)據(jù)分析。5. DeCloud在電梯安全監(jiān)控中的應(yīng)用識記：國家對電梯運行標準出臺的重要政策。DeCloud電梯安全監(jiān)控云服務(wù)系統(tǒng)目標。領(lǐng)會：DeCloud電梯安全監(jiān)控云服務(wù)系統(tǒng)的運行原理、可選配的傳感器。簡單應(yīng)用：DeCloud電梯安全監(jiān)管應(yīng)用系統(tǒng)向用戶提供的功能。6. DeCloud在高精度位置服務(wù)中的應(yīng)用簡單應(yīng)用：大規(guī)模差分數(shù)據(jù)播發(fā)服務(wù)工作原理，高精度位置服務(wù)平臺結(jié)構(gòu)綜合應(yīng)用：基于高精度位置服務(wù)的軌跡及手機GPS對比四、本章關(guān)鍵問題重點：DeCloud組成，DeCloud在智能交通領(lǐng)域的應(yīng)用，DeCloud在電廠設(shè)備故障預(yù)警中的應(yīng)用。Ⅳ 關(guān)于大綱的說明與考核實施要求一、自學考試大綱的目的和作用課程自學考試大綱是根據(jù)專業(yè)自學考試計劃的要求，結(jié)合自學考試的特點而確定。其目的是對個人自學、社會助學和課程考試命題進行指導(dǎo)和規(guī)定。課程自學考試大綱明確了課程學習的內(nèi)容以及深廣度，規(guī)定了課程自學考試的范圍和標準。因此，它是編寫自學考試教材和輔導(dǎo)書的依據(jù)，是社會助學組織進行自學輔導(dǎo)的依據(jù)，是自學者學習教材、掌握課程內(nèi)容知識范圍和程度的依據(jù)，也是進行自學考試命題的依據(jù)。二、課程自學考試大綱與教材的關(guān)系課程自學考試大綱是進行學習和考核的依據(jù)，教材是學習掌握課程知識的基本內(nèi)容與范圍，教材的內(nèi)容是大綱所規(guī)定的課程知識和內(nèi)容的擴展與發(fā)揮。本大綱與教材所體現(xiàn)的課程內(nèi)容完全一致；大綱里面的課程內(nèi)容和考核知識點， 在教材里都可以找到。三、關(guān)于自學教材本課程使用教材為：《物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實踐》，王桂玲、王強等編著，電子工業(yè)出版社，2017年版。四、關(guān)于自學要求和自學方法的指導(dǎo)本大綱的課程基本要求是依據(jù)專業(yè)考試計劃和專業(yè)培養(yǎng)目標而確定的。課程基本要求還明確了課程的基本內(nèi)容，以及對基本內(nèi)容掌握的程度?；疽笾械闹R點構(gòu)成了課程內(nèi)容的主體部分。因此，課程基本內(nèi)容掌握程度、課程考核知識點是高等教育自學考試考核的主要內(nèi)容。根據(jù)物聯(lián)網(wǎng)工程專業(yè)（本科段）的要求，以及本課程的特點，考生在進行自學時應(yīng)注意以下幾點：1．在學習本課程前，應(yīng)仔細閱讀課程大綱的第一部分，了解課程的性質(zhì)、地位和任務(wù)，熟知課程的基本要求以及與本課程有關(guān)的課程的聯(lián)系，以便使以后的學習能緊緊圍繞課程的基本要求。2．在閱讀某一章教材內(nèi)容前，考生應(yīng)先認真閱讀大綱中關(guān)于該章的考核知識點、自學要求和考核要求，注意對各知識點的能力層次要求，以便在閱讀教材時做到心中有數(shù)，有的放矢。3．閱讀教材時，考生應(yīng)根據(jù)大綱要求，要逐段細讀，逐句推敲，集中精力，吃透每個知識點，對基本概念必須深刻理解，基本原理必須牢固掌握，在閱讀中遇到個別細節(jié)問題不清楚，在不影響繼續(xù)學習的前提下，可暫時擱置。4．學完教材的每一章內(nèi)容后，考生應(yīng)針對考試大綱列出的關(guān)鍵問題認真復(fù)習，以便進一步理解、消化和鞏固所學知識，增強分析問題、解決問題的能力。五、應(yīng)考指導(dǎo)1．如何學習很好的計劃和組織是你學習成功的法寶。如果考生正在接受培訓學習，一定要跟緊課程并完成作業(yè)。為了在考試中做出滿意的回答，考生必須對所學課程內(nèi)容有很好的理解，如使用“行動計劃表”來監(jiān)控你的學習進展。考生閱讀課本時可以做讀書筆記，可以用彩筆來標注需要重點注意的內(nèi)容，如紅色代表重點、綠色代表需要深入研究的領(lǐng)域、黃色代表可以運用在工作之中。此外，還可以在空白處記錄相關(guān)網(wǎng)站與文章。2．如何考試卷面整潔非常重要。書寫工整，段落與間距合理，卷面賞心悅目有助于教師評分，教師只能為他能看懂的內(nèi)容打分。回答所提出的問題。要回答所問的問題，而不是回答你自己樂意回答的問題！避免超過問題的范圍。3．如何處理緊張情緒 正確處理對失敗的懼怕，要正面思考。如果可能，請教已經(jīng)通過該科目考試的人，問他們一些問題。做深呼吸放松，這有助于使頭腦清醒，緩解緊張情緒?？荚嚽昂侠砩攀?，保持旺盛精力，保持冷靜。4．如何克服心理障礙這是一個普遍存在的問題！如果你在考試中出現(xiàn)這種情況，可以試試下列方法：使用“線索”紙條。進入考場之前，將記憶“線索”記在紙條上。但你不能將紙條帶進考場，因此當你閱讀考卷時，一旦有了思路就快速記下。按自己的步調(diào)進行答卷。為每個考題或部分合理分配時間，并按此時間安排進行。要做到心理障礙的排除，還可以試著在考試的時候一邊瀏覽試題一邊回顧書本大綱，梳理出一個題目分布的框架，這樣你就會對答題有進一步的把握。六、對社會助學的要求1．社會助學者應(yīng)根據(jù)本大綱規(guī)定的考試內(nèi)容和考核目標，認真鉆研指定教材，明確本課程的特點和學習要求，對考生進行切實有效的輔導(dǎo)，避免考生在自學時可能出現(xiàn)的各種偏向，把握社會助學的正確方向。2．社會助學者應(yīng)對考生進行學習方法的指導(dǎo)，向考生提倡“認真閱讀教材，刻苦鉆研教材，主動提出問題，依靠自己學懂”的學習方法。3．社會助學者應(yīng)注意對考生自學能力的培養(yǎng)，使考生逐步學會獨立學習，在自學過程中善于提出問題、分析問題、做出判斷和解決問題。對考生提出的問題，社會助學者應(yīng)以啟發(fā)引導(dǎo)為主。4．社會助學者應(yīng)努力引導(dǎo)考生將識記、領(lǐng)會、簡單應(yīng)用和綜合應(yīng)用聯(lián)系起來，將基本知識轉(zhuǎn)化為識記工作能力，全面培養(yǎng)和提升考生的綜合素質(zhì)。5．社會助學者應(yīng)指導(dǎo)考生正確處理重點和一般的關(guān)系，幫助考生掌握全部考試內(nèi)容和考核知識點，切勿孤立地抓重點，將考生引向猜題和押題。七、對考核內(nèi)容的說明本課程要求考生學習和掌握的知識點內(nèi)容都作為考核的內(nèi)容。課程中各章的內(nèi)容均由若干知識點組成，在自學考試中成為考核知識點。因此，課程自學考試大綱中所規(guī)定的考試內(nèi)容是以分解為考核知識點的方式給出的。由于各知識點在課程中的地位、作用以及知識自身的特點不同，自學考試將對各知識點分別按四個認知（或叫能力）層次確定其考核要求。八、關(guān)于考試命題的若干規(guī)定1．本課程采用閉卷考試的方法，考試時間的長度為150分鐘。對本課程考試過程中除攜帶必要的答題用的簽字筆和橡皮外，嚴禁攜帶其他與考試無關(guān)的工具。2．本大綱各章所規(guī)定的基本要求、知識點及知識點下的知識細目，都屬于考核的內(nèi)容?？荚嚸}既要覆蓋到章，又要避免面面俱到。要注意突出課程的重點、章節(jié)重點，加大重點內(nèi)容的覆蓋度。3、命題不應(yīng)有超出大綱中考核知識點范圍的題，考核目標不得高于大綱中所規(guī)定的相應(yīng)的最高能力層次要求。命題應(yīng)著重考核考生對基本概念、基本知識和基本理論是否了解或掌握，對基本方法是否會用或熟練。不應(yīng)出與基本要求不符的偏題或怪題。4、本課程在試卷中對不同能力層次要求的分數(shù)比例大致為：識記占20%，領(lǐng)會占30%，簡單應(yīng)用占30%，綜合應(yīng)用占20%。5、要合理安排試題的難易程度，試題的難度可分為：易、較易、較難和難四個等級。每份試卷中不同難度試題的分數(shù)比例一般為：2:3:3:2。必須注意，試題的難易程度與能力層次有一定的聯(lián)系，但二者不是等同的概念，在各個能力層次中都存在著不同難度的試題。6、課程考試命題的主要題型一般有單項選擇題、判斷改錯題、填空題、名詞解釋題、簡答題和論述題。在命題工作中必須按照本課程大綱中所規(guī)定的題型命制，考試試卷使用的題型可以略少，但不能超出本課程對題型的規(guī)定。附錄 題型舉例一、單項選擇題（四個備選答案只有一個正確，將其選出，并填入題內(nèi)括號中）1、DeCloud電廠設(shè)備故障預(yù)警系統(tǒng)的核心是：（B） A. DeCloud存儲服務(wù) B. DeCloud計算服務(wù) C. DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù) D. DeCloud通信服務(wù)2、深度學習通常使用的網(wǎng)絡(luò)是：（C） A. 電信網(wǎng)絡(luò) B. 無線傳感器網(wǎng)絡(luò)　 C.　人工神經(jīng)網(wǎng)絡(luò) D.　數(shù)據(jù)通信網(wǎng)絡(luò)二、判斷改錯題1、社交網(wǎng)絡(luò)數(shù)據(jù)中的聯(lián)系數(shù)據(jù)是一類典型的“元數(shù)據(jù)”。（×）改正：元數(shù)據(jù) 圖數(shù)據(jù)2、大數(shù)據(jù)是第二經(jīng)濟的核心內(nèi)涵和關(guān)鍵支撐。（√） 三、填空題1、在Linux中，一個進程在內(nèi)存中有三部分數(shù)據(jù)：“數(shù)據(jù)段”、“_________”與“代碼段”。（堆棧段）2、Lambda架構(gòu)是由Strom的作者Nathan Marz提出的一個_________框架。（實時大數(shù)據(jù)處理） 四、名詞解釋1、MSCS答：Microsoft SQL Cluster Server,失敗轉(zhuǎn)移集群，是一種基于共享磁盤的高可用集群是操作系統(tǒng)級別的集群。2、EDA答：Event-Driven Architecture，事件驅(qū)動框架，是實時事件處理的軟件框架。五、簡答題1、簡述互聯(lián)網(wǎng)大數(shù)據(jù)的特征。答：（1）數(shù)據(jù)體量巨大； （2）數(shù)據(jù)類型繁多； （3）價值密度大； （4）處理速度快； （5）結(jié)果的真實性。2、簡述流數(shù)據(jù)上的滑動窗口聚集操作的并行劃分優(yōu)化方法。答：基本的滑動窗口劃分方法以窗口為單位將其劃分到多個節(jié)點上執(zhí)行，這種方法雖然簡單，但由于連續(xù)的滑動窗口之間存在元組重疊的情況，導(dǎo)致同一元組劃分到多個節(jié)點上重復(fù)處理。基于批量窗口的劃分方法將多個窗口的元組作為一個單元劃分到節(jié)點上進行處理，同一分片中的元組不需重復(fù)處理了，減少了計算開銷和空間開銷。由于劃分代價和計算代價都會隨重疊元組數(shù)目提升而提升，因此，當窗口太大、流數(shù)據(jù)的達到速度太高時，基本窗口和批量窗口的并行處理方法不具有好的可擴展性。此外，還可以與層次型處理方法結(jié)合，在將窗口劃分為子窗口再劃分多多個節(jié)點上執(zhí)行。六、論述題1、基于SQL查詢語句“select SensorID, value,Time from tempSensorTable where Time>=to_date (‘2016-2-24 00:00:03’,’yyyy-mm-dd hh24:mi:ss’) and Time<=to_date (‘2016-2-24 00:00:04’,’yyyy-mm-dd hh24:mi:ss’) and value<=25 and Sensor ID>=’0001’and SensorID<’1001’,論述底層數(shù)據(jù)庫調(diào)度過程。答：（1）判斷查詢是否為統(tǒng)計查詢。SQL中的統(tǒng)計聚合函數(shù)包括sum、avg、count、max、min。在底層數(shù)據(jù)庫調(diào)度中，是否包含統(tǒng)計查詢將影響到HBse查詢所使用具體的查詢技術(shù)。底層數(shù)據(jù)庫調(diào)用模塊通過解析SQL語法樹，判斷是否有統(tǒng)計聚合函數(shù)的關(guān)鍵字。（2）調(diào)用過濾器或協(xié)處理器對HBase進行調(diào)度。在該例中的SQL篩選條件中，Time屬于HBase中的Rowkey字段的一部分，value為列族中的列。底層數(shù)據(jù)庫調(diào)度模塊將得到的傳感器ID與時間Time進行拼接，得到行鍵的范圍，調(diào)用行鍵與值的組合過濾器對存儲在HBase中的傳感器數(shù)值信息進行過濾，將過濾后的Rowkey與傳感器的作為結(jié)果返回。2、試述Twitter的Storm系統(tǒng)。答：Storm是一套分布式、可靠、可容錯的用于處理流數(shù)據(jù)的系統(tǒng)。其流式處理作業(yè)被分發(fā)至不同類型的組件，每個組件負責一項簡單的、特定的處理任務(wù)。Storm可用來實時處理新數(shù)據(jù)和更新數(shù)據(jù)庫，兼具容錯性和擴展性。Storm也可被用于連續(xù)計算，對流數(shù)據(jù)做連續(xù)查詢，在計算時將結(jié)果以流的形式輸出給用戶。它還可被用于分布式RPC，以并行的方式運行復(fù)雜運算。Storm提供了簡單的類似于MapReduce的編程模型，降低了實時處理的復(fù)雜性。它也擁有良好的水平擴展能力，其流式計算過程是在多個線程、進程和服務(wù)器之間并行進行的。Storm利用ZeroMQ作為消息隊列，極大地提高了消息傳遞的速度，系統(tǒng)的設(shè)計也保證了消息能得到快速處理。Storm保證每個消息至少能得到一次完整處理。任務(wù)失敗時，它會負責從消息源重試消息。