日期

課程安排

課程內(nèi)容

7月24日

開課典禮

開課典禮、大數(shù)據(jù)人工智能產(chǎn)業(yè)趨勢報告

7月25日

分布式系統(tǒng)概述、Hadoop基礎(chǔ)  

了解分布式系統(tǒng)的背景、發(fā)展歷程、特征，掌握Hadoop框架的組成結(jié)構(gòu)、開發(fā)應(yīng)用及使用場景  

7月26日

Hadoop HDFS理論基礎(chǔ)及應(yīng)用

介紹HDFS存儲原理，理解HDFS的體系結(jié)構(gòu)、工作原理；掌握HDFS的命令行操作、利用HDFS API，編寫操作代碼

7月27日

MapReduce工作原理、Maper的輸入與輸出、Reducer輸入輸出

介紹MapReduce大數(shù)據(jù)處理的整個過程，理解MapReduce的計算模型、掌握MapReduce的工作過程、掌握Mapper的輸入格式化處理與分片原理、Reducer的輸出格式化處理。  

7月28日

MapReduce中Shuffle原理及應(yīng)用

考慮大數(shù)據(jù)下進行數(shù)據(jù)排序的功能，如果能分散在集群中進行，即在Reducer輸入時數(shù)據(jù)按Key已經(jīng)排好序，即可以把系統(tǒng)執(zhí)行排序的過程（即將map輸出進行分區(qū)、分組、排序和歸納等處理后作為輸入傳給Reducer）稱為Shuffle。它對于用戶來講基本是透明的，它的可插拔設(shè)計模式，允許用替代的實現(xiàn)替換內(nèi)置的shuffle和排序邏輯。可以講它是整個MapReduce運行過程中的“心臟”，幫助我們解決很多實際項目的大數(shù)據(jù)計算的問題。  

7月29日

MapReduce常用設(shè)計模式

設(shè)計模式（Design Pattern）是一套被反復(fù)使用、多數(shù)人知曉的、經(jīng)過分類的、代碼設(shè)計經(jīng)驗的總結(jié)。需要掌握過濾模式、分層模式、分區(qū)、分箱等模式的設(shè)計與實現(xiàn)方法，MapReduce的連接處理、外部數(shù)據(jù)源處理等。

7月30日

小結(jié)及知識點復(fù)習(xí)

配備講義和代碼，自主進行實驗與自習(xí)，現(xiàn)場由技術(shù)人員指導(dǎo)，進行課后掃盲與能力提升。  

7月31日

QQ好友推薦算法設(shè)計與代碼實現(xiàn)

近十幾年間，隨著在線社交網(wǎng)絡(luò)的蓬勃發(fā)展，在這上千萬用戶的社交群體里，尋找潛在好友進行推薦，成為社交網(wǎng)絡(luò)分析的關(guān)鍵問題之一。本案例建立好友推薦模型，利用MapReduce完成了該算法的實現(xiàn)。

8月1日

PeopleRank算法的設(shè)計與代碼實現(xiàn)

PageRank算法應(yīng)用于社交網(wǎng)絡(luò)，定義以人為核心的個體價值。PageRank模型有了新的應(yīng)用領(lǐng)域，同時也有了一個新的名字PeopleRank。本案例建立PeopleRank模型，利用MapReduce完成了該算法的實現(xiàn)。

8月2日

物品推薦（ItemCF）算法的設(shè)計與代碼實現(xiàn)  

推薦系統(tǒng)無處不在—QQ，人人網(wǎng)的好友推薦；優(yōu)酷，土豆的電影推薦；豆瓣的圖書推薦；大從點評的餐飲推薦；世紀(jì)佳緣的相親推薦；天際網(wǎng)的職業(yè)推薦等。本案例采用ItemCF模型，使用MapReduce完成了該算法的實現(xiàn)。

8月3日

結(jié)業(yè)考試

特色專業(yè)和高質(zhì)量課程建設(shè)研討會、結(jié)業(yè)考試

日期

日程安排

內(nèi)容簡介

7月24日

開課典禮

開課典禮、大數(shù)據(jù)人工智能產(chǎn)業(yè)趨勢報告

7月25日

Hadoop基礎(chǔ)

Hadoop基礎(chǔ)應(yīng)用
MapReduce基礎(chǔ)編程
基本環(huán)境搭建練習(xí)
MapReduce基礎(chǔ)編程練習(xí)

7月26日

Spark基礎(chǔ)

Spark基礎(chǔ)介紹
Spark算子介紹
Spark環(huán)境搭建
SparkRDD算子編程練習(xí)

7月27日

數(shù)據(jù)倉庫與數(shù)據(jù)傳遞工具

Sqoop介紹及應(yīng)用
Hive介紹及應(yīng)用
Hive環(huán)境搭建、sqoop環(huán)境搭建
Hive與Sqoop使用練習(xí)

7月28日

小結(jié)及知識點復(fù)習(xí)

配備講義和代碼，自主進行實驗與自習(xí)，現(xiàn)場由技術(shù)人員指導(dǎo)，進行課后掃盲與能力提升。  

7月29日

城市經(jīng)濟建設(shè)影響因素分析案例應(yīng)用開發(fā)

對城市經(jīng)濟建設(shè)與影響因素進行分析與研究，通過了解城市經(jīng)濟建設(shè)的一些基本特征以及確定影響因素關(guān)系的強弱。  

7月30日

農(nóng)業(yè)播面產(chǎn)量分析案例應(yīng)用開發(fā)

通過程序?qū)r(nóng)業(yè)播面產(chǎn)量數(shù)據(jù)進行預(yù)測補全，統(tǒng)計各省高低產(chǎn)量作物類型，統(tǒng)計各農(nóng)作物高低產(chǎn)量省份分布。  

7月31日

金融風(fēng)控分析案例應(yīng)用開發(fā)

根據(jù)已有風(fēng)控跟蹤結(jié)果數(shù)據(jù)進行業(yè)務(wù)分類，通過分類模型預(yù)測信貸申請用戶是否存在信貸風(fēng)險。  

8月1日

高校學(xué)生上網(wǎng)行為分析案例開發(fā)

根據(jù)學(xué)生歷史上網(wǎng)時長數(shù)據(jù)預(yù)測學(xué)生持續(xù)上網(wǎng)時長，根據(jù)預(yù)測結(jié)果監(jiān)督學(xué)生上網(wǎng)行為。  

8月2日

案例實驗實訓(xùn)

由老師提供案例流程設(shè)計，由學(xué)員根據(jù)流程進行案例開發(fā)。學(xué)員可從MapReduce、Spark、hive中任選一種技術(shù)用于案例開發(fā)。  

8月3日

結(jié)業(yè)考試

特色專業(yè)和高質(zhì)量課程建設(shè)研討會、結(jié)業(yè)考試、

日期

日程安排

課程簡介

7月24日

開課典禮

開課典禮、大數(shù)據(jù)人工智能產(chǎn)業(yè)趨勢報告

7月25日

python基礎(chǔ)

Python及常用集成開發(fā)環(huán)境介紹
Python基礎(chǔ)語法及機器學(xué)習(xí)常用包

7月26日

線性回歸與廣義線性回歸

普通線性回歸模型、嶺回歸與Lasso模型原理；
使用OLS、嶺回歸、Lasso模型解決汽車油耗分析；
使用廣義線性回歸模型解決多種問題。

7月27日

監(jiān)督學(xué)習(xí)

介紹監(jiān)督學(xué)習(xí)中的貝葉斯分類器、支持向量機、決策樹、集成學(xué)習(xí)等經(jīng)典算法原理，建立模型解決分類與回歸問題。  

7月28日

非監(jiān)督學(xué)習(xí)

介紹降維算法并對高維數(shù)據(jù)預(yù)處理并比較各種降維方法的性能及可視化效果，介紹聚類算法原理并對無標(biāo)簽數(shù)據(jù)進行分析，介紹推薦算法并建立推薦模型。  

7月29日

小結(jié)及實驗指導(dǎo)

配備講義和代碼，自主進行實驗與自習(xí)，現(xiàn)場由技術(shù)人員指導(dǎo)，進行課后掃盲與能力提升。  

7月30日

機器學(xué)習(xí)實戰(zhàn)

針對真實數(shù)據(jù)集建立對應(yīng)的分類、回歸、聚類等模型解決問題，并比較各種模型的性能。  

7月31日

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)發(fā)展簡介與理論基礎(chǔ)，包括反向傳播、層結(jié)構(gòu)、優(yōu)化算法，以及tensorflow、keras等，并學(xué)習(xí)使用python實現(xiàn)基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型代碼。

8月1日

神經(jīng)網(wǎng)絡(luò)實戰(zhàn)

學(xué)習(xí)搭建常見的神經(jīng)網(wǎng)絡(luò)模型，如VGG16、ResNet、InceptionNet、GRU、LSTM等網(wǎng)絡(luò)解決圖像、文本等問題。

8月2日

模擬復(fù)習(xí)

配備講義和代碼，自主進行實驗與自習(xí)，現(xiàn)場由講師及助教輔導(dǎo)，進行課后掃盲與能力提升  

8月3日

結(jié)業(yè)考試

特色專業(yè)和高質(zhì)量課程建設(shè)研討會、結(jié)業(yè)考試