課程簡介：

        本次課程將介紹數(shù)據(jù)挖掘與大數(shù)據(jù)技術(shù)的基本理論和體系架構(gòu)，通過大型數(shù)據(jù)挖掘和大數(shù)據(jù)處理項(xiàng)目案例闡述數(shù)據(jù)挖掘和大數(shù)據(jù)項(xiàng)目的實(shí)施過程和方法。通過實(shí)際應(yīng)用案例講解數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘算法等重要概念。詳細(xì)講解構(gòu)建數(shù)據(jù)挖掘體系的核心方法和技術(shù)，并結(jié)合實(shí)際項(xiàng)目搭建數(shù)據(jù)挖掘環(huán)境。熟悉主流數(shù)據(jù)挖掘廠商及相關(guān)軟件產(chǎn)品的操作和使用。

課程特點(diǎn)：

         1、 培訓(xùn)過程中將以大型項(xiàng)目案例為背景，逐步講解整個數(shù)據(jù)挖掘的設(shè)計過程和實(shí)施方法

         2、 課程將以深入淺出的案例讓學(xué)員輕松掌握數(shù)據(jù)挖掘相關(guān)概念和技術(shù)

         3、 課程的重點(diǎn)是項(xiàng)目實(shí)施，將深入探討數(shù)據(jù)挖掘項(xiàng)目的實(shí)施問題，逐一解決項(xiàng)目實(shí)施過程中所遇到的問題和處理技巧

         4、 結(jié)合動手實(shí)驗(yàn)和小而精的例子，使學(xué)員充分理解數(shù)據(jù)挖掘架構(gòu)設(shè)計和相關(guān)實(shí)施工具的使用

課程大綱：

專題一：數(shù)據(jù)挖掘基礎(chǔ)知識 

內(nèi)容一：數(shù)據(jù)挖掘基本概念

1、 數(shù)據(jù)挖掘的來源

2、 數(shù)據(jù)挖掘的定義

3、 數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域

4、 數(shù)據(jù)挖掘的行業(yè)背景

內(nèi)容二：BI的架構(gòu)

1、BI體系介紹

2、數(shù)據(jù)倉庫介紹

3、ETL介紹

4、多維數(shù)據(jù)庫介紹

5、前端展現(xiàn)介紹

6、數(shù)據(jù)挖掘模型介紹

內(nèi)容三、數(shù)據(jù)挖掘在行業(yè)中的應(yīng)用

1、現(xiàn)代企業(yè)數(shù)據(jù)挖掘需求概述

2、電信行業(yè)案例分析

3、金融行業(yè)案例研究

4、銷售行業(yè)案例分析

5、BI系統(tǒng)數(shù)據(jù)更新與維護(hù)

介紹數(shù)據(jù)挖掘基本概念，BI體系架構(gòu)， 數(shù)據(jù)挖掘工具介紹及其應(yīng)用，針對電信等行業(yè)提供行業(yè)解決方案和案例分析。

專題二：數(shù)據(jù)挖掘架構(gòu)設(shè)計與完整流程詳解 

內(nèi)容一：九種數(shù)據(jù)挖掘算法

1、 九種挖掘算法應(yīng)用的背景

2、 決策樹算法與模型設(shè)計

3、 聚類算法與模型設(shè)計

4、 關(guān)聯(lián)規(guī)則算法與模型設(shè)計

5、 貝葉斯算法與模型設(shè)計

6、 時間序列算法與模型設(shè)計

7、 其他挖掘算法與模型設(shè)計

內(nèi)容二：常用挖掘模型詳解

1、決策樹算法詳解及工具實(shí)現(xiàn)

2、聚類算法詳解及工具實(shí)現(xiàn)

3、關(guān)聯(lián)規(guī)則算法詳解及工具實(shí)現(xiàn)

4、貝葉斯算法詳解及工具實(shí)現(xiàn)

5、時間序列算法詳解及工具實(shí)現(xiàn)

6、數(shù)據(jù)挖掘模型評估

內(nèi)容三：數(shù)據(jù)挖掘的流程

1、數(shù)據(jù)清洗準(zhǔn)備

2、數(shù)據(jù)預(yù)處理

3、選擇數(shù)據(jù)挖掘模型

4、數(shù)據(jù)挖掘模型訓(xùn)練

5、更新算法模型

6、模型評估

7、部署與應(yīng)用

內(nèi)容四：DMX語言

1、DMX語法結(jié)構(gòu)

2、使用DMX創(chuàng)建挖掘模型

3、使用DMX將挖掘結(jié)果導(dǎo)出

4、使用DMX進(jìn)行挖掘模型參數(shù)設(shè)置

九種數(shù)據(jù)挖掘算法與模型詳解，數(shù)據(jù)挖掘的設(shè)計與實(shí)施流程，數(shù)據(jù)挖掘查詢語言的使用等，重點(diǎn)對決策樹算法、關(guān)聯(lián)規(guī)則算法、聚類算法等給出詳細(xì)設(shè)計和處理流程。

專題三：大數(shù)據(jù)處理優(yōu)化部分 

內(nèi)容一：大數(shù)據(jù)的特點(diǎn)

1、什么是大數(shù)據(jù)

2、大數(shù)據(jù)的特點(diǎn)

3、大數(shù)據(jù)在行業(yè)中的應(yīng)用

內(nèi)容二：大數(shù)據(jù)優(yōu)化方法詳解

1、大數(shù)據(jù)分區(qū)處理

2、使用中間表和臨時表

3、分批次處理與并行計算

4、建立廣泛的索引

5、建立緩存機(jī)制

6、使用文本和二進(jìn)制格式進(jìn)行處理

7、定制強(qiáng)大的清洗規(guī)則和出錯處理機(jī)制

8、建立視圖或者物化視圖

9、其他優(yōu)化方法總結(jié)

內(nèi)容三：數(shù)據(jù)倉庫中大數(shù)據(jù)的處理方式

1、數(shù)據(jù)倉庫中的大數(shù)據(jù)特點(diǎn)

2、數(shù)據(jù)倉庫中的大數(shù)據(jù)的處理方式

3、分布式數(shù)據(jù)倉庫的特點(diǎn)及應(yīng)用

內(nèi)容四：大數(shù)據(jù)高級應(yīng)用

1、大型項(xiàng)目中大數(shù)據(jù)的優(yōu)化案例分析

2、使用大數(shù)據(jù)優(yōu)化工具

3、數(shù)據(jù)倉庫中的大數(shù)據(jù)性能調(diào)優(yōu)技巧

4、未來大數(shù)據(jù)的發(fā)展方向

大數(shù)據(jù)的概念、特點(diǎn)以及大數(shù)據(jù)的優(yōu)化方法，數(shù)據(jù)倉庫項(xiàng)目中大數(shù)據(jù)的處理方式以及大數(shù)據(jù)的高級應(yīng)用等，針對大型數(shù)據(jù)倉庫項(xiàng)目提供了完備的大數(shù)據(jù)優(yōu)化解決方案。

專題四：數(shù)據(jù)挖掘與大數(shù)據(jù)項(xiàng)目案例分析 

內(nèi)容一：中國電信數(shù)據(jù)挖掘項(xiàng)目

1、項(xiàng)目介紹

2、復(fù)雜多系統(tǒng)多數(shù)據(jù)源的特點(diǎn)

3、ODS的使用

4、整體項(xiàng)目架構(gòu)設(shè)計

5、數(shù)據(jù)挖掘算法選取

6、數(shù)據(jù)挖掘模型設(shè)計

7、數(shù)據(jù)挖掘處理流程

8、數(shù)據(jù)抽取策略的制定

8、挖掘模型的更新技巧

內(nèi)容二：Search Funnel數(shù)據(jù)挖掘項(xiàng)目

1、項(xiàng)目介紹

2、項(xiàng)目中的海量數(shù)據(jù)

3、數(shù)據(jù)挖掘算法

4、數(shù)據(jù)挖掘模型構(gòu)建

5、數(shù)據(jù)的預(yù)處理技術(shù)

6、對挖掘模型進(jìn)行訓(xùn)練

7、展示數(shù)據(jù)挖掘模型結(jié)果

8、數(shù)據(jù)挖掘模型評估

內(nèi)容三：MSN大數(shù)據(jù)處理項(xiàng)目

1、項(xiàng)目介紹

2、項(xiàng)目中的超海量數(shù)據(jù)

3、大數(shù)據(jù)處理所遇到的問題

4、使用并行處理和計算

5、大數(shù)據(jù)項(xiàng)目中的數(shù)據(jù)挖掘模型處理

6、項(xiàng)目中的報表展現(xiàn)

7、大數(shù)據(jù)處理思路總結(jié)

內(nèi)容四：AdventureWorks整體項(xiàng)目案例

1、案例介紹

2、ETL流程詳解

3、OLAP流程詳解

4、前端報表流程詳解

5、數(shù)據(jù)挖掘流程詳解

總結(jié)

大型數(shù)據(jù)倉庫與數(shù)據(jù)挖掘項(xiàng)目設(shè)計和實(shí)施，重點(diǎn)對項(xiàng)目架構(gòu)設(shè)計和數(shù)據(jù)完整處理流程做重點(diǎn)分析和詳細(xì)介紹，針對大型數(shù)據(jù)挖掘項(xiàng)目，提供了完備的解決方案，給出完整設(shè)計思路和數(shù)據(jù)處理技術(shù)應(yīng)用。