升藍數據挖掘技術簡介

• 數據挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
• 數據挖掘的功能：
• 數據挖掘通過預測未來趨勢及行為，做出基於知識的決策，數據挖掘也用於具備相關度功能的全文檢索引擎。
• 數據挖掘的目標：
• 是從數據庫中發現隱含的、有意義的知識。
• 信息摘要和全文檢索：
• 通過數據向量化分析，可對文本信息進行度量，度量的結果通常用於搜索引擎，在信息度量基礎上建立的搜索引擎，不是簡單文字的搜索，而是經過優化的與主題相關度的搜索引擎。
• 數據採集：建立在數據挖掘技術上的數據採集，可根據「預計主題」在互聯網上有目的地採集信息，如可採集相關行業的各種數據資料、創建潛在客戶資料庫等。
• 自動預測趨勢和行為：
• 數據挖掘自動在大型數據庫中尋找預測性信息，以往需要進行大量手工分析的問題如今可以迅速直接由數據本身得出結論。一個典型的例子是市場預測問題，數據挖掘使用過去有關促銷的數據來尋找未來投資中回報最大的用戶，其它可預測的問題包括預報破產以及認定對指定事件最可能作出反應的群體。
• 關聯分析：
• 數據關聯是數據庫中存在的一類重要的可被發現的知識。若兩個或多個變量的取值之間存在某種規律性，就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出數據庫中隱藏的關聯網。有時並不知道數據庫中數據的關聯函數，即使知道也是不確定的，因此關聯分析生成的規則帶有可信度。
• 聚類：
• 數據庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類增強了人們對客觀現實的認識，是概念描述和偏差分析的先決條件。聚類技術主要包括傳統的模式識別方法和數學分類學。在劃分對像時不僅考慮對像之間的距離，還要求劃分出的類具有某種內涵描述，從而避免了傳統技術的某些片面性。
• 概念描述：
• 概念描述就是對某類對象的內涵進行描述，並概括這類對象的有關特徵。概念描述分為特徵性描述和區別性描述，前者描述某類對象的共同特徵，後者描述不同類對像之間的區別。生成一個類的特徵性描述只涉及該類對像中所有對象的共性。生成區別性描述的方法很多，如決策樹方法、遺傳算法等。
• 偏差檢測：
• 數據庫中的數據常有一些異常記錄，從數據庫中檢測這些偏差很有意義。偏差包括很多潛在的知識，如分類中的反常實例、不滿足規則的特例、觀測結果與模型預測值的偏差、量值隨時間的變化等。偏差檢測的基本方法是，尋找觀測結果與參照值之間有意義的差別。