近來由于數(shù)據(jù)記錄和屬性規(guī)模的急劇增長，大數(shù)據(jù)處理平臺和并行數(shù)據(jù)分析算法也隨之出現(xiàn)。

近來由于數(shù)據(jù)記錄和屬性規(guī)模的急劇增長，大數(shù)據(jù)處理平臺和并行數(shù)據(jù)分析算法也隨之出現(xiàn)。于此同時，這也推動了數(shù)據(jù)降維處理的應(yīng)用。實際上，數(shù)據(jù)量有時過猶不及。有時在數(shù)據(jù)分析應(yīng)用中大量的數(shù)據(jù)反而會產(chǎn)生更壞的性能。

最新的一個例子是采用 2009 KDD Challenge 大數(shù)據(jù)集來預(yù)測客戶流失量。 該數(shù)據(jù)集維度達到 15000 維。 大多數(shù)數(shù)據(jù)挖掘算法都直接對數(shù)據(jù)逐列處理，在數(shù)據(jù)數(shù)目一大時，導(dǎo)致算法越來越慢。該項目的最重要的就是在減少數(shù)據(jù)列數(shù)的同時保證丟失的數(shù)據(jù)信息盡可能少。

以該項目為例，我們開始來探討在當(dāng)前數(shù)據(jù)分析領(lǐng)域中最為數(shù)據(jù)分析人員稱道和接受的數(shù)據(jù)降維方法。

缺失值比率 (Missing Values Ratio)

該方法的是基于包含太多缺失值的數(shù)據(jù)列包含有用信息的可能性較少。因此，可以將數(shù)據(jù)列缺失值大于某個閾值的列去掉。閾值越高，降維方法更為積極，即降維越少。