摘要：
大數(shù)據(jù)技術(shù)的運(yùn)用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中。首先在數(shù)據(jù)收集方面。要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。其次是數(shù)據(jù)存儲(chǔ)。要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類，通過(guò)過(guò)濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。第三是數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。第四是結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計(jì)算機(jī)智能化有了很大進(jìn)步，但還只能針對(duì)小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。
大數(shù)據(jù)技術(shù)的運(yùn)用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中。首先在數(shù)據(jù)收集方面。要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。其次是數(shù)據(jù)存儲(chǔ)。要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類，通過(guò)過(guò)濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。第三是數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。第四是結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計(jì)算機(jī)智能化有了很大進(jìn)步，但還只能針對(duì)小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。
