首頁 > 期刊 > 自然科學(xué)與工程技術(shù) > 工程科技II > 綜合科技B類綜合 > 太原科技大學(xué)學(xué)報(bào) > 基于MapReduce的并行加權(quán)k近鄰與離群檢測(cè) 【正文】
基于MapReduce的并行加權(quán)k近鄰與離群檢測(cè)
郭娟娟; 趙旭俊; 張繼福 太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院; 太原030024
- 并行計(jì)算
- 加權(quán)k近鄰
- 離群檢測(cè)
摘要：利用MapReduce編程模型,提出一種并行的加權(quán)k近鄰與離群檢測(cè)方法WKNNOM-MR.該算法首先對(duì)輸入數(shù)據(jù)隨機(jī)均勻采樣,在樣本數(shù)據(jù)集中采用信息熵計(jì)算各個(gè)屬性的權(quán)值;然后在集群中的數(shù)據(jù)節(jié)點(diǎn)上對(duì)輸入數(shù)據(jù)進(jìn)行加權(quán),并將其映射到Z-order空間填充曲線,給出了一種基于Z-order的加權(quán)k近鄰查詢方法;根據(jù)每個(gè)對(duì)象與其加權(quán)k近鄰之間的距離計(jì)算離群因子,在兼顧最小距離與平均距離的基礎(chǔ)上,給出離群點(diǎn)檢測(cè)算法;最后在具有5個(gè)節(jié)點(diǎn)的Hadoop集群上實(shí)現(xiàn)該算法,并采用人工合成數(shù)據(jù)集、UCI標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),結(jié)果驗(yàn)證了該算法的有效性、可擴(kuò)展性和可伸縮性。
- 并行計(jì)算
- 加權(quán)k近鄰
- 離群檢測(cè)
摘要：利用MapReduce編程模型,提出一種并行的加權(quán)k近鄰與離群檢測(cè)方法WKNNOM-MR.該算法首先對(duì)輸入數(shù)據(jù)隨機(jī)均勻采樣,在樣本數(shù)據(jù)集中采用信息熵計(jì)算各個(gè)屬性的權(quán)值;然后在集群中的數(shù)據(jù)節(jié)點(diǎn)上對(duì)輸入數(shù)據(jù)進(jìn)行加權(quán),并將其映射到Z-order空間填充曲線,給出了一種基于Z-order的加權(quán)k近鄰查詢方法;根據(jù)每個(gè)對(duì)象與其加權(quán)k近鄰之間的距離計(jì)算離群因子,在兼顧最小距離與平均距離的基礎(chǔ)上,給出離群點(diǎn)檢測(cè)算法;最后在具有5個(gè)節(jié)點(diǎn)的Hadoop集群上實(shí)現(xiàn)該算法,并采用人工合成數(shù)據(jù)集、UCI標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),結(jié)果驗(yàn)證了該算法的有效性、可擴(kuò)展性和可伸縮性。
注：因版權(quán)方要求，不能公開全文，如需全文，請(qǐng)咨詢雜志社
太原科技大學(xué)學(xué)報(bào)
- 預(yù)計(jì)1個(gè)月內(nèi) 預(yù)計(jì)審稿周期
- 0.34 影響因子
- 科技 快捷分類
- 雙月刊 出版周期
主管單位：山西省教育廳;主辦單位：太原科技大學(xué)
我們提供的服務(wù)
在線客服
一對(duì)一咨詢服務(wù)、簡(jiǎn)單快捷、省時(shí)省力
了解更多 >
快遞配送
直郵到家、實(shí)時(shí)跟蹤、更安全更省心
了解更多 >
雜志訂閱
去除中間環(huán)節(jié)享受低價(jià)，物流進(jìn)度實(shí)時(shí)通知
了解更多 >
雜志推薦
正版雜志，匹配度高、性價(jià)比高、成功率高
了解更多 >