数据挖掘方法应用于调查数据的抽样权重问题

统计研究 ›› 2009, Vol. 26 ›› Issue (4): 101-104.

数据挖掘方法应用于调查数据的抽样权重问题

谢佳斌金勇进谢邦昌

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2009-04-15 发布日期:2009-04-15

The study on handling sampling weights associated with the survey data when applying data mining methods

Received:1900-01-01 Revised:1900-01-01 Online:2009-04-15 Published:2009-04-15

摘要/Abstract

摘要： 在将数据挖掘方法应用于抽样调查数据时，会遇到抽样权重的处理问题。本文提出采用放回的、与样本单元权数大小成比例的再抽样方法，简称PPWWR再抽样，来实现“事后”自加权设计。实现“事后”自加权设计后的子样本可忽略掉样本权数，直接采用常规的图示方法和数据挖掘算法进行分析。随后，基于2007中国公民科学素质调查贵州省数据，通过模拟分析讨论了PPWWR再抽样子样本的样本量问题，发现是一个比较合适的样本量。这一结论可能为其它大型复杂抽样调查数据的数据挖掘实施问题提供借鉴。

关键词: 调查数据, 抽样权重, 数据挖掘, PPWWR再抽样

Abstract: The problem of how to deal with sampling weights appears when applying data mining methods to survey data. We suggest the method of re-sampling with probability proportional to the weights with replacement (PPWWR) to achieve post self-weighting design. Then, some ordinary statistical graphics and data mining algorithms can be used directly, ignoring the sample weights. Next, based on the survey data of GuiZhou Province from the survey of public understanding of science 2007, we discussed the sample size problem of the PPWWR re-sampling method by simulation and find is an appropriate sample size. This conclusion might be useful for the implementation of data mining on other large and complex survey data.

Key words: Survey data, Sampling weights, Data mining, PPWWR re-sampling

谢佳斌金勇进谢邦昌. 数据挖掘方法应用于调查数据的抽样权重问题[J]. 统计研究, 2009, 26(4): 101-104.

[1]	张峰等. 工业取用水监测奇异数据挖掘与重构方法[J]. 统计研究, 2019, 36(9): 68-.
[2]	许宪春等. 政府微观调查数据开发应用的国际经验和建议[J]. 统计研究, 2017, 34(12): 3-14.
[3]	吕萍. 抽样信息在复杂调查数据中的应用研究[J]. 统计研究, 2017, 34(1): 108-118.
[4]	黄恒君漆威. 海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践[J]. 统计研究, 2014, 31(5): 10-16.
[5]	李卉等. 大数据在我国高速公路超限问题研究中的应用初探[J]. 统计研究, 2014, 31(10): 70-73.
[6]	王磊等. 数据挖掘模型在小企业主信用评分领域的应用 [J]. 统计研究, 2014, 31(10): 89-98.
[7]	刘云霞曾五一. 关于综合利用Benford法则与其他方法评估统计数据质量的进一步研究[J]. 统计研究, 2013, 30(8): 3-9.
[8]	黄潇. 与收入相关的健康不平等扩大了吗[J]. 统计研究, 2012, 29(6): 51-59.
[9]	白仲林等 . 生命不确定性的跨期最优消费行为研究[J]. 统计研究, 2012, 29(2): 28-33.
[10]	马莉莉李泉. 中国投资者的风险偏好[J]. 统计研究, 2011, 28(8): 63-72.
[11]	何海鹰朱建平谢邦昌. 证券投资意识调查分析 —基于数据挖掘的视角 [J]. 统计研究, 2008, 25(9): 49-53.
[12]	殷瑞飞, 朱建平. 数据挖掘中一种新的聚类方法——基于对应分析与因子旋转 [J]. 统计研究, 2008, 25(1): 93-97.
[13]	胡桂华. 经济、管理类专业《统计学》课程建设的几个基本问题[J]. 统计研究, 2008, 25(1): 104-107.
[14]	朱建平来升强. 流式数据挖掘的现状及统计的研究趋势[J]. 统计研究, 2007, 24(7): 84-87.
[15]	刘云霞曾五一. 数据挖掘中基于可辨识矩阵的连续属性离散化方法[J]. 统计研究, 2007, 24(4): 8-10.