海量数据随机抽样问题(蓄水池问题)

参考这篇文章:

http://blog.csdn.net/hackbuteer1/article/details/7971328

海量数据随机抽样问题(蓄水池问题)

随机抽样问题表示如下:
要求从N个元素中随机的抽取k个元素,其中N无法确定。

解决方案:

程序的开始就是把前k个元素都放到水库中,然后对之后的第i个元素,以k/i的概率替换掉这个水库中的某一个元素。

下面来具体证明一下:每个水库中的元素出现概率都是相等的。

见原文。

看到一个问题:怎样随机从N个元素中选择一个元素,你依次遍历每个元素,但不知道N多大。

蓄水池

将问题扩展:给你一个长度为N的链表。N很大,但你不知道N有多大。你的任务是从这N个元素中随机取出k个元素。你只能遍历这个链表一次。你的算法必须保证取出的元素恰好有k个,且它们是完全随机的(出现概率均等)。

蓄水池

另外还有一种方法:给每个元素随机生成一个固定区间(如[0,1])的权重。用一个大小为k的堆来选取权重较大的k个元素。仿照也可解决最开始的取1个的问题。

原文地址:https://www.cnblogs.com/charlesblc/p/6295120.html