数据采集的五种方法，教你高效采集数据？-营销圈

数据采集的五种方法，教你高效采集数据？

用户投稿 • 2022年4月28日 pm9:48 • 网络资讯 • 阅读 568

雷锋网 AI 科技评论按，采样问题是数据科学中的常见问题，对此，WalmartLabs 的数据科学家 Rahul Agarwal 分享了数据科学家需要了解的 5 种采样方法，雷锋网 AI 科技评论编译整理如下。

数据科学实际上是就是研究算法。

我每天都在努力学习许多算法，所以我想列出一些最常见和最常用的算法。

本文介绍了在处理数据时可以使用的一些最常见的采样技术。

简单随机抽样

假设您要选择一个群体的子集，其中该子集的每个成员被选择的概率都相等。

下面我们从一个数据集中选择 100 个采样点。

分层采样

数据采集的五种方法，教你高效采集数据？

假设我们需要估计选举中每个候选人的平均票数。现假设该国有 3 个城镇：

A 镇有 100 万工人，
B 镇有 200 万工人，以及
C 镇有 300 万退休人员。

我们可以选择在整个人口中随机抽取一个 60 大小的样本，但在这些城镇中，随机样本可能不太平衡，因此会产生偏差，导致估计误差很大。

相反，如果我们选择从 A、B 和 C 镇分别抽取 10、20 和 30 个随机样本，那么我们可以在总样本大小相同的情况下，产生较小的估计误差。

使用 python 可以很容易地做到这一点：

水塘采样

数据采集的五种方法，教你高效采集数据？

我喜欢这个问题陈述：

我们怎么能做到这一点？

假设我们必须从无限大的流中抽取 5 个对象，且每个元素被选中的概率都相等。

从数学上可以证明，在样本中，流中每个元素被选中的概率相同。这是为什么呢？

当涉及到数学问题时，从一个小问题开始思考总是有帮助的。

所以，让我们考虑一个只有 3 个项目的流，我们必须保留其中 2 个。

当我们看到第一个项目，我们把它放在清单上，因为我们的水塘有空间。在我们看到第二个项目时，我们把它放在列表中，因为我们的水塘还是有空间。

现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中。

现在让我们看看第一个项目被选中的概率：

我们可以对第二个项目使用完全相同的参数，并且可以将其扩展到多个项目。

因此，每个项目被选中的概率相同：2/3 或者用一般的公式表示为 K/N

随机欠采样和过采样

数据采集的五种方法，教你高效采集数据？

我们经常会遇到不平衡的数据集。

一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类（欠采样）中删除样本或向少数类（过采样）中添加更多示例。

让我们先创建一些不平衡数据示例。

我们现在可以使用以下方法进行随机过采样和欠采样：

使用 imbalanced-learn 进行欠采样和过采样

imbalanced-learn（imblearn）是一个用于解决不平衡数据集问题的 python 包，它提供了多种方法来进行欠采样和过采样。

a. 使用 Tomek Links 进行欠采样：

imbalanced-learn 提供的一种方法叫做 Tomek Links。Tomek Links 是邻近的两个相反类的例子。在这个算法中，我们最终从 Tomek Links 中删除了大多数元素，这为分类器提供了一个更好的决策边界。

数据采集的五种方法，教你高效采集数据？

b. 使用 SMOTE 进行过采样：

在 SMOE（Synthetic Minority Oversampling Technique）中，我们在现有元素附近合并少数类的元素。

数据采集的五种方法，教你高效采集数据？

imbLearn 包中还有许多其他方法，可以用于欠采样（Cluster Centroids, NearMiss 等）和过采样（ADASYN 和 bSMOTE）。

结论

算法是数据科学的生命线。

抽样是数据科学中的一个重要课题，但我们实际上并没有讨论得足够多。

有时，一个好的抽样策略会大大推进项目的进展。错误的抽样策略可能会给我们带来错误的结果。因此，在选择抽样策略时应该小心。

如果你想了解更多有关数据科学的知识，我想把 Andrew Ng 的这门优秀课程推荐给你，这个课程是我入门数据科学的法宝，你一定要去看看。

via：https://towardsdatascience.com/the-5-sampling-algorithms-every-data-scientist-need-to-know-43c7bc11d17c

雷锋网雷锋网

好了，这篇文章的内容营销圈就和大家分享到这里，如果大家对网络推广引流和网络创业项目感兴趣，可以添加微信：Sum8338 备注：营销圈引流学习，我拉你进直播课程学习群，每周135晚上都是有实战的推广引流技术和网络创业项目课程分享，当然是免费学！

数据采集的五种方法，教你高效采集数据？

相关推荐