数据收集的方法有哪些，数据收集的10个方法？

00 基本概念

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

Data set（或dataset）是一个数据的集合，通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量，如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数，该数据集的数据可能包括一个或多个成员。

数据采集(DAQ)，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析，处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。

在计算机广泛应用的今天，数据采集的重要性是十分显著的。它是计算机与外部物理世界连接的桥梁。各种类型信号采集的难易程度差别很大。实际采集时，噪声也可能带来一些麻烦。数据采集时，有一些基本原理要注意，还有更多的实际的问题要解决。

根据网络以及个人所学，提供十种数据收集的方法，依次如下：

01 公开数据集

开放数据，open data，大数据新词。

2020年7月，大数据战略重点实验室全国科学技术名词审定委员会研究基地收集审定的第一批108条大数据新词，报全国科学技术名词审定委员会批准，准予向社会发布试用。

定义：开放数据是一种哲学理念及实践，要求一定的数据可以被任何人自由获取，没有来自版权、专利或其他机制限制。

网络上有各种各样的开发数据集，我们只要找到相应的网址获取下载链接，就可以得到不同领域的数据集，一般这些数据集是为了帮助学习者或者数据分析相关人员提供帮助，也有的是为了举办各种比赛，以此来寻找到更好的数据分析方案和结果。

关于公开数据我这里曾经整理过一份，

网络上有哪些公开数据源可以用来做数据分析？ – PurStar – 博客园
https://www.cnblogs.com/purstar/p/14172128.html

当然它不够全面，所以我们可以通过百度、bing搜索等找到各种整理好的博客或导航，来寻找我们想要的数据集，以便于进行下一步的数据分析步骤。

02 数据报采集

要了解数据报采集，首先要明白什么是数据报？关于数据报的定义如下：

 通过上面的定义不难看出，数据报是计算机网络中的概念，由此我们可以通过一些抓包工具来获取到有关于数据报的数据，比如常见的Wireshark，一些简介如下：

 除了Wireshark以外，类似工具还有fiddler、Charles、Firebug、httpwatch、SmartSniff、……等等，对网络原理或者网络安全等主题感兴趣的小伙伴可以试试这些工具！

03 网络爬虫

 关于网络爬虫的定义如下：

通过网络爬虫我们可以爬取各种各样存在于网络中的数据，并将爬取的数据按照一定的格式存储在指定的数据存储文件系统或者数据库中，以便于做下一步的数据整理或者数据分析。

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：

• 通用网络爬虫（General Purpose Web Crawler）
• 聚焦网络爬虫（Focused Web Crawler）
• 增量式网络爬虫（Incremental Web Crawler）
• 深层网络爬虫（Deep Web Crawler）

实际当中的网络爬虫系统通常是几种爬虫技术相结合实现的。

3.1 通用网络爬虫

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。

3.2 聚焦网络爬虫

聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。 和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求。

3.3 增量式网络爬虫

增量式网络爬虫（Incremental Web Crawler）是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。 和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。增量式网络爬虫的体系结构[包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面URL 集。

3.4 Deep Web 爬虫

Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。例如那些用户注册后内容才可见的网页就属于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可访问信息容量是 Surface Web 的几百倍，是互联网上最大、发展最快的新型信息资源。

3.5 学习资料推荐

其实我们只要打开一些网购平台，搜索爬虫，就会发现跳出来很多关于爬虫的书籍，基本上是清一色的python，而且毫不夸张的说，很多书的内容都会涉及到一个Python的网络爬虫——Scrapy。

这里就不介绍对应的书籍了，网购平台的销量和热度已经告诉你该学习那些资料了，除此之外，这里还为一些没有编程基础的朋友提供一些傻瓜式爬虫，他们的功能非常强大，对于没有编程基础，又想体验和使用爬虫的朋友提供了很大的便利，参考链接如下：

不懂编程也可以使用的几款数据爬取工具！ – PurStar – 博客园
https://www.cnblogs.com/purstar/p/14137398.html

04 日志收集

志收集也是一种较为常见的场景，收集的数据可以用监控硬件设备或者软件系统的运行状况，当发生问题时，这些数据可以提供给运维工程师一些警报和有助于故障修复的关键信息。

对于一些中大型企业，机房管理的设备比较多，可以采用相关的日志收集方案，以便于接下来的数据分析和问题解决。这里就不介绍更多的关于日志收集的概念了，向常见的几款日志收集工具，有Logstash、Filebeat、Flume、Fluentd、Logagent、rsyslog、syslog-ng。

这里仅仅介绍三款，做一个对比：

4.1 Flume

Flume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件：

source: 采集源，用于跟数据源对接，以获取数据

sink：传送数据的目的地，用于往下一级agent或者最终存储系统传递数据

channel：agent内部的数据传输通道，用于从source传输数据到sink

4.2 Logstash

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到存储库中。数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

logstash是基于pipeline方式进行数据处理的，pipeline可以理解为数据处理流程的抽象。在一条pipeline数据经过上游数据源汇总到消息队列中，然后由多个工作线程进行数据的转换处理，最后输出到下游组件。一个logstash中可以包含多个pipeline。

Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器：

Input：数据输入组件，用于对接各种数据源，接入数据，支持解码器，允许对数据进行编码解码操作；必选组件；

output：数据输出组件，用于对接下游组件，发送处理后的数据，支持解码器，允许对数据进行编码解码操作；必选组件；

filter：数据过滤组件，负责对输入数据进行加工处理；可选组件；Logstash安装部署

pipeline：一条数据处理流程的逻辑抽象，类似于一条管道，数据从一端流入，经过处理后，从另一端流出；一个pipeline包括输入、过滤、输出3个部分，其中输入和输出部分是必选组件，过滤是可选组件；

instance：一个Logstash实例，可以包含多条数据处理流程，即多个pipeline；

event：pipeline中的数据都是基于事件的，一个event可以看作是数据流中的一条数据或者一条消息；

4.3 Filebeat

Filebeat是一个日志文件托运工具，在服务器上安装客户端后，Filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到ElasticSearch或者Logstarsh中存放。

      当你开启Filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，Filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。

Filebeat介绍
Filebeat由两个主要组成部分组成：prospector和 harvesters。这些组件一起工作来读取文件并将事件数据发送到指定的output。

      Harvesters：负责读取单个文件的内容。harvesters逐行读取每个文件，并将内容发送到output中。每个文件都将启动一个harvesters。harvesters负责文件的打开和关闭，这意味着harvesters运行时，文件会保持打开状态。如果在收集过程中，即使删除了这个文件或者是对文件进行重命名，Filebeat依然会继续对这个文件进行读取，这时候将会一直占用着文件所对应的磁盘空间，直到Harvester关闭。默认情况下，Filebeat会一直保持文件的开启状态，直到超过配置的close_inactive参数，Filebeat才会把Harvester关闭。

      Prospector：负责管理Harvsters，并且找到所有需要进行读取的数据源。如果input type配置的是log类型，Prospector将会去配置路径下查找所有能匹配上的文件，然后为每一个文件创建一个Harvster。每个Prospector都运行在自己的Go routine里。

Filebeat目前支持两种Prospector类型：log和stdin。每个Prospector类型可以在配置文件定义多个。log Prospector将会检查每一个文件是否需要启动Harvster，启动的Harvster是否还在运行，或者是该文件是否被忽略（可以通过配置 ignore_order，进行文件忽略）。如果是在Filebeat运行过程中新创建的文件，只要在Harvster关闭后，文件大小发生了变化，新文件才会被Prospector选择到。

4.4 对比：

4.5 总结

Flume更注重于数据的传输，对于数据的预处理不如Logstash。在传输上Flume比Logstash更可靠一些，因为数据会持久化在channel中。数据只有存储在sink端中，才会从channel中删除，这个过程是通过事物来控制的，保证了数据的可靠性。Logstash是ELK组件中的一个，一般都是同ELK其它组件一起使用，更注重于数据的预处理，Logstash有比Flume丰富的插件可选，所以在扩展功能上比Flume全面。但Logstash内部没有persist queue，所以在异常情况下会出现数据丢失的问题。Filebeat是一个轻量型日志采集工具，因为Filebeat是Elastic Stack的一部分，因此能够于ELK组件无缝协作。Filebeat占用的内存要比Logstash小很多。性能比较稳健，很少出现宕机。

参考链接：

流式数据采集和计算（三）：Flume、Logstash、Filebeat调研报告_叶子叶来-CSDN博客_filebeat和flume
https://blog.csdn.net/yezonggang/article/details/95174354

05 社会调查

 我们先来看一下什么是社会调查？社会调查是社会“调查”和“研究”的简称。社会调查是指人们为达到一定目的，有意识地通过对社会现象的考察、了解和分析、研究，来了解社会真实情况的一种自觉认识活动。它包含以下四层意思：（1）社会调查是一种自觉认识活动。（2）社会调查的对象是社会现象。（3）社会调查要使用一定方法。（4）社会调查有一定目的。上述社会调查的定义，适用于一切社会调查，包括科学的社会调查。

也许这个定义不是很好理解，但是比如我们做的调查问卷其实就是属于社会调查方法的一种，由于是讨论数据采集，我们只着重去说一下数据社会调查的常见方法，一般有九种，详细内容如下：

参考链接如下：

调查研究常用九大方法
http://www.360doc.com/content/17/0728/20/1233981_674866379.shtml

5.1.实地观察法

调查者在实地通过观察获得直接的、生动的感性认识和真实可靠的第一手资料。但因该法所观察到的往往是事物的表面现象或外部联系，带有一定的偶然性，且受调查者主观因素影响较大，因此，不能进行大样本观察，需结合其他调查方法共同使用。通常适用于对那些不能够、不需要或不愿意进行语言交流的情况进行调查。

5.2.访谈调查法

该法是比实地观察法更深一层次的调查方法，它能获得更多、更有价值的信息，适用于调查的问题比较深入，调查的对象差别较大，调查的样本较小，或者调查的场所不易接近等情况。包括个别访谈法、集体访谈法、电话访谈法等。但由于访谈标准不一，其结果难以进行定量研究，且访谈过程耗时长、成本较高、隐秘性差、受周围环境影响大，故难以大规模进行。

5.3.会议调查法

这种方法是访谈调查法的扩展和延伸，因其简便易行故在调查研究工作中比较常用。通过邀请若干调查对象以座谈会形式来搜集资料、分析和研究社会问题。最突出的优点是工作效率高，可以较快地了解到比较详细、可靠的社会信息，节省人力和时间。但由于这种做法不能完全排除被调查者之间的社会心理因素影响，调查结论往往难以全面反映真实的客观情况。且受时间条件的限制，很难做深入细致地交谈，调查的结论和质量在很大程度上受调查者自身因素影响等。

5.4.问卷调查法

即间接的书面访问，该法最大优点是能突破时空的限制，在广阔的范围内，对众多的调查对象同时进行调查，适用于对现时问题、较大样本、较短时期、相对简单的调查，被调查对象应有一定文字理解能力和表达能力。如对某地区农村党员教育培训情况调查、中小学教师队伍科研现状的调查等。由于问卷调查法只能获得书面的社会信息，而不能了解到生动、具体的社会情况，因此该法不能代替实地考察，特别是对那些新事物、新情况，新问题的研究，因配合其他调查方法共同完成。

5.5.专家调查法

这是一种预测方法，即以专家作为索取信息的对象，依靠其知识和经验，通过调查研究，对问题作出判断和评估。最大优点是简便直观，特别适用于缺少信息资料和历史数据，而又较多地受到社会的、政治的、人为的因素影响的信息分析与预测课题。广泛应用于对某一方案做出评价，或对若干个备选方案评价出相对名次，选出最优者；对达到某一目标的条件、途径、手段及它们的相对重要程度做出估计等。

5.6.抽样调查法

指按照一定方式，从调查总体中抽取部分样本进行调查，并用所得结果说明总体情况。它最大的优点是节约人力、物力和财力，能在较短的时间内取得相对准确的调查结果，具有较强的时效性。组织全面调查范围广、耗时长、难度大，常采用抽样调查的方法进行检查和验证。比如开展全省党风廉政建设社会民意调查、流动党员现状社会调查等。局限性在于抽样数目不足时会影响调查结果的准确性。

5.7.典型调查法

指在特定范围内选出具有代表性的特定对象进行调查研究，借以认识同类事物的发展变化规律及本质的一种方法。在调查样本太大时，可以采用此种方法。但必须注意对象的选择，要准确地选择对总体情况比较了解、有代表性的对象。如某地级市开展对区县市农村党员致富情况的调查，应选取经济发展较快、农村党员致富能力较强的县市作为典型调查对象。

5.8.统计调查法

通过分析固定统计报表的形式，把下边的情况反映上来的一种调查方法。由于统计报表的内容是比较固定的，因此适用于分析某项事物的发展轨迹和未来走势。如通过党员统计年报表，可以分析出某地全年党员的发展、转接、流动等情况，并能分析出比上年同期增减情况，还可对下一步趋势作出预测。运用统计调查法，特别应注意统计口径要统一，以统计部门的数字为准，报表分析和实际调查相结合，不能就报表进行单纯分析。如对某一个数据大幅度上升或下降的原因，报表中难以反映出来，只有通过实际调查才能形成完整概念。

5.9.文献调查法

通过对文献的搜集和摘取，以获得关于调查对象信息的方法。适用于研究调查对象在一段时期内的发展变化，研究角度往往是探寻一种趋势，或弄清一个演变过程。这种方法能突破时空的限制，进行大范围地调查，调查资料便于汇总整理和分析。同时，还具有资料可靠、用较小的人力物力收到较大效果等优点。但它往往是一种先行的调查方法，一般只能作为调查的先导，而不能作为调查结论的现实依据。

06 业务数据集

相信在很多公司都会有相应日常运营和业务部门，各种相关的数据都会记录在某些文件或者系统中，例如常见的Excel 文件，各种办公系统的数据库系统等等，一般公司DBA人员可能会给数据分析人员开放一定的查询权限，以供数据分析人员提取相应的业务数据集，也有可能在提取的时候会涉及到一些数据脱敏的问题。

什么是数据脱敏？

说白了数据脱敏的意义就在于保护客户的重要隐私信息，但在保护的同时，也不能够使得数据分析变得没有意义。

相对于这一块来说，重要的是要学习好数据库的相关语言SQL，只有对SQL掌握足够充分才能在提取和分析数据时，能够快速准确的完成相应的工作任务！

07 埋点采集

埋点分析，是应用系统分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集方式。

数据埋点分为初级、中级、高级三种方式，分别为：初级：在产品、服务转化关键点植入统计代码，据其独立ID确保数据采集不重复（如购买按钮点击率）；中级：植入多段代码，追踪用户在平台每个界面上的系列行为，事件之间相互独立（如打开商品详情页——选择商品型号——加入购物车——下订单——购买完成）；高级：联合公司工程、ETL采集分析用户全量行为，建立用户画像，还原用户行为模型，作为产品分析、优化的基础。无疑，数据埋点是一种良好的私有化部署数据采集方式。数据采集准确，满足了企业去粗取精，实现产品、服务快速优化迭代的需求。 埋点采集数据的方式广泛存在于网站、手机应用之中。 网站埋点一般存在于网站的按钮或者访问记录上，系统前端会有相应的代码记录用户的操作行为，并将这些数据传递给后台，最终可能以日志或者数据库表格数据的形式记录下来，其实可以理解最终也变成业务数据集中的一部分，以方便后面数据分析师，对这些用户数据，建立用户画像，做分层模型进行精准营销等等！ 大同小异，网站的框架技术不同但原理差不多，引申到App应用上也一样，开发工程师需要给手机或者平板应用上的程序中植入记录用户操作的代码，以满足相应的数据采集需求，最终返回到后台之后，基本与网站埋点想同。

08 传感器采集

传感器（英文名称：transducer/sensor）是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。

传感器的特点包括：微型化、数字化、智能化、多功能化、系统化、网络化。它是实现自动检测和自动控制的首要环节。传感器的存在和发展，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。通常根据其基本感知功能分为热敏元件、光敏元件、气敏元件、力敏元件、磁敏元件、湿敏元件、声敏元件、放射线敏感元件、色敏元件和味敏元件等十大类。

我们可以通过装有各种传感器的软硬件结合装置，可以轻松的获取真实物理世界中的各种相关数据。比如我们用的摄像头、录音设备、体温检测、气候检测……等等设备，一般这种设备会内置很多各种样式的传感器，其实对于数据分析人员来说，不用了解太多关于传感器的原理，更重要的是要理解数据的来源在哪里，以及传感器本身采集数据的一些特性，比如说误差、灵敏度、使用环境等等这些影响数据采集效果的内容。所以这里就不过多的赘述了。

09 数据交易平台

大家常说的数据交易平台，官方名字叫做大数据交易所，定义如下：

全国首家大数据交易所——贵阳大数据交易所2015年4月15日正式挂牌，并完成了与深圳市腾讯计算机系统有限公司、广东省数字广东研究院，买方为京东云平台、中金数据系统有限公司的首批数据交易。首批数据交易的完成，标志着全国首个大数据交易所正式投入运营。同时，在交易所平台基础上，大数据领域的相关专家、学者、企业等多方共同组建大数据交易商（贵阳）联盟，首期对接的企业包括阿里巴巴、苏宁易购、国美在线等100多家企业。

当然到了现在，已经很多大数据交易所了，关于更多的关于数据交易平台有哪些可以参考这个链接：

国内有哪些好的“数据交易”平台，如像淘宝一样的平台？ – 知乎
https://www.zhihu.com/question/51283796

10 个人数据收集

最后我们来谈谈个人数据，其实现在网上都讲这个数据化管理，其实更多是用于企业或者相关的组织中，但是我们仔细思考一下，如果自己对于自己的要求很严格的情况下，其实也可以对个人管理领域展开数据收集，然后是做个人数据的分析，最终指导自己人生的走走向。

举个例子，比如我们的个人财务状况，可以使用Excel进行基本的财务分析，然后根据我们自身的财务状况进行理财规划。

再比如，我们可以对于自己的时间进行统计，这就是著名的时间统计法，有兴趣的小伙伴可以了解一下，《奇特的一生》这本书，它讲的就是柳比歇夫的时间统计法。

还比如，我们可以对日常做的任务进行统计，从而得出各个时间点的办事效率，从而归纳出自己生物钟的规律，关于生物钟的内容，极力推荐《神奇的人体生物钟》和《时机管理》这类书籍，你可以用数据的统计分析结果来看看里面的内容讲的对不对。

……

生活的方方面太多了，我们都可以通过收集收集的方式进行自我记录，当我们想在某一方面获取达到企望的决策的时候，数据分析就成了一个有力抓手，比如我们要买房可以通过房价数据进行分析挑选到合适的房子，同样的例子还有基金，我们可以分别研究基金和基金经理数据的一些特征，从而筛选出合适的投资基金……

例子太多，这里就不赘述，当我们开始采取各种各样的方式收集自己的数据的时候，其实也是开始了一种新的人生模式，量化人生。相信这样的人生也会给你带来不一样的精彩，

好了，这篇文章的内容营销圈就和大家分享到这里，如果大家网络推广引流创业感兴趣，可以添加微信：Sum8338 备注：营销圈引流学习，我拉你进直播课程学习群，每周135晚上都是有实战干货的推广引流技术课程免费分享！

好了，这篇文章的内容营销圈就和大家分享到这里，如果大家对网络推广引流和网络创业项目感兴趣，可以添加微信：Sum8338 备注：营销圈引流学习，我拉你进直播课程学习群，每周135晚上都是有实战的推广引流技术和网络创业项目课程分享，当然是免费学！