本文为读者系统讲解了数据采集的核心原理、埋点技术、工具、组织建设等方面知识。文章探究了采集的整个过程，包括后端交互采集方式、用户行为采集方式（即埋点技术），以及数据采集中的工具、团队组织建设等多方面内容，通过阅读本篇文章，希望你对数据采集有更清晰的认知和了解。

数据采集是数据体系建设的最上游，是非常重要的一个环节，除了专业的数据人员，人们普遍对数据采集的认知度不高。

【资料图】

如果你提起埋点，应该很多人都熟悉它。它应该也是绝大部分人对数据采集的认知了。数据上报其实是一个系统性工程，它涉及了工具、团队、团队协同、标准、流程等多方面的内容，其中任何一个部分出现问题都有可能让上报过程变得复杂，下游数据出现问题的概率增高。

本文系统的讲解了数据采集的核心原理是什么，以及工具、组织改如何建设，希望能让你对数据采集有一个清晰的认知和了解。

一、数据采集的整个过程

我最早接触的数据采集是从业务的数据库中COPY各种表到数据仓库中，就是从一个库中的一些表以各种形式拷贝到另一个库中再以各种形式存储下来的过程。这是一个后端交互的采集方式。

后来逐步了解到，原来还可以去采集用户的行为，名词叫埋点。采集用户的行为主要目的是为了以数据的视角观察用户是怎么在你的产品里“活动”的，为了帮助设计者了解设计的缺陷，优化交互设计，提高产品的体验。

数据采集中埋点的概念绝大多人都有听说，但基本上是停留在听说阶段。知道要埋点，反正埋点了就能有数据，然后就可以分析了。这么理解没问题，对于使用者本身，就足够了。

直到真正开始做数据采集这个工作时，慢慢了解到数据采集是个比较复杂的事情，它涉及众多角色，涉及繁长的流程，和建设指标一样，是个既简单而又复杂的的工程。

二、从行为到指标，数据是怎么来的

应用程序的出现是为了满足用户的各种需要。例如网上购物、看视频、玩游戏、社交等场景，所有的场景活动都会有用户在应用上的各种行为操作。

下图是京东移动端的首页，京东的核心场景是购物，用户在应用上浏览商品，挑选，购买。用户在京东上的所有的操作行为都可以归类为“动作”。

用户和应用程序的交互，不像现实生活中的“动作”那么丰富，例如走路、开门、跑、跳，这些实际的物理动作在应用程序范围内是不会发生的。人在应用程序的动作会受限于使用载体本身（手机、电脑、电视..）的人机交互，如早期的手机用按键，控制电视需要用遥控器，psxbox等游戏机用手柄等。

人机交互动作更多是像登录、浏览、点击等动作，用户在应用程序的操作，就是这些实际的物理操作，不会囊括太多现实中的其他物理动作。

例如“扔手机”这个动作，没有和手机发生实际的交互，只是在现实中进行了物理的动作，该动作就不会让手机本身“知道”并记录下来。

既然动作被限定在人机交互这个范围内，记录用户行为就有规律可循。识别用户的动作，并把它记录下来是数据采集的核心目标。现在以京东商城购物为例，看看从动作发生到数据记录的过程是什么。

下图是京东商城手机端的首页，我们现在准备记录我的两个2个动作：

我的两个动作是浏览和点击，但动作的实际发生是要作用于具体的实体对象的，也就是“我对谁做了什么”：我点击了哪个实体，我浏览了哪个实体。

通常来说，用户在应用上的动作（谁对什么做了哪些动作），统一归纳理解为“事件”，可以理解为，发生了一件什么事。

事件的基本要素可以用这四点来描述：一个用户在某个时间点、某个地方，对谁做了什么什么动作。

总结归纳一个事件需要包括的四个要素：谁、什么时间、对谁、做了什么动作。

定义了“事件”，应用程序就需要在动作实际发生时，把这个事件以数据形式记录下来。

在技术上，通常以记录日志的形式表现出来。也就是说，当我“点击”了京东家电家居的按钮时，应用会把我这个动作存储成一条数据：

标签：