第5节 电商数据分析体系的架构

5.1 企业数据相关的架构及职能

1．一般职能

营销：核心是品牌、流量，包含SEM、AD、联盟、新媒体、EDM、SEO等。

运营：核心是日常（网站）运维管理，包括网站、商品、资源位、内部活动管理，甚至包括会员、采销、物流等。

采购：核心是商品采购，一般以品类划分。

销售：核心是商品销售，一般以品类划分，有时与采购合并。

物流：核心是物流配送，主要是商品进、销。

仓储：核心是商品库存管理，仓储通常与物流合并成进销存体系。客服：核心是客户服务和维系，包括客户维系、咨询、服务、关怀。

2．系统运维

·核心：维护数据系统，保证数据系统正常运行。

·维护流量系统，保证系统正确部署、实施和数据收集。

·提供系统部署方案，配合技术方案实施和测试。

·提供系统后台和数据报表配置，制订日常发送计划。

·系统部署和配置，保证数据正确输出。

3．数据架构

·核心：数据系统架构规划，数据标准和规范化。

·大数据体系规划，支撑大数据集成、建模、挖掘和产品体系。

·负责构建公司元数据管理系统和数据质量管理体系。

·模型的定义和数据标准的定义（词汇、术语、主题域、接口等）。

·重大数据项目评估和审核。

4．数据管理

·核心：数据的存储维护，保证数据的安全性、可用性。

·数据仓库维护和管理，包括安装、配置、迁移、升级、备份。

·数据库性能优化、应急处理，建立数据管理体系和工作机制。

·数据仓库开发，构建数据集市和数据底层架构。

·数据校验、数据权限管理、日常数据输出。

5．数据产品

·核心：数据产品开发和应用支持。

·梳理数据产品需求，优化报表和规划新报表及数据产品。

·根据产品需求，协调开发资源，保障项目按时上线。

·协助数据分析和挖掘部门，进行数据模型产品化输出。

·在大数据基础上商业智能实现逻辑规划，辅助技术开发和测试。

6．数据分析

·核心：业务方向数据分析支持。

·业务活动效果评估，如渠道画像、会员活跃度。

·业务活动异常分析支持，如异常订单、恶意流量、恶意点击。

·业务效果标杆管理与预警机制，如流量预测、库存预测。

·业务内在价值挖掘与提炼，如渠道订单归因、用户生命周期。

·业务活动规则支持与辅助决策，如营销活动人群规则、广告定向。

7．数据挖掘

·核心：面向产品的挖掘规则及部分业务支持。

·负责BI实施中的数据挖掘模块算法研究，模型建立和优化。

·负责数据挖掘模型建立与维护，如关联模型、决策规则模型。

·负责个性化推荐模块算法研究及推荐效果优化。

·负责大数据下传统机器学习算法的并行化实现及应用，提出改进方法及思路。

8．市场战略

·核心：提高对行业和竞争对手的认知，增加对公司战略的支持。

·根据公司战略方向，制定中长期发展规划。

·根据公司规划，协助各中心制定战略研究规划并进行课题跟踪。

·搜集行业信息，捕捉行业发展新机会，为高层提供战略建议。

·建立竞争对手档案库，全面把控竞争对手动态。

·把握用户脉搏，掌控用户新需求、新想法、新途径等信息。

5.2 企业数据业务工作流程

电商企业数据业务工作流程如图1-5-1所示。

1．数据采集

·企业内部数据采集来源于各个业务生产系统，包括CRM数据、CC（呼叫中心）数据、财务数据、仓储数据、门店数据、销售数据、OA数据、物流数据、网站数据。

·企业外部数据是指数据由企业外部产生，企业通过合作、购买、采集等形式获得。企业外部数据通常包括竞争数据、营销数据、物流数据、行业数据等。

2．数据存储

·数据存储层是在数据源的基础上，通过ETL进行数据整合，形成供上层计算或业务使用的数据仓库及数据集市。

·数据仓库面向业务决策或上层数据应用，是一个面向主题的、集成的、相对稳定的、反映历史数据变化的数据集合。

3．数据计算

·数据挖掘按照不同的实现结果方向可分为回归模型、聚类模型、关联模型、时间序列、分类模型和机器学习等。

·数据计算按照计算结果输出的时间性可分为实时计算和离线计算，部分企业还会在实时计算和离线计算之间加入临时计算。

·数据计算模块对于大多数中小企业来说没有必要单独拆分，原因是在较小的数据体量和应用需求下，完全可以通过数据实时计算获得结果。数据计算模块只对大中型企业或具备海量数据处理需求的企业有存在意义。

4．数据管理

·数据管理层是介于数据和应用之间的介质和桥梁，通常上层自动应用或产品化的所需数据直接由数据计算层调用。对大多数企业而言，数据管理层的功能定位是用户和数据管理。

·数据管理层通过数据管理平台DMP（Data Manage Platform）实现，但现在大多数的DMP产品仍集中应用在底层数据整合和抽取等工作上，尚未上升到管理数据层面。

5．数据应用

·辅助决策应用是目前数据发挥价值的主流方式，包括自动化营销、站内个性化推荐、数据产品化报表等。

·数据驱动需要借助技术手段实现，通常是建立在数据事件触发或数据结果触发基础上的自动化运行机制。常见的数据驱动项目包括RTB、个性化EDM、站内个性化推荐、个性化着陆页、网站智能运营、基于用户事件或时间的维系触发等。