用户画像，即用户信息的标注，是大数据精细化运营和精准化营销服务的基础。大数据时代，所有用户的行为都可以被追踪和分析。用户画像通过分析用户的基本信息、特征偏好、社会属性等维度的数据来刻画用户的整体信息，从而挖掘其价值。可以帮助数据“起死回生”，提供个性化推荐、精准营销、个性化服务。

首先，肖像基金会 1.1标签类型 用户人像建模实际上是“标注”用户，一般分为三类:

●统计标签:最基本、最常用的标签，通过对用户注册数据和用户访问数据进行统计得到。

●规则标签:基于用户行为和规则生成，通常由更熟悉业务的运营商和数据人员协商确定。

●机器学习挖掘标签:由机器学习挖掘生成，根据一些用户行为或熟悉程度进行预测判断。例如，根据用户购买重量较高的化妆品和护肤品的次数，得出用户性别为女性。

1.2数据结构 人像系统的基础设施包括Spark、Hive、HBase、Airflow、Redis和Elasticsearch。下图是《用户画像》中的数据仓库架构。

①数据仓库的ETL处理流程是通过ETL过程将日常业务数据、日志数据、隐藏数据等数据处理成相应的原始数据层(ODS)、数据仓库(DW)和数据集市层(DM)。

②用户画像不是数据的来源，而是ODS层、DW层、DM层数据二次建模得到的数据和用户相关数据。在ETL过程中，将用户标签写入Hive，根据不同数据库的应用场景，将数据同步到MySQL、HBase、Elasticsearch等数据库。

Hive:存储用户标签、用户组和用户要素库的计算结果

MySQL:存储标签元数据，监控相关数据，并将数据导出到业务系统

糖化血红蛋白:存储在线实时数据

弹性搜索:支持海量数据的实时查询分析

③用户标签在Hive中处理后，部分标签通过Sqoop同步到MySQL数据库，为BI报表显示提供数据，多为透视分析数据和圈子服务数据；标签的另一部分与HBase数据库同步，用于在线个性化推荐产品。

1.3用户肖像模块 以下八个模块被认为是构建用户肖像方案的一个整体

用户画像主覆盖模块

●用户肖像基金会

理解和定义用户画像中包含的模块，设计数据仓库架构、开发流程、表结构和ETL设计。主要是明确规划的大方向。

●数据索引系统

建立数据指标体系，按照业务条线进行梳理，包括用户属性、用户行为、用户消费、风险控制等维度的指标体系。

●标签数据存储

设计数据索引系统后，考虑在不同的应用场景中使用哪种存储方法。

●标签数据开发

关键模块。标签数据的开发包括标签的统计、规则挖掘、挖掘和流计算的开发，以及人群计算功能的开发。

重点内容:数据调研，与业务方确认数据口径，在线标签开发。开辟人像数据与各种业务系统之间的道路，提供接口服务

●开发性能调整

标签数据在线开发后，为了缩短调度时间，保证数据稳定性，需要迭代重构和优化标签脚本和调度脚本。梳理现有的标签开发、调度、告警验证、同步到服务层等相关脚本。，确定可以优化的地方，反复优化。

重点内容:减少ETL调度时间，减少调度过程中的资源消耗。

●作业流程调度

经过标签处理、人群计算、数据和业务系统同步、数据监控和预警脚本开发后，需要调度工具对整个流程进行调度。

关键内容:满足定期调度、监控预警、故障重试、各调度任务归位的复杂依赖关系。

●用户肖像产品化

产品化模块包括标签视图、用户标签查询、用户分组、视角分析等。

重点内容:满足业务方对用户精准营销的需求。

●用户肖像应用

应用场景包括用户特征分析、短信邮件、站内信件、推送消息精准推送、不同用户客户语音、高价值用户快速退款等高级服务应用。

重点内容:帮助业务方理解和应用用户画像数据，提高用户活跃度和GMV。

1.4开发在线流程

微信微信官方账号搜索:(九文网)联系客服！