开发者社区 > 博文 > 达达埋点迁移京东子午线实践
分享
  • 打开微信扫码分享

  • 点击前往QQ分享

  • 点击前往微博分享

  • 点击复制链接

达达埋点迁移京东子午线实践

  • jd****
  • 2023-11-15
  • IP归属:北京
  • 4360浏览

    一、概述

    1.项目价值及成果

    使用集团的统一埋点采集能力和埋点平台,完成达达7条业务线共43个站点应用的埋点迁移,降低自研采集工具和平台的研发投入和机器成本,打通数据链路,创造更多的数据分析价值。具体降本增效价值如下:

    1.1 数据分析价值:与京东流量数据打通,拉齐数据口径,流量串联

    1)信息孤岛:快送与京东流量数据分离,库表访问成本高,也无法进行结合分析

    2)数据口径:埋点规范对齐:比如广告位曝光、页面浏览等埋点上报规则,与京东的逻辑对齐,拉齐数据口径,提高准确度

    3)用户信息串联:可以通过用户基础信息的串联,比如device_id,用户pin/supplier_id等,分析用户从京东入口进入的流量链路、以及进入京东流量的访问深度等等

    1.2 减少迭代/维护人力成本:0.5人/年

    1)天河平台迭代成本

    2)流量传输链路运维成本

    1.3 节省机器/中间件费用:2w+每年

    1)减少2台云主机+估计2万左右/年中间件费用


    2.项目节奏

    二、方案调研选型

    1.方案衡量

    在初期,我们拟定了迁移方案一,但是考虑到迁移成本巨大,我们综合评估后,制定了方案二,基于迁移成本最小化等综合考虑,我们选取了方案一

    方案详情
    工作量
    方案一
    APP、小程序、PC&H5各业务线分别进行改造和迁移
    需做43个站点应用的SDK层适配
    方案二
    1)APP进行SDK封装,其他业务线只需接入即可
    2)PC&H5在SDK层适配,其他35个应用方只需接入即可
    需做3个SDK层适配,其他业务线接入即可

    三、项目实现

    1.上下游迁移流程

    2.迁移技术架构

    在接入项目之前,我们需要考虑两点

    稳定:一方面项目需要整体平稳运行,另一方面也迁移前后数据差异保持在合理的误差范围内

    高效:本次迁移涉及客户端、小程序、h5等数十个项目,节约开发成本也是关键

    (1)方案选择

    1、直接替换:由于项目众多,再加上每个项目中点位也很多,显然我们不能直接替换业务中的埋点,工作量太大,出问题的风险也会更高

    2、切面替换:在埋点上报的某个环节中统一替换,这样好处是只需要修改一次,代码侵入性小,风险也可控,最重要的是工作量大大降低了

    (2)方案设计

    以客户端为例,旧的埋点框架包含埋点采集、存储、上报三个过程,并且是彼此独立的,我们很容易的就可以在埋点采集到存储过程之间进行切面拦截,将原本的埋点数据进行转换,如下图


    旧框架架构图

    (3)方案实施

    在确定具体方案后,我们开始规划具体代码实现,考虑到需要替换的项目众多(以客户端为例,有达达骑士、 达达快送、洪流、孔明等项目),每个项目都去实现一遍无疑是有资源的浪费,我们把项目按端分成Android、ios、小程序、h5, 这样原本数十个项目,简化成一套方案,四端代码,各项目只需要简单的集成即可,这样节约了大量的人力资源

    3.技术亮点

    1、采用切面拦截迁移方案节约人力成本

    2、统一封装与多端复用将埋点规范统一

    3、数仓层:从京东实时topic直接消费落库,在库表层做京东和达达的数据结构兼容,达到下游报表层“无感知迁移”,将业务报表的影响和下游迁移成本最小化

    4.踩过的坑

    1、ios不支持后台上报埋点

    问题:骑士和商家存在app退出前台,处于后台模式状态时候上报埋点的情况,但是子午线最开始不支持长时间后台上报埋点。

    解决:子午线添加配置,支持不限时支持后台上报埋点功能。

    2、ios网络问题

    问题:首次安装app,在用户没有同意网络权限的情况下,子午线sdk会上报dau埋点,上报失败后重试3次再次失败触发2分钟限制,2分钟内不会在上报埋点。

    解决:子午线单独提供无2分钟限制的包。

    3、APP上报策略问题

    问题:子午线默认上报策略为15s10条,导致部分用户没有触发上报条件退出app后无法上报已有埋点情况。

    解决:子午线更新配置为2s2条。

    4、uid为空导致埋点不落表

    问题:新用户在未同意隐私协议前,不会获取用户的设备信息,导致appUniqueID传空,不会落入子午线离线表。

    解决:在新用户在未同意隐私协议前,随机生成一段字符串并加密,作为设备id传给子午线,保证所有埋点都能落表。

    5、小程序上报机制问题

    问题:小程序达达sdk批量上报,子午线sdk是单条上报,会产生数据差异

    解决:子午线sdk已支持批量上报

    6、H5埋点量级过大时被丢弃

    问题:洪流应用中,session_id大于10000次后数据会被子午线离线表丢弃

    解决:同城数仓直接从实时topic消费数据,落离线表,不加session_id数量限制




    文章数
    1
    阅读量
    109

    作者其他文章