TG 工单粉丝精准去重

一、核心去重逻辑与维度

二、分步实现流程

1. 数据采集与唯一键定义
   • 采集粉丝的 Telegram ID、用户名、手机号、添加时间、来源工单 ID、引流链接参数等。
   • 以 Telegram ID 为核心唯一键（优先于昵称 / 头像，避免修改导致误判）。
    
2. 底粉库建设与实时校验
   • 初始化底粉库，导入历史粉丝 ID 并定期更新。
   • 新粉丝添加时，实时校验底粉库，仅非底粉计入新增，同时标记重复来源。
    
3. 工单级去重规则配置
   • 同一工单内：同一 ID 多次互动（如多次发消息、加群）仅计 1 次，回聊行为单独统计，不纳入新粉。
   • 跨工单：同一 ID 在不同工单出现时，标记为 “重粉”，可选按首次来源或最新工单归因。
    
4. 跨账号 / 跨平台去重
   • 多账号：建立账号间 ID 映射，统一去重后按规则分配归属。
   • 跨平台：通过手机号哈希、设备指纹等建立统一用户标识，实现全域去重。
    
5. 重粉标记与数据输出
   • 系统自动标记重粉状态（新增 / 重粉 / 底粉）、重复率、首次来源与时间。
   • 支持导出去重后数据（仅新增）或含重粉标记的完整数据，适配结算与分析需求。
    

三、工具选型与操作指引

四、避坑要点与优化建议

1. 避免误判
   • 优先使用 Telegram ID 而非昵称 / 头像，防止用户修改资料导致重复计数。
   • 区分 “新增粉丝” 与 “回聊客户”，避免互动行为虚增数据。
    
2. 性能与合规
   • 大批量数据时，用 Redis 缓存 ID 实现 O (1) 校验，避免全表扫描。
   • 手机号等敏感信息采用哈希存储，符合 GDPR 与平台隐私规则。
    
3. 归因与结算
   • 明确跨工单 / 跨账号的归因规则（如首次 / 最新 / 权重分配），避免结算纠纷。
   • 保留完整日志，支持重粉溯源与数据复盘。
    

五、典型场景配置示例

• 场景 1：按工单结算的引流团队
  1. 创建工单并绑定专属引流链接。
  2. 开启 “工单 + 底粉双重去重”，同一 ID 在同工单仅计 1 次，排除底粉。
  3. 导出工单报表，含新增数、重粉数、重复率，用于结算与渠道优化。
   
• 场景 2：多账号矩阵运营
  1. 建立账号间 ID 映射，统一去重。
  2. 按 “首次添加账号” 归因，跨账号重粉标记来源，支持资源倾斜与效果对比。
   

六、数据验证与监控

1. 抽样核对：抽取工单，对比系统计数与手动核对结果，确保准确率。
2. 重复率监控：设置阈值（如 > 5%），异常时触发告警，排查引流链接或规则问题。
3. 补录机制：处理账号掉线 / API 中断，自动补录期间数据并去重，保证完整性。