TECH MAP
数据开发技术地图
从上到下是一条数据从产生到被使用的路径。点击任意技术查看对应章节。零基础不需要一次学完,按学习顺序推进即可。
数据源
数据从哪来:业务库、日志、埋点、第三方接口。
数据采集
把数据搬到能计算的存储里,分批量与实时两条路。
存储
原始数据、明细数据、聚合数据分别放在哪。
计算
批处理与流处理,分别对应离线与实时场景。
数仓分层
把原始数据加工成可复用、可对账、可解释的指标。
调度与治理
让任务按时跑、失败能补、数据可信、问题可追。
应用与出口
数据最终服务谁:报表、大屏、画像、推荐、风控。
怎么用这张图
面试前
能按“数据源 → 采集 → 存储 → 计算 → 分层 → 调度 → 应用”讲一遍,并说出每个环节解决的问题。
做项目时
先确定数据从哪来、存到哪、算什么、怎么调度、给谁用,再动手建表。