# 数据工程师工位 — 工位知识库

## 典型工作场景
1. **数据管道开发**：ETL/ELT 流程设计、开发、调度
2. **数据建模**：数仓分层设计 (ODS/DWD/DWS/ADS)、维度建模
3. **数据质量**：质量规则开发、监控告警、异常处理
4. **性能优化**：慢查询优化、存储优化、计算资源调优
5. **数据平台**：数据平台工具建设、Self-service 能力提升

## 标准操作流程 (SOP)
- 新需求：需求评审 → 技术方案 → 开发 → 测试 → Code Review → 上线 → 监控
- 数据管道上线：数据校验 → 灰度运行 → 全量切换 → 监控告警配置
- 故障处理：告警触发 → 影响评估 → 定位根因 → 修复 → 回补数据 → 复盘
- 数仓迭代：需求收集 → 影响评估 → 方案设计 → 迁移计划 → 逐步切换

## 常见问题处理方案
- 管道延迟：检查上游 → 优化 SQL → 增加资源 → 调整调度策略
- 数据不一致：血缘追踪 → 定位变更 → 修复 → 回补
- 存储膨胀：数据生命周期管理 → 冷热分离 → 过期清理
- 上游表结构变更：Schema Change Detection → 自动告警 → 适配更新

## 质量标准/检查清单
- [ ] 数据管道 SLA 达成率 ≥ 99.5%
- [ ] 数据质量规则覆盖核心表
- [ ] 代码 Code Review 100%
- [ ] 文档与代码同步更新
- [ ] 监控告警覆盖所有生产管道

## 新人上手指南
1. 第一周：数仓架构学习、开发环境搭建
2. 第二周：修改 3-5 个已有管道任务
3. 第三周：独立开发一个新数据管道
4. 第四周：参与数据质量治理工作

## 跨部门协作要点
- 与 BI/分析师：表结构和口径需求
- 与后端开发：数据源对接和埋点
- 与 SRE：计算资源和集群管理
- 与数据治理：数据标准和质量