面向生产级数据工程的专业技能，精通 ETL/ELT 管道、实时流处理与数据湖仓架构，提供可扩展的数据系统设计与落地最佳实践。
说明：
## 核心用法
`s**senior-data-engineer**` 是一套面向规模化数据系统的工程化解决方案，覆盖数据管道设计、架构决策、质量治理三大核心场景。用户可通过触发关键词激活该技能：设计数据管道（”Design a data pipeline”）、架构选型（”Lambda vs Kappa”）、数据建模（”Create a dimensional model”）、质量监控（”Add data validation”）或性能优化（”Optimize this Spark job”）。
技能内置决策框架，支持 Batch vs Streaming、Lambda vs Kappa、Warehouse vs Lakehouse 等关键架构选型，并提供 Python/Scala/SQL 多语言工具链，整合 Airflow、dbt、Spark、Kafka、Snowflake 等现代数据栈。
## 显著优点
– **体系化决策支持**：通过决策树和对比矩阵降低架构选型复杂度，避免常见技术债务
– **生产级最佳实践**：内置 DataOps、数据契约、可观测性等企业级方法论
– **全栈覆盖**：从数据采集、转换、存储到质量监控形成完整闭环
– **灵活适配**：支持云原生（Snowflake/BigQuery/Databricks）与开源（Spark/Flink/Kafka）混合部署
## 潜在局限
– 不包含具体云厂商 IAM、网络配置等运维细节
– 流处理的 exactly-once 语义实现需结合具体引擎深入调整
– 大规模 ML 训练管道（如 TFX/MLflow）不在核心覆盖范围
## 适合人群
– 数据平台工程师与架构师
– 需要从分析型（Analytics Engineer）向工程型转型的数据从业者
– 建设湖仓一体、实时数仓的技术团队
## 常规风险
– **数据质量风险**：schema 变更未同步可能导致下游管道失败，建议强制实施数据契约
– **成本失控**：Streaming 架构基础设施成本显著高于 Batch，需建立资源用量监控
– **运维复杂度**：Airflow DAG 依赖过多时易出现调度死锁，建议采用 DAG 分层与 SLAs 机制
会员专属
