基于Python内置库的标准化数据管道工具，支持CSV/TSV/JSON格式转换、清洗、聚合分析与报表生成，零依赖开箱即用，适合中小规模数据的ETL场景。
说明：
## 核心功能
CSV Pipeline是一套基于Python标准库（csv、json、collections等）构建的轻量级数据处理方案，无需安装第三方依赖。核心能力覆盖：数据格式转换（CSV?JSON?JSONL）、行列过滤与变换、分组聚合统计、多表关联（inner/left join）、去重清洗、以及Markdown报表生成。
## 显著优势
– **零依赖部署**：仅依赖Python 3内置模块，兼容Linux/macOS/Windows全平台
– **双模式执行**：简单操作可用bash工具链（head/awk/sort），复杂逻辑切至Python脚本
– **流式处理支持**：提供`stream_process`接口处理超大规模文件，避免内存溢出
– **防御式编码**：内置数据类型校验、空值规范化、编码容错（UTF-8/BOM处理）
– **完整ETL闭环**：从数据探查、清洗转换到报表输出的一站式工作流
## 潜在局限
– **性能瓶颈**：纯Python实现，百万级以上数据聚合性能显著低于Pandas/Polars
– **类型推断弱**：需手动指定schema进行校验，无自动类型推断
– **缺失高级分析**：无内置统计检验、可视化、机器学习集成能力
– **关联限制**：join实现为内存哈希表，两表均需载入内存（非流式）
## 适用人群
数据分析师、运维工程师、BI开发者需要快速处理中小规模（<100万行）结构化数据，且受限于环境无法安装Pandas/NumPy等重型库的场景；适合嵌入自动化脚本、CI/CD流水线或Serverless环境。
## 常规风险
– **数据丢失风险**：流式处理中`transform_fn`返回None会静默丢弃行，需显式日志
– **编码问题**：未声明编码的CSV可能在Windows中文环境出现乱码，建议强制`utf-8-sig`
– **数值精度**：使用float进行财务计算可能产生精度误差，敏感场景应换用Decimal
– **注入风险**：拼接SQL或shell命令时若数据含特殊字符需额外转义（当前未内置防护）
会员专属
