数据处理

4 工具

数据很少一上来就是所需形态——表格导出的 CSV、运维的 YAML 配置、合并日志产生的重复行、或本应是十进制却是十六进制的数值。WoDeTool「数据处理」场景覆盖格式转换、去重与进制转换,免去为小事反复写 Python 单行脚本。

格式转换流程

JSON ↔ CSV 适合产品发来表格、流水线却要 JSON 数组的场景:粘贴或上传,映射列后复制 JSON 供脚本或 API 导入。

JSON ↔ YAML 便于编辑 K8s 清单或 docker-compose——转 JSON 做严格校验,再转回 YAML 便于阅读。

可在 WoDeTool 串联:CSV → JSON → 格式化 → 与 golden file diff,回归测试 ETL 脚本。

清洗与规范化

文本去重可处理合并日志、问卷导出或邮件列表中的重复行,可选保留首次或末次出现。

进制转换在二进制、八进制、十进制、十六进制间互转,适合读硬件寄存器、颜色值或位掩码文档。

可靠转换建议

CSV 转换后务必核对行数——末尾空列常产生意外 null 字段。

YAML 注意缩进敏感块;经 JSON 往返 + 格式化可发现许多结构问题。

将常用转换序列保存为工具流水线,每周报表一键完成。

数据处理流水线示例

CSV → JSON → JSON 格式化 → JSON Diff 对比 golden file,可在发版前发现 schema 回归。在流水线页配置一次,每次导出后重复运行。

更多 webhook 与发版校验示例见教程《WoDeTool 工具流水线:把重复操作变成一键工作流》。

相关工具