Overview

周五老板说有没有用python把csv合并到excel中的例子，用python还是比较方便的。

背景

最近有个需求是对比 CSV 文件，其中一个为 Source， 另一个是系统生成的，理论上要满足 mapping 关系。

现在想要用 python 来验证一下生成的文件对应关系是正确的。

背景

在一些 csv 文件中会有日期类型，而如果我们想按日期类型导入到数据库中，那么就需要在 insert 前以 date(datetime)的类型传入。

假设简单的 csv 文件(sample.csv)如下：

1
2
3
4
5
6
7
8
9

HolidayDate,Region
2019-01-01,China
2019-01-02,China
2019-04-01,China
2019-05-01,China
2019-07-07,China
2019-10-01,China
2019-01-05,US
2019-06-01,US

背景

下周可能有一个小任务是由于系统升级，需要保证生成的 excel 是一致的，所以写了一个非常简单的对比脚本。

AnalyseCSVLogByMonth

基于之前的Message Import测试工具，会生成原始的log文件TestResult.csv。

1
2
3
4

path,rows,timeused(s),timeused(m),avgtime,messageDate
Step01,60000,270.18,4.50,0.0045,20161231
Step02,60000,197.96,3.30,0.0033,20171231
...

而现在又了新的需求，希望能统计一下基于月份的运行时间，所以我简单写了个python脚本，来解析csv文件，将同一个月份的数据group起来。