处理txt文件

在最近的项目中，需要创建数据用来测试。有时生成的文件太大，需要分散到小的文件中，或者反之。

之前已经有用java写的生成数据的代码，但是改起来不太方便，也没有针对性，用python就方便很多。

AnalyseCSVLogByMonth

基于之前的Message Import测试工具，会生成原始的log文件TestResult.csv。

1
2
3
4

path,rows,timeused(s),timeused(m),avgtime,messageDate
Step01,60000,270.18,4.50,0.0045,20161231
Step02,60000,197.96,3.30,0.0033,20171231
...

而现在又了新的需求，希望能统计一下基于月份的运行时间，所以我简单写了个python脚本，来解析csv文件，将同一个月份的数据group起来。

Import Messages

工作中需要导Message的性能测试作为benchmark，最早的时候有同事使用运行批处理的方式，一些配置和环境都是固定的，也不够灵活。

所以我趁着之前准备数据的基础，我搭建了一个简单的相对灵活的自动化流程。到后期稳定之后，可以做到run at everywhere。
当然，目前回滚数据库这一块还没有做到代码里，最后有需要的话可以加进来。

整个流程其实很简单：

• 读取配置文件
• Check环境，将一些需要自定义的配置文件指向一个固定的公共folder
• 启动基于java的Message Service，来接收messages
• 按配置文件中的文件夹信息，根据其下的txt文件名顺序依次导入message，并check数据库和import log，输出到log文件中

更具体的信息参考：README

主要代码：Import Messages