跳转至

Stream Reader

Stream Reader 是一个从内存读取数据的插件, 他主要用来快速生成期望的数据并对写入插件进行测试

一个完整的 StreamReader 配置文件如下:

{
  "reader": {
    "name": "streamreader",
    "parameter": {
      "column": [
        {
          "value": "unique_id",
          "type": "string"
        },
        {
          "value": "1989-06-04 08:12:13",
          "type": "date",
          "dateFormat": "yyyy-MM-dd HH:mm:ss"
        },
        {
          "value": 1984,
          "type": "long"
        },
        {
          "value": 1989.64,
          "type": "double"
        },
        {
          "value": true,
          "type": "bool"
        },
        {
          "value": "a long text",
          "type": "bytes"
        }
      ],
      "sliceRecordCount": 10
    }
  }
}

上述配置文件将会生成 10条记录(假定channel为1),每条记录的内容如下:

unique_id,'1989-06-04 08:12:13',1984,1989.64,true,'a long text'

目前 StreamReader 支持的输出数据类型全部列在上面,分别是:

  • string 字符类型
  • date 日期类型
  • long 所有整型类型
  • double 所有浮点数
  • bool 布尔类型
  • bytes 字节类型

其中 date 类型还支持 dateFormat 配置,用来指定输入的日期的格式,默认为 yyyy-MM-dd HH:mm:ss。比如你的输入可以这样:

{
  "value": "1989/06/04 12:13:14",
  "type": "date",
  "dateFormat": "yyyy/MM/dd HH:mm:ss"
}

注意,日期类型不管输入是何种格式,内部都转为 yyyy-MM-dd HH:mm:ss 格式。

StreamReader 还支持随机输入功能,比如我们要随机得到0-10之间的任意一个整数,我们可以这样配置列:

{
  "random": "0,10",
  "type": "long"
}

获得一个 0 至 100 之间的随机浮点数,可以这样配置:

{
  "random": "0,100",
  "type": "double"
}

如果要指定浮点数的小数位数,比如指定小数位为2位,则可以这样设定

{
  "random": "0,100,2",
  "type": "double"
}

注意: 并不能保证每次生成的小数恰好是2位,如果小数为数为0 ,则小数位数会少于指定的位数。

这里使用 random 这个关键字来表示其值为随机值,其值的范围为左右闭区间。

其他类型的随机类型配置如下:

  • long: random 0, 10 0到10之间的随机数字
  • string: random 0, 10 0到 10 长度之间的随机字符串
  • bool: random 0, 10 false 和 true出现的比率
  • double: random 0, 10 0到10之间的随机浮点数
  • double: random 0, 10, 2 0到10之间的随机浮点数,小数位为2位
  • date: random '2014-07-07 00:00:00', '2016-07-07 00:00:00' 开始时间->结束时间之间的随机时间,日期格式默认(不支持逗号)yyyy-MM-dd HH:mm:ss
  • BYTES: random 0, 10 0到10长度之间的随机字符串获取其UTF-8编码的二进制串

StreamReader 还支持递增函数,比如我们要得到一个从1开始,每次加5的等差数列,可以这样配置:

{
  "incr": "1,5",
  "type": "long"
}

如果需要获得一个递减的数列,则把第二个参数的步长(上例中的5)改为负数即可。步长默认值为1。

递增还支持日期类型( 4.0.1 版本引入),比如下面的配置:

{
  "incr": "1989-06-04 09:01:02,2,d",
  "type": "date"
}

incr 由三部分组成,分别是开始日期,步长以及步长单位,中间用英文逗号(,)分隔。

  • 开始日期:正确的日期字符串,默认格式为 yyyy-MM-dd hh:mm:ss,如果时间格式不同,则需要配置 dateFormat 来指定日期格式,这是必填项
  • 步长:每次需要增加的长度,默认为1,如果希望是递减,则填写负数,这是可选项
  • 步长单位:按什么时间单位进行递增/递减,默认为按天(day),这是可选项,可选的单位有
  • d/day
  • M/month
  • y/year
  • h/hour
  • m/minute
  • s/second
  • w/week

配置项 sliceRecordCount 用来指定要生成的数据条数,如果指定的 channel,则实际生成的记录数为 sliceRecordCount * channel