HBase20 SQL Reader¶
HBase20 SQL Reader 插件实现了从 Phoenix(HBase SQL) 读取数据,对应版本为 HBase2.X 和 Phoenix5.X。
配置样例¶
配置一个从 Phoenix 同步抽取数据到本地的作业:
{
"job": {
"content": [
{
"reader": {
"name": "hbase20xsqlreader",
"parameter": {
"queryServerAddress": "http://127.0.0.1:8765",
"serialization": "PROTOBUF",
"table": "TEST",
"column": ["ID", "NAME"],
"splitKey": "ID"
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 3,
"bytes": -1
}
}
}
}
参数说明¶
配置项 | 是否必须 | 数据类型 | 默认值 | 描述 |
---|---|---|---|---|
queryServerAddress | 是 | string | 无 | Phoenix QueryServer 地址, 该插件通过 PQS 进行连接 |
serialization | 否 | string | PROTOBUF | QueryServer 使用的序列化协议 |
table | 是 | string | 无 | 所要读取表名 |
schema | 否 | string | 无 | 表所在的 schema |
column | 否 | list | `` | 填写需要从 phoenix 表中读取的列名集合,空值表示读取所有列 |
splitKey | 是 | string | 无 | 根据数据特征动态指定切分点,对表数据按照指定的列的最大、最小值进行切分,仅支持整型和字符串类型 |
splitPoints | 否 | string | 无 | 按照表的 split 进行切分 |
where | 否 | string | 无 | 支持对表查询增加过滤条件,每个切分都会携带该过滤条件 |
querySql | 否 | string | 无 | 支持指定多个查询语句,但查询列类型和数目必须保持一致 |
类型转换¶
目前支持大部分 Phoenix 类型,但也存在部分个别类型没有支持的情况,请注意检查你的类型。
Addax 内部类型 | Phoenix 数据类型 |
---|---|
String | CHAR, VARCHAR |
Bytes | BINARY, VARBINARY |
Bool | BOOLEAN |
Long | INTEGER, TINYINT, SMALLINT, BIGINT |
Double | FLOAT, DECIMAL, DOUBLE, |
Date | DATE, TIME, TIMESTAMP |
约束限制¶
- 切分表时切分列仅支持单个列,且该列必须是表主键
- 不设置
splitPoint
默认使用自动切分,此时切分列仅支持整形和字符型 - 表名和
SCHEMA
名及列名大小写敏感,请与 Phoenix 表实际大小写保持一致 - 仅支持通过 Phoenix QueryServer 读取数据,因此您的 Phoenix 必须启动 QueryServer 服务才能使用本插件