使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

group_concat后的数据,怎么导入到es为数组?

Logstash | 作者 依诺 | 发布于2018年09月11日 | 阅读数:3012

group_concat后的数据,怎么导入到es为数组?
已邀请:

MCTW - 90后IT男

赞同来自: 依诺

那个,我写的一个同步工具支持这种需求: MysqlsMom
按如下配置即可
"pipeline": [
# tags 为"aaa|bbb|ccc"形式的字符串,将 tags 字段的值按符号 `|` 切分成数组
{"split": {"field": "tags", "flag": "|"}},
{"set_id": {"field": "id"}}
]

  个人业余时间维护的项目肯定有各种不足,用于生产环境前要仔细考量,也欢迎各位大佬指出不足。

依诺

赞同来自: MCTW

用logstash可以处理:
 
filter {
mutate {
split => ["message", "|"]
}
}
随意输入一串以|分割的字符,比如 "123|321|adfd|dfjld*=123",可以看到如下输出:
{
"message" => [
[0] "123",
[1] "321",
[2] "adfd",
[3] "dfjld*=123"
],
"@version" => "1",
"@timestamp" => "2014-08-20T15:58:23.120Z",
"host" => "raochenlindeMacBook-Air.local"
}
https://doc.yonyoucloud.com/do ... .html

medcl - 今晚打老虎。

赞同来自:

mysql的group_concat?

要回复问题请先登录注册