数据迁移

数据迁移

求跨集群迁移数据的方案

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 306 次浏览 • 2018-06-07 23:41 • 来自相关话题

es数据迁移

ElasticsearchJackGe 回复了问题 • 5 人关注 • 3 个回复 • 398 次浏览 • 2018-04-25 09:47 • 来自相关话题

elasticsearch做es整体数据迁移怎么做的

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 1184 次浏览 • 2017-12-05 09:38 • 来自相关话题

请问如何将ES5的数据按照自定义需求导入到ES6的集群中!

Elasticsearchkennywu76 回复了问题 • 2 人关注 • 1 个回复 • 375 次浏览 • 2017-11-30 16:39 • 来自相关话题

各位大神,你们在ELK迁移的时候,要先把原来的elk服务停掉吗?那这段时间数据没有写进elk怎么办?

Elasticsearchkennywu76 回复了问题 • 3 人关注 • 1 个回复 • 1642 次浏览 • 2017-09-14 21:06 • 来自相关话题

数据迁移问题

Elasticsearchlaoyang360 回复了问题 • 4 人关注 • 3 个回复 • 937 次浏览 • 2017-08-14 18:26 • 来自相关话题

Elasticsearch数据迁移问题, 从2.x到5.x?

ElasticsearchBrickXu 回复了问题 • 3 人关注 • 2 个回复 • 1572 次浏览 • 2017-07-21 11:21 • 来自相关话题

es0.9升级es5.1.2数据迁移的方法,求大神,在线等

Elasticsearchyiyezhiqiu425 回复了问题 • 3 人关注 • 2 个回复 • 2030 次浏览 • 2017-06-13 17:54 • 来自相关话题

发布个es迁移工具:elasticsearch-migration

Elasticsearchmedcl 发表了文章 • 90 个评论 • 11069 次浏览 • 2016-05-23 17:09 • 来自相关话题

https://github.com/medcl/elasticsearch-migration 支持多个版本间的数据迁移,使用scroll+bulk 1.版本支持1.x,2.x.5.0 (0.x未测试) 2.支持http basic auth 认证的es集群 3.支持导入覆盖索引名称(目前只支持单个索引导入的情况下可指定) 4.支持index setting和mapping的同步(相关es大版本,2.x和5.0之间不支持) 5.支持dump到本地文件 6.支持从dump文件加载导入到指定索引   欢迎测试!  
#copy index index_name from 192.168.1.x to 192.168.1.y:9200
./bin/esm  -s http://192.168.1.x:9200   -d http://192.168.1.y:9200 -x index_name  -w=5 -b=10 -c 10000

#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index
./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100

#support Basic-Auth
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -n admin:111111

#copy settings and override shard size
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50  --copy_settings 

#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration
./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index"  -d http://localhost:9201  -c 10000 --shards=5  --copy_settings --copy_mapping --force  --refresh

#dump elasticsearch documents into local file
./bin/esm -s http://localhost:9200 -x "src_index"  -m admin:111111 -c 5000 -b -q=query:mixer  --refresh -o=dump.bin 

#loading data from dump files, bulk insert to another es instance
./bin/esm -d http://localhost:9200 -y "dest_index"   -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin
 

求跨集群迁移数据的方案

回复

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 306 次浏览 • 2018-06-07 23:41 • 来自相关话题

es数据迁移

回复

ElasticsearchJackGe 回复了问题 • 5 人关注 • 3 个回复 • 398 次浏览 • 2018-04-25 09:47 • 来自相关话题

elasticsearch做es整体数据迁移怎么做的

回复

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 1184 次浏览 • 2017-12-05 09:38 • 来自相关话题

请问如何将ES5的数据按照自定义需求导入到ES6的集群中!

回复

Elasticsearchkennywu76 回复了问题 • 2 人关注 • 1 个回复 • 375 次浏览 • 2017-11-30 16:39 • 来自相关话题

各位大神,你们在ELK迁移的时候,要先把原来的elk服务停掉吗?那这段时间数据没有写进elk怎么办?

回复

Elasticsearchkennywu76 回复了问题 • 3 人关注 • 1 个回复 • 1642 次浏览 • 2017-09-14 21:06 • 来自相关话题

数据迁移问题

回复

Elasticsearchlaoyang360 回复了问题 • 4 人关注 • 3 个回复 • 937 次浏览 • 2017-08-14 18:26 • 来自相关话题

Elasticsearch数据迁移问题, 从2.x到5.x?

回复

ElasticsearchBrickXu 回复了问题 • 3 人关注 • 2 个回复 • 1572 次浏览 • 2017-07-21 11:21 • 来自相关话题

es0.9升级es5.1.2数据迁移的方法,求大神,在线等

回复

Elasticsearchyiyezhiqiu425 回复了问题 • 3 人关注 • 2 个回复 • 2030 次浏览 • 2017-06-13 17:54 • 来自相关话题

发布个es迁移工具:elasticsearch-migration

Elasticsearchmedcl 发表了文章 • 90 个评论 • 11069 次浏览 • 2016-05-23 17:09 • 来自相关话题

https://github.com/medcl/elasticsearch-migration 支持多个版本间的数据迁移,使用scroll+bulk 1.版本支持1.x,2.x.5.0 (0.x未测试) 2.支持http basic auth 认证的es集群 3.支持导入覆盖索引名称(目前只支持单个索引导入的情况下可指定) 4.支持index setting和mapping的同步(相关es大版本,2.x和5.0之间不支持) 5.支持dump到本地文件 6.支持从dump文件加载导入到指定索引   欢迎测试!  
#copy index index_name from 192.168.1.x to 192.168.1.y:9200
./bin/esm  -s http://192.168.1.x:9200   -d http://192.168.1.y:9200 -x index_name  -w=5 -b=10 -c 10000

#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index
./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100

#support Basic-Auth
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -n admin:111111

#copy settings and override shard size
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50  --copy_settings 

#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration
./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index"  -d http://localhost:9201  -c 10000 --shards=5  --copy_settings --copy_mapping --force  --refresh

#dump elasticsearch documents into local file
./bin/esm -s http://localhost:9200 -x "src_index"  -m admin:111111 -c 5000 -b -q=query:mixer  --refresh -o=dump.bin 

#loading data from dump files, bulk insert to another es instance
./bin/esm -d http://localhost:9200 -y "dest_index"   -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin