批量导入ES时，自定义索引id引发的性能问题（导入接近10亿左右的索引）

import time

from pprint import pprint

from elasticsearch import Elasticsearch



es = Elasticsearch(hosts=["192.168.31.13"])





es.indices.delete("do_bulk")



if not es.indices.exists("do_bulk"):

    es.indices.create(

        index="do_bulk",

        body={

            "mappings": {

                "my_type": {

                    "properties": {

                        "title": {"type": "text"}

                    }

                }

            }

        }

    )

    time.sleep(5)





es.bulk(

    index="do_bulk",

    doc_type="my_type",

    body=[

        {"create": {"_id": 1}},

        {"title": "hello"},

        {"create": {"_id": 2}},

        {"title": "word"},

    ]

)

time.sleep(5)





s = es.bulk(

    index="do_bulk",

    doc_type="my_type",

    body=[

        {"create": {"_id": 1}},

        {"title": "hello1"},

        {"create": {"_id": 2}},

        {"title": "word2"},

        {"create": {"_id": 3}},

        {"title": "good3"},

        {"create": {"_id": 4}},

        {"title": "boy4"}

    ]

)

time.sleep(5)

pprint(s)



s1 = es.search(

    index="do_bulk"

)



pprint(s1)

{'errors': True,

 'items': [{'create': {'_id': '1',

                       '_index': 'do_bulk',

                       '_type': 'my_type',

                       'error': {'index': 'do_bulk',

                                 'index_uuid': '6FZYZIZWQJC56T5GxF5dHw',

                                 'reason': '[my_type][1]: version conflict, '

                                           'document already exists (current '

                                           'version [1])',

                                 'shard': '3',

                                 'type': 'version_conflict_engine_exception'},

                       'status': 409}},

           {'create': {'_id': '2',

                       '_index': 'do_bulk',

                       '_type': 'my_type',

                       'error': {'index': 'do_bulk',

                                 'index_uuid': '6FZYZIZWQJC56T5GxF5dHw',

                                 'reason': '[my_type][2]: version conflict, '

                                           'document already exists (current '

                                           'version [1])',

                                 'shard': '2',

                                 'type': 'version_conflict_engine_exception'},

                       'status': 409}},

           {'create': {'_id': '3',

                       '_index': 'do_bulk',

                       '_shards': {'failed': 0, 'successful': 2, 'total': 2},

                       '_type': 'my_type',

                       '_version': 1,

                       'created': True,

                       'result': 'created',

                       'status': 201}},

           {'create': {'_id': '4',

                       '_index': 'do_bulk',

                       '_shards': {'failed': 0, 'successful': 2, 'total': 2},

                       '_type': 'my_type',

                       '_version': 1,

                       'created': True,

                       'result': 'created',

                       'status': 201}}],

 'took': 46}    

{'_shards': {'failed': 0, 'successful': 5, 'total': 5},

 'hits': {'hits': [{'_id': '2',

                    '_index': 'do_bulk',

                    '_score': 1.0,

                    '_source': {'title': 'word'},

                    '_type': 'my_type'},

                   {'_id': '4',

                    '_index': 'do_bulk',

                    '_score': 1.0,

                    '_source': {'title': 'boy4'},

                    '_type': 'my_type'},

                   {'_id': '1',

                    '_index': 'do_bulk',

                    '_score': 1.0,

                    '_source': {'title': 'hello'},

                    '_type': 'my_type'},

                   {'_id': '3',

                    '_index': 'do_bulk',

                    '_score': 1.0,

                    '_source': {'title': 'good3'},

                    '_type': 'my_type'}],

          'max_score': 1.0,

          'total': 4},

 'timed_out': False,

 'took': 11}