Elasticsearch加载大量数据

csdn_for_learn

于 2020-10-10 16:29:03 发布

阅读量460

点赞数

CC 4.0 BY-SA版权

分类专栏： elasticsearch 文章标签： elasticsearch 搜索引擎

本文链接：https://blog.csdn.net/CSDN_for_learn/article/details/108999516

elasticsearch 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种从Elasticsearch批量导出数据的方法，使用Python的elasticsearch.helpers模块实现数据扫描，并将导出的ID记录到指定文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import os
import sys

from elasticsearch import Elasticsearch
from elasticsearch import helpers


def load_data(es, index_v, fpw):
	'''es: Elasticsearch对象，
	   index_v: 索引名
	   fpw: 文件写入对象
	'''
    query={"query" : {"match_all" : {}}}
    scanResp= helpers.scan(client=es, query=query, scroll="20m", index=index_v, timeout="10m")

    n = 0
    for resp in scanResp:
        try:
        	# 取出想要获取的数据
            qid = resp['_id']
        except Exception as err:
            print('err: %s, resp: %s' % (err, resp), file=sys.stderr)
            continue
        else:
            print(qid, file=fpw)
            n += 1
            if n % 10000 == 0:
                print(n)

if __name__ == '__main__':
    host = 'ip'
    port = '9200'

    config = {'es_server': [host, port]}
    es = Elasticsearch(config['es_server'])

    # index_v="index_name"
    index_v = sys.argv[1]

    # fpw = open('file_name', 'w')
    fpw = open(sys.argv[2], 'w')

    load_data(es, index_v, fpw)