Elasticsearch 全量遍歷數據

1，利用分頁，from，to參數，但是當數據量特別大的時候（大約100w），分頁是不現實的，排序排不開。

2，利用scan功能。

上 Python代碼

from elasticsearch import Elasticsearch
from elasticsearch import helpers

   es = Elasticsearch(config['es_server'])

    index_v="teacher-center-single_question_count"
    doc_type_v="single_question_count"

    query={"query" : {"match_all" : {}}}

    scanResp= helpers.scan(client= es, query=query, scroll= "10m", index= index_v , doc_type=doc_type_v , timeout="10m")

    for resp in scanResp:
        qid = resp['_id']

 

3，如何取出兩個數組中的 不同的部分

 

def find_diff(a,b):

    common = list(set(a).intersection(set(b)))
    #print common

    alld = list(set(a).union(set(b)))
    #print alld


    diff  = list(set(alld).difference(set(common)))
    #print diff


    return diff