Экспорт всех данных ElasticSearch в файл JSON

Question

Мне нужно экспортировать все данные в ElasticSearch и переиндексировать все эти данные.

Экспорт Java-кода выполняется следующим образом.

SearchResponse response = client.prepareSearch("news")
                .setTypes("news_data")
                .setQuery(QueryBuilders.matchAllQuery())
                .setSize(1000)
                .setScroll(new TimeValue(600000))
                .setSearchType(SearchType.SCAN)
                .execute().actionGet();
        String scrollid = response.getScrollId();
        try {
            //把导出的结果以JSON的格式写到文件里
            BufferedWriter out = new BufferedWriter(new FileWriter("es", true));

            while (true) {
                SearchResponse response2 = client.prepareSearchScroll(scrollid)
                        .setScroll(new TimeValue(1000000))
                        .execute().actionGet();
                SearchHits searchHit = response2.getHits();
                //再次查询不到数据时跳出循环
                if (searchHit.getHits().length == 0) {
                    break;
                }
                System.out.println("查询数量 ：" + searchHit.getHits().length);
                for (int i = 0; i < searchHit.getHits().length; i++) {
                    String json = searchHit.getHits()[i].getSourceAsString();
                    out.write(json);
                    out.write("\r\n");
                }
            }
            System.out.println("查询结束");
            out.close();
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

Количество документов составляет около 140 Вт. Используйте этот код Java 60W документы можно экспортировать и выбросить исключение.

远程主机强迫关闭了一个现有的连接

Answer 1

Вы должны использовать scrollid из предыдущего ответа для вашего следующего запроса.

См. https://www.elastic.co/guide/en/elasticsearch/reference/1.7/search-request-scroll.html для получения дополнительной информации.

Возможно, вы можете попробовать что-то подобное вместо этого?

    SearchResponse response = client.prepareSearch("news")
            .setTypes("news_data")
            .setQuery(QueryBuilders.matchAllQuery())
            .setSize(1000)
            .setScroll(new TimeValue(600000))
            .setSearchType(SearchType.SCAN)
            .execute().actionGet();
    int sequence = 0;
    do
    {
        response = client.prepareSearchScroll(response.getScrollId())
                .setScroll(new TimeValue(600000))
                .execute().actionGet();
        if (response.getHits().getHits().length > 0)
        {
            try
            {
                final BufferedWriter out = new BufferedWriter(new FileWriter("es-" + (++sequence) , true));
                for (final SearchHit hit : response.getHits().getHits())
                {
                    out.write(hit.getSourceAsString());
                    out.write("\r\n");
                }
                out.close();
            }
            catch (final IOException e)
            {
                e.printStackTrace();
            }
        }
    }
    while (response.getHits().hits().length > 0);