Elasticsearch3 [ElasticSearch] Scroll API를 사용하여 검색 / JAVA, Python 코드 [ElasticSearch] Scroll API를 사용하여 검색 / JAVA, Python 코드 이전 포스팅에 작성한 대로, 엘라스틱서치에서 1만 건 이상 대량의 데이터를 한 번에 검색하려고 하면 오류가 발생한다. 따라서, 검색조건을 잘 설정하여 1만 건 이하로 검색하거나 max_result_window를 늘려 검색하는 방법이 있다. 그러나 무작정 max_result_window를 늘리게 되면, 많은 리소스 사용으로 성능 문제를 야기할 수 있으며, 최대로 늘릴 수 있는 값이 5만건으로 한정적이기 때문에 권장되지 않는다. 더보기 👉관련글 보기 : [👩💻TIL/엘라스틱서치] QueryPhaseExecutionException: Result window is too large 에러 그래서 내가 대량 검색에 .. 2020. 4. 23. [ElasticSearch] QueryPhaseExecutionException: Result window is too large 에러 [ElasticSearch] QueryPhaseExecutionException: Result window is too large 에러 org.elasticsearch.search.query.QueryPhaseExecutionException: Result window is too large, from + size must be less than or equal to: [10000] but was [232131]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting. 오전까지 잘되.. 2020. 4. 2. [Elasticsearch] 엘라스틱 서치 분석기 구조 [Elasticsearch] 엘라스틱 서치 분석기 구조 엘라스틱서치를 공부하며 알게 된 내용들을 꾸준히 정리해보려고 합니다. 이번 글은 엘라스틱 서치 공식reference를 바탕으로 정리하였습니다. https://www.elastic.co/guide/en/elasticsearch/reference/current/analyzer-anatomy.html 먼저, 엘라스틱서치는 루씬기반의 텍스트 검색엔진 라이브러리입니다. 사전 매핑 없이 JSON 문서 형식으로 입력하면 별도의 이벤트가 없어도 바로 색인을 시작하며, 이렇게 저장된 데이터는 별도의 갱신 없이도 바로 검색에 사용될 수 있습니다. 이는 곧 색인 작업이 완료됨과 동시에 검색이 가능하다는 걸 의미합니다. 💡 분석기(analyzar)란? 엘라스틱서치는 아주.. 2020. 3. 27. 이전 1 다음
