Elasticsearch 기본개념 정리 (4) : Elsaticsearch 색인(Indexing) 이란?

색인(Indexing)이란 문서를 분석하고 그것을 Storage에 저장하는 이러한 일련의 과정을 색인(Indexing)이라고 한다. RDB에서의 Indexing이라는 개념은 테이블의 동작속도를 높여주기위한 자료구조를 말하기에 RDB의 Idexing과는 차이가 있다. 이러한 색인(Indexing)과정은 프라이머리 샤드에서 일어나기 때문에 적절한 샤드의 개수 설정은 색인 성능(데이터 적재)에 많은 영향을 준다. 따라서 적절한 샤드의 개수가 색인(데이터 적재)성능을 향상시키는데 많은 영향을 끼친다.

• format_list_bulleted ElasticSearch
• · 2023. 2. 12.
• textsms

Elasticsearch 기본개념 정리 (2) : 인덱스와 샤드

ES에서의 인덱스(Index)란? ES에서의 Index는 RDB에서의 DB와 비슷한 개념으로 볼 수 있다. 즉 인덱스란 문서가 저장되는 논리적인 공간을 의미한다. 따라서 인덱스를 설계하는 것이 ElasticSearch를 사용하기 위해 고려해야하는 첫번째 단계이다. ES를 통해 로그를 수집하던 검색엔진으로 사용하던 문서들을 어떤 인덱스에 어떻게 저장할지 설계하는 것이 가장 중요하다. 도서관 자료 검색 시스템을 설계해야하는 상황을 가정해보자 그럼 위 그림과 같이 하나의 인덱스에 모든 자료를 저장하는 방법이 있을 수 있고 또는 도서관에서 관리하는 자료의 종류에 따라서 인덱스를 나누어서 저장할 수 도 있다. 따라서 사용패턴과 문서의 특성에 따라 알맞게 설계해야한다. 샤드(Shard)란? 문서가 저장되는 논리적인..

• format_list_bulleted ElasticSearch
• · 2023. 2. 12.
• textsms

Elasticsearch 기본개념 정리 (3) : 매핑(Mapping)이란?

ES에서 mapping이란 RDBMS에서의 스키마와 비슷한 개념으로 볼 수 있는데 즉 문서의 구조를 나태내는 정보이다. ES는 스키마리스(schemaless)라는 특징이 있어서 스키마가 없어도 된다고 오해할 수 있는데 스키마가 없어도 되는 것이아니라 미리 정의하지 않아도 되는 즉 동적으로 스키마를 구성할 수 있다는 장점이 있는 것이다. 그래서 매핑의 종류는 2가지가 존재한다. 1. 동적 매핑 : 처음 색인되는 문서를 바탕으로 매핑 정보를 Elasticsearch가 자동으로 생성해줌 2. 정적 매핑 : 개발자나 엔지니어가 문서의 매핑 정보를 미리 정의해놓고 사용 Mapping 정보가 생성된 후 알고 있어야할 것 1. 동적매핑이던 정적 매핑이던 매핑 정보가 생성된 후에는 타입이 안맞은 경우 파싱에러가 발생한..

• format_list_bulleted ElasticSearch
• · 2023. 2. 11.
• textsms

/etc/sysctl.conf 파일이란?

우선 sysctl 이란 RedHat 6.2부터 포함된 커널의 파라미터 값들을 조절하기 위한 리눅스 OS에서 지원하는 하나의 유틸 기능이다. sysctl을 이용하여 값을 변경할 경우 시스템이 충돌(Crash)이 발생할 위험요소가 많이 있기 때문에 항상 주의하고 사용해야한다. sysctl.conf 파일은 커널에서 사용할 파라미터 값들을 미리 정의해놓을 수 있는 파일이다. sysctl.conf에 커널의 파라미터값을 설정하면 OS가 다시 부팅되더라도 해당값으로 덮어씌워지면서 적용되기 때문에 영구적으로 적용되어진다는 점이 편리하기 때문에 sysctl.conf 파일을 수정할이 종종 생긴다. #참고 커널의 파라미터란? 리눅스에서 사용되는 시스템 변수들을 의미하는데 쉽게 생각하면 windows에 Java같은 걸 설치하..

• format_list_bulleted OS
• · 2023. 1. 29.
• textsms

Open SSL? TLS? 무슨 차이일까?

SSL? TLS? 무슨 차이일까? : Transport Layer Security vs Secure Sockets Layer 결론은 둘다 같은 말이다. 2023년 현재는 지원이 종료된 익스플로러가 개발되기 이전에 모자이크 웹브라우저를 개발했던 미국의 인터넷 소프트웨어 및 통신 산업을 하는 넷스케이프라는 회사에 의해서 SSL이 발명되었고 이것이 점차 폭넓게 사용되다가 표준화 기구인 IETF에 의해서 TLS라는 이름으로 바뀌게 되었다. 처음에는 TLS와 SSL이 다른건가? 뭔차이지? 하는 생각에 알아보았는데 둘 다 같은 기술을 지칭하는 것이여서 허무했다. TLS 1.0은 SSL 3.0을 기반으로 제작되었으며 2023년 현재는 TLS 1.3 버전까지 출시되었다. 그리고 TLS 1.0과 1.1 버전 조차 취약한..

• format_list_bulleted 네트워크
• · 2023. 1. 28.
• textsms

빌드 관리도구 - Maven과 Gradle

빌드관리 도구란? 우리가 프로젝트에서 작성한 Java 코드에 더불어서 각종 xml, propertise, jar 파일 등을 JVM이나 WAS가 인식할 수 있도록 빌드해주는 도구들로 대표적인게 maven과 gradle이다. Java code만 빌드할거라면 이클립스나 IntelliJ와 같은 IDE 빌드 도구만을 이용해도 되지만 프로젝트가 거대해질수록 xml, propertise, jar 등이 많이 추가되는데 이럴때 유용한 도구들이 바로 maven과 gradle이다. Maven (Making the bulid process easy) 메이븐의 풀네임은 'Apache Maven'으로 2004년에 발표되었고 2023년을 기준으로 안정화된 Maven의 버전은 3.8.7로 2022년 12월 24일에 릴리즈되었다. M..

• format_list_bulleted Backend
• · 2023. 1. 22.
• textsms