Elasticsearch는 루씬(Lucene) 기반의 오픈소스 검색엔진이다. Elasticsearch는 JSON 기반으로 문서를 저장하고 검색할 수 있으며 분석 작업도 가능하다. Elasticsearch의 특징 1. 준실시간 검색 시스템 Elasticsearch는 실시간이라고 생각될 만큼 색인된 데이터가 빠르게 검색된다. ES는 환경설정값에서 refresh_interval 이라는 것이 있는데 얼마나 빨리 검색될 수 있도록 할것인지를 설정할 수 있는 값을 기본값으로 1초로 지정되어있다. 2. 고가용성을 위한 클러스터 구성 한 대 이상의 노드로 클러스터를 구성하여 높은 수준의 안정성을 달성하고 부하 분산이 가능하다. 3. 동적 스키마 생성 RDB와는 다르게 입력될 데이터들에 대해 미리 스키마를 정의하지 않아..
https://teambtd.tistory.com/5 MySQL 접속 원리에 관한 고찰(feat. 프로젝트) 어우 솔루션에 VIEW 테이블을 가지고 있어서 이놈 저놈 오픈해 달라는 요청이 많다. 어쨋든, DB에 접근하는 방법은 다양하다. - 접속 Tool 의 활용 (PLSQL, Toad, Orange, dbeaver, HeidiSQL, SQL Developer 등등...) - teambtd.tistory.com 리눅스에 yum이나 apt로 설치하는게아니라 압축파일을 직접풀어서 mariadb를 설치하면서 실행 sock링크를 걸어줘야 한다고했는데 ln -s /apps/mariadb/tmp/mysql.sock /tmp/mysql.sock 이런식으로 심볼릭링크를 걸어주는데 ( 심볼릭링크는 바로가기와 비슷한 개념..
Base point : OS 개념 커널을 설명하기 위해 일단 운영체제(OS : OperatinSystem)에 대한 개념을 이미 알고 있다는 가정하에서 글을 작성해본다. 모든 컴퓨터 머신 즉, 일반적인 데스크탑 PC, 스마트폰 ,태블릿 더 나아가 서버 장비들에는 기본적으로 메인보드가 존재하는데 이 메인보드의 이피롬(EPROM) 또는 플래시 메모리 칩안에 바이오스(BIOS)라는 펌웨어(firmware)가 존재한다. BIOS = firmware 라고 기억하자. ※. 펌웨어? 갤럭시던 아이폰이던 스마트폰을 사용했을 때 자주 접했을 단어인 펌웨어 (firmware) 이는 제어 프로그램의 일종으로 하드웨어 내부에 위치한 소프트웨어이다. 이러한 펌웨어는 제품 생산시에 탑재된 이후에는 해당 프로그램을 변경하지 않는 것..
작성해야하는 로직이 대용량의 데이터를 특정 DB에 적재하는 로직을 설계해야 한다면 대용량의 데이터를 한번에 적재하는 것보단 데이터를 일정기준으로 끊어서 적재하는 것이 바람직하다. 1. 메모리 자원의 효율적 관리 한꺼번에 적재하게되면 적재해야할 데이터들을 Insert를 실행하기 전까지는 변수에 담고 있어야하기 때문에 데이터의 양이 방대하면 방대할수록 너무나 많은 데이터를 변수에 담고 있기 때문에 메모리 자원을 너무 많이 점유할 수 있다. 따라서 일정기준을 두어서 데이터를 분할하여 Insert를 실행하고 데이터를 담고 있는 변수를 비워주고 다음 분할량을 넣고 Insert하는 식으로해서 JVM에서 Heap 메모리나 Static 메모리 자원 등을 너무 많이 점유하지 않도록 해야한다. (예제 코드) import ..