로그 수집 및 시각화

January 17, 2023

📘로그

로그 : 서버에서 발생한 사건에 대한 기록(에러 로그 , 검색 로그 등)

로그 수집 및 시각화 : ELK(Elasticsearch,Logstash,Kibana) -> 방대한 데이터를 한곳에서 보기위해

ELK는 분석 및 저장 기능을 담당하는 ElasticSearch, 수집 기능을 하는 Logstash, 이를 시각화하는 도구인 Kibana의 앞글자만 딴 단어이다. ELK는 접근성과 용이성이 좋아 최근 가장 핫한 Log 및 데이터 분석 도구이다.

Elasticsearch

검색엔진 ,로그 저장 및 검색

Logstash로부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득

웹에 존재하는 많은 양의 정보 중에서 사용자가 원하는 정보만을 여러 웹 사이트나 웹 페이지 등에서 검색해 주는 시스템이나 프로그램 등을 통틀어 검색 엔진(search engine)이라고 합니다

검색 엔진은 사용자가 원하는 정보를 웹에서 찾는데 걸리는 시간을 최소화할 수 있게 도와줍니다

유사도 분석이 가능 사용자 검색에 대해 유사도가 가장 높은것에(similarity의 max값이 1에 가장 높은것에) 순서대로 검색이됨

서버에서 데이터를 수집 후 elastic에 보냄, 로그 수집 엔진

다양한 소스( DB, csv파일 등 )의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달

elastic에 담긴 데이터를 분류에 따라 쉽게 보여줌, 로그 시각화 및 관리

Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링