Python으로 로그 자동 분석 시스템 구축하기

 

② Python으로 로그 자동 분석 시스템 구축하기

메타디스크립션: Python과 pandas를 이용해 서버 로그를 자동 분석하는 경량 로그 분석 시스템 구축 방법을 소개합니다.

운영 서버가 많아질수록 로그 관리가 복잡해집니다. ELK(Elasticsearch, Logstash, Kibana)는 강력하지만 설치가 번거롭고 리소스가 많이 듭니다.
이럴 때 Python으로 경량 로그 분석 자동화 시스템을 구축하면 훨씬 간단하고 효율적입니다.

1. 로그 수집 자동화

glob 모듈을 이용하면 특정 디렉터리의 로그 파일을 자동으로 읽어올 수 있습니다.

import glob, pandas as pd
files = glob.glob('/var/log/*.log')
df = pd.concat([pd.read_csv(f, sep=' ', names=['time', 'level', 'msg']) for f in files])

이렇게 수집된 로그는 시간대별, 레벨별(INFO, ERROR, WARN)로 손쉽게 필터링할 수 있습니다.

2. 주요 이벤트 탐지

pandas의 groupby와 value_counts()를 활용하면 특정 에러가 몇 번 발생했는지 자동 집계가 가능합니다.
예를 들어 CPU 과부하나 네트워크 타임아웃 로그를 자동 감지해 이메일로 전송할 수도 있습니다.

3. 시각화와 리포팅

matplotlib나 plotly로 에러 트렌드를 시각화하면, 시간별 오류 패턴을 한눈에 볼 수 있습니다.
또한 Python의 smtplib으로 매일 리포트를 이메일로 보내 자동 보고 체계를 구축할 수 있습니다.

Python 기반 로그 분석은 가볍고 유연합니다.
서버 수가 많지 않은 환경에서는 ELK보다 훨씬 효율적인 대안이 될 수 있습니다.