네트워크 보안 엔지니어를 위한 엘라스틱 강좌 - 1강

오늘(첫 날)은 Elastic Stack을 소개하고, 활용사례를 알려드립니다.

개인 PC(윈도우10 기준)에 Elastic Stack과 metricbeat을 설치해 보세요.

다음 번에는 ADCsmart의 데이터를 엘라스틱을 이용하여 분석합니다. RDB에 저장된 데이터를 엘라스틱에 입력하여 kibana로 분석하는 방법을 설명합니다.

담당하고 있는 장비를 확인해 보시고, RDB에 데이터를 저장하는 장비라면 함께 따라해 보세요

ADC와 ADCsmart 엔지니어와 RDB에 데이터를 저장하는 장비를 지원하는 엔지니어에게 도움이 될 것입니다. 

Elastic Stack 소개

제가 엘라스틱서치를 소개할 때 추천하는 동영상입니다. 기술적인 이해가 없어도 어디에 활용하는 지 쉽게 이해할 수 있습니다.

엘라스틱코리아의 에반젤리스트의 동영상인데요, 꼭 한 번 보세요. 

EMOCON 2015 F/W ELK 스택을 사용한 서울시 지하철 대시보드 만들기

그리고 설명에 인용했던 참고자료입니다.

• DB-Engines Ranking of Search Engines - 1위
• Elastic Stack Architecture - beat-logstash-elasticsearch-kibana
• Elastic Stack ArcSight Integration - 46분짜리 동영상이 있습니다.
• ExtraHop-Elasticsearch-datasheet - 2015년 pdf

Elastic 으로 무엇을 할 수 있는가?

Elastic Stack 을 이용하면 데이터간의 연관분석, 장비로그 분석 등을 할 수 있습니다.

파리의 교통사고 데이터를 이용하여 '데이터 연관분석'을 한다면 어떤 결과를 도출 할 수 있을까요?

먼저 대시보드를 한번 볼까요~ (교통사고 대시보드 참조)

시간별 교통사고 건수가 그려진 Line Chart, 도로별 사고건수를 탈것 유형별로 구분해 보여주는 Bar Chart, 피해자 현황을 알려주는 Area Chart, 탈것 별 현황을 알려주는 Pie Chart, 사고 지역 을 보여주는 Map 의 Visualize로 구성된 Dashboard가 있습니다.

위 교통사고 Dashboard를 보고 어떤 내용이 궁금하신가요?

• 주로 어떤 탈 것들이 피해자를 사망에 이르게 하는가?

• 사고가 가장 많이 발생하는 도로는 어디인가?

• 사고가 많이 발생하는 시간대는 언제인가?

Elastic Stack의 Kibana 에서는 시간필터, 검색창, 필터 기능등을 활용하여 위 의문점들에 답을 할 수 있습니다. 

위 사진처럼 텍스트 형태로 저장된 로그를 보는 것 만으로는 로그해석이 힘들고 의미있는 데이터를 찾아내기 힘드셨을거라 생각됩니다. Elastic Stack을 활용하여 장비로그를 파싱하여 저장하고 가시화 할 수 있습니다.

테스트 장비에서 Fortigate, Infoblox 등의 각종 장비로그 또는 온도센서의 데이터 값 을 수집하고 그 중에 Fortigate 데이터를 이용해 대시보드를 만들었습니다. (Fortigate 대시보드 참조)

대시보를 통해 가시화된 데이터는 아래와 같이 분석을 해볼 수 있습니다.

• traffic type의 데이터들은 주로 어떤 action을 하는지?
• logid별 추이
• src.ip와 dst.ip별 연관관계
• 특정 ip 대역 추이

장비로그에 대해 더 많이 알고 해석할 수 있는 엔지니어분들이 장비로그분석을 하신다면, 위 설명된 내용보다 더 의미있는 데이터를 도출해 낼 수 있을것이라 생각됩니다.

[과제] Elastic Stack 설치 및 사용

위에서 계속 설명한 Elastic Stack을 직접 한번 설치하고 사용해볼 시간입니다!

Elastic Stack 설치는 다음 포스팅을 참고하시면 됩니다~

Elastic Stack 설치 및 사용

더욱 자세한 설명은 elastic 공식 홈페이지를 참고