오픈베이스 연구소

Beats는 특정 목적을 위한 데이터 수집기 용 플랫폼입니다. 경량 에이전트로 설치되어 수백 개 또는 수천 개 데이터를 Logstash 또는 Elasticsearch로 전송합니다. 라고 공식홈페이지 에서 소개하고 있습니다. Beats 로그 에이전트에서 최초로 로그를 생성합니다. 직접 Elasticsearch로 전달 할 수도 있고 Logstash로 전달 할 수도 있습니다. 그 외에도 Kafka, Redis, File, Console, Cloud 등으로 전달 할 수 있습니다. Beats는 명확한 목적에 따라 나누어져 나누어져 있습니다. Filebeat, Metricbeat, Packetbeat, Winlogbeat, Auditbeat, Heartbeat 등이 있습니다. l Filebeat: 로그 파일의 데이..

Pcap 파일을 Elasticsearch로 넣기 pcap 파일 데이터를 elasticsearch에 저장하기 위해서는 Packetbeat를 활용할 수 도 있지만, wireshark 에서의 pcap 분석을 kibana에서 구현하기 위해 조금더 적합하게 데이터를 저장할 수 있는 아래와 같은 방법을 선택하였습니다. wireshark의 tshark를 이용하여 pcap 파일을 elasticsearch로 넣을수 있게 json파일형태로 만들수 있습니다.(참고페이지 : Analyzing Network Packets with Wireshark, Elasticsearch, and Kibana) > tshark -Y "icmp" -r "{pcap 파일이름}.pcap" -T ek > {json 파일이름}.json wiresha..

6강에서는 Elastic에서 배포하는 플러그인 X-Pack 을 소개하려고합니다. X-Pack 이란? X-Pack 이란 Elastic에서 배포하는 공식 상용 플러그인입니다. X-Pack 은 Security, Alerting, Monitoring, Reporting, Graph, Machine Learning 모듈을 가지고 있습니다. 각 모듈의 기능은 아래에서 소개하도록 하겠습니다. X-Pack 은 Elasticsearch와 Kibana에 single pack 으로 설치하여 기존 Elastic Stack과 쉽게 통합할 수 있습니다. X-Pack을 사용하기 위해선 서브스크립션을 신청할 필요가 있으며, 정책에 따라 더 많은 기능을 지원합니다. 라이센스는 basic, gold, platinum 이 있으며, 라이센..

지난 4강에서는 Kibana의 Dashboard에서 데이터를 분석하는 방법을 배워보았습니다. 오늘 5강에서는 Alteon 정기점검 데이터를 활용하여 Report 대시보드를 만들고 분석해보려고 합니다. 교육 시연 Kibana 페이지 공유 교육에 사용되었던 Dashboard를 조회하고 분석해 볼 수 있도록 시연에 사용된 Kibana 페이지를 시범적으로 공유해드리려고 합니다. 단, 사내에서만 접속 가능합니다. 접속 URL192.168.2.39:5601 Usernameinktom Passwordopenbase 데이터 제공 데이터는 제공예정입니다. (데이터 제공 방법 고안중) Dashboard 제공 데이터는 제공예정입니다. (데이터 제공 방법 고안중) 정기점검 서비스를 통해서 데이터 저장하고, Kibana에서 제..

지난 3강에서는 elasticsearch에 저장된 파일추출 데이터를 Kibana에서 가시화 하는 방법을 배워보았습니다.다양한 Visualize를 직접 만들어보셨나요? 연습을 통해 visualize 쯤은 금방만들지~ 라는 자신감이 생기셨을꺼라 생각합니다. 4강에서는 Dashboard 에서 drill down과 검색창을 활용하여 데이터를 분석하는 방법을 배워보려고 합니다. 데이터 넣기 데이터 분석에 앞서 sample로 사용할 데이터를 넣어보도록 하겠습니다.데이터를 elasticsearch로 넣는 것은 앞선 강의에서 여러번 했기때문에 간단하게 안내하고 넘어가도록 하겠습니다.만약 기억이 잘 나지 않으시다면 'Logstash를 통해 JSON 파일 데이터 넣기' 를 참고해주세요. 1. 데이터 파일 다운로드 - - ..

1강에서는 Elastic Stack 에 관해서 배우고, 2강에서는 Elastic Stack을 설치하고 데이터를 넣어보았습니다.3강에서는 elasticsearch에 저장된 데이터를 Kibana에서 가시화 하는 방법을 배워보려고합니다. 파일 추출 데이터 저장 지난 2강에서 과제로 Logstash를 활용하여 파일추출 결과를 elasticsearch로 저장하여 분석해보기를 드렸습니다.모두들 해보셨나요? 안해보셨다면 [네트워크 보안 엔지니어를 위한 엘라스틱 강좌 - 2강] 에 돌아가셔서 숙제를 해보고 오시길 바랍니다. 오늘은 파일추출결과 데이터를 활용하여 Kibana에서 데이터를 조회하고 Visualize를 만들고 Dashboard를 구성하는 방법을 배워봅시다!! Kibana 메뉴 알기 Kibana(localho..

두번째 시간인 오늘은 Elastic Stack을 설치하고, 사용하는 방법을 배워보려고 합니다. 지난 시간에 과제를 통해 Elastic Stack 사용 환경을 구축하고, Elasticsearch, Kibana, Metricbeat 설치 및 사용방법은 이전 포스팅을 참고해보세요. Elastic Stack 설치 및 사용 지난 시간 과제에 이어 오늘은 Logstash를 설치하고 활용하여 데이터를 직접넣어보려고 합니다. Elastic Stack 실행 - logstash 1. logstash구조 설명- 압축을 푼 logstash는 다음과 같다- logstash-6.1.2 ㄴ bin 실행파일들이 들어있다. ㄴ config logstash 설정 파일들이 들어있다. ㄴ logstash-core-plugin-api plu..

오늘(첫 날)은 Elastic Stack을 소개하고, 활용사례를 알려드립니다. 개인 PC(윈도우10 기준)에 Elastic Stack과 metricbeat을 설치해 보세요.다음 번에는 ADCsmart의 데이터를 엘라스틱을 이용하여 분석합니다. RDB에 저장된 데이터를 엘라스틱에 입력하여 kibana로 분석하는 방법을 설명합니다. 담당하고 있는 장비를 확인해 보시고, RDB에 데이터를 저장하는 장비라면 함께 따라해 보세요ADC와 ADCsmart 엔지니어와 RDB에 데이터를 저장하는 장비를 지원하는 엔지니어에게 도움이 될 것입니다. Elastic Stack 소개제가 엘라스틱서치를 소개할 때 추천하는 동영상입니다. 기술적인 이해가 없어도 어디에 활용하는 지 쉽게 이해할 수 있습니다.엘라스틱코리아의 에반젤리스트..

Elastic Stack 6.1.x 설치하기 Elastic Stack 다운로드 및 설치 환경 구성 1. Java 8 버전 이상 설치- www.oracle.com 에서 jdk 를 다운받아 설치합니다.download java for Developers 선택 > 홈페이지를 방문하지 않고 google 검색으로 설치하는 경우가 있습니다.google에 java 8 검색 > Java 8 Central - Oracle 선택 > Downloads 선택 > 중간부분에 Java SE 8u161 선택 > Java SE Development Kit 8u161Accept License Agreement 선택Windows x64 206.76MB(jdk-8u161-windows-x64.exe) 다운로드실행c:\Program File..

연구소에서 Elastic을 검색엔진은 물론이고 제품에서 DB 대신 사용하고 있습니다.엔지니어는 Elastic을 개발자의 도구로 생각해서 사용하기 어렵게 생각하기도 하고, 처음부터 관심을 갖지 않는 경우가 있습니다.Elastic Stack에 포함된 Kibana를 활용하면 데이터를 분석하기가 쉽습니다. 개발능력이 없어도 분석할 수 있습니다. 기존에 데이터를 분석하려면 개발자의 도움이 필요했지만 Elastic Stack을 활용하면 엔지니어 스스로 유용한 정보를 찾을 수 있습니다.그래서엔지니어, 특히 서버 사용에 익숙하지 않은 네트워크 엔지니어와 보안 엔지니어를 위해서 강좌를 준비하고 있습니다. 블로그가 처음입니다. 글쓰는 능력도 elastic 강좌 기간 내에 좋아지기를 기대하고 있습니다. 1. Elastic ..