Elastic Stack 설치 및 사용

Elastic Stack 6.1.x 설치하기

Elastic Stack 다운로드 및 설치 환경 구성

1. Java 8 버전 이상 설치^[각주:1]

- www.oracle.com 에서 jdk 를 다운받아 설치합니다.^[각주:2]

download java for Developers 선택 > 

홈페이지를 방문하지 않고 google 검색으로 설치하는 경우가 있습니다.

google에 java 8 검색 > Java 8 Central - Oracle 선택 > Downloads 선택 > 중간부분에 Java SE 8u161 선택 >

Java SE Development Kit 8u161

Accept License Agreement 선택

Windows x64 206.76MB(jdk-8u161-windows-x64.exe) 다운로드

실행

c:\Program Files\Java - 기본 폴더에 설치하세요.

- 설치 과정을 알고 싶으면 "windows jdk 8 설치"를 검색해 보세요. 

- 설치확인 : cmd 창에서 `java –version` 을 입력하여 확인합니다.

C:\elastic>java -version

java version "1.8.0_152"

Java(TM) SE Runtime Environment (build 1.8.0_152-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

2. Elastic Stack 다운로드

- https://www.elastic.co/downloads/past-releases 에서 Elasticsearch, Logstash, Kibana를 6.1.2 버전으로 다운로드 합니다.^[각주:3]

- window 환경 구성이기 때문에 ZIP 파일을 다운로드 합니다.

Logstash 6.1.2 ZIP - https://artifacts.elastic.co/downloads/logstash/logstash-6.1.2.zip

Elasticsearch 6.1.2 ZIP - https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.2.zip

Kibana 6.1.2 WINDOWS - https://artifacts.elastic.co/downloads/kibana/kibana-6.1.2-windows-x86_64.zip

3. C 드라이브 아래에 elastic 폴더를 만듭니다. (C:\elastic )

- ‘C:\elasticstack ’ 아래에 다운로드 받은 Elasticsearch, Logstash, Kibana 압축을 풉니다.

- 압축을 푸는 것만으로 설치 완료!!

C:\elastic\elasticsearch-6.1.2\elasticsearch-6.1.2 이렇게 설치되지 않도록 주의하세요.(관계없지만 따라하기 위해서)

C:\elastic>dir /AD - C:\elastic 디렉터리

2018-01-03  오후 07:59    <DIR>          elasticsearch-6.1.2

2018-01-03  오후 01:02    <DIR>          kibana-6.1.2-windows-x86_64

2018-01-15  오후 09:19    <DIR>          logstash-6.1.2

Elastic Stack 실행 - elasticsearch

1. elasticsearch 구조 설명

- 압축을 푼 elasticsearch는 다음과 같다

- elasticsearch-6.1.2
 ㄴ bin              실행파일들이 들어있다.
 ㄴ config         elasticsearch 설정 파일들이 들어있다.
 ㄴ plugins       plugin들이 들어있다.
 ……

2. elasticsearch config 설정

- config/elasticsearch.yml 수정을 통해 cluster 이름, node이름, host ip, log path, data path 등 변경할 수 있다. 

- 일단은 기본 설정으로 시작해보도록 한다.

3. elasticsearch 실행

- C:\elasticstack\elasticsearch-6.1.1\bin\elasticsearch.bat 을 더블 클릭하여 실행한다.

S:\elastic\elasticsearch-6.1.2>bin\elasticsearch

... 생략

[2018-01-25T16:56:41,314][INFO ][o.e.h.n.Netty4HttpServerTransport] [38wO3Ow] publish_address {127.0.0.1:9200}, bound_addresses {127.0.0.1:9200}, {[::1]:9200}

[2018-01-25T16:56:41,314][INFO ][o.e.n.Node               ] [38wO3Ow] started

    - 웹 브라우저로 http://localhost:9200/ 에 접속이 된다면 elasticsearch실행성공!!

Elastic Stack 실행 - Kibana

1. kibana 구조 설명

- 압축을 푼 kibana 는 다음과 같다.

- kibana-6.1.2-windows-x86_64
 ㄴ bin                        실행파일들이 들어있다.
 ㄴ config                   kibana 설정 파일들이 들어있다

        ㄴ plugins                 plugin들이 들어있다.
  ……

2. kibana config 설정

- config/kibana.yml 수정을 통해 elasticsearch와 host ip 등을 변경할 수 있다. 

- 일단은 기본 설정으로 시작해보도록 한다.

3. kibana 실행

-  C:\elasticstack\kibana-6.1.1-windows-x86_64\bin\kibana.bat 을 더블 클릭하여 실행한다.

- 웹 브라우저로 http://localhost:5601/ 에 접속이 된다면 kibana 실행성공!!

Elastic Stack을 설치 및 실행했다고 해서 Kibana에서 바로 실습을 해볼순 없을것이다. 데이터가 없기때문에.....

앞으로 차차 Logstash 를 이용하여 데이터를 수집하는 방법을 배울 것이다. 

이번에는 Metricbeat를 이용해 간단히 데이터를 넣고 Kibana를 사용해보자.

데이터 입력하기

Data 넣기 - Metricbeat 활용

1. Metricbeat 다운로드
- https://www.elastic.co/downloads/past-releases에서 metricbeat 를 6.1.2 버전으로 다운로드 합니다.
- window 환경 구성이기 때문에 ZIP 파일을 다운로드 합니다.

Metricbeat 6.1.2 WINDOWS 64-BIT - https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.1.2-windows-x86_64.zip

2. C:\Program Files 폴더에 압축을 풉니다.
- 압축을 풀고 폴더 이름을 Metricbeat 로 변경합니다.

3. PowerShell을 관리자 권한으로 엽니다.
- Window 검색에서 PowerShell을 검색하고 관리자 권한으로 실행합니다.

4. Metricbeat를 Windows 서비스로 등록하고 시작합니다.

서비스 등록은 metricbeat에서 제공하는 install-service-packetbeat.ps1을 실행합니다.

서비스 시작은 PowerShell 명령어를 이용합니다. Start-Service

- PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1

PS C:\Program Files\Metricbeat> PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1

보안 경고

신뢰하는 스크립트만 실행하십시오. 인터넷의 스크립트는 유용할 수 있지만 사용자 컴퓨터를 손상시킬 수도 있습니다.

스크립트를 신뢰하는 경우 Unblock-File cmdlet을 사용하면 이 경고 메시지 없이 스크립트를 실행할 수 있습니다.

C:\ProgramFiles\Metricbeat\install-service-metricbeat.ps1을(를) 실행하시겠습니까?

[D] 실행 안 함(D)  [R] 한 번 실행(R)  [S] 일시 중단(S)  [?] 도움말 (기본값은 "D"): R

Status   Name               DisplayName

------   ----               -----------

Stopped  metricbeat         metricbeat

PS C:\Program Files\Metricbeat> Start-Service metricbeat

PS C:\Program Files\Metricbeat> //정상이면 메시지가 없습니다.

PS C:\Program Files\Metricbeat> Get-Service metricbeat //상태를 확인합니다. 정상적으로 러닝 중입니다.

Status   Name               DisplayName

------   ----               -----------

Running  metricbeat         metricbeat

참고 - 서비스 명령어

- Start-Service metricbeat

- Stop-Service metricbeat

4-1.  elastic cmd 창을 확인합니다. 아래와 같이 metricbeat에서 인덱스 생성되었다는 메시지가 출력됩니다.

[2018-01-25T17:42:31,018][INFO ][o.e.c.m.MetaDataCreateIndexService] [38wO3Ow] [metricbeat-6.1.2-2018.01.25] creating index, cause [auto(bulk api)], templates [metricbeat-6.1.2], shards [1]/[1], mappings [doc]

4-2. Kibana 에 접속합니다. 

    - 아래 Template을 설치하면 어떻게 달라지는 지 알아보기 위해서 Template 설치 전에 접속해서 확인합니다. 

    - http://localhost:5601

    - Dashboard 메뉴를 선택하면 Create Index pattern 메시지가 나타납니다.

5.Template과 Dashboard를 설치합니다. 아래 명령어를 PowerShell에 붙여넣고 실행하면 됩니다.

- .\metricbeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]‘
- .\metricbeat setup –dashboards

PS C:\Program Files\Metricbeat> .\metricbeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.

hosts=["localhost:9200"]‘

Loaded index template

PS C:\Program Files\Metricbeat> .\metricbeat setup –dashboards

Loaded index template

Loaded dashboards

- template과 dashboard를 잘 불러왔다면 kibana에서 인덱스 패턴 등이 등록된 것을 확인 가능합니다.

6. Kibana에 접속합니다.

- Dashboard 메뉴를 선택하면 아래와 같이 6개의 대시보드를 확인할 수 있습니다.

[Metricbeat Apache] Overview

[Metricbeat Docker] Overview

[Metricbeat Golang] Overview

[Metricbeat Kubernetes] Overview

[Metricbeat System] Containers overview

[Metricbeat System] Host overview

[Metricbeat System] Host overview 을 선택하면 아래와 같은 대시보드를 확인할 수 있습니다.

1. 그렇다고 9를 설치하면 잘 안될 수 있습니다. 버전 6.2부터 Java 9를 지원합니다. [본문으로]
2. JDK는 Java Development Kit 사이트에 아래Top Actions 부분에 Download Java for Develpers가 있습니다 [본문으로]
3. 2018/01/25 기준 6.1.2 입니다. 업그레이드되면 버전이 다를 수 있습니다. 6.1.x 버전을 설치하세요. [본문으로]