[AWS Cloud Winter Camp] 12/27 - 1일차 Elastic Cloud 실습

 

*참고 이론
logstash 생략가능이나 붙이는 게 좋음

input/filter/output 이거말고 없음

 

beats - logstash - elasticsearch - kibana

 

cloud에서는 서치랑 키바나는 기본제공

beatraw 수집... 인데 beat도 생략 가능

 

---

1. elastic cloud / aws 로그인

 

2. ec2 생성

 

3. ec2 연결 누르기

 

4. java 11 ver download

Java 11 설치 (EC2)
sudo su
yum install java-11-amazon-corretto.x86_64
y
su ec2-user

 

5. logstash download

-> linux 버전으로 다운로드 버튼 링크 복사

 

-> wget 링크주소

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.11.3-linux-x86_64.tar.gz

 

압축풀기

tar -xvf logstash-8.11.3-linux-x86_64.tar.gz

 

6. config 파일로 이동해서 logstash-sample.conf 카피하기

 

cp logstash-sample.conf logstash-sample2.conf

 

7. logstash-sample2.conf 내용 수정

 

기본으로 있는 beats는 없애도 됨

input {
  file {
   path => "/home/ec2-user/logstash-8.11.3/config/test.json"
   start_position => "beginning"
   codec => "json"
  }
}

output {
  elasticsearch {
    hosts => ["https://smw-16.es.us-east-2.aws.elastic-cloud.com"]
    index => "testip"
    cloud_id => "smw-16:dXMtZWFzdC0yLmF3cy5lbGFzdGljLWNsb3VkLmNvbTo0NDMkODEzY2VlYzU0MWIyNDc4MDkxNWY5NjdlN2JiMjVmODgkZWVlM2I0ODA3OTE4NDBkMzgyOTgwZjZmNzBlYjQ3NjA="
    user => "elastic"
    password => "~~~"
  }
}

오류 --> user랑 password 나눠서 작성했었는데 실행시키면 exit... 되고 안 됨

 

input {
  file {
    path => "/home/ec2-user/logstash-8.11.3/config/test.json"
    start_position => "beginning"
    codec => "json"
  }
}
output {
  elasticsearch {
    cloud_id => "smw-31:dXMtZWFzdC0yLmF3cy5lbGFzdGljLWNsb3VkLmNvbTo0NDMkMGE5ZTg2ODNjZjIzNDhjYmJkMjllMWRhYmRlYmI0OWUkZTBmNjgwNjM4MWU1NGFmMWIwZWY1MTZlN2Y0NzAwZTY="
    cloud_auth => "elastic:~~~"
    index => "testip"
  }
}

cloud_auth로 user랑 password를 합쳐주기

 

 

8. cd config 로 이동해서 test.json 파일 수정하기

{"name": "John", "age": 25, "city": "ExampleCity"}
{"name": "Jane", "age": 30, "city": "SampleVille"}
{"name": "Bob", "age": 22, "city": "Testburg"}

 

 

9. logstash-8.11.3 파일로 올라가서 실행하기

bin/logstash -f /home/ec2-user/logstash-8.11.3/config/logstash-sample2.conf

 

10. elastic cloud 가서 확인하기

-> stack management 들어가면 확인 가능

 

상세정보는 이렇게 나오는데

시각화된 걸로 확인하려면

 

Analytics -> Discover 들어가서

Create date view 하기

 

index pattern

test하고 * 아스타로 묶을 수 있음

 

 

 

오른쪽 상단에 그 기록 보는 기간 조절 가능하고

끝에 보면 올라온 거 확인 가능~

 

---

 

tar -xvf metricbeat-8.11.3-linux-x86_64.tar.gz

5044 비트가 기본적으로 쓰는 포트번호