�ݺ�ߣ

2019.02.22
Stack 분석 활용 사례

Session
발표자 목차
와탭랩스 1. 개요
2. 와탭 vs Others
3. A사 redis 병목 구간 식별
4. B사 포멧팅 로직의 CPU 점유
5. C사 Host Lookup 지연
6. D사 디버깅로그로 인한 성능 지연
7. 타사 APM 에이전트 성능 측정
1-1.
송재진

- 3 -Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
1. 개요
다른 APM도 보여주고, 와탭도 보여주는 것들
SQL도 아니
고,
User 01
HTTPC 외부 호출 URL도 아니
고,
File I/O도 아닌데
…
나머지 영역에 대한
와탭의 기술!
응답시간이 왜 이렇게 많이 차지하는
걸까?
URL 응답시간 SQL 시간 HTTPC 시간
/exampleServlet.do 1000ms 1ms 1ms

2. 와탭 vs Others
타사의 모니터링 툴로는 장애/성능지연 발생시 명확한 위치가 판별이 안되는 경우 프로파일 수정과 대기를 반복해왔습니다.
장애 발생 장애 분석
프로파일 설정 장애 원인 파악장애 재발생
장애 원인 파악
개발자
(프로그램 분석)
WhaTap의 방식

3. A사 redis 병목 구간 식별
...
profile profile
ActiveStack
ActiveStack
경과 : 프로파일 설정 없이 와탭 적용만으로 병목 구간이 Redis 에 있음을 확인
10,255 /ovey/WEB-INF/tiles/mobile/surveylayout.jsp 9,211 /ovey/WEB-INF/tiles/mobile/baselayout.jsp
org.springframework.data.redis.connection.jedis.JedisConnectionFactory.fetchJedisConnector(JedisConnectionFactory.java:229)
문제 글로벌 서비스로 성장하면서 기존의 레거시와 신규 시스템이 공존하여 시스템 복잡도 증가로 서비스 병목 지점을 찾기가 어려워 짐
현황 VisualVM, Observium, Graylog, ELK stack 등 다양한 모니터링을 도입, 메모리를 비롯한 서버 비용에 대한 부담이 증가
시스템 모니터링을 위한 개발자와 전담 모니터링 인력을 할당할 여력 없음

4. B사 포멧팅 로직의 CPU 점유
 Active Stack을 활용하여 공통 모듈에서 특정 메소드를 과도하게 호출하는 현상을 발견하여 수정 권고
 수정 후 Peak CPU 사용량 15% 감소
java.lang.StringBuffer.append(StringBuffer.java:246)
문제 시스템이 주말이나 연휴 후, 요청 건수가 증가하면서 높은 CPU 사용량으로 인해 주기적으로 서비스 재기동을 하는 불안정한 상태
현황 타 APM 솔루션으로 분석하여 조회량이 많은 URL 몇개의 로직을 변경함. (조회 건수를 줄임) ➜ 부분적 효과는 있었지만 근본 원인 파
악 불가

5. C사 Host Lookup 지연
 catalina.sh 에 -Djava.net.preferIPv4Stack=true (IPv4 먼저 쓸래요) 추가
 트랜잭션 평균 응답시간 20% 감소 (120ms -> 97ms)
Case – IPv6 Lookup
문제 명확한 원인을 알 수 없는 서비스 지연이 지속 발생하는 상황에서 기존의 프로파일 방식으로는 의심되는 지점을 찾을 수 없기에 N/W
등 외부 시스템 병목을 의심하는 상황
현황 스택 통계를 통해 IPv6 Address LookUp을 우선함에 따른 원인과 영향도 확인 ➜ 관련 설정 수정으로 해소

6. D사 디버깅로그로 인한 성능 지연
Case – Debug Log
 Thread Parking 의 높은 점유 비율과 원인이 부적절한 Logging 설정에 있음을 확인
문제 로그 양의 적정성 여부와 로그로 인한 성능 저하가 어느 정도인지 가늠할 수 없음
현황 전체 수행에서 모니터링 에이전트가 점유하는 비율을 확인함으로 성능에 미치는 영향과 개선효과를 예측할 수 있음

6. 타사 APM 에이전트 성능 측정
Case – 타 APM 부하
com.newrelic.agent.Transaction.getTransaction(Transaction.java:1342)
 궁금하지만 아무도 알려주지 않는, 알 방법도 없었던 성능 정보를 와탭으로 확인할 수 있습니다.
문제 기존 APM 에이전트가 유발하는 성능 저하를 측정할 수 없음
현황 전체 수행에서 로그가 점유하는 비율을 확인함으로 성능에 미치는 영향과 개선효과를 예측할 수 있음

�ݺ�ߣ

스택 분석 활용 사례 (송재진)

Recommended

More Related Content

What's hot (20)

Similar to 스택 분석 활용 사례 (송재진) (20)

More from WhaTap Labs (13)

스택 분석 활용 사례 (송재진)