![NDC 2016, [슈판워] 맨땅에서 데이터 분석 시스템 만들어나가기](https://cdn.slidesharecdn.com/ss_thumbnails/ndc-2016-160429031551-thumbnail.jpg?width=560&fit=bounds)
![대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...](https://cdn.slidesharecdn.com/ss_thumbnails/t4s2-221108115925-5b63bf11-thumbnail.jpg?width=560&fit=bounds)
![[244]네트워크 모니터링 시스템(nms)을 지탱하는 기술](https://cdn.slidesharecdn.com/ss_thumbnails/244nms-171017030833-thumbnail.jpg?width=560&fit=bounds)
![쿠키런: 킹덤 대규모 인프라 및 서버 운영 사례 공유 [데브시스터즈 - 레벨 200] - 발표자: 용찬호, R&D 엔지니어, 데브시스터즈 ...](https://cdn.slidesharecdn.com/ss_thumbnails/t3s3-221108102039-c0f48289-thumbnail.jpg?width=560&fit=bounds)
![[NDC 2017] 이카루스 북미 : 베타서비스 활용법](https://cdn.slidesharecdn.com/ss_thumbnails/ncd2017davidicaruspostmortemfinal-170602224506-thumbnail.jpg?width=560&fit=bounds)
![[AWSKRUG] 모바일게임 하이브 런칭기 (2018)](https://cdn.slidesharecdn.com/ss_thumbnails/awskrugawsformobilegame-190419125248-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 탐사ѫ을통업장탐지 (20)
탐사ѫ을통업장탐지
- 1. NCsoft CORPORATION 158-16, Samsung-dong, Kangnam-gu, Seoul 135-090, KOREA | Tel: +82-2-2186-3300 Fax : +82-2-556-6206 Copyright ⓒ NCsoft Corporation. All Rights Reserved WWW.NCSOFT.COM 탐사적 데이터 분석을 통한 작업장 탐지 시스템 개발 엔씨소프트 이은조 2011년 6월
- 2. 2 사람들은 말합니다. ‘보라! 우리는 이렇게 해서 문제를 해결했노라!’
- 3. 3 하지만 실제로는…
- 4. 4 “Analyzing data can be like chasing the cheese through a maze. Then you reach a dead end, and you go back and start again. It’s a puzzle.” - Six Myths about Data Analysts
- 5. 5 “Analyzing data can be like chasing the cheese through a maze. Then you reach a dead end, and you go back and start again. It’s a puzzle.” - Six Myths about Data Analysts 오늘 이야기의 주인공
- 6. 6 시작은 이렇습니다…
- 7. 7 • 비행 핵 캐릭터에 대한 유저들의 불만 증가
- 8. 8 • 비행 핵 캐릭터에 대한 유저들의 불만 증가
- 9. 9 • 비행 핵 캐릭터에 대한 유저들의 불만 증가 • 2010년 6월 경 GM팀에서 비행 핵 캐릭터 조사 도중 작업장 의심 거래 내역 포착
- 10. 10 • 비행 핵 캐릭터에 대한 유저들의 불만 증가 • 2010년 6월 경 GM팀에서 비행 핵 캐릭터 조사 도중 작업장 의심 거래 내역 포착 • BOT 배후에 숨겨진 아이템/키나 취합 캐릭터 제재 필요성 제기 -> 탐지 시스템 개발 요청(2010. 8)
- 11. 11 어떻게 하면 아이템/키나 취합 캐릭터를 탐지할 수 있을까?
- 12. 12 어떻게 하면 아이템/키나 취합 캐릭터를 탐지할 수 있을까? BOT 거래내역을 추적해 보자
- 14. 14 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 아이템/키나 취합 키나 취합
- 15. 15 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 제작 BOT 제작 재료 지원 BOT사용물품제작 아이템/키나 취합 키나 취합 활동 자금 지원
- 16. 16 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 제작 BOT 제작 재료 지원 BOT사용물품제작 다른 작업장 초기 자본 구입 아이템/키나 취합 키나 취합 활동 자금 지원
- 17. 17 • 어떻게 하면 배후 캐릭터를 탐지할 수 있을까? -> BOT 의 거래 내역을 추적해보자 -> 경우의 수가 너무 복잡하다…
- 18. 18 • 어떻게 하면 배후 캐릭터를 탐지할 수 있을까? -> BOT 의 거래 내역을 추적해보자 -> 경우의 수가 너무 복잡하다…
- 19. 19 어떻게 하면 거래 내역 추적을 단순화할 수 있을까?
- 20. 20 어떻게 하면 거래 내역 추적을 단순화할 수 있을까? 작업장은 내부 거래량/횟수가 일반유저와의 거래량/횟수에 비해 훨씬 많지 않을까?
- 21. 21 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 제작 BOT 제작 재료 지원 BOT사용물품제작 다른 작업장 초기 자본 구입 아이템/키나 취합 키나 취합 활동 자금 지원
- 22. 22 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 제작 BOT 제작 재료 지원 BOT사용물품제작 다른 작업장 초기 자본 구입 아이템/키나 취합 키나 취합 활동 자금 지원
- 23. 23 BOT BOT BOT 중간 취합 중간 취합 최종 취합 일반 유저 일반 유저 일반 유저 아이템 판매 아이템 -> 키나 BOT 사용 아이템 구매 현금 거래 활동 물품 지원 제작 BOT 제작 재료 지원 BOT사용물품제작 다른 작업장 초기 자본 구입 아이템/키나 취합 키나 취합 활동 자금 지원 가중치그래프 클러스터링
- 24. 24 • 클러스터링은 어떤 식으로 해야 할까? -> 가중치 값은 거래량? 거래횟수? -> 클러스터링 알고리즘은 어떤 것을 써야 하나? - 알려진 가중치 그래프 클러스터링 방법 적음 - 그나마 있는 것도 MapReduce 적용 어려움
- 25. 25 • 가중치 값은 거래량? 거래횟수? • 거래량 -> 다양한 아이템 가치 정량화 어려움 • 단순함을 위해 거래 횟수 이용 • 가중치 그래프 클러스터링 알고리즘은 뭘 쓰지? • 그냥 하나 만들고 말지…
- 27. 27 그래서… 클러스터링은 잘 된건가? 그림을 그려볼까?
- 28. 28
- 29. 29
- 30. 30
- 32. 32
- 33. 33
- 34. 34 클러스터링이 잘 되었는지 정량화할 방법은 없나?
- 35. 35 클러스터링이 잘 되었는지 정량화할 방법은 없나? Cluster Modularity
- 36. 36 클러스터링이 잘 되었는지 정량화할 방법은 없나?w Q w Q 1 0.69 6 0.81 2 0.88 7 0.79 3 0.89 8 0.76 4 0.86 9 0.75 5 0.83 10 0.73
- 37. 37 작업장 클러스터를 한번 표시해 보자 클러스터 크기 >= 10 BOT 비율 >= 50% (BOT는 노란색 노드로 표시)
- 38. 38
- 39. 39
- 40. 40
- 41. 41
- 42. 42 게임 머니 취합 계정
- 43. 43
- 44. 44 아이온 2.1 업데이트 (2010.10.6)
- 45. 45 아이온 2.1 업데이트 (2010.10.6) 서버 내 키나 량 대폭 증가에 따른 경제 시스템 혼란 우려
- 46. 46 아이온 2.1 업데이트 (2010.10.6) 서버 내 키나 량 대폭 증가에 따른 경제 시스템 혼란 우려 작업장 키나 회수를 위한 배후 캐릭터 탐지 시스템 적용 결정 (2010.10.15)
- 47. 47 아이온 2.1 업데이트 (2010.10.6) 서버 내 키나 량 대폭 증가에 따른 경제 시스템 혼란 우려 작업장 키나 회수를 위한 배후 캐릭터 탐지 시스템 적용 결정 (2010.10.15) BOT 배후 계정 제재 (2010.10.22) 1,383개 계정, 1조 6천억 키나 현금 가치 약 1.5억원
- 48. 48 제재 직후 작업장들의 반응…
- 49. 49
- 50. 50
- 51. 51
- 52. 52
- 53. 53
- 54. 54
- 55. 55 뭐지?
- 56. 56 뭐지? -> 리셀러: 작업장 키나 판매 대행 캐릭터
- 57. 57
- 59. 59
- 60. 60 그런데…
- 61. 61 2010년 10월 29일 2차 제재…
- 62. 62 총 1468개 계정 영구 제재 조치 제재 당일 C/S 문의 건수 300건 돌파 대면센터에 40 여명의 고객 항의 방문
- 63. 63 총 1468개 계정 영구 제재 조치 제재 당일 C/S 문의 건수 300건 돌파 대면센터에 40 여명의 고객 항의 방문 탐지 범위 확대 과정에서 902개 계정 분석 오류
- 64. 64 총 1468개 계정 영구 제재 조치 제재 당일 C/S 문의 건수 300건 돌파 대면센터에 40 여명의 고객 항의 방문 일괄 해제 결정 탐지 범위 확대 과정에서 902개 계정 분석 오류
- 65. 65 총 1468개 계정 영구 제재 조치 제재 당일 C/S 문의 건수 300건 돌파 대면센터에 40 여명의 고객 항의 방문 일괄 해제 결정 탐지 범위 확대 과정에서 902개 계정 오탐
- 66. 66 다행이 전 아직 살아있습니다…
- 67. 67 분석 결과에 대한 증거 자료 보강 GM팀의 자료 검증 절차 추가 매주 정기적인 분석 및 제재 활동 수행 지금까지 31차례 BOT 배후 계정 분석 약 1만 개 BOT 배후 계정 제재 약 8조 키나(현금 가치 약 11억원) 회수
- 68. 68 여기서 끝이 아닙니다…
- 69. 69 네트워크 분석을 통해 BOT도 탐지할 수 있지 않을까?
- 70. 70 네트워크 분석을 통해 BOT도 탐지할 수 있지 않을까? 관계 기반 유저프로파일링을 이용한 작업장 탐지 기법
- 71. 71 더 이상 자세한 설명은 생략…
- 72. 72 아직 치즈를 찾지는 못했습니다… 다만 이전보다는 더 치즈에 가까이 다가갔다고 생각합니다.
- 73. 73 • 어떻게 하면 아이템/키나 취합 캐릭터를 탐지할 수 있을까? • 어떻게 하면 거래 내역 추적을 단순화할 수 있을까? • 작업장 캐릭터 간 거래량/횟수가 일반 유저와의 거래량/횟수에 비해 훨씬 빈번하지 않을까? • 클러스터링은 어떤 식으로 해야 할까? • 거래를 가중치 그래프로 표현할 때 가중치는 거래량? 거래횟수? • 클러스터링 알고리즘은 어떤 것을 써야 하나? • 클러스터링 결과가 잘 되었는지 정량화할 방법은 없나? • BOT 도 네트워크 분석을 통해 탐지할 수 없을까? • 캐릭터 간 관계 지수를 정량화 할 수 없을까? • 캐릭터의 불량 지수를 정량화 할 수 없을까? • 일반 유저 그룹과 작업장 그룹을 효과적으로 분류할 수는 없을까?
- 74. 74 데이터 분석은 지루한 작업입니다Ħ
- 75. 75 때로는 마음 편히 질문을 회피하고 싶을 때도 있어요…
- 76. 76 때로는 장애물을 그냥 건너뛰고 싶을 때도 있고요…
- 77. 77 우리에게 필요한 것은 집요함과 끈기 그리고 약간의 스마트함
- 78. 78 우리에게 필요한 것은 집요함과 끈기 그리고 약간의 스마트함 데이터 처리를 위한 프로그래밍 스킬(파이썬, 자바, 쉘 스크립트, …) 통계적 지식 좋은 도구(R, SAS, SPSS, 엑셀, …) 알고리즘 지식
- 79. 79 우리에게 필요한 것은 집요함과 끈기 그리고 약간의 스마트함 데이터 처리를 위한 프로그래밍 스킬(파이썬, 자바, 쉘 스크립트, …) 통계적 지식 좋은 도구(R, SAS, SPSS, 엑셀, …) 알고리즘 지식 강한 호기심
- 80. 80 우리에게 필요한 것은 집요함과 끈기 그리고 약간의 스마트함 데이터 처리를 위한 프로그래밍 스킬(파이썬, 자바, 쉘 스크립트, …) 통계적 지식 좋은 도구(R, SAS, SPSS, 엑셀, …) 알고리즘 지식 강한 호기심 지루한 과정을 견디게 해주는 가장 큰 힘
- 81. 81 각자 원하는 치즈를 찾으시길…
- 82. 82 감사합니다.