Big Data 대충 알아보기
•
4 likes•1,707 views
단순히 큰 데이터가 아닌 Big Data의 3V 속성을 통해 알아보자는 내용입니다. 3V = Volume, Various, Velocity
![빅데이터로 진화하는 세상 - Big Data 글로벌 선진 사례
Ⅰ. 빅데이터로 꿈꾸는 행복한 사회 Ⅱ. 빅데이터를 통한 건강한 사회
[해외편] [해외편]
1. 미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화 1. 미국 국립보건원, 유전자 데이터 공유를 통한 질병치료체계 마련
2. 일본, 센서데이터를 활용한 지능형 교통안내 시스템 2. 미국 국립보건원, Pillbox 프로젝트를 통한 의료개혁
3. 밀라노, 지능형 교통정보 시스템으로 신속·정확하고 손쉬운 길안내서비스 3. 미국 퇴역군인의 전자의료기록 분석을 통한 맞춤형 의료 서비스 지원
4. 뉴욕주 시라큐스시, 데이터 분석을 기반으로 스마터 시티 추진 4. 싱가포르, 주민위원회 센터 네트워크를 기반으로 맞춤형 복지사회 구현
5. 덴마크 베스타스 윈드 시스템, 풍력 에너지 관리로 에너지 생산 효과 극대화 5. 캐나다 온타리오 공과대병원, 미숙아 모니터링을 통한 감염 예방 및 예측
6. 구글, 실시간 자동 번역시스템을 통한 의사소통의 불편해소 6. 건강보험회사 웰포인트, 슈퍼컴퓨터를 활용한 효율적인 환자치료
7. 월마트, 데이터 분석을 통한 투자수익 증대 7. 구글, 검색어 분석을 통한 독감예보 서비스 제공
8. 자라, 점포별·상품별 등 실시간 데이터 분석을 통한 판매량 증대 8. 네덜란드 스파크드, 빅데이터를 활용하여 건강한 소 사육 환경 구축
9. 마이크론 테크놀로지, 제품생산시간 분석을 통한 비용절감
10. 코카콜라의 SNS 데이터 활용을 통한 가치향상 노력 [국내편]
11. 리츠칼튼 호텔, 데이터 관리를 통한 고객맞춤형 서비스 제공 1. 보건복지부, 행복e음을 통한 수요자중심의 복지서비스 구현
12. SNS를 활용한 할리우드 흥행 수익 예측 2. 근로복지공단, ‘찾아가는 서비스’를 통한 맞춤형 고객관계 관리
13. 넷플릭스, 데이터 분석으로 온라인 DVD 판매제고 및 고객 서비스 향상 3. 한국인체자원은행네트워크, 정보공유로 생명공학분야 경쟁력 제고
4. 분당 서울대병원, 임상의사결정지원 시스템 등 의료 IT시장 선도
[국내편] 5. DNA Link, 유전자 분석 시스템으로 맞춤형 건강 검진 서비스 제공
1. 한국석유공사, 국내 유가 예보 서비스를 통한 비즈니스 최적화 6. 연세대학교 의료원, 후(H∞H) 헬스 케어 시스템으로 양질의 의료 서비스 제공
2. 국민권익위원회, 민원정보분석 시스템을 통한 국민과 정부의 소통 활성화
3. 한국도로공사, 고객 목소리 분석 시스템을 통한 서비스 혁신 Ⅲ. 빅데이터로 희망하는 안전한 사회
4. 통계청, 임금근로일자리 통계로 일자리 현황 파악 지원 1. 싱가포르, 국가위험관리시스템을 통한 국가안전관리
5. 한국수자원공사, 스마트 워터 그리드를 기반으로 물 부족 현상 해결 2. FBI, 유전자 색인 시스템 활용한 단시간 범인 검거 체계 마련
6. 포스코, 원료가격의 효율적 구매를 통한 가격 경쟁력 제고 3. 샌프란시스코, 범죄 예방 시스템으로 안전 지역사회 구축
7. GS EPS, 전력시장 분석 시스템을 통한 전력시장 전망 및 분석 4. 싱가포르 출입국관리소, 통합적 정보분석으로 출입국 보안 및 국경 통제 강화
8. SK텔레콤, 소셜네트워크에서의 여론분석을 위한 스마트 인사이트 시스템 5. 일본, 다양한 센서 데이터를 활용한 재난대응 능력 강화
9. 현대·기아자동차, 문서 중앙화 시스템으로 통합적 기업 정보 관리 6. 위키리크스, 데이터 분석을 통한 효과적인 전술 제공 서비스
7. 서울시, 시민과 함께 만드는 실시간 폭우지도로 수해 예방 및 대책 마련
8. KSTEC, 보험사기 방지시스템으로 보험사기 방지
Ⅳ. 빅데이터로 소통하는 창의적 사회
1. “data.gov”, 시민의 자발적인 참여와 창의성을 기반으로 정책수립에 기여
2. 미국 미시간 주, 데이터웨어하우스 구축으로 공공서비스 질적 향상
3. 영국 패치베이, 국민참여형 안전관리 플랫폼 구현
4. 케냐 우샤히디, 집단지성으로 이루어진 재난관리 오픈소스 플랫폼
5. IBM 왓슨, 인공지능 슈퍼컴퓨터로 인류의 창조성과 혁신 촉진
6. 애플 시리, 지능형 음성인식을 통해 더 똑똑해지는 창의적 사고 가능
7. 프랑스, 시민 건강 보호를 위한 스마트폰 소음지도 작성
8. 새로운 과학적 발견 : 대형강입자충돌기를 이용한 힉스 입자 검출
9. 솔트룩스, 부산지식네트워크 시스템으로 체계적 인적 네트워크 마련
http://www.bigdataforum.or.kr/?Act=bbs&subAct=view&bid=report&seq=86
Page 15](https://image.slidesharecdn.com/25-bigdata-130124120115-phpapp02/85/Big-Data-15-320.jpg)
Big Data 대충 알아보기
- 1. Big Data… 쉽게 어렵게 재미있게 해물~ 궁금한건 못 참아 연구소
- 2. http://ko.wikipedia.org/wiki/빅데이터 1) 데이터 베이스의 규모에 초점을 맞춘 정의 (McKinsey, 2011) - 일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 2) 데이터 베이스가 아닌 업무수행에 초점을 맞춘 정의 (IDC, 2011) - 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 (데이터의) 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 Google, Hadoop, Map Reducer, NoSQL, Cloud Computing, Data Mining, Cassandra, MongoDB, CRM, Sales, Pregel, GlodenORB, S4, Storm, Mahout, ZooKeeper, kafka, Memcached, Redis, Open Source, Big Data Page 2
- 3. ٳٱ://ɷɷ.ڲǰٱ岹ٲ.dz/빅데이터 다양한(Variety) 다량의(Volume) 정보가 실시간에 가까운 빠른 속도(Velocity) 흘러가는 것, 3V (Tim O’Relly) Page 3
- 4. ٳٱ://경철../빅데이터 빅데이터가 뭔가? http://comic.naver.com/webtoon/detail.nhn?titleId=335885&no=425 기존 시스템에서는 가용할 수 없는 데이터 관리 가능한 한계를 벗어난 자료 량 사람의 마음 혹은 내면… 그리고 욕망 욕망의 지도 욕망을 감지하고 흐름을 모니터링 하여 미래를 예측하는 것 Page 4
- 5. Big Data 어디서 왔나? Page 5
- 6. Big Data 자세히 보기 Page 6
- 7. Big Data로 뭘하나? Page 7
- 8. Big Data 사업자 Page 8
- 9. Big Data 사업자 3조 25조 5.6조 Page 9
- 10. Big Data 국내 Player 1 SKT KT 삼성 • 지오비전 • BIT(Business & Information • 광고 분석 플랫폼 Text Mining • 스마트 인사이드 system Transformation)에 빅데 : 광고 후 SNS 확산을 분석하는 • T-MR 이터 활용 도구 : 내부 경영 선진화 프로젝트임 • 시나리오 경영 지원 도구 • 유클라우드 비즈 맵리듀스 : VAR (volatility, abundance, : 빅데이터 플랫폼 대여 서비스 rare) • 2,650만명 SKT 가입자 • 코리아크레딧뷰로(KCB)와 제휴 • 3,400만 명 OK캐쉬백 회원 를 통한 시장 분석 서비스 • 현대카드 고객 데이터 통합 완 료 • 하나SK카드 고객 정보 통합 진 행중 • NHN과 빅데이터 사업 협력 삼성SDS LG CNS SK C&C • 바이오인포메틱스 사업 진행 • 빅데이터 통합 솔루션인 `스마 • 실시간 데이터분석솔루션 `스톰 : 유전자 정보 관리, 분석 사업 트빅데이터플랫폼(SBP)'을 출시 '을 출시 • 오픈 소스 기반의 빅데이터 분 • 최대 인원 규모: 200여명 : 상권분석이나 교통분석 등을 석 플랫폼 개발 중 제공 Page 10
- 11. Big Data 국내 Real Player TV Service Overview Naver Daum KTH Estsoft • Nebula + MEZZO + • TIARA • DAISY • ZUM.com CUBA • 2008년 하루에 쌓이는 • 다음의 일 로그 사이 • 대용량 실시간 분석/ • 블로그, 뉴스, 지식, 로그는 수백 즈는 70TB (2012년 3 추천 솔루션 이미지, 동영상 등 기가바이트 월 기준) • 인기 키워드, 실시간 자체적으로 약 • 2012년 하루에 3TB의 • 티아라를 도입하기 전 통계, 실시간 추천, 소 200테라바이트(TB)에 로그가 쌓임 일 로그 분석을 위해 셜 분석 등 제공 예정 이르는 데이터를 • 네이버 검색창에 10시간 소요 저장하고 처리하는 새롭게 입력되는 • 도입 후 3시간 정도 소 • 프레임웍으로 Open 기술 질의어(UQC, Unique 요 API화하여 공개 및 사 • 5억건 이상의 블로그 Query Count)가 • 트랜드 검색 제공 중 업화 예정 문서를 저장하고 하루에 2000만건 이상 분석할 수 있는 검색 발생 • 과거 데이터와의 비교 시스템 • 하루에 처리해야 할 를 통한 예측에 강함 • 100대 규모 이상의 문서의 양은 약 클러스터로 구성 130억건 • 트랜드 검색 제공 중 • 자체 서비스 문제 해결을 위한 것 • 현재 트랜드 파악에 빠름 Page 11
- 12. Big Data in Small Pieces 1 Page 12
- 13. Big Data in Small Pieces 2 • Walmart 빅데이터분석 • “이번 크리스마스에는 어떤 상품이 많이 팔릴까?” • Social Genome Platform이라는 Big Data Analytics Platform을 자체 개발 • 이에 대한 해답을 SNS, 블로그, 거래정보, 이미지 클릭, 위치정보 등을 통해 종합 분석함 • Data Scientists는 소매시장에 대한 경험이 적음 • 상품기획/구매/상품관리 등 현업 직원들은 데이터분석에 약함 • 둘 사이의 협업 증진과 Gap을 줄이는 방법 필요 • Data Scientists들이 다양한 빅데이터 소스를 처리하여 다양한 차원에서의 시장 추세를 도표로 가시화해주면, 현업 전문가들이 이를 해석하여 상품 선택에 적용 Page 13
- 14. Big Data in Small Pieces 3 Page 14 https://littlemonsters.com/
- 15. 빅데이터로 진화하는 세상 - Big Data 글로벌 선진 사례 Ⅰ. 빅데이터로 꿈꾸는 행복한 사회 Ⅱ. 빅데이터를 통한 건강한 사회 [해외편] [해외편] 1. 미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화 1. 미국 국립보건원, 유전자 데이터 공유를 통한 질병치료체계 마련 2. 일본, 센서데이터를 활용한 지능형 교통안내 시스템 2. 미국 국립보건원, Pillbox 프로젝트를 통한 의료개혁 3. 밀라노, 지능형 교통정보 시스템으로 신속·정확하고 손쉬운 길안내서비스 3. 미국 퇴역군인의 전자의료기록 분석을 통한 맞춤형 의료 서비스 지원 4. 뉴욕주 시라큐스시, 데이터 분석을 기반으로 스마터 시티 추진 4. 싱가포르, 주민위원회 센터 네트워크를 기반으로 맞춤형 복지사회 구현 5. 덴마크 베스타스 윈드 시스템, 풍력 에너지 관리로 에너지 생산 효과 극대화 5. 캐나다 온타리오 공과대병원, 미숙아 모니터링을 통한 감염 예방 및 예측 6. 구글, 실시간 자동 번역시스템을 통한 의사소통의 불편해소 6. 건강보험회사 웰포인트, 슈퍼컴퓨터를 활용한 효율적인 환자치료 7. 월마트, 데이터 분석을 통한 투자수익 증대 7. 구글, 검색어 분석을 통한 독감예보 서비스 제공 8. 자라, 점포별·상품별 등 실시간 데이터 분석을 통한 판매량 증대 8. 네덜란드 스파크드, 빅데이터를 활용하여 건강한 소 사육 환경 구축 9. 마이크론 테크놀로지, 제품생산시간 분석을 통한 비용절감 10. 코카콜라의 SNS 데이터 활용을 통한 가치향상 노력 [국내편] 11. 리츠칼튼 호텔, 데이터 관리를 통한 고객맞춤형 서비스 제공 1. 보건복지부, 행복e음을 통한 수요자중심의 복지서비스 구현 12. SNS를 활용한 할리우드 흥행 수익 예측 2. 근로복지공단, ‘찾아가는 서비스’를 통한 맞춤형 고객관계 관리 13. 넷플릭스, 데이터 분석으로 온라인 DVD 판매제고 및 고객 서비스 향상 3. 한국인체자원은행네트워크, 정보공유로 생명공학분야 경쟁력 제고 4. 분당 서울대병원, 임상의사결정지원 시스템 등 의료 IT시장 선도 [국내편] 5. DNA Link, 유전자 분석 시스템으로 맞춤형 건강 검진 서비스 제공 1. 한국석유공사, 국내 유가 예보 서비스를 통한 비즈니스 최적화 6. 연세대학교 의료원, 후(H∞H) 헬스 케어 시스템으로 양질의 의료 서비스 제공 2. 국민권익위원회, 민원정보분석 시스템을 통한 국민과 정부의 소통 활성화 3. 한국도로공사, 고객 목소리 분석 시스템을 통한 서비스 혁신 Ⅲ. 빅데이터로 희망하는 안전한 사회 4. 통계청, 임금근로일자리 통계로 일자리 현황 파악 지원 1. 싱가포르, 국가위험관리시스템을 통한 국가안전관리 5. 한국수자원공사, 스마트 워터 그리드를 기반으로 물 부족 현상 해결 2. FBI, 유전자 색인 시스템 활용한 단시간 범인 검거 체계 마련 6. 포스코, 원료가격의 효율적 구매를 통한 가격 경쟁력 제고 3. 샌프란시스코, 범죄 예방 시스템으로 안전 지역사회 구축 7. GS EPS, 전력시장 분석 시스템을 통한 전력시장 전망 및 분석 4. 싱가포르 출입국관리소, 통합적 정보분석으로 출입국 보안 및 국경 통제 강화 8. SK텔레콤, 소셜네트워크에서의 여론분석을 위한 스마트 인사이트 시스템 5. 일본, 다양한 센서 데이터를 활용한 재난대응 능력 강화 9. 현대·기아자동차, 문서 중앙화 시스템으로 통합적 기업 정보 관리 6. 위키리크스, 데이터 분석을 통한 효과적인 전술 제공 서비스 7. 서울시, 시민과 함께 만드는 실시간 폭우지도로 수해 예방 및 대책 마련 8. KSTEC, 보험사기 방지시스템으로 보험사기 방지 Ⅳ. 빅데이터로 소통하는 창의적 사회 1. “data.gov”, 시민의 자발적인 참여와 창의성을 기반으로 정책수립에 기여 2. 미국 미시간 주, 데이터웨어하우스 구축으로 공공서비스 질적 향상 3. 영국 패치베이, 국민참여형 안전관리 플랫폼 구현 4. 케냐 우샤히디, 집단지성으로 이루어진 재난관리 오픈소스 플랫폼 5. IBM 왓슨, 인공지능 슈퍼컴퓨터로 인류의 창조성과 혁신 촉진 6. 애플 시리, 지능형 음성인식을 통해 더 똑똑해지는 창의적 사고 가능 7. 프랑스, 시민 건강 보호를 위한 스마트폰 소음지도 작성 8. 새로운 과학적 발견 : 대형강입자충돌기를 이용한 힉스 입자 검출 9. 솔트룩스, 부산지식네트워크 시스템으로 체계적 인적 네트워크 마련 http://www.bigdataforum.or.kr/?Act=bbs&subAct=view&bid=report&seq=86 Page 15