ݺߣ

ݺߣShare a Scribd company logo
#news_SNA
Daemin PARK
Senior Researcher
Korea Press Foundation
heathe0@gmail.com
https://www.facebook.com/daeminpark77
https://brunch.co.kr/@daeminpark
/DaeminPark1
https://goo.gl/MvwMyK
뉴스 빅데이터의 개념
자연어처리 이론
빅카인즈 이용 데이터 수집
뉴스 자연어처리: 기사 수준, 인용문 수준
형태소분석
워드클라우드 시각화
이전 시간 내용과 과제
인용문 형태소 분석 결과:
미세먼지_인용문형태소_5주차_박대민.xlsx
워드잇아웃 이용 인용문 형태소, 주제어 시각화
미세먼지_워드잇아웃인용문주제어_5주차_박대민.png
미세먼지_워드잇아웃인용문주제어_5주차_박대민.png
기사, 정보원, 주제 기술통계
미세먼지_기사기술통계_5주차_박대민.xlsx
미세먼지_정보원기술통계_5주차_박대민.xlsx
미세먼지_주제기술통계_5주차_박대민.xlsx
News Big Data Analysis
Crawling Advanced NLP Customized SNA Discourse Analysis
- tokenization
- stemming
- stopword elimination
- tagging part of speech
- Indexing
- sentence boundary
recognition
- URL tagging
- co-occurrence analysis
- partial parsing
- named entity
recognition
- coreference resolution
- word sense
disambiguation
- classification
- clustering
- visualization
- data cleansing
- time series content analysis
- governmentalitiy studies
- projector
- file name standardizer
- edge list converter
- degree centrality
- periodic analysis
- degree exponent
- rank
- quote rank
- description
- Fragmentation
Park, D.M.(2016). Natural language processing of news articles: A case of ‘NewsSource beta’. Korean Communication Theory. 12(1). 4-52.
- crawler
- data aggregation
BigKinds
Semantic Net
Analyzer
의미연결망의 정의
체계-데이터-네트워크
체계
무기체계
→ 센서데이터
유기체계
→ 센서데이터
사회체계
→ 행동데이터
기호체계
→ 의미데이터
IoT
(지능형 센서 연결망)
사회연결망
의미연결망
의미 연결망의 정의
개체명(PLOT: 인명, 장소, 기관명, 특수용어), 직함, 직업명, 상품명, 주제 등
연관도(relevance): 공동출현, 유사도
결점(node)
연결(edge)
무방향 또는 양방향(undirected), 단방향(directed)방향(direct)
형태소 개념
결점: 형태소 vs. 개념
단어연결망 정보원 연결망
결점: 명사 vs. 정보원
인접 행렬
A2A1
1
2 3
1
4 5
2 3
1
4 5
뉴스 정보원 연결망 시각화와 해석
연결정도 중앙성 (degree centrality)
정의: 의미연결망: 연관 단어/문장/문서 수
(사회연결망: number of neighborhood)
해석: 연결정도 중앙성이 높을수록 연관 단어/문장/문서 수가 많다
(사회연결망: 이웃/친구가 많다)
41 1
1 1
5
4 4
44
척도 없는 연결망 (scale free network)
특징: 극도로 연결된 중심의 존재 + 한 번만 등장하는 주변부가 압도적 다수
조건 1: 선호적 연결(preferential attachment), 시간 압박(time pressure)
조건 2: 시간적 성장(결점, 연결), 성숙된 담론 → 빅데이터여야만 함
망언의 네트워크
검색어: ‘일본’ ‘망언’
분석매체: 동아일보, 한겨레, 경향신문, 한국일보, 문화일보, 국민일보, 서울신문, 세계일보
분석기간: 2005년 7월 1일-2015년 6월 30일
기사 수: 814건
분석유목: 인용문, 정보원 이름, 소속명, 소속 분류, 직함, 국적, 인용문 주제, 기사 주제, 망언 여부
수집 및 분석 프로그램: <뉴스소스 베타>, EXCEL, NETMINER, NETDRAW
자료 링크: https://goo.gl/03mYEI
분석대상
망언 26년 데이터 (기사)
망언 26년 데이터 (인용문)
기사량
기사량
주제연결망
주제연결망
뉴스 정보원 연결망: 망언의 네트워크
순위화: 논쟁적 정보원
뉴스 정보원-주제 연결망: 망언의 네트워크
뉴스 정보원-주제 연결망: 망언의 네트워크
참고자료
#news_big_data
다음 주 주제:
- 뉴스 정보원연결망 분석 실습
다음 주 읽을거리:
- 박대민(2013). 뉴스 기사의 빅데이터 분석 방법으로서 뉴스정보원연결망분석. <한국언론학보>, 57권 6호, 233-261.
과제
Ad

Recommended

PDF
7주차 뉴스 정보원 연결망 분석
Daemin Park
PDF
9주차 뉴스 주제 연결망 분석
Daemin Park
PDF
5주차 인용문 수준의 뉴스 자연어처리와 시각화
Daemin Park
PDF
10주차 뉴스 정보원-주제 연결망 분석
Daemin Park
PDF
11주차 뉴스 중심어 연결망 분석
Daemin Park
PDF
4주차 뉴스 기사 수준의 자연어처리와 시각화
Daemin Park
PDF
13주차 뉴스 빅데이터 기반 저널리즘 연구
Daemin Park
PDF
News Keyword Centric Network
Daemin Park
PDF
News Big Data Analytics with 'Big Kinds'
Daemin Park
PDF
Newspapers 26 years: the history of newspapers by visualizing 3.1 million new...
Daemin Park
PDF
How to do things with 'BigKinds'
Daemin Park
PPTX
빅데이터 기술을 활용한 뉴스 큐레이션 서비스 - 온병원
datasciencekorea
PDF
Automated discourse analysis with BigKinds and Semantic Network Analyzer
Daemin Park
PDF
뉴스의 미래, 뉴스 빅데이터의 혁신
Daemin Park
PDF
Natural language processing of News (intermediate): rule based model
Daemin Park
PDF
News Big Data Analysis - Review
Daemin Park
PDF
News Big Data Analytics
Daemin Park
PPTX
News Big Data Analytics 101
Daemin Park
PPTX
데이터저널리즘과 선거 웹보메트릭스연구사례(24 oc2011)
Han Woo PARK
PDF
News Semantic Network Analysis of Named Entities
Daemin Park
PDF
1주차: 뉴스 빅데이터 기반 저널리즘 연구 수업 개요
Daemin Park
PPTX
고려대 교육정보서비스 시스템 4-5주
JM code group
PDF
2주차: 뉴스 빅데이터 분석을 위한 자연어처리 이론
Daemin Park
PDF
News Media Network Analysis: Comparing Media Systems Mathematically
Daemin Park
PPTX
사이버컴과 네트워크분석 7주차 2
Han Woo PARK
PPTX
박한우 교수 프로파일 (31 oct2017)
Han Woo PARK
PPTX
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
Han Woo PARK
PDF
NS-CUK WS on AI Ethics 2022: Lecture 05 - How does the advent of AI and robot...
Network Science Lab, The Catholic University of Korea
PDF
8 week: Technology of Platformless Media Blockchain
Daemin Park
PDF
7주차: 플랫폼리스 미디어 블록체인 모형
Daemin Park

More Related Content

Similar to 6주차 의미 연결망 분석 이론 (20)

PDF
News Big Data Analytics with 'Big Kinds'
Daemin Park
PDF
Newspapers 26 years: the history of newspapers by visualizing 3.1 million new...
Daemin Park
PDF
How to do things with 'BigKinds'
Daemin Park
PPTX
빅데이터 기술을 활용한 뉴스 큐레이션 서비스 - 온병원
datasciencekorea
PDF
Automated discourse analysis with BigKinds and Semantic Network Analyzer
Daemin Park
PDF
뉴스의 미래, 뉴스 빅데이터의 혁신
Daemin Park
PDF
Natural language processing of News (intermediate): rule based model
Daemin Park
PDF
News Big Data Analysis - Review
Daemin Park
PDF
News Big Data Analytics
Daemin Park
PPTX
News Big Data Analytics 101
Daemin Park
PPTX
데이터저널리즘과 선거 웹보메트릭스연구사례(24 oc2011)
Han Woo PARK
PDF
News Semantic Network Analysis of Named Entities
Daemin Park
PDF
1주차: 뉴스 빅데이터 기반 저널리즘 연구 수업 개요
Daemin Park
PPTX
고려대 교육정보서비스 시스템 4-5주
JM code group
PDF
2주차: 뉴스 빅데이터 분석을 위한 자연어처리 이론
Daemin Park
PDF
News Media Network Analysis: Comparing Media Systems Mathematically
Daemin Park
PPTX
사이버컴과 네트워크분석 7주차 2
Han Woo PARK
PPTX
박한우 교수 프로파일 (31 oct2017)
Han Woo PARK
PPTX
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
Han Woo PARK
PDF
NS-CUK WS on AI Ethics 2022: Lecture 05 - How does the advent of AI and robot...
Network Science Lab, The Catholic University of Korea
News Big Data Analytics with 'Big Kinds'
Daemin Park
Newspapers 26 years: the history of newspapers by visualizing 3.1 million new...
Daemin Park
How to do things with 'BigKinds'
Daemin Park
빅데이터 기술을 활용한 뉴스 큐레이션 서비스 - 온병원
datasciencekorea
Automated discourse analysis with BigKinds and Semantic Network Analyzer
Daemin Park
뉴스의 미래, 뉴스 빅데이터의 혁신
Daemin Park
Natural language processing of News (intermediate): rule based model
Daemin Park
News Big Data Analysis - Review
Daemin Park
News Big Data Analytics
Daemin Park
News Big Data Analytics 101
Daemin Park
데이터저널리즘과 선거 웹보메트릭스연구사례(24 oc2011)
Han Woo PARK
News Semantic Network Analysis of Named Entities
Daemin Park
1주차: 뉴스 빅데이터 기반 저널리즘 연구 수업 개요
Daemin Park
고려대 교육정보서비스 시스템 4-5주
JM code group
2주차: 뉴스 빅데이터 분석을 위한 자연어처리 이론
Daemin Park
News Media Network Analysis: Comparing Media Systems Mathematically
Daemin Park
사이버컴과 네트워크분석 7주차 2
Han Woo PARK
박한우 교수 프로파일 (31 oct2017)
Han Woo PARK
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
Han Woo PARK
NS-CUK WS on AI Ethics 2022: Lecture 05 - How does the advent of AI and robot...
Network Science Lab, The Catholic University of Korea

More from Daemin Park (19)

PDF
8 week: Technology of Platformless Media Blockchain
Daemin Park
PDF
7주차: 플랫폼리스 미디어 블록체인 모형
Daemin Park
PDF
Steemit and Governance for Creators (2019-S: Media Blockchain)
Daemin Park
PDF
6 week: Cryptoeconomics over the mechanism design (2019-S: Media Blockchain)
Daemin Park
PDF
4주차: 플랫폼리스 미디어 블록체인
Daemin Park
PDF
Platformless Mediablockchain (2019-S: Media Blockchain)
Daemin Park
PDF
Media Innovation Ecosystem (2019-S: Media Blockchain)
Daemin Park
PDF
세션 3-2: 도시에도 OS가 필요하다 (홍주석)
Daemin Park
PDF
세션 3-3 로컬 크리에이터, 힙스터인가 혁신가인가 (김혁주)
Daemin Park
PDF
세션 3-1: 지역방송의 크로스미디어 전략 (하현제)
Daemin Park
PDF
세션 2-2: 블록체인 기반 미디어 유통을 위한 메타데이터 표준의 중요성 (박춘원)
Daemin Park
PDF
세션 2-3: 블록체인이 콘텐츠 딜리버리 시스템에 미치는 영향과 그 변화에 관하여 (남현우)
Daemin Park
PDF
세션 2-4: 자유 없는 블록체인은 디스토피아의 BIG (BR)Other (유성훈)
Daemin Park
PDF
세션 1-1: 블록체인 환경에서 미디어의 미래전략연구(김상호)
Daemin Park
PDF
3주차: 빅카인즈의 이용과 전처리
Daemin Park
PDF
김혁주: 로컬 코워킹 스페이스 (미디어스타트업 연구회)
Daemin Park
PDF
이성규: 뉴스 스타트업 생태계의 선순환을 위한 조건 (미디어스타트업 연구회)
Daemin Park
PDF
박춘원: 보헤미안 랩소디와 블록체인 기반 미디어 기술 발전 방향 (미디어스타트업 연구회)
Daemin Park
PDF
Understanding Media Startups: Fundraising & Investing
Daemin Park
8 week: Technology of Platformless Media Blockchain
Daemin Park
7주차: 플랫폼리스 미디어 블록체인 모형
Daemin Park
Steemit and Governance for Creators (2019-S: Media Blockchain)
Daemin Park
6 week: Cryptoeconomics over the mechanism design (2019-S: Media Blockchain)
Daemin Park
4주차: 플랫폼리스 미디어 블록체인
Daemin Park
Platformless Mediablockchain (2019-S: Media Blockchain)
Daemin Park
Media Innovation Ecosystem (2019-S: Media Blockchain)
Daemin Park
세션 3-2: 도시에도 OS가 필요하다 (홍주석)
Daemin Park
세션 3-3 로컬 크리에이터, 힙스터인가 혁신가인가 (김혁주)
Daemin Park
세션 3-1: 지역방송의 크로스미디어 전략 (하현제)
Daemin Park
세션 2-2: 블록체인 기반 미디어 유통을 위한 메타데이터 표준의 중요성 (박춘원)
Daemin Park
세션 2-3: 블록체인이 콘텐츠 딜리버리 시스템에 미치는 영향과 그 변화에 관하여 (남현우)
Daemin Park
세션 2-4: 자유 없는 블록체인은 디스토피아의 BIG (BR)Other (유성훈)
Daemin Park
세션 1-1: 블록체인 환경에서 미디어의 미래전략연구(김상호)
Daemin Park
3주차: 빅카인즈의 이용과 전처리
Daemin Park
김혁주: 로컬 코워킹 스페이스 (미디어스타트업 연구회)
Daemin Park
이성규: 뉴스 스타트업 생태계의 선순환을 위한 조건 (미디어스타트업 연구회)
Daemin Park
박춘원: 보헤미안 랩소디와 블록체인 기반 미디어 기술 발전 방향 (미디어스타트업 연구회)
Daemin Park
Understanding Media Startups: Fundraising & Investing
Daemin Park
Ad

6주차 의미 연결망 분석 이론

  • 1. #news_SNA Daemin PARK Senior Researcher Korea Press Foundation heathe0@gmail.com https://www.facebook.com/daeminpark77 https://brunch.co.kr/@daeminpark /DaeminPark1 https://goo.gl/MvwMyK
  • 2. 뉴스 빅데이터의 개념 자연어처리 이론 빅카인즈 이용 데이터 수집 뉴스 자연어처리: 기사 수준, 인용문 수준 형태소분석 워드클라우드 시각화 이전 시간 내용과 과제 인용문 형태소 분석 결과: 미세먼지_인용문형태소_5주차_박대민.xlsx 워드잇아웃 이용 인용문 형태소, 주제어 시각화 미세먼지_워드잇아웃인용문주제어_5주차_박대민.png 미세먼지_워드잇아웃인용문주제어_5주차_박대민.png 기사, 정보원, 주제 기술통계 미세먼지_기사기술통계_5주차_박대민.xlsx 미세먼지_정보원기술통계_5주차_박대민.xlsx 미세먼지_주제기술통계_5주차_박대민.xlsx
  • 3. News Big Data Analysis Crawling Advanced NLP Customized SNA Discourse Analysis - tokenization - stemming - stopword elimination - tagging part of speech - Indexing - sentence boundary recognition - URL tagging - co-occurrence analysis - partial parsing - named entity recognition - coreference resolution - word sense disambiguation - classification - clustering - visualization - data cleansing - time series content analysis - governmentalitiy studies - projector - file name standardizer - edge list converter - degree centrality - periodic analysis - degree exponent - rank - quote rank - description - Fragmentation Park, D.M.(2016). Natural language processing of news articles: A case of ‘NewsSource beta’. Korean Communication Theory. 12(1). 4-52. - crawler - data aggregation BigKinds Semantic Net Analyzer
  • 5. 체계-데이터-네트워크 체계 무기체계 → 센서데이터 유기체계 → 센서데이터 사회체계 → 행동데이터 기호체계 → 의미데이터 IoT (지능형 센서 연결망) 사회연결망 의미연결망
  • 6. 의미 연결망의 정의 개체명(PLOT: 인명, 장소, 기관명, 특수용어), 직함, 직업명, 상품명, 주제 등 연관도(relevance): 공동출현, 유사도 결점(node) 연결(edge) 무방향 또는 양방향(undirected), 단방향(directed)방향(direct)
  • 10. A2A1 1 2 3 1 4 5 2 3 1 4 5 뉴스 정보원 연결망 시각화와 해석
  • 11. 연결정도 중앙성 (degree centrality) 정의: 의미연결망: 연관 단어/문장/문서 수 (사회연결망: number of neighborhood) 해석: 연결정도 중앙성이 높을수록 연관 단어/문장/문서 수가 많다 (사회연결망: 이웃/친구가 많다) 41 1 1 1 5 4 4 44
  • 12. 척도 없는 연결망 (scale free network) 특징: 극도로 연결된 중심의 존재 + 한 번만 등장하는 주변부가 압도적 다수 조건 1: 선호적 연결(preferential attachment), 시간 압박(time pressure) 조건 2: 시간적 성장(결점, 연결), 성숙된 담론 → 빅데이터여야만 함
  • 14. 검색어: ‘일본’ ‘망언’ 분석매체: 동아일보, 한겨레, 경향신문, 한국일보, 문화일보, 국민일보, 서울신문, 세계일보 분석기간: 2005년 7월 1일-2015년 6월 30일 기사 수: 814건 분석유목: 인용문, 정보원 이름, 소속명, 소속 분류, 직함, 국적, 인용문 주제, 기사 주제, 망언 여부 수집 및 분석 프로그램: <뉴스소스 베타>, EXCEL, NETMINER, NETDRAW 자료 링크: https://goo.gl/03mYEI 분석대상
  • 16. 망언 26년 데이터 (인용문)
  • 21. 뉴스 정보원 연결망: 망언의 네트워크
  • 23. 뉴스 정보원-주제 연결망: 망언의 네트워크
  • 24. 뉴스 정보원-주제 연결망: 망언의 네트워크
  • 26. #news_big_data 다음 주 주제: - 뉴스 정보원연결망 분석 실습 다음 주 읽을거리: - 박대민(2013). 뉴스 기사의 빅데이터 분석 방법으로서 뉴스정보원연결망분석. <한국언론학보>, 57권 6호, 233-261. 과제