[코세나, kosena] 빅데이터 구축 및 제안 가이드kosena빅데이터 구축 및 술루션 가이드 주요 내용
- 고객 내부 빅데이터 로젝트 진행시 단계별 진행 가이드
- 빅데이터 로젝트 구축 타입
- 각 산업분야별로 빅데이터 엔진을 활용한 솔루션 구축 가이드
(딥 러닝 기법 기반의 분석 포함)
코세나(kosena), 이승훈 실장 admin@kosena.kr, kosena21@naver.com
010-9338-6400
AWS re:Invent 특집(3) – Amazon 인공 지능(AI) 서비스 및 AWS 딥러닝 프레임웍 활용 (윤석찬)Amazon Web Services Korea인공 지능(AI) 기술의 발전은 새로운 서비스와 비지니스 혁신의 도구가 되고 있습니다. 본 강연에서는 AWS 클라우드 혁신이 인공 지능 기술을 활용하려는 개발자에게 어떤 의미를 주고 있으며, 이에 대한 아마존 사례 및 클라우드를 활용한 연구 개발 방법론에 대해 자세히 알아보고자 합니다. 이를 위해 아마존닷컴의 머신 러닝 기반 추천 엔진 및 물류 창고의 KIVA 로봇 활용 사례, 아마존 에코를 통한 알렉사 음성 인식 서비스의 데모와 함께 딥러닝(Deep Learning) 연구를 위한 AWS 컴퓨팅 P2 인스턴스 및 전용 AMI를 통한 MXNet 라이브러리 등을 소개합니다. 특히, AWS re:Invent에서 새로 출시한 Amazon Lex, Polly 및 Rekognition 등 클라우드 인공 지능 서비스를 소개하고 사용하는 방법을 안내해 드립니다.
[AWS Innovate 온라인 컨퍼런스] Amazon Personalize를 통한 개인화 추천 기능 실전 구현하기 - 최원근, AWS 솔...Amazon Web Services Korea발표자료 다시보기: https://youtu.be/npwFUT6XO18
Amazon Personalize는 Amazon.com에서 20년 이상 추천/개인화를 제공해 온 경험을 바탕으로, 회사가 권장 사항, 검색 결과, 이메일 캠페인및 알림과 같은 개인화 된 경험을 제공하도록 돕는 완전 관리 형 서비스입니다. 본 세션에서는 기계 학습에 대한 지식 없이도 개인화 및 추천 기능을 도입하고 싶을때, 현장에서 충분히 활용 가능한 Amazon Personalize를 상세하게 알아보고 이를 활용한 간단한 데모를 통해 실제 활용 예시를 살펴보겠습니다.
Big Data Analytics and Data MiningSuHyun Jeonhttp://onoffmix.com/event/19596
2013.10.10(목) '빅 데이터 활용을 위한 오픈소스 프레임워크 기술 세미나'에 중
'빅데이터 분석 알고리즘 소개 및 사례' 대한 발표자료입니다.
"Dataset and metrics for predicting local visible differences" Paper ReviewLEE HOSEONG"Dataset and metrics for predicting local visible differences, 2018 SIGGPRAH" Paper Review
Google analytics in businessTae Young Lee제1회 DataGeeks(디긱스) 오픈세미나 발표자료
주제 : 데이터 분석과 활용
Google Analytics (이태영) - 모바일과 웹 비즈니스 분석을 위한 Google Analytics 활용
일시 : 12월 13일(토) 오후 13:30 ~ 17:30
장소 : 신논현역(9호선) 1번출구 2분 이내 데브기어 강의장
제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [카페 어디가?팀] : 카페 및 장소 추천 서비스BOAZ Bigdata카페 어디가? 팀은 서울시 내에 존재하는 많은 지하철 역을 중심으로 사용자에게 카페를 추천합니다.
14기 고해지
15기 이재철 김서영 서현택 정예림 정하원
Recommendation System HistoryTae Young LeeCourse Overview:
This course offers a comprehensive exploration of recommender systems, focusing on both theoretical foundations and practical applications. Through a combination of lectures, hands-on exercises, and real-world case studies, you will gain a deep understanding of the key principles, methodologies, and evaluation techniques that drive effective recommendation algorithms.
Course Objectives:
Acquire a solid understanding of recommender systems, including their significance and impact in various domains.
Explore different types of recommendation algorithms, such as collaborative filtering, content-based filtering, and hybrid approaches.
Study cutting-edge techniques, including deep learning, matrix factorization, and graph-based methods, for enhanced recommendation accuracy.
Gain hands-on experience with popular recommendation frameworks and libraries, and learn how to implement and evaluate recommendation models.
Investigate advanced topics in recommender systems, such as fairness, diversity, and explainability, and their ethical implications.
Analyze and discuss real-world case studies and research papers to gain insights into the challenges and future directions of recommender systems.
Course Structure:
Introduction to Recommender Systems
Collaborative Filtering Techniques
Content-Based Filtering and Hybrid Approaches
Matrix Factorization Methods
Deep Learning for Recommender Systems
Graph-Based Recommendation Approaches
Evaluation Metrics and Experimental Design
Ethical Considerations in Recommender Systems
Fairness, Diversity, and Explainability in Recommendations
Case Studies and Research Trends
Course Delivery:
The course will be delivered through a combination of lectures, interactive discussions, hands-on coding exercises, and group projects. You will have access to state-of-the-art resources, including relevant research papers, datasets, and software tools, to enhance your learning experience.
Ec music gistJong MIn YuThis document discusses automatic evolutionary music composition using genetic algorithms. It introduces algorithmic composition and evolutionary music composition. Various genetic representations and operators for melody are presented, including representing notes as values and using crossover and mutation. Fitness evaluation is discussed, noting it can consider multiple objectives like stability and tension. An interactive system is described that gets user input on fitness. Finally, examples of experiments evolving 4 and 16 bar melodies under a multi-objective genetic algorithm are shown.
Parkinsmism involved in basal ganglia circuitJong MIn YuThis document discusses Parkinsonism and the basal ganglia circuit approach. It begins with an introduction that defines Parkinsonism as a neurological syndrome characterized by tremors, hypokinesia, rigidity, and postural instability. It affects both motor and non-motor functions and generally impacts older populations. The pathology section explains that the cause is unclear but involves the progressive loss of dopamine-producing brain cells in the substantia nigra, which reduces dopamine in the basal ganglia. The approach to basal ganglia circuit aspect section looks at the normal basal ganglia circuitry and how it is impacted in Parkinson's disease.
Big Data Analytics and Data MiningSuHyun Jeonhttp://onoffmix.com/event/19596
2013.10.10(목) '빅 데이터 활용을 위한 오픈소스 프레임워크 기술 세미나'에 중
'빅데이터 분석 알고리즘 소개 및 사례' 대한 발표자료입니다.
"Dataset and metrics for predicting local visible differences" Paper ReviewLEE HOSEONG"Dataset and metrics for predicting local visible differences, 2018 SIGGPRAH" Paper Review
Google analytics in businessTae Young Lee제1회 DataGeeks(디긱스) 오픈세미나 발표자료
주제 : 데이터 분석과 활용
Google Analytics (이태영) - 모바일과 웹 비즈니스 분석을 위한 Google Analytics 활용
일시 : 12월 13일(토) 오후 13:30 ~ 17:30
장소 : 신논현역(9호선) 1번출구 2분 이내 데브기어 강의장
제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [카페 어디가?팀] : 카페 및 장소 추천 서비스BOAZ Bigdata카페 어디가? 팀은 서울시 내에 존재하는 많은 지하철 역을 중심으로 사용자에게 카페를 추천합니다.
14기 고해지
15기 이재철 김서영 서현택 정예림 정하원
Recommendation System HistoryTae Young LeeCourse Overview:
This course offers a comprehensive exploration of recommender systems, focusing on both theoretical foundations and practical applications. Through a combination of lectures, hands-on exercises, and real-world case studies, you will gain a deep understanding of the key principles, methodologies, and evaluation techniques that drive effective recommendation algorithms.
Course Objectives:
Acquire a solid understanding of recommender systems, including their significance and impact in various domains.
Explore different types of recommendation algorithms, such as collaborative filtering, content-based filtering, and hybrid approaches.
Study cutting-edge techniques, including deep learning, matrix factorization, and graph-based methods, for enhanced recommendation accuracy.
Gain hands-on experience with popular recommendation frameworks and libraries, and learn how to implement and evaluate recommendation models.
Investigate advanced topics in recommender systems, such as fairness, diversity, and explainability, and their ethical implications.
Analyze and discuss real-world case studies and research papers to gain insights into the challenges and future directions of recommender systems.
Course Structure:
Introduction to Recommender Systems
Collaborative Filtering Techniques
Content-Based Filtering and Hybrid Approaches
Matrix Factorization Methods
Deep Learning for Recommender Systems
Graph-Based Recommendation Approaches
Evaluation Metrics and Experimental Design
Ethical Considerations in Recommender Systems
Fairness, Diversity, and Explainability in Recommendations
Case Studies and Research Trends
Course Delivery:
The course will be delivered through a combination of lectures, interactive discussions, hands-on coding exercises, and group projects. You will have access to state-of-the-art resources, including relevant research papers, datasets, and software tools, to enhance your learning experience.
Ec music gistJong MIn YuThis document discusses automatic evolutionary music composition using genetic algorithms. It introduces algorithmic composition and evolutionary music composition. Various genetic representations and operators for melody are presented, including representing notes as values and using crossover and mutation. Fitness evaluation is discussed, noting it can consider multiple objectives like stability and tension. An interactive system is described that gets user input on fitness. Finally, examples of experiments evolving 4 and 16 bar melodies under a multi-objective genetic algorithm are shown.
Parkinsmism involved in basal ganglia circuitJong MIn YuThis document discusses Parkinsonism and the basal ganglia circuit approach. It begins with an introduction that defines Parkinsonism as a neurological syndrome characterized by tremors, hypokinesia, rigidity, and postural instability. It affects both motor and non-motor functions and generally impacts older populations. The pathology section explains that the cause is unclear but involves the progressive loss of dopamine-producing brain cells in the substantia nigra, which reduces dopamine in the basal ganglia. The approach to basal ganglia circuit aspect section looks at the normal basal ganglia circuitry and how it is impacted in Parkinson's disease.
Blood vessels of brain (2)Jong MIn YuThe document describes the major blood vessels that supply the brain. The common carotid arteries and vertebro-basilar arteries provide oxygenated blood to the head and neck. These vessels form a circle known as the Circle of Willis at the base of the brain, which allows for collateral blood flow if one portion of the circle is blocked. The main arteries that branch off from the circle include the anterior cerebral artery, middle cerebral artery, and posterior cerebral artery, each supplying different regions of the brain. The lenticulostriate arteries are also described as smaller deep penetrating vessels.
Declarative memoryJong MIn YuThis document discusses declarative memory, which includes both episodic and semantic memory. It defines declarative memory as factual knowledge and memories of past events that are encoded by the hippocampus, entorhinal cortex, and perirhinal cortex. Episodic memory refers to autobiographical memories of specific events and experiences, while semantic memory involves general factual knowledge. The document also discusses the HM case of a patient with amnesia following removal of parts of the hippocampus, and how this case contributed to understanding the brain regions involved in memory formation.
2012 3 qp_hybrid algorithm optimization with artificial intelligence Jong MIn Yu
ϼ지롵ӧ&;추천로세스갵ӄ
2. • 로젝트 명
Outdoor Adventure ver.0.0.0
• 로젝트 주제
인공지능의 전문가 시스템의 알고리즘 논리 중 하나인 Fuzzy logic 을 이용하여 사용자
만족도를 최대화 할 수 있는 인공지능 알고리즘을 갖춘 여행자 도우미 Application 을
제작하도록 한다.
• 로젝트 기간
2012년 11월 02일 ~ 2012년 12월 7일
• 로젝트 참여 인원 - 1명
200902743 유종민 – 주제 전문가, 지식 공학자
• 개발 소요 기간
2012년 11월 4일 ~ 2012년 12월 3일(Deadline : 6일) – 총 29일
3. Contents
S. Problem Definition
2. Solution
3. OA-Application Outline
4. OA-User Interface
5. OA-Core functions
6. Reference
F. Preview
14. 1. 변수 모델링
• 추상적 수치 변수
example : 가격, 만족도
범위가 다양하기 때문에 최적화 시 이상값(outlier) 판단 기준이 없기 때문에 이상값도
모델링 가능해야 함.
• 물리적 측정 변수
예 : 거리, size
객관적 데이터가 존재, 관련 함수로 근사
• 추상적 문자 변수
예 : 테마, 장르
Clustering 을 통해 중심과의 거리 등을 기준으로 하여 가중치
적용.
15. • 추상적 수치 변수
example : 가격, 만족도
범위가 다양하기 때문에 최적화 시 이상값(outlier) 판단 기준이 없기 때문에 이상값도
모델링 가능해야 함.
전제 : 사용자의 만족도 수치는, 기준이 되는 점에서부
터 수치적으로 떨어진 거리(b-p) 를 기준으로 반지름을
하는 원® 에 대하여, 반지름의 제곱(R^2) 만큼의 상대
적인 차이를 보임.
즉 사용자는 자신이 입력한 수치에 근접한 상품에
대해서는 만족도의 감소 속도가 비교적 낮으나, 자신이
입력한 수치에서 멀어질수록 만족도가 급격하게
하락하는 경향을 보이며 이는 사용자가 입력한 임의의
값 c를 최고점으로 하는 음의 기울기를 가진 2차
함수로 나타낼 수 있음
단 사용자가 입력한 값보다 2배 이상 큰 값은 Outlier 으로 판단하여 무시.
단
16. • 물리적 측정 변수
예 : 거리, size
객관적 데이터가 존재, 관련 함수로 근사
‘거리’를 예로 들어, 상용자가 반경 500m 라고 데이터를 입력 하였을 때, 사용자를
기준으로 500m내의
1. 모든 타깃에 대해서는 거리 부분의 최적화 수치를 1.0로 할당 할 것인가?
2. 사용자를 기준으로 하여 500m 까지는 만족도 감소 속도를 느리게 설정하고
500m 이상 부터는 급격하게 하락시킬 것인가?
단
17. • 추상적 문자 변수
예 : 테마, 장르
Clustering 을 통해 중심과의 거리 등을 기준으로 하여 가중치 적용.
상식적인 선에서 Clustering 한 후, Brainstorming 을 통해 Mind Map 형식으로
나타낸 후 기준점으로부터 Edge 의 개수를 기준으로 가중치를 설정함.
테마 주제와의 거리 값
박물관 탐사 0 (사용자 입력) 1.0
고궁 답사 1 0.9
민속촌 답사 2 0.8
캠핑 7 0.3
단
18. 2. 만족도 판단 알고리즘
인간의 만족도 곡선은 자신이 입력한
수치에서 조금 더 맞지 않을 때
심리적으로 더 안정감을 가진다는
연구 결과 (상품가치, 서비스품질, 쇼핑몰이미지가
고객만족 및 애호도에 미치는 영향
박명호 - 대한경영학회지)
• 이는 수학적 도식화 할 경우 으로
4차 다항식과 유사
y = ((1.0 - ((c-x)/c)^4)+a0(i)*x+a1(i))+100;
c : 사용자 입력 변수에 대한 지정 함수 처리 후 취합.
x : DB로부터 받아온 상품 데이터에 대한 지정 함수 처리 후 취합
a0: 함수 최적화 상수 1 – 통계와 시뮬레이션에 근거하여 정의, (사전에 정의되어 있음)
a1 : 함수 최적화 상수 2 – 통계와 시뮬레이션에 근거하여 정의 (사전에 정의되어 있음)
19. 사용자가
사용자 입력에
지정해놓은 상품에 Data translation 대한 데이터 전송
대한 변수를 입력
User
Data base
Product data set down
1. 사용자 입력을 받은 후, 각 변수의 특성을 고려하여 시스템에
적용할 수 있도록 모델링.
2. 모델링 된 단일 변수를 만족도 판단 알고리즘에 적용하여 퍼지
함수 생성
3. DB 에서 데이터를 전송받은 후, 퍼지 함수를 통해 만족도 계산
알고리즘을
Display
통한 최적화
Contents User
Client system
21. 관광지에 관련된 사용자의 입력을 퍼지 전문가 시스템을 통해 계산 하여
Open API 를 통해 데이터 베이스에서 받아온 Data 를 최적화 한 후
사용자에게 Display 해주는 Application
22. 사용자가 어느 변수에 중점을 둘 것인가?
가중치를 사용한 3가지 최적화를 제공
• 가격 만족도 최적화
입력된 가격에 최적화 된 여행 상품을 우선적으로 검색한다.
• 거리 만족도 최적화
입력된 거리에 최적화 된 여행 상품을 우선적으로 검색한다.
• 테마 만족도 최적화
선택된 테마(흥분도, 여행 주제)에 최적화 된 상품을 우선적으로 검색
한다.
유형 가격 최적화 거리 최적화 테마 최적화
비율 C(Co R(Ran T(The C(Co R(Ran T(The C(Co R(Ra T(The
st) ge) ma) st) ge) ma) st) nge) ma)
집중 0.8 0.1 0.1 0.2 0.7 0.1 0.1 0.1 0.8
균형 0.5 0.2 0.3 0.3 0.5 0.2 0.2 0.2 0.6
일반 0.6 0.2 0.2 0.2 0.6 0.2 0.3 0.2 0.5
26. 1. 데이터 처리 및 출력
1. 사용자에게 별도의 입력 없이 사용자의 입력이 없는
상태에서 무작위로 여행 상품을 출력하는 기능
2. 사용자가 입력한 데이터를 기반으로 퍼지 알고리즘을
사용하여 사용자의 만족도를 최적화 할 수 있는
여행상품을 보여주는 기능.
사용자 입력에 최적화된 관광지 검색 결과 제공
31. Reference
"ACM Computing Classification System: Artificial intelligence". ACM. 1998. Retrieved 30 August 2007.
Aleksander, Igor (1995). Artificial Neuroconsciousness: An Update. IWANN. Archived from the original on 2 March
1997. BibTex Internet Archive
Brooks, Rodney (1990). "Elephants Don't Play Chess" (PDF). Robotics and Autonomous Systems 6: 3–
15.doi:10.1016/S0921-8890(05)80025-9. Archived from the original on 9 August 2007. Retrieved 30 August 2007..
Buchanan, Bruce G. (2005). "A (Very) Brief History of Artificial Intelligence" (PDF). AI Magazine: 53–60. Archivedfrom
the original on 26 September 2007. Retrieved 30 August 2007.
Dennett, Daniel (1991). Consciousness Explained. The Penguin Press. ISBN 0-7139-9037-6.
Dreyfus, Hubert (1972). What Computers Can't Do. New York: MIT Press. ISBN 0-06-011082-1.
↑ A Logical Calculus of the Ideas Immanent in Nervous Activity ,Warren McCulloch, 1943
↑ On Computing Machinery and Intelligence, Alan Turing,1950
↑Man-Computer Symbiosis ,J.C.R. Licklider
↑ Minds, Machines and Gödel ,John Lucas ,1961
↑ Minds, Machines and Gödel
↑ 대한민국 IT포털의 중심! 이티뉴스
↑[디지털컬처]로봇과 메신저로 대화 :: 네이버 뉴스
↑http://www.wired.com/wired/archive/10.03/everywhere.html It's alive