![[ Pycon Korea 2017 ] Infrastructure as Code를위한 Ansible 활용](https://cdn.slidesharecdn.com/ss_thumbnails/pycon2017iacansible-170811160817-thumbnail.jpg?width=560&fit=bounds)
![[자바카페] Infra CI (2018)](https://cdn.slidesharecdn.com/ss_thumbnails/infraci-190419125511-thumbnail.jpg?width=560&fit=bounds)
![[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)](https://cdn.slidesharecdn.com/ss_thumbnails/ndc2018-2-180430180517-thumbnail.jpg?width=560&fit=bounds)
![[NDC17] 왓 스튜디오 서비스파트](https://cdn.slidesharecdn.com/ss_thumbnails/random-170427100335-thumbnail.jpg?width=560&fit=bounds)
![[Tool] cwb cqp](https://cdn.slidesharecdn.com/ss_thumbnails/171229cwbcqp-190321055558-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to PyCon Korea 2017 - 케이블 영화 채널 편성표 수집 - MovieScheduler (20)
![[NDC18] 만들고 붓고 부수고 - 〈야생의 땅: 듀랑고〉 서버 관리 배포 이야기](https://cdn.slidesharecdn.com/ss_thumbnails/ndc18-180429152609-thumbnail.jpg?width=560&fit=bounds)
![[231]나는서버를썰터이니너는개발만하여라 양지욱](https://cdn.slidesharecdn.com/ss_thumbnails/231-161025004555-thumbnail.jpg?width=560&fit=bounds)
PyCon Korea 2017 - 케이블 영화 채널 편성표 수집 - MovieScheduler
- 1. 케이블 영화 채널 편성표 수집 MovieScheduler 박윤곤
- 2. 케이블 영화 채널 편성표 수집 MovieScheduler 박윤곤 hahafree12@gmail.com
- 3. 자기소개 2014.01 ~ 2016.12 유비쿼스 2016.12 ~ 2017.05 2017.05 ~ KERIS (인턴)
- 4. 문제의 시작
- 5. 휴식기에 한 일들
- 6. 영화를 보는 방법 케이블 TV (영화 채널, VOD)
- 7. 케이블 TV 영화 채널의 특성 • 언제든지 영화 시청 가능 • 수신료를 제외하면, 별도의 비용 없음 (단, 유료 채널 제외) • 중간광고 • 원하는 영화의 방송 여부를 확인하기 번거로움
- 8. 케이블 영화 채널의 편성표 수집 내가 원하는 채널의 편성표만 확인
- 9. 편성표 수집
- 10. 우리 동네의 케이블 영화 채널은?
- 11. 편성표에 문제가 있어요!
- 12. 그래서, 이정도만 해 보겠습니다.
- 13. 매일 새벽, 편성표 수집 Django Redis Celery (Beat) Postgre SQL
- 14. Celery • an asynchronous task queue/job queue based on distributed message passing. • Celery Beat: 스케줄러 • 특정한 간격으로 • 특정 요일 및 시간에 • 대안: APScheduler
- 15. Django + Celery • Celery documentation: First steps with Django • 디렉터리 구조 Project directory App directory
- 16. movie_scheduler/celery.py • Celery 인스턴스를 정의니다.
- 17. movie_scheduler/__init__.py • Django가 시작할 때 Celery 인스턴스를 로드 합니다.
- 18. scheduler_core/tasks.py • 수행하고 싶은 작업을 넣어 줍니다. Full Source
- 19. Django + Celery Beat • Celery documentation: Periodic Tasks • 특정 시간에 수행될 작업을 설정합시다. Full Source
- 20. Redis • Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. • Task를 worker에게 전달합니다. • 대안: RabbitMQ, Amazon SQS
- 21. Redis: 설치에서 적용까지 • 받아서 → 압축 해제 → make → redis-server • 환경 변수 설정 • movie_scheduler/celery.py $ export REDIS_URL=redis:// Full Source
- 22. Django + Celery Beat + Redis • Django에서 Celery를 쓰기 위한 준비가 끝났습니다. • Celery Beat + Worker 실행 (이 방법이 권장됨) • 이런 방법도 있습니다. $ celery -A movie_scheduler beat $ celery -A movie_scheduler worker $ celery -A movie_scheduler worker -B
- 23. CJ E&M 계열 채널 편성표 수집 Requests로 가져오고, BeautifulSoup로 Parsing Full Source
- 24. CJ E&M 계열 채널 편성표 수집
- 25. t.cast 계열 채널 편성표 수집 다음 주 편성표로 넘어가려면?
- 26. 네이버의 검색 결과를 parsing? requests 라이브러리로 가져오려고 시도했으나…
- 27. 관련된 API가 있나요?
- 28. 다른 방법이 없을까요?
- 29. Selenium • 웹 브라우저를 자동화 하기 위해 쓰입니다. • 웹 브라우저가 필요합니다. • WebDriver: 웹 브라우저를 구동하기 위한 도구
- 30. 웹 브라우저를 돌리려면 GUI가 있어야 하지 않나요?
- 31. PhantomJS • Headless Browser: GUI가 필요 없는 웹 브라우저 • PhantomJS • Chrome(59버전부터, Linux, macOS에서만) • HtmlUnit • … • http://phantomjs.org/
- 32. 받아서 설치해 봅시다. • Download Link • 사용 전에 실행하여 동작 여부를 확인해 보세요. • 로컬에서 테스트하기 위해 환경 변수 추가 $ export PATH=$PATH:<PhantomJS 실행 파일 경로>
- 33. Selenium + PhantomJS의 조합 Full Source
- 34. 내가 원하는 편성표만 확인
- 35. 최초 접속 시 표시할 방송국 설정 Full Source
- 36. 체크한 방송사의 쿠키 저장 Full Source
- 37. 체크한 방송사의 스케줄만 표시 Full Source
- 38. 배포
- 39. 2017-03-04: Heroku에 최초 배포
- 40. Heroku 설정 • 기본 Tutorial부터 시작해 봅시다. • Getting Started on Heroku with Python • Procfile 설정 web: gunicorn movie_scheduler.wsgi --log-file - worker: celery -A movie_scheduler worker --loglevel=DEBUG -B --concurrency=1
- 41. PhantomJS를 Heroku에서 이용하기 • Heroku Buildpack 설정 • Buildpack 확인: Python, PhantomJS • Heroku 저장소로 Push하면 설치됩니다. $ heroku buildpacks:add https://github.com/stomita/heroku-buildpack-phantomjs $ heroku buildpacks $ git push heroku master
- 42. PostgreSQL 사용하기 • Django 프로젝트인 경우, 자동으로 PostgreSQL과 연결됩니다. (Django가 아니면?) • DATABASE_URL 환경 변수에 주소가 지정됩니다. • dj-database-url 패키지가 필요합니다. • 프로젝트의 settings.py 파일을 수정해야 합니다.
- 43. Redis 사용하기 • 다음 명령으로 Redis를 추가해 줍니다. • 추가가 완료되면, application이 자동으로 시작됩니다. • 환경 변수가 생성된 것을 확인해 봅시다. $ heroku addons:create heroku-redis:hobby-dev -a <App 이름> $ heroku config | grep REDIS REDIS_URL: redis://h:asdfqwer1234asdf@ec2-111-1-1-1.compute-1.amazonaws.com:111
- 44. Python으로 만든 걸 왜 인식 못할까? • ‘requirements.txt’ 파일이 없어서 그렇습니다. • ‘requirement.txt’ 라고 되어 있으면?
- 45. 편성표 수집을 왜 안 할까? • Free Dyno인 경우, 30분 동안 접속이 없으면… • web, worker dyno 모두 sleep
- 46. 해결책: New Relic • APM Tool • 아래 명령으로 설치합니다. • 로컬 환경에도 pip으로 설치해 주세요. $ heroku addons:create newrelic:wayne $ pip install newrelic
- 47. 주기적으로 생존 여부를 체크시다.
- 48. • Application 이름 클릭 → Settings → Availability monitoring • Procfile 수정 web: newrelic-admin run-program gunicorn movie_scheduler.wsgi --log-file - 주기적으로 생존 여부를 체크시다.
- 49. 유지 비용 없애기
- 50. 무료로 쓸 수 있는 최대 시간?
- 51. 현재 작동하는 구조 Web Dyno Worker Dyno PostgreSQLRedis Gunicorn Django Celery (Beat + Worker)
- 52. Time goes by, so fast.
- 53. 시간은 ‘돈’ • 모든 Dyno의 사용량을 합하여 1,000 시간입니다. • 20(일) * 24(시간) * 2(Dynos) = 960(시간) • 돈을 내고 업그레이드를 하거나, 다음 달까지 기다려야 합니다.
- 54. Process Scheduler • web dyno는 항상 동작해야 하지만, worker dyno는 새벽에만 동작해도 됩니다. • Process Scheduler를 이용해 봅시다. 원하는 시간대를 드래그 ↓ 숫자 입력
- 55. DB 용량에 제한이 있다고요?
- 56. Hobby tier에서의 제한
- 57. 지난 주의 스케줄 짶우기
- 58. 지불해야 하는 비용은? $ 0
- 59. 여담
- 60. 팟플레이어의 영화/애니메이션 채널 정보도 수집?
- 61. 아직 개선해야 할 사항 • 편성표 로딩 시 그 날의 모든 데이터를 가져옵니다. • 스케줄 표시하는 페이지의 개선이 필요합니다. • 날짜 이동하는 부분 고정 • 방송국 표시 순서를 바꿀 수 있도록 개선 • 기타 등등…
- 62. Q&A
- 63. 감사합니다 실제 동작 확인: http://moviescheduler.gonigoni.kr 소스: http://github.com/rubysoho07/movie_scheduler rubysoho07