View как чистая функция от состояния базы данных - Илья Беда, bro.agency
0 likes818 views
Выступление на PYCON RUSSIA 2015
![def get_database_state_from_magic():
return subprocess.check_output(["pg_dump"])
36](https://image.slidesharecdn.com/view-151001080434-lva1-app6891/85/View-bro-agency-36-320.jpg)
More Related Content
What's hot (20)
Similar to View как чистая функция от состояния базы данных - Илья Беда, bro.agency (20)
More from it-people (20)
View как чистая функция от состояния базы данных - Илья Беда, bro.agency
- 1. View как чистая функция от состояния базы данных Илья Беда / bro.agency
- 2. Кто я? ● Тимлид и один из основателей bro.agency ● Разрабатываю веб-формочки на python в течении 7 лет ● Специализируюсь на аутсорс-разработке ● Продвигаю функциональное программирование в массы ● Провожу воркшопы и мастер-классы ● С недавнего времени выступаю на конференциях 2
- 3. There are only two hard things in Computer Science: cache invalidation and naming things. Phil Karlton 3
- 4. Какая нам нужна инвалидация кэша? 4
- 5. Инвалидация по умолчанию (по таймауту) 5
- 6. Инвалидация по умолчанию (по таймауту) 6 Слишком часто Слишком редко
- 7. Инвалидация по умолчанию (по таймауту) 7 Слишком часто Слишком редко Кэш становится не актуальным, но сами данные остались неизменными Пользователь увидит не актуальную версию страницы
- 8. Инвалидация по умолчанию (по таймауту) 8 Слишком часто Слишком редко Кэш становится не актуальным, но сами данные остались неизменными Пользователь увидит не актуальную версию страницы
- 9. 9
- 10. Какую инвалидацию использовать для таких приложений? 10
- 12. Что делает Handler? 12 Получение данных из базы Формирование контекста Рендер шаблона
- 13. Что делает Handler? 13 Запросы к внешнему API Формирование контекста json.dumps
- 14. И handler очень похож на чистую функцию от состояния базы данных 14 Получение данных из базы Формирование контекста Рендер шаблона
- 15. Какие функции являются чистыми? 15
- 16. Какие функции являются чистыми? 1. Детерминированные функции 2. Функции не обладающие сторонними эффектами 16
- 19. В чем преимущества чистых функций? 19
- 20. В чем преимущества чистых функций? Для одного и того же набора аргументов она возвращает одно и тоже значение. Что упрощает проблему инвалидации 20
- 21. Давайте сделаем наш ВЕБ функционально чистым и забудем про проблемы инвалидации кэша. 21
- 22. Как это выглядит в реальности (Django) 22 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 23. Как это выглядит в реальности (Django) 23 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 24. Как это выглядит в реальности (Django) 24 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 25. Как это выглядит в реальности (Django) 25 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 26. Проанализируем с точки зрения чистоты 26 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 27. Проанализируем с точки зрения чистоты 27 1 2 3 4 5 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response)
- 28. Получается наш ВЕБ НЕ функционально чистый. 28
- 29. Приведем функцию к чистому виду 29 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = list( SomeModel.objects.filter(some_field=url_param)) @cache_pure def _some_view_pure(object_list): c = Context({'items': object_list}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure(items)
- 30. Приведем функцию к чистому виду 30 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = list( SomeModel.objects.filter(some_field=url_param)) @cache_pure def _some_view_pure(object_list): c = Context({'items': object_list}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure(items)
- 31. Приведем функцию к чистому виду 31 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = list( SomeModel.objects.filter(some_field=url_param)) @cache_pure def _some_view_pure(object_list): c = Context({'items': object_list}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure(items)
- 32. Давайте пофантазируем 32 1 2 3 4 5 6 7 8 9 10 11 def some_view(request, url_param): @cache_pure def _some_view_pure(url_param, database_state): items = SomeModel.objects.filter( some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure( url_param, get_database_state_from_magic())
- 33. Давайте пофантазируем 33 1 2 3 4 5 6 7 8 9 10 11 def some_view(request, url_param): @cache_pure def _some_view_pure(url_param, database_state): items = SomeModel.objects.filter( some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure( url_param, get_database_state_from_magic())
- 34. Давайте пофантазируем 34 1 2 3 4 5 6 7 8 9 10 11 def some_view(request, url_param): @cache_pure def _some_view_pure(url_param, database_state): items = SomeModel.objects.filter( some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure( url_param, get_database_state_from_magic())
- 35. def get_database_state_from_magic(): Что же это такое состояние базы данных? 35
- 37. def get_database_state_from_magic(): Если пренебречь тем, что база данных может вернуться в предыдущее состояние, то можно использовать индекс поколений. И это практичное решение проблемы, которое можно использовать. 37
- 38. 38 News News News DB State 1 DB State 2 DB State 3
- 39. Реализация индексирования поколений 39 1 2 3 4 5 6 7 8 9 10 11 import redis from django.db.models.signals import post_save r = redis.StrictRedis(host='localhost', port=6379, db=0) def inc_generation_index(sender, **kwargs): r.incr('generation_index') post_save.connect(inc_generation_index) def get_database_state_from_magic(): return r.get('generation_index')
- 40. Реализация индексирования поколений 40 1 2 3 4 5 6 7 8 9 10 11 import redis from django.db.models.signals import post_save r = redis.StrictRedis(host='localhost', port=6379, db=0) def inc_generation_index(sender, **kwargs): r.incr('generation_index') post_save.connect(inc_generation_index) def get_database_state_from_magic(): return r.get('generation_index')
- 41. Реализация индексирования поколений 41 1 2 3 4 5 6 7 8 9 10 11 import redis from django.db.models.signals import post_save r = redis.StrictRedis(host='localhost', port=6379, db=0) def inc_generation_index(sender, **kwargs): r.incr('generation_index') post_save.connect(inc_generation_index) def get_database_state_from_magic(): return r.get('generation_index')
- 42. Реализация индексирования поколений 42 1 2 3 4 5 6 7 8 9 10 11 import redis from django.db.models.signals import post_save r = redis.StrictRedis(host='localhost', port=6379, db=0) def inc_generation_index(sender, **kwargs): r.incr('generation_index') post_save.connect(inc_generation_index) def get_database_state_from_magic(): return r.get('generation_index')
- 43. Реализация индексирования поколений 43 1 2 3 4 5 6 7 8 9 10 11 import redis from django.db.models.signals import post_save r = redis.StrictRedis(host='localhost', port=6379, db=0) def inc_generation_index(sender, **kwargs): r.incr('generation_index') post_save.connect(inc_generation_index) def get_database_state_from_magic(): return r.get('generation_index')
- 44. И теперь это реально работающий код 44 1 2 3 4 5 6 7 8 9 10 11 def some_view(request, url_param): @cache_pure def _some_view_pure(url_param, database_state): items = SomeModel.objects.filter( some_field=url_param) c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _some_view_pure( url_param, get_database_state_from_magic())
- 45. Какие могут быть проблемы при индексировании поколений? 45
- 46. Слишком частая инвалидация. Кэш становится неактуальным, но сами данные остались неизменными 46
- 52. Гранулярная инвалидация сделает кэширование оптимальнее. 52
- 53. Можно индексировать поколения каждой таблицы отдельно. https://github.com/jmoiron/johnny-cache 53
- 55. 55 В реальности очень много таблиц, поэтому это будет прекрасно работать. News Comment Page Event User
- 56. Можно пойти дальше и инвалидировать кэш, зависящий от определенной части состояния базы данных. Тогда нам нужен инструмент для описания этой части. 56
- 59. Можно индексировать части запросов 59 News.hiden=False Comment.news_id=1 Comment.hidden=False Cache Store Criterion
- 60. Можно индексировать части запросов 60 News.hiden=False Comment.news_id=1 Comment.hidden=False Cache Store Criterion + Comment hiden True news_id 1
- 61. Можно индексировать части запросов 61 News.hiden=False Comment.news_id=1 Comment.hidden=False Cache Store Criterion + Comment hiden True news_id 1
- 62. Можно индексировать части запросов 62 News.hiden=False Comment.news_id=1 Comment.hidden=False Cache Store Criterion + Comment hiden True news_id 1
- 63. Можно индексировать части запросов 63 News.hiden=False Comment.hidden=False Cache Store Criterion
- 64. Тоже есть готова реализация http://hackflow.com/blog/2014/03/09/on-orm- cache-invalidation/ https://github.com/suor/django-cacheops 64
- 65. Эффективное кэширование с помощью cacheops 65 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) @cached_view_as(items) def _render(request, url_param): c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _render(request, url_param)
- 66. Эффективное кэширование с помощью cacheops 66 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) @cached_view_as(items) def _render(request, url_param): c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _render(request, url_param)
- 67. Эффективное кэширование с помощью cacheops 67 1 2 3 4 5 6 7 8 9 10 def some_view(request, url_param): items = SomeModel.objects.filter(some_field=url_param) @cached_view_as(items) def _render(request, url_param): c = Context({'items': items}) response = Template("my_template.html").render(c) return HttpResponse(response) return _render(request, url_param)
- 68. Как же быть с Class Based View? 68
- 69. Class Based View 69 1 2 3 4 5 6 7 8 class SomeModelListView(ListView) def get_queryset(self): return SomeModel.objects.all() def get(self, request, *args, **kwargs): self.object_list = self.get_queryset() context = self.get_context_data() return self.render_to_response(context)
- 70. Class Based View 70 1 2 3 4 5 6 7 8 class SomeModelListView(ListView) def get_queryset(self): return SomeModel.objects.all() def get(self, request, *args, **kwargs): self.object_list = self.get_queryset() context = self.get_context_data() return self.render_to_response(context)
- 71. Class Based View 71 1 2 3 4 5 6 7 class CachedListView(ListView): def get(self, request, *args, **kwargs): @cached_view_as(self.get_queryset()) def _get(request, *args, **kwargs): return = super(CachedListView, self).get( request, *args, **kwargs) return _get(request, *args, **kwargs)
- 72. Class Based View 72 1 2 3 4 5 6 7 class CachedListView(ListView): def get(self, request, *args, **kwargs): @cached_view_as(self.get_queryset()) def _get(request, *args, **kwargs): return = super(CachedListView, self).get( request, *args, **kwargs) return _get(request, *args, **kwargs)
- 73. Class Based View 73 1 2 3 4 5 6 7 class CachedListView(ListView): def get(self, request, *args, **kwargs): @cached_view_as(self.get_queryset()) def _get(request, *args, **kwargs): return = super(CachedListView, self).get( request, *args, **kwargs) return _get(request, *args, **kwargs)
- 74. Class Based View 74 1 2 class NewsView(CachedListView): model = News