Опыт использования Xml субд Marklogic
0 likes661 views
Документ описывает проект по обработке и анализу больших объемов слабо структурированных данных с использованием сервера MarkLogic. Он поддерживает сложные запросы, гибкость в изменении формата данных и обеспечивает высокую отказоустойчивость и масштабируемость. Кроме того, в документе упоминаются крупные клиенты, использующие данное решение, такие как организаторы Олимпийских игр в Лондоне и федеральные агентства США.
Опыт использования Xml субд Marklogic
- 1. Marklogic как обуздать сотни гигабайт слабо-структурированных данных Антон Язовский Тамтэк, Омск @yazovsky ayazovskiy@thumbtack.net
- 2. О чем проект? 1/21
- 3. О чем проект? • обрабатывать данные из различных источников • позволять искать по сложным запросам • показывать слабо-структурированную информацию • бизнес логика • e-commerce (продажи, куда без них) • social • etc.. 2/21
- 4. О чем проект? • 15 млн документов с перспективой в 100 млн • предоставлять удобный способ поиска • масштабироваться горизонтально • гибкость к изменению формата данных VS валидация данных на соответствие базовым правилам • обладать высокой отказоустойчивостью 3/21
- 5. «MarkLogic Server is a document-centric, transactional, search-centric, structure-aware, schema-agnostic, XQuery- and XSLT-driven, high performance, clustered, database server» 4/21
- 6. «MarkLogic Server is a document-centric, transactional, search-centric, structure-aware, schema-agnostic, XQuery- and XSLT-driven, high performance, clustered, database server» … масштабируемое транзакционное … 4/21
- 7. «MarkLogic Server is a document-centric, transactional, search-centric, structure-aware, schema-agnostic, XQuery- and XSLT-driven, high performance, clustered, database server» … масштабируемое транзакционное хранилище документов … 4/21
- 8. «MarkLogic Server is a document-centric, transactional, search-centric, structure-aware, schema-agnostic, XQuery- and XSLT-driven, high performance, clustered, database server» … масштабируемое транзакционное хранилище документов с обширными возможностями поиска используя языки XQuery и/или XSLT… 4/21
- 9. Marklogic • актуальный релиз - 6 (19 сентября, 2012) • номер один XML хранилище в мире * Среди клиентов: • Организаторы летних олимпийских игр в Лондоне 2012 • Федеральное управление гражданской авиации США • Департамент транспорта США • The Defense Information Systems Agency 5/21
- 10. Marklogic 6/21
- 11. Документо-ориентированная <document xsi:schemaLocation="http://yoursite.com/article article.xsd” xmlns:dc="http://yoursite.com/dc" xmlns="http://marklogic.com/articl" uri=”/article/maxim/123”> <meta> <dc:type>journal-article</dc:type> <dc:title>Анна Курникова</dc:title> <source uri=”/journal/maxim”>MAXIM</source> <pub_year>2004</pub_year> </meta> <body> images!!! </body> </document> 7/21
- 12. Документо-ориентированная • избыточный синтаксис • ограниченность иерархической модели данных (где мои join'ы?!) • неоднозначность структуры • XML - прошлый век! JSON - рулит! :) 8/21
- 13. Документо-ориентированная • открытый W3C стандарт • простой, человеко-читаемый формат • способы гибкой валидации (привет XSD, DTD) • инструменты преобразования и визуализации (всемогущий XSL) • языки запросов xQuery, xPath (W3C) 9/21
- 14. Schema Agnostic • слабо-структурированные данные VS схема! • фокус на элементы, а не на структуру 10/21
- 15. Search Centric • XDBC • HTTP • WebDAV • клиентская библиотека • REST API • web интерфейс 11/21
- 16. Search Centric • полнотекстовый поиск search:search("blackjack and hookers") • поиск по значениям элемента или аттрибута • range индексы (искать с используя сравнения - “>”, “<”, “=”) • fields - alias для набора элементов • facets, подсказки, геолокационные запросы • и еще около сотни поисковых функций 12/21
- 17. Search Centric 13/21
- 18. Масштабируемость 14/21
- 19. Масштабируемость Forest - это репозиторий документов (папка на диске) Host / Node - это один экземпляр Marklogic Server Роли: Data Node (d-node) и Evaluator Node (e-node) 15/21
- 20. Масштабируемость 16/21
- 21. Масштабируемость • одна редакция Marklogic Server • внешний load-balancer • одна платформа на кластер • shared nothing архитектура 17/21
- 22. Отказоустойчивость • они настоящая команда! • heartbeat внутри кластера • автоматическое управление составом кластера • взаимовыручка 18/21
- 23. «Один за всех - и все за одного!» д'Артаньян одобряет 19/21
- 24. Оно того стоит? 20/21
- 25. 21/21