Опыт внедрения IPv6 и статистика
Download as ppt, pdf0 likes757 views
Документ обсуждает необходимость перехода на IPv6, указывая на истощение адресов IPv4 и его последствия, такие как рост цен и ограниченные возможности. Приведены статистические данные о количестве доменов и уникальных адресов IPv6 в России, а также примеры планов адресов с разными типами использования. Также упоминаются проблемы совместимости и работы с IPv6 для различных программ и сервисов.
1 of 10
Download to read offline
![Пример плана адресов IPv6
2001:67c:16cc:[cafe|7ea]:RRRR:GGGG:LLLL:BBBB
RRRR - резерв, умолчание 0000
GGGG – тип использование
LLLL – внутренний номер сервера IP
BBBB – выделение сайтам
Типы:
0000 – инфраструктура 2001:67c:16cc:cafe:: и
2001:67c:16cc:7ea::
face - сайты 2001:67c:16cc:cafe::face: (штатные сайты) и
2001:67c:16cc:7ea::face: (дополнительные IP)
ba5e – сервисы (DNS, SMTP, etc)
2001:67c:16cc:cafe::ba5e: и 2001:67c:16cc:7ea::ba5e:](https://image.slidesharecdn.com/ipv6-xo-130601101239-phpapp01/85/IPv6-6-320.jpg)
![Косяки с позиции первой мили
• Ресолвинг localhost в ::1
• MySQL до версии 5.5.3
• Sphinx search
• Postfix до версии 2.8
• PHP с поддержкой IPv6 не пытается IPv4
• Apache 1.x.x (но mod_realip спокойно пишет
переданные IPv6)
• Трудно распарсить
• Много программ не понимают запись [IPv6]:порт](https://image.slidesharecdn.com/ipv6-xo-130601101239-phpapp01/85/IPv6-7-320.jpg)
Ad
Recommended
Опыт использования IPv6 год спустя
Опыт использования IPv6 год спустяPhilipp KulinДокумент обсуждает внедрение IPv6, акцентируя внимание на необходимости перехода с IPv4 из-за исчерпания адресов и роста цен. Рассматриваются типы IPv6 адресов, структуры адресного плана и проблемы конфигурации, включая вопросы автоконфигурации и совместимости с существующими программами. Приводятся интересные факты о работе популярных сервисов с IPv6 и правилах выдачи адресов клиентам от RIPE.
Внедрение IPv6
Внедрение IPv6Philipp KulinДокумент обсуждает необходимость перехода на IPv6, объясняет структуру адресации и приводит примеры адресных планов. Рассматриваются проблемы с совместимостью и автоконфигурацией, а также интересные факты о поддержке IPv6 крупными сервисами. Автор предлагает свои контактные данные для вопросов по теме.
Загрузка больших объемов данных для бизнес-аналитики
Загрузка больших объемов данных для бизнес-аналитикиBadoo DevelopmentВ докладе Валерия Старинина рассматривается процесс загрузки больших объемов данных для бизнес-аналитики в компании Badoo, включая использование инструмента ETLMaster для автоматизации процессов. Описываются методы и стратегии загрузки данных из различных источников, мониторинг выполнения и оптимизация процессов. Выделяются ключевые аспекты работы BI в компании, такие как управление задачами и поддержка зависимости выполнения.
Олег Бартунов (ГАИШ МГУ), Александр Коротков (Интаро-Софт)
Олег Бартунов (ГАИШ МГУ), Александр Коротков (Интаро-Софт)OnticoДокумент содержит информацию о слабо структурированных данных в PostgreSQL, включая изменения в версии 9.4, такие как поддержка JSONB, улучшенные возможности индексирования и работу с полузаданными. Рассматриваются преимущества и недостатки моделей хранения данных, включая hstore и jsonb, а также сравниваются производительность и скорость обработки этих форматов. Отмечается, что jsonb предлагает значительные улучшения в производительности по сравнению с json, особенно при использовании индексов GIN.
Cautious: IPv6 is here / Александр Азимов (Qrator Labs)
Cautious: IPv6 is here / Александр Азимов (Qrator Labs)OnticoДокумент обсуждает переход от IPv4 к IPv6, подчеркивая недостатки NAT и необходимость использования более обширного IPv6. Сравниваются пути и надежность обоих протоколов, при этом указывая, что IPv4 все еще надежнее. Важно осторожное внедрение IPv6 и поддержка технологий, таких как Multipath TCP, для обеспечения будущего сетевой связности.
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...OnticoДокумент описывает платформу управления данными Facetz DMP, которая обрабатывает 600 миллионов пользователей в реальном времени. Основное внимание уделяется горизонтальной масштабируемости, скорости реакции на события и удобству мониторинга. Также обсуждаются технологии, такие как HBase и Kafka, используемые для обработки и хранения данных.
«Дорожная сеть в графовой базе данных Neo4j» — Вадим Шашенко, 2ГИС
«Дорожная сеть в графовой базе данных Neo4j» — Вадим Шашенко, 2ГИС2ГИС ТехнологииДокумент обсуждает создание и оптимизацию дорожной сети в графовой базе данных Neo4j, включая проверку связности графа и использование алгоритмов обхода. В нем представлены характеристики дорожной сети, проблемы старой системы и преимущества использования Neo4j, такие как быстрая обработка данных. В итоге автор рекомендует Neo4j для работы с большими графами из-за его rich функционала и активной поддержки сообщества.
Golang в avito
Golang в avitoAvitoTechДокумент обсуждает использование языка программирования Go в архитектуре микросервисов компании Avito, акцентируя внимание на преимуществах, таких как поддерживаемость кода и экономия ресурсов. Рассматриваются различные аспекты построения сервисов и управления ими, а также производительность системы на Go в сравнении с другими языками. В итоге подчеркивается простота языка и его влияние на скорость разработки и потребление ресурсов.
Cергей Коржнев, 2ГИС
Cергей Коржнев, 2ГИСOnticoДокумент описывает архитектуру справочного API 2ГИС, включая его ключевые функции, такие как поиск организаций и расчет маршрутов. Он подчеркивает три основных принципа, на которых основана архитектура: отказоустойчивость, обновление данных и ускорение веб-приложения. Кроме того, охватывается мониторинг производительности и оптимизация веб-приложения с использованием различных технологий и инструментов.
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo). Badoo DevelopmentДоклад Алексей Еремихина посвящён внедрению и использованию Hadoop в компании Badoo, охватывающий ключевые аспекты, такие как задачи хранения и чтения данных, сбор статистики и подготовка данных. В тексте описываются компоненты Hadoop, такие как HDFS и YARN, а также инфраструктура, на которой работает система. Также приводятся советы по оптимизации работы с данными и избежанию распространённых ошибок при использовании Hadoop.
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 2013
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 20132ГИС ТехнологииДокумент описывает систему развертывания многокомпонентного сервиса 2GIS, включая архитектуру, нагрузку и команду разработки. Важные аспекты включают требования к релизам, процессы тестирования и администрирования, а также инструменты для DevOps и мониторинга. Также упоминается необходимость управления релизами и поддержания бесперебойной работы сервиса.
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проектеAlexandr KrasheninnikovДокумент обсуждает near-realtime аналитику событий на платформе Badoo, охватывая технические метрики, сбор данных, проблемы с разнородными событиями и инструменты для их обработки. В качестве решения предлагается unified data stream (uds) и использование Apache Spark для эффективной обработки и агрегации данных. Кроме того, подчеркивается важность инновационных подходов и простых инструментов для решения сложных аналитических задач.
Обзор PFRv3 в iWAN 2.2
Обзор PFRv3 в iWAN 2.2Cisco Russia Документ представляет обзор программы iWAN 2.2 от Cisco, рассматривающей её новшества и улучшения, включая протокол PFRv3, который управляет производительностью и маршрутизацией приложений в сетях WAN. Обсуждаются эффективность использования различных каналов связи, архитектура системы и политик маршрутизации, а также авацепция новых возможностей, таких как настройка нескольких WAN туннелей. Цель данного документа - продемонстрировать преимущества цифровизации и оптимизации сетевых решений для бизнеса.
SphinxSearch Meetup - Tips&tricks
SphinxSearch Meetup - Tips&tricksRoman PavlushkoДокумент описывает использование поискового движка Sphinx для различных сервисов в компании Avito, включая поиск объявлений и рекламных материалов. Обсуждаются методы индексации, включая параллельное построение индексов и использование распределенных индексов для обновления данных. Также рассматриваются проблемы, связанные с обновлением атрибутов и предложенные решения для оптимизации поиска и индексации.
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012Roman PavlushkoДокумент описывает процесс решардинга Redis без даунтайма на примере проекта Avito, который обслуживает более 90 миллионов запросов в день. Основное внимание уделяется проблемам роста данных, медленной синхронизации и путям оптимизации системы с помощью прокси-решений и алгоритмов распределения ключей. В итоге, разработка новой архитектуры и корректировка кода потребовали двухнедельной работы в паре с администратором.
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...OnticoДокумент содержит информацию о технологии кэширования, применяемой компанией ucdn.com для ускорения работы веб-серверов. Описываются принципы кэширования, используемые алгоритмы, а также результаты тестирования внедрения SSD-каша. На основе анализа кэшируемости файлов представляются рекомендации по оптимизации работы серверов.
ekbpy'2012 - Данила Штань - Распределенное хранилище
ekbpy'2012 - Данила Штань - Распределенное хранилищеit-peopleДокумент описывает процесс разработки распределенного хранилища файлов, включая проблемы с инфраструктурой и деплоем. Основное внимание уделено унификации подходов и созданию эффективного решения для обработки файлов с учетом пиковых нагрузок. Рассматриваемые технологии включают glusterfs, nginx и mongodb с целью достижения высокой производительности и гибкости системы.
Avito Stachka 2012
Avito Stachka 2012Roman PavlushkoДокумент описывает проект 'Стачка!' 2012 года в Ульяновске, рассматривая проблемы и решения, связанные с архитектурой поиска и индексации. Он содержит статистику, такие как 90 миллионов запросов в сутки, и предлагает различные стратегии оптимизации и настройки для эффективного полнотекстового поиска. В документе также упоминаются используемые технологии, архитектура системы и способы обработки данных.
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...Dev2DevДокумент описывает использование графовой базы данных Neo4j в enterprise-приложении компании 2ГИС для работы с геоинформационными системами. Основное внимание уделяется структуре графа, тестированию его корректности и использованию языка запросов Cypher для управления данными. Авторы подчеркивают преимущества и недостатки системы, а также возможности ее применения в обработке данных о транспортных маршрутах и городской инфраструктуре.
Как настроить DMVPN и избежать проблем
Как настроить DMVPN и избежать проблемCisco Russia Презентация описывает настройку и функционирование технологии Dynamic Multipoint VPN (DMVPN) от Cisco, включая различия между фазами 2 и 3, подключения к нескольким провайдерам, динамическую маршрутизацию и обработку трафика через IPsec. Также затрагиваются аспекты масштабируемости и вопросы, по которым чаще всего открываются кейсы в Cisco TAC. Документ предоставляет примеры архитектур и рекомендации по настройке для эффективного функционирования DMVPN.
Марат Мавлютов - Современный веб как сложная система
Марат Мавлютов - Современный веб как сложная системаYandexДокумент представляет собой обзор истории и технологии интернета, включая его основные компоненты, такие как модели OSI и TCP/IP, а также различные аспекты веб-разработки, включая статический и динамический HTML. В нем рассматриваются достижения интернета с 1969 года, включая ключевые технологии и протоколы, а также значимость облачных вычислений и виртуальных частных сетей. Также упоминаются принципы работы и монетизации сервисов, таких как Яндекс и Facebook.
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Coit-peopleДокумент обсуждает аналитические технологии и проблемы, связанные с обработкой больших данных, включая необходимость эффективного хранения и агрегации данных. Также описываются механизмы обработки входных данных, требования к базам данных и инструменты, используемые для этого. В конце приводятся выводы о производительности и впечатления от использования различных технологий, таких как Kafka, Spark и ClickHouse.
Pulsedb— система хранения временных рядов
Pulsedb— система хранения временных рядовMax LapshinДокумент описывает систему хранения и анализа временных рядов под названием pulsedb, предназначенную для обработки ежесекундных замеров статистики с различных стримов и серверов. Основное внимание уделяется функциональности системы, ее различиям с другими инструментами, такими как rrdtool и influxdb, а также особенностям хранения и транспортировки данных. Упоминается необходимость в риалтайм графиках и раздельном управлении метриками по аккаунтам.
ADD2010: Обработка большого объема данных на платформеApache Hadoop
ADD2010: Обработка большого объема данных на платформеApache Hadoop Vladimir KlimontovichДокумент обсуждает платформу Apache Hadoop и связанные технологии, такие как MapReduce и HDFS, подчеркивая их применение в обработке больших данных. Приведены примеры использования Hadoop в таких секторах, как реклама и исследование данных, а также его архитектурные особенности и достоинства. Также обсуждаются альтернативы, такие как Bigtable и HBase, с акцентом на их преимущества и недостатки.
Опыт внедрения DNSSEC
Опыт внедрения DNSSECPhilipp KulinДокумент обсуждает внедрение DNSSEC, подчеркивая его важность для создания цепочки доверия и предотвращения атак. Описываются ключи (ZSK и KSK), процесс их подстановки и сложности, включая необходимость внимательного контроля изменений и взаимодействия с регистраторами. Также упоминаются возможности DNSSEC, такие как DANE для подтверждения сертификатов и массового внедрения HTTPS.
DNSSEC
DNSSECPhilipp KulinДокумент описывает концепцию DNSSEC, включая его преимущества, такие как предотвращение атак и обеспечение цепочки доверия. В нем также обсуждаются принципы работы, алгоритмы, время действия записей и ротация ключей. Кроме того, затрагиваются вопросы реализации DNSSEC в практике эксплуатации и поддержка некоторых регистраторов.
Хостинг-провайдер и противоправный контент
Хостинг-провайдер и противоправный контентPhilipp KulinДокумент рассматривает модели предоставления услуг хостинга в России и за рубежом, а также различные виды противоправного контента, связанного с хостингом. В нем обсуждаются механизмы выявления проблемного контента и реакция хостинга на жалобы, включая оценку угроз и идентификацию источников. Также поднимаются вопросы и вызовы, с которыми сталкиваются хостинг-провайдеры, и предлагаются пути улучшения взаимодействия и обмена опытом.
перспективы черного списка
перспективы черного спискаPhilipp KulinДокумент обсуждает состояние и проблемы 'черного списка' ресурсов в России, приводя статистику обращений и жалоб. Указывается на недостатки, такие как отсутствие информации о ранее запрещенных ресурсах и неэффективность фильтрации провайдерами. Несмотря на это, положительно отмечен прогресс в создании 'горячих линий' и взаимодействии между государственными структурами и хостинг-провайдерами.
Как взломать WordPress/Joomla за 5 минут
Как взломать WordPress/Joomla за 5 минутPhilipp KulinДокумент обсуждает уязвимости популярных систем управления контентом, таких как Joomla и WordPress, и методы их взлома. Описываются основные недостатки проверки загружаемых файлов и советы по улучшению безопасности, такие как закрытие PHP в папках загрузки и использование шаблонов nginx. В конце упоминается, что универсального решения для защиты от атак нет, но важность обновлений и настроек безопасности подчеркивается.
Linkmeup
LinkmeupeucariotДокумент описывает радиоинтерфейсы и физические каналы в мобильных технологиях 2G, 3G и 4G, включая различные каналы для передачи данных и их назначения. Он подробно рассматривает технологию множественного доступа, каналы управления и их функции, а также новшества, представленные в различных выпусках стандарта HSPA и LTE. Основные аспекты включают методы передачи, частотно-временную структуру и распределение ресурсов для оптимизации связи.
More Related Content
What's hot (16)
Cергей Коржнев, 2ГИС
Cергей Коржнев, 2ГИСOnticoДокумент описывает архитектуру справочного API 2ГИС, включая его ключевые функции, такие как поиск организаций и расчет маршрутов. Он подчеркивает три основных принципа, на которых основана архитектура: отказоустойчивость, обновление данных и ускорение веб-приложения. Кроме того, охватывается мониторинг производительности и оптимизация веб-приложения с использованием различных технологий и инструментов.
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo). Badoo DevelopmentДоклад Алексей Еремихина посвящён внедрению и использованию Hadoop в компании Badoo, охватывающий ключевые аспекты, такие как задачи хранения и чтения данных, сбор статистики и подготовка данных. В тексте описываются компоненты Hadoop, такие как HDFS и YARN, а также инфраструктура, на которой работает система. Также приводятся советы по оптимизации работы с данными и избежанию распространённых ошибок при использовании Hadoop.
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 2013
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 20132ГИС ТехнологииДокумент описывает систему развертывания многокомпонентного сервиса 2GIS, включая архитектуру, нагрузку и команду разработки. Важные аспекты включают требования к релизам, процессы тестирования и администрирования, а также инструменты для DevOps и мониторинга. Также упоминается необходимость управления релизами и поддержания бесперебойной работы сервиса.
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проектеAlexandr KrasheninnikovДокумент обсуждает near-realtime аналитику событий на платформе Badoo, охватывая технические метрики, сбор данных, проблемы с разнородными событиями и инструменты для их обработки. В качестве решения предлагается unified data stream (uds) и использование Apache Spark для эффективной обработки и агрегации данных. Кроме того, подчеркивается важность инновационных подходов и простых инструментов для решения сложных аналитических задач.
Обзор PFRv3 в iWAN 2.2
Обзор PFRv3 в iWAN 2.2Cisco Russia Документ представляет обзор программы iWAN 2.2 от Cisco, рассматривающей её новшества и улучшения, включая протокол PFRv3, который управляет производительностью и маршрутизацией приложений в сетях WAN. Обсуждаются эффективность использования различных каналов связи, архитектура системы и политик маршрутизации, а также авацепция новых возможностей, таких как настройка нескольких WAN туннелей. Цель данного документа - продемонстрировать преимущества цифровизации и оптимизации сетевых решений для бизнеса.
SphinxSearch Meetup - Tips&tricks
SphinxSearch Meetup - Tips&tricksRoman PavlushkoДокумент описывает использование поискового движка Sphinx для различных сервисов в компании Avito, включая поиск объявлений и рекламных материалов. Обсуждаются методы индексации, включая параллельное построение индексов и использование распределенных индексов для обновления данных. Также рассматриваются проблемы, связанные с обновлением атрибутов и предложенные решения для оптимизации поиска и индексации.
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012Roman PavlushkoДокумент описывает процесс решардинга Redis без даунтайма на примере проекта Avito, который обслуживает более 90 миллионов запросов в день. Основное внимание уделяется проблемам роста данных, медленной синхронизации и путям оптимизации системы с помощью прокси-решений и алгоритмов распределения ключей. В итоге, разработка новой архитектуры и корректировка кода потребовали двухнедельной работы в паре с администратором.
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...OnticoДокумент содержит информацию о технологии кэширования, применяемой компанией ucdn.com для ускорения работы веб-серверов. Описываются принципы кэширования, используемые алгоритмы, а также результаты тестирования внедрения SSD-каша. На основе анализа кэшируемости файлов представляются рекомендации по оптимизации работы серверов.
ekbpy'2012 - Данила Штань - Распределенное хранилище
ekbpy'2012 - Данила Штань - Распределенное хранилищеit-peopleДокумент описывает процесс разработки распределенного хранилища файлов, включая проблемы с инфраструктурой и деплоем. Основное внимание уделено унификации подходов и созданию эффективного решения для обработки файлов с учетом пиковых нагрузок. Рассматриваемые технологии включают glusterfs, nginx и mongodb с целью достижения высокой производительности и гибкости системы.
Avito Stachka 2012
Avito Stachka 2012Roman PavlushkoДокумент описывает проект 'Стачка!' 2012 года в Ульяновске, рассматривая проблемы и решения, связанные с архитектурой поиска и индексации. Он содержит статистику, такие как 90 миллионов запросов в сутки, и предлагает различные стратегии оптимизации и настройки для эффективного полнотекстового поиска. В документе также упоминаются используемые технологии, архитектура системы и способы обработки данных.
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...Dev2DevДокумент описывает использование графовой базы данных Neo4j в enterprise-приложении компании 2ГИС для работы с геоинформационными системами. Основное внимание уделяется структуре графа, тестированию его корректности и использованию языка запросов Cypher для управления данными. Авторы подчеркивают преимущества и недостатки системы, а также возможности ее применения в обработке данных о транспортных маршрутах и городской инфраструктуре.
Как настроить DMVPN и избежать проблем
Как настроить DMVPN и избежать проблемCisco Russia Презентация описывает настройку и функционирование технологии Dynamic Multipoint VPN (DMVPN) от Cisco, включая различия между фазами 2 и 3, подключения к нескольким провайдерам, динамическую маршрутизацию и обработку трафика через IPsec. Также затрагиваются аспекты масштабируемости и вопросы, по которым чаще всего открываются кейсы в Cisco TAC. Документ предоставляет примеры архитектур и рекомендации по настройке для эффективного функционирования DMVPN.
Марат Мавлютов - Современный веб как сложная система
Марат Мавлютов - Современный веб как сложная системаYandexДокумент представляет собой обзор истории и технологии интернета, включая его основные компоненты, такие как модели OSI и TCP/IP, а также различные аспекты веб-разработки, включая статический и динамический HTML. В нем рассматриваются достижения интернета с 1969 года, включая ключевые технологии и протоколы, а также значимость облачных вычислений и виртуальных частных сетей. Также упоминаются принципы работы и монетизации сервисов, таких как Яндекс и Facebook.
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Coit-peopleДокумент обсуждает аналитические технологии и проблемы, связанные с обработкой больших данных, включая необходимость эффективного хранения и агрегации данных. Также описываются механизмы обработки входных данных, требования к базам данных и инструменты, используемые для этого. В конце приводятся выводы о производительности и впечатления от использования различных технологий, таких как Kafka, Spark и ClickHouse.
Pulsedb— система хранения временных рядов
Pulsedb— система хранения временных рядовMax LapshinДокумент описывает систему хранения и анализа временных рядов под названием pulsedb, предназначенную для обработки ежесекундных замеров статистики с различных стримов и серверов. Основное внимание уделяется функциональности системы, ее различиям с другими инструментами, такими как rrdtool и influxdb, а также особенностям хранения и транспортировки данных. Упоминается необходимость в риалтайм графиках и раздельном управлении метриками по аккаунтам.
ADD2010: Обработка большого объема данных на платформеApache Hadoop
ADD2010: Обработка большого объема данных на платформеApache Hadoop Vladimir KlimontovichДокумент обсуждает платформу Apache Hadoop и связанные технологии, такие как MapReduce и HDFS, подчеркивая их применение в обработке больших данных. Приведены примеры использования Hadoop в таких секторах, как реклама и исследование данных, а также его архитектурные особенности и достоинства. Также обсуждаются альтернативы, такие как Bigtable и HBase, с акцентом на их преимущества и недостатки.
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo). Badoo Development
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 2013
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 20132ГИС Технологии
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проектеAlexandr Krasheninnikov
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012Roman Pavlushko
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ontico
ekbpy'2012 - Данила Штань - Распределенное хранилище
ekbpy'2012 - Данила Штань - Распределенное хранилищеit-people
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...
Применение в Enterprise-приложении графовой базы данных Neo4j - Антон Максимо...Dev2Dev
Марат Мавлютов - Современный веб как сложная система
Марат Мавлютов - Современный веб как сложная системаYandex
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Coit-people
ADD2010: Обработка большого объема данных на платформеApache Hadoop
ADD2010: Обработка большого объема данных на платформеApache Hadoop Vladimir Klimontovich
Viewers also liked (6)
Опыт внедрения DNSSEC
Опыт внедрения DNSSECPhilipp KulinДокумент обсуждает внедрение DNSSEC, подчеркивая его важность для создания цепочки доверия и предотвращения атак. Описываются ключи (ZSK и KSK), процесс их подстановки и сложности, включая необходимость внимательного контроля изменений и взаимодействия с регистраторами. Также упоминаются возможности DNSSEC, такие как DANE для подтверждения сертификатов и массового внедрения HTTPS.
DNSSEC
DNSSECPhilipp KulinДокумент описывает концепцию DNSSEC, включая его преимущества, такие как предотвращение атак и обеспечение цепочки доверия. В нем также обсуждаются принципы работы, алгоритмы, время действия записей и ротация ключей. Кроме того, затрагиваются вопросы реализации DNSSEC в практике эксплуатации и поддержка некоторых регистраторов.
Хостинг-провайдер и противоправный контент
Хостинг-провайдер и противоправный контентPhilipp KulinДокумент рассматривает модели предоставления услуг хостинга в России и за рубежом, а также различные виды противоправного контента, связанного с хостингом. В нем обсуждаются механизмы выявления проблемного контента и реакция хостинга на жалобы, включая оценку угроз и идентификацию источников. Также поднимаются вопросы и вызовы, с которыми сталкиваются хостинг-провайдеры, и предлагаются пути улучшения взаимодействия и обмена опытом.
перспективы черного списка
перспективы черного спискаPhilipp KulinДокумент обсуждает состояние и проблемы 'черного списка' ресурсов в России, приводя статистику обращений и жалоб. Указывается на недостатки, такие как отсутствие информации о ранее запрещенных ресурсах и неэффективность фильтрации провайдерами. Несмотря на это, положительно отмечен прогресс в создании 'горячих линий' и взаимодействии между государственными структурами и хостинг-провайдерами.
Как взломать WordPress/Joomla за 5 минут
Как взломать WordPress/Joomla за 5 минутPhilipp KulinДокумент обсуждает уязвимости популярных систем управления контентом, таких как Joomla и WordPress, и методы их взлома. Описываются основные недостатки проверки загружаемых файлов и советы по улучшению безопасности, такие как закрытие PHP в папках загрузки и использование шаблонов nginx. В конце упоминается, что универсального решения для защиты от атак нет, но важность обновлений и настроек безопасности подчеркивается.
Linkmeup
LinkmeupeucariotДокумент описывает радиоинтерфейсы и физические каналы в мобильных технологиях 2G, 3G и 4G, включая различные каналы для передачи данных и их назначения. Он подробно рассматривает технологию множественного доступа, каналы управления и их функции, а также новшества, представленные в различных выпусках стандарта HSPA и LTE. Основные аспекты включают методы передачи, частотно-временную структуру и распределение ресурсов для оптимизации связи.
Ad
Similar to Опыт внедрения IPv6 и статистика (9)
Внедрение IPv6 в сетях широкополосного доступа.
Внедрение IPv6 в сетях широкополосного доступа. Cisco Russia Документ рассматривает проблемы нехватки IPv4 адресов для операторов сетей широкополосного доступа и предлагает решение через внедрение IPv6. Автор описывает основные технологии, которые облегчают миграцию на IPv6, включая двойной стек, трансляцию адресов и технологии быстрого развертывания. Публикация нацелена на инженеров и специалистов, работающих с сетями и заинтересованных в переходе на IPv6.
IP address management in Ipv6 era
IP address management in Ipv6 eraТранслируем.белДокумент обсуждает управление IP-адресами в переходный период к IPv6, объясняя причины исчерпания IPv4 и важность миграции к новому протоколу. Он описывает ключевые отличия между IPv4 и IPv6, технологии перехода, такие как туннелирование и трансляция адресов, а также необходимость обновления оборудования для интернет-сервисов. Заключение подчеркивает, что переход будет постепенным, и обе версии протокола будут сосуществовать в обозримом будущем.
IPV6 + FreeBSD = Future is here?
IPV6 + FreeBSD = Future is here?Andrey FesenkoДокумент обсуждает протокол IPv6 как замену IPv4, выделяя его ключевые особенности, такие как длина адреса в 128 бит и автоматическая настройка адресов. Также рассматривается активное участие проекта FreeBSD в внедрении IPv6 и возможные варианты подключения. Признаются сложности, возникающие при использовании IPv6, включая несовместимость некоторых инструментов и недостаток документации.
IPv6
IPv6Andrew PantyukhinДокумент обсуждает проблемы и прогресс внедрения IPv6, акцентируя внимание на его достаточности по сравнению с IPv15. В нем упоминаются ключевые игроки в индустрии, результаты тестирования в разных странах и проблемы с инфраструктурой и клиентской стороной IPv6. Также отмечены последние возможности миграции и важные даты, связанные с распределением адресного пространства.
Juniper scalable NAT-solution
Juniper scalable NAT-solutionSergii LiventsevДокумент обсуждает проблемы исчерпания адресов IPv4 и необходимость перехода на IPv6, предлагая решения, связанные с трансляцией адресов (NAT). В нем рассматриваются интересы различных операторов, абонентов и контент-провайдеров в отношении IPv6, а также приводятся данные о текущем трафике и его динамике. Также описываются примеры реализации и требования к современным NAT-решениям от компании Juniper Networks.
Обзор протокола IPv6. Занятие первое.
Обзор протокола IPv6. Занятие первое.Oleg LipinДокумент описывает переход от IPv4 к IPv6, подчеркивая необходимость нового протокола из-за исчерпания IP-адресов и неэффективного их распределения. IPv6 обеспечивает значительно большее количество адресов, улучшенную безопасность и упрощенную адресацию. Также рассматриваются различные типы адресации и ключевые особенности IPv6, такие как автоконфигурация адресов и использование протоколов DHCP.
I pv6 малоизвестные подробности. андрей пантюхин. зал 2
I pv6 малоизвестные подробности. андрей пантюхин. зал 2rit2011Документ описывает переход на IPv6 в период с 2000 по 2005 годы различными компаниями и текущее состояние тестирования. В нем упоминаются проблемы и недостатки, связанные с переходом на новую технологию, включая инфраструктурные ошибки и недостаточную зрелость маршрутизации. Также подразумеваются рекомендации по улучшению поддержки IPv6 и необходимости обращений к провайдерам и законодателям.
Реализация технологии “Операторский NAT” в продуктах Cisco.
Реализация технологии “Операторский NAT” в продуктах Cisco. Cisco Russia Документ описывает реализацию технологии операторского NAT в продуктах Cisco, акцентируя внимание на transition с IPv4 на IPv6. Он рассматривает проблемы недостатка IPv4 адресов, предлагает различные решения, такие как CGN и 6rd, и подчеркивает значимость устойчивости и масштабируемости сетевых решений. Вдобавок, документ затрагивает требования к функционированию CGN и их особенности.
DUMP-2015 «Микросервисная архитектура в теории и на практике» Иван Бурмистров...
DUMP-2015 «Микросервисная архитектура в теории и на практике» Иван Бурмистров...it-peopleДокумент обсуждает применение микросервисной архитектуры на примере компании 'СКБ Контур', описывая сложности и решения, возникающие на разных этапах развития продуктов. Представлены ключевые аспекты, такие как логирование, автоматизация деплоя и мониторинг, а также проблемы и их решения для систем различного размера. В заключении делается акцент на важности интеграции DevOps для управления технологии и подходами в среде разработки.
Внедрение IPv6 в сетях широкополосного доступа.
Внедрение IPv6 в сетях широкополосного доступа. Cisco Russia
I pv6 малоизвестные подробности. андрей пантюхин. зал 2
I pv6 малоизвестные подробности. андрей пантюхин. зал 2rit2011
Реализация технологии “Операторский NAT” в продуктах Cisco.
Реализация технологии “Операторский NAT” в продуктах Cisco. Cisco Russia
DUMP-2015 «Микросервисная архитектура в теории и на практике» Иван Бурмистров...
DUMP-2015 «Микросервисная архитектура в теории и на практике» Иван Бурмистров...it-people
Ad
More from Philipp Kulin (6)
Разбор и сравнение данных в большом XML на маленькой VDS
Разбор и сравнение данных в большом XML на маленькой VDSPhilipp KulinДокумент описывает процесс разбора и хранения больших XML-файлов (160MB) на виртуальном сервере с низкими затратами и ограничениями по скорости. Включает детали архитектуры, оптимизации хранения данных и методов обновления, с акцентом на использование сравнения контрольных сумм для выявления изменений. Основное внимание уделяется распараллеливанию работы с памятью и ресурсами для повышеnия производительности.
A popular DNS security overview
A popular DNS security overviewPhilipp KulinДокумент обсуждает безопасность системы доменных имен (DNS) и освещает основные угрозы, связанные с подделкой и прослушкой данных. Он рассматривает современные методы защиты, такие как DNSSEC и шифрование трафика через DNS-over-HTTPS и DNS-over-TLS. В документе также упоминаются вопросы государственной регуляции и проблемы, возникающие в контексте безопасности DNS.
Технические аспекты блокировки интернета в России. Проблемы и перспективы
Технические аспекты блокировки интернета в России. Проблемы и перспективыPhilipp KulinДокумент исследует технические аспекты блокировки интернета в России, подчеркивая проблемы и перспективы этой практики. Рассматриваются сложности диагностики, неэффективность взаимодействия между различными участниками и способы фильтрации трафика. Также освещается история проверок и актуальные проблемы, возникающие в процессе реализации блокировок.
A popular DNS security overview. Modern theory and practice
A popular DNS security overview. Modern theory and practicePhilipp KulinДокумент представляет собой обзор современных теорий и практик безопасности DNS, включая угрозы, такие как подделка и прослушка, а также методы защиты, включая DNSSEC, DNSCrypt и DNS-over-TLS/HTTPS. Обсуждаются различные аспекты эксплуатации и размещения этих технологий, уделяя внимание угрозам и уязвимостям системы. В конце документа представлены ссылки на полезные ресурсы и контактная информация автора для дальнейших вопросов.
ENOG-14. Руководство оператора DNSSEC
ENOG-14. Руководство оператора DNSSECPhilipp KulinДокумент представляет собой руководство по DNSSEC, охватывающее основные концепции, процедуры и требования для операторов DNS. Обсуждаются процессы подписания зон, управления ключами и поддержания цепочки доверия, а также важные аспекты, такие как делегирование и периодическое обслуживание. Отмечается, что запуск и обслуживание DNSSEC требует значительных усилий и взаимодействия с регистраторами доменов.
ENOG-14. Ограничение доступа в России
ENOG-14. Ограничение доступа в РоссииPhilipp KulinДокумент обсуждает проблемы ограничения доступа в России, включая наполнение реестра запрещенных сайтов и различные модели фильтрации интернет-трафика. Упоминается о токсичности и неактуальности реестра, а также о неэффективных блокировках. Предлагаются рекомендации по улучшению контроля и обслуживанию реестра.
Разбор и сравнение данных в большом XML на маленькой VDS
Разбор и сравнение данных в большом XML на маленькой VDSPhilipp Kulin
Технические аспекты блокировки интернета в России. Проблемы и перспективы
Технические аспекты блокировки интернета в России. Проблемы и перспективыPhilipp Kulin
A popular DNS security overview. Modern theory and practice
A popular DNS security overview. Modern theory and practicePhilipp Kulin
Опыт внедрения IPv6 и статистика
- 1. Опыт внедрения IPv6 Филипп Кулин, phil@dreamless.ru 01.06.2013
- 2. А нужен ли IPv6 • IPv4 реально закончились. Рост цен. Закрытые возможности роста. • CDN, социальные сети • Вы действительно верите, что поезд ещё не тронулся?
- 3. Статистика IPv6 Рунета • IPv6 (AAAA на домен или WWW.домен) RU- 224517, РФ- 23051 (~5% доменов) • 250 тысяч доменов смотрят на 118181 уникальных IPv6 адреса
- 4. Распределение по хостерам IPv6 129887 – Мастерхост 102071 – Таймвеб 2542 - Дремучий лес 2181 - Delta-X из Киева 1626 - Гарант Парк 1529 – Агава 1302 – Hetzner 1230 – ServerClub 788 – Оверсан
- 5. Пример плана адресов IPv6 2001:67c:16cc:GGGG::/64 GGGG - тип использования 0000 - infaranet 2001:67c:16cc::/64 cafe - хостинг 2001:67c:16cc:cafe::/64 07ea – хостинг2 2001:67c:16cc:7ea::/64 caff - спец: 2001:67c:16cc:caff:ee::/56
- 6. Пример плана адресов IPv6 2001:67c:16cc:[cafe|7ea]:RRRR:GGGG:LLLL:BBBB RRRR - резерв, умолчание 0000 GGGG – тип использование LLLL – внутренний номер сервера IP BBBB – выделение сайтам Типы: 0000 – инфраструктура 2001:67c:16cc:cafe:: и 2001:67c:16cc:7ea:: face - сайты 2001:67c:16cc:cafe::face: (штатные сайты) и 2001:67c:16cc:7ea::face: (дополнительные IP) ba5e – сервисы (DNS, SMTP, etc) 2001:67c:16cc:cafe::ba5e: и 2001:67c:16cc:7ea::ba5e:
- 7. Косяки с позиции первой мили • Ресолвинг localhost в ::1 • MySQL до версии 5.5.3 • Sphinx search • Postfix до версии 2.8 • PHP с поддержкой IPv6 не пытается IPv4 • Apache 1.x.x (но mod_realip спокойно пишет переданные IPv6) • Трудно распарсить • Много программ не понимают запись [IPv6]:порт
- 8. Интересные факты • Яндекс.Почта шлёт письма по IPv6, но для MX нет AAAA-записи • Google Почта принимает почту по IPv6, но не использует для исходящих писем • Вконтакте имеет IPv6 для сайта и API, но не использует в почте • Многие домены имеют AAAA-записи, но их NSы расположены только на IPv4