狠狠撸

狠狠撸Share a Scribd company logo
腾 讯 大 讲 堂 第四十五期 研发管理部 大讲堂主页: http://km.oa.com/class 与讲师互动:  http://km.oa.com/group/class
Tencent Table Cache 互联网业务系统平台架构组
分享主题 背景 功能特点 架构原理 内存管理 未来… QA
背景 互联网应用的数据访问特点 海量 并发 热点 存储系统的性能瓶颈 Tencent Table Cache TTC 是提供高速数据访问服务的通用 cache server 。特点是采用 epoll 和异步状态机模式提高并发能力。
功能特点 更加安全的数据操作 更为紧凑的内存存储 更加高效的数据访问(批量) 强大的异步处理机制 支持多种数据源离散存储 高效的网络接入能力
架构原理 1 Incoming Cache DataSource ttcd Cache Helper Helper Helper Helper Helper Helper helperd task unix socket tcp
架构原理 2 处理单元 Timer TimeNotify InputNotify OutputNotify 处理单元 InputNotify OutputNotify task
架构原理 3 处理路径的抽象允许随时 attach 新的处理单元,扩展程序功能 Cache 系统和数据访问 helper 分离,使得系统支持多种数据源 datasource 分发允许后端数据离散分布
内存管理 1  设计思路 不固化存储结构,允许内存块大小可变,位置可移动 不固定索引节点属性,随时允许动态增加
内存管理 2  特性 Hash Bucket Node Index Node Group Virtual Node LRU List
内存管理 3  特性抽象 众多的实现特性如何去管理? Feature-descriptor 对外提供统一接口
内存管理 4  属性聚合 属性聚合使得紧密存储成为可能,能大幅提高内存利用率 属性聚合方便动态增加新属性
内存管理 5  多级索引
内存管理 6  变长分配器 摈弃老的定长数据 chunk 概念,不 再 采用定长存储结构,转而采用变长分配机制 变长分配采用类似 ptmalloc 的 bins 分配策略,使得内存分配、释放非常高效
内存管理 7  总体视图
内存管理 8  位图存储结构
未来… 集中部署、统一运营 备份、容灾 跨 IDC 分布 …
Q&A THE END

More Related Content

What's hot (19)

PDF
网站存储经验谈辫诲蹿
Yu Lin
?
PPTX
惭测厂蚕尝新技术探索与实践
Lixun Peng
?
PPTX
Memcached vs redis
qianshi
?
PPT
Redis 介绍 -田琪
Shaoning Pan
?
PPTX
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
?
PDF
对惭测厂蚕尝应用的一些总结
Lixun Peng
?
PDF
Hybrid Cloud Based on Ceph Object Storage - ShanChun
Ceph Community
?
PPTX
Cache 20170407
Chin-Yu Ku
?
PPT
淘宝商品库惭测厂蚕尝优化实践
Feng Yu
?
PPT
Yun table 云时代的数据库
ikewu83
?
PPT
云计算环境中厂蝉诲在肠补蝉蝉补苍诲谤补测试的性能表现
july19850903
?
PPSX
My sql优化、新特性和新架构
mysqlops
?
PDF
Tdsql在微众银行核心交易系统中的实践 雷海林
Cheng Feng
?
PPTX
贵濒补蝉丑存储设备在淘宝的应用实践
Feng Yu
?
PPT
Memlink
jondynet
?
PDF
新浪微博贵别别诲服务架构
XiaoJun Hong
?
PDF
HDFS元数据的独立服务和 独立持久化存储 -hadoop2011-淘宝
miaojian430
?
PDF
高可用可扩展数据库架构方案探讨
Sky Jian
?
网站存储经验谈辫诲蹿
Yu Lin
?
惭测厂蚕尝新技术探索与实践
Lixun Peng
?
Memcached vs redis
qianshi
?
Redis 介绍 -田琪
Shaoning Pan
?
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
?
对惭测厂蚕尝应用的一些总结
Lixun Peng
?
Hybrid Cloud Based on Ceph Object Storage - ShanChun
Ceph Community
?
Cache 20170407
Chin-Yu Ku
?
淘宝商品库惭测厂蚕尝优化实践
Feng Yu
?
Yun table 云时代的数据库
ikewu83
?
云计算环境中厂蝉诲在肠补蝉蝉补苍诲谤补测试的性能表现
july19850903
?
My sql优化、新特性和新架构
mysqlops
?
Tdsql在微众银行核心交易系统中的实践 雷海林
Cheng Feng
?
贵濒补蝉丑存储设备在淘宝的应用实践
Feng Yu
?
Memlink
jondynet
?
新浪微博贵别别诲服务架构
XiaoJun Hong
?
HDFS元数据的独立服务和 独立持久化存储 -hadoop2011-淘宝
miaojian430
?
高可用可扩展数据库架构方案探讨
Sky Jian
?

Similar to 腾讯大讲堂45 解剖ttc (8)

PPT
腾讯大讲堂45 解剖ttc
George Ang
?
PDF
基于My sql的分布式数据库实践 公开
YANGL *
?
PPTX
Web Caching Architecture and Design
Ho Kim
?
PDF
查礼 -大数据技术如何用于传统信息系统
hdhappy001
?
PDF
移动互联网服务端架构介绍
arganzheng
?
PPTX
海量数据计算架构实现
Shaoning Pan
?
PPTX
大规模数据处理
Kay Yan
?
PDF
Bdwf11 netezza james_zheng
bigdatawf
?
腾讯大讲堂45 解剖ttc
George Ang
?
基于My sql的分布式数据库实践 公开
YANGL *
?
Web Caching Architecture and Design
Ho Kim
?
查礼 -大数据技术如何用于传统信息系统
hdhappy001
?
移动互联网服务端架构介绍
arganzheng
?
海量数据计算架构实现
Shaoning Pan
?
大规模数据处理
Kay Yan
?
Bdwf11 netezza james_zheng
bigdatawf
?
Ad

More from topgeek (20)

PDF
明洪涛 个性化推荐系统@土豆
topgeek
?
PDF
项亮 推荐系统实践 从入门到精通
topgeek
?
PDF
空望 推荐系统@淘宝
topgeek
?
PDF
从长津湖战役看团队建设
topgeek
?
PDF
Agile changes in liba
topgeek
?
PDF
I hate unit test
topgeek
?
PDF
百姓网的网速优化之路
topgeek
?
PDF
Ruby agile development_of_game_operation_platform
topgeek
?
PPTX
图形组件技术杂谈
topgeek
?
PPT
搁别蝉迟与面向资源的飞别产开发
topgeek
?
PPT
腾讯大讲堂42 数据库内核设计思路浅析
topgeek
?
PPT
腾讯大讲堂38 oracle基础体系结构及性能优化
topgeek
?
PPT
腾讯大讲堂48 数据库查询优化浅析
topgeek
?
PPT
腾讯大讲堂46 自由cgi之路v3
topgeek
?
PPT
腾讯大讲堂26 带宽优化之道
topgeek
?
PPT
腾讯大讲堂25 公司级搜索托管平台介绍
topgeek
?
PPT
腾讯大讲堂24 qq show2.0重构历程
topgeek
?
PPT
腾讯大讲堂19 系统优化的方向
topgeek
?
PPT
腾讯大讲堂17 性能优化不是仅局限于后台(qzone)
topgeek
?
PPT
腾讯大讲堂13 soso访问速度优化
topgeek
?
明洪涛 个性化推荐系统@土豆
topgeek
?
项亮 推荐系统实践 从入门到精通
topgeek
?
空望 推荐系统@淘宝
topgeek
?
从长津湖战役看团队建设
topgeek
?
Agile changes in liba
topgeek
?
I hate unit test
topgeek
?
百姓网的网速优化之路
topgeek
?
Ruby agile development_of_game_operation_platform
topgeek
?
图形组件技术杂谈
topgeek
?
搁别蝉迟与面向资源的飞别产开发
topgeek
?
腾讯大讲堂42 数据库内核设计思路浅析
topgeek
?
腾讯大讲堂38 oracle基础体系结构及性能优化
topgeek
?
腾讯大讲堂48 数据库查询优化浅析
topgeek
?
腾讯大讲堂46 自由cgi之路v3
topgeek
?
腾讯大讲堂26 带宽优化之道
topgeek
?
腾讯大讲堂25 公司级搜索托管平台介绍
topgeek
?
腾讯大讲堂24 qq show2.0重构历程
topgeek
?
腾讯大讲堂19 系统优化的方向
topgeek
?
腾讯大讲堂17 性能优化不是仅局限于后台(qzone)
topgeek
?
腾讯大讲堂13 soso访问速度优化
topgeek
?
Ad

腾讯大讲堂45 解剖ttc