![监控平台
核心概念：指标，事件，日志
指标数据 2020112211 ， 笔记本数量= 10 ， 颜色= “ 红色” ， 状态= “ 电池故障”
notebook_count{color= “ 红色” ,state= “ 电池故障” } 10 1609053930
指标： 数值 维度： 字符串
事件数据 ” 公司突然有10台红色的笔记本电池故障， 占比10% ， 需要注意了”
日志数据 ” 2020-11-22 11： 00 [W ARN ] 发现xxxx编码笔记本， 红色的， 电池坏了”
结论性， 无序性
细节大数据
定位方便
” 2020-11-22 11： 01 [W ARN ] 发现yyyy编码笔记本， 白色的， 运行正常”
结构化， 连续性 监控平台
故障自愈
日志平台](https://image.slidesharecdn.com/v1-230530072341-a0b074c1/85/_V1-0-pptx-78-320.jpg)
More Related Content
What's hot (20)
Similar to 蓝鲸平台培训冲痴1.0.辫辫迟虫 (20)
蓝鲸平台培训冲痴1.0.辫辫迟虫
- 2. 目 录 CONTENTS PAGE ? PART1 平台架构体系介绍 ? PART2 蓝鲸配置平台介绍 ? PART3 蓝鲸管控平台介绍 ? PART4 蓝鲸作业平台介绍 ? PART5 蓝鲸集成平台介绍
- 4. 蓝鲸体系设计理念和逻辑架构 CI/CD 资源交付自动化 业务运维自动化 巡检自动化 CMP 公有云资源 私有云资源 混合云资源 研发、部署、运营场景 集成平台：ESB（运维服务总线）+API Gateway（统一接入）+开发者中心（开发框架） 管控平台：负责各个IT运维对象的接入 作业平台 配置平台 挖掘平台 容器平台 蓝鲸研发运营一体化平台 蓝鲸监控及故障自愈 辅助运营 …… 移动平台 数据平台 公司第三方系统 …… DevOps
- 5. 5 Nginx 服务器 SAAS正式服务器 SAAS测试服 务器 采控服务器 基础模块服务 器 防火墙 用户访问 A机房 B机房 Agent代理网关 数据总线 数据基础模块 MySQL-A集群 Influxdb集群 elasticsearch集群 Mongodb集群 MySQL-B集群 数据库集群 Agent代理网关 数据总线 Zabbix监控 服务器 CMDB、JOB、PAAS 分布式协调、缓存队 列群集 kafka集群 Rabbitmq消 息队列 etcd,redis_cluster,zk,consul 物理架构-示例
- 6. 目 录 CONTENTS PAGE ? PART1 蓝鲸架构体系介绍 ? PART2 蓝鲸配置平台介绍 ? PART3 蓝鲸管控平台介绍 ? PART4 蓝鲸作业平台介绍 ? PART5 蓝鲸集成平台介绍
- 7. CMDB的起源和变化 ITIL CMDB ? 面向资产 ? 支撑IT的服务管 理 应用 CMDB ? 面向应用 ? 支撑IT的服务管 理和运营管理 ? CMDB来源于ITIL，是一个配置管理数据库，存储公司的各类硬件和软件资产。 它的特点是面向资产，管 理的范围比较大，比如：打印机、扫描仪、显示器、键盘等一些和支撑业务无关的设备都会纳管。ITIL CMDB支撑着ITIL中的关键流程（变更管理、事件管理、问题管理），它是IT服务管理的基础。 ? 相比ITIL CMDB，应用CMDB的管理范围变小了，核心聚焦在应用，仅纳管和应用相关的IT资源对象，比 如：应用拓扑、主机、中间件、数据库等。并且，应用CMDB不仅支撑IT服务管理的流程，更重要的它是 整个IT运营管理的基石（监控、数据中心运维、应用运维、数据分析）
- 8. 配置管理整体规划 配置发现 配置管理门户 脚本插件 协议插件 agent插件 自定义插件 ? 元数据 ? 主数据 V M V M E C S V M D B D B D B 应用配置平台（CMDB） 基础设施 基础架构 应用资源 业务系统 审批代办 数据维护 数据报表 应用拓扑 数据分析 模型规划设 计 应用发布 系统 应用监控 平台 应用部署 系统 日志平台 自动化操 作平台 数据平台 数据中心：IT资源对象 主机 虚拟化 公有云 存储设备 网络设备 项目管理 产物管理 项目管理 系统 产物管理 系统 上线部署 资源部署 系统 数据查询 应用拓扑 生产变更 应用监控 故障管理 数据分析、 运营 设备上架 资源上线 基础监控 API API API API 数据报表 数据维护 元数据定义 周期同步 API API 数据消费 表示管理流程 表示管理工具 表示修改CMDB 表示消费CMDB 应用名称 拓扑、模块 程序包、配置文件 基础资源
- 9. 蓝鲸配置平台
- 10. 蓝鲸配置平台功能
- 11. 蓝鲸配置平台功能
- 12. 蓝鲸配置平台功能
- 13. 蓝鲸配置平台功能 ? 以应用为中心原则，围绕应用自上而下的进行详细设计； ? 结构上有1：1、1：N：、N：N三种关系； ? 有运行、包含、依赖、支撑、部署等多种关系；
- 14. 蓝鲸配置平台功能
- 15. 目 录 CONTENTS PAGE ? PART1 蓝鲸体系介绍 ? PART2 蓝鲸配置平台介绍 ? PART3 蓝鲸管控平台介绍 ? PART4 蓝鲸作业平台介绍 ? PART5 蓝鲸集成平台介绍
- 16. 管控平台
- 17. 管控平台 ? 蓝鲸体系的底层管控系统，是上层运维服务体系与底层 IaaS 的连接器，提供了 人机交互的通道与能力， 为上层提供指令、文件、数据的通道
- 18. 管控平台架构 ? Agent：蓝鲸Agent，安装在业务需要管控的主机里 ，BK Agent 是蓝 鲸管控平台提供三大服务能力的实际执行者； ? PA：蓝鲸管控平台跨云代理节点，为云区域 BK Agent 提供代理转发服 务，提供跨云区域机器管控能力； ? TaskServer：蓝鲸管控平台任务及控制服务端程序，该程序提供对集群 内 Agent 的管理能力，并支持对 Agent 批量下发和执行发命令或脚本； ? FileServer：蓝鲸管控平台文件传输控制服务端程序，该程序对指定范 围内 Agent 节点提供 BT 种子服务，保证对传输的安全性、不同区域及 业务模块间的隔离性； ? DataServer：蓝鲸管控平台数据传输服务端程序，该服务端主要提供对 Agent 采集的数据进行汇聚、分类、流转能力； ? Redis：Redis 提供工作区数据缓存作用。 ? Zookeeper：Zookeeper 主要提供对集群的管理能力，包括集群中不同 节点间的相互发现，有效性探测等。
- 20. 蓝鲸Agent ? Agent基于C++开发。对于系统的性能上的损耗是很低的，正常是在1%左右，最小启动资源小于0.1GB内存、0.01核CPU； ? Agent会与平台建立两个长连接，一个是命令通道，一个是数据通道。命令通道用于平台下发指令给到Agent执行，数据通道 用于Agent上报自身的各种数据，如性能、日志、配置等；当Agent需要接收或上传文件时，还会与平台临时建立一个文件通 道，接收或上传操作完成时通道自动关闭。。 ? Agent采用守护进程监控机制： ? mem：占用率阈值为10%； ? cpu：占用率阈值根据核数(N)动态设定，N >= 10，cpu阈值= 10%；2 <= N < 10，cpu阈值 = 90% / N；N = 1， cpu阈值 = 50%； ? Agent支持采集器插件化，可自动加载采集所需的插件，如日志采集、性能及配置采集插件。日志采集插件，基于C++开发， 通过监听系统的inotify事件，实时响应新文件、新数据，数据采集延迟低，处理速度>1w行/秒（单行大小1KB）。性能与配置 采集插件，基于golang开发，使用libbeat框架，扩展能力强，效率高。用户可根据采集需求自行定制采集器，并发布到Agent 中。
- 22. Agent安装工作原理 Linux / Windows（含 颁测驳飞颈苍）
- 23. 目 录 CONTENTS PAGE ? PART1 蓝鲸体系介绍 ? PART2 蓝鲸配置平台介绍 ? PART3 蓝鲸管控平台介绍 ? PART4 蓝鲸作业平台介绍 ? PART5 蓝鲸集成平台介绍
- 24. 蓝鲸作业平台——介绍
- 25. 作业平台架构
- 29. 作业编排
- 30. API
- 31. 作业平台参数
- 32. 任务执行逻辑
- 34. 数据采集上报
- 35. 目 录 CONTENTS PAGE ? PART1 蓝鲸体系介绍 ? PART2 蓝鲸配置平台介绍 ? PART3 蓝鲸作业平台介绍 ? PART4 蓝鲸Agent介绍 ? PART5 蓝鲸集成平台介绍
- 37. 蓝鲸集成平台——架构
- 38. 公司版-蓝鲸桌面 公司版中提供了蓝鲸桌面， 其功能远远高于社区版的 “工作台”，除了基本的 APP 导航和定制 APP 顺序 以外，还集合了很多定制 化的功能，如：权限统一 管理、换肤、搜索、统计 等。
- 39. 蓝鲸集成平台——开发者中心
- 43. 公司版-贰厂叠权限
- 44. 公司版-数据统计
- 45. 蓝鲸集成平台介绍——公司服务总线（ESB & API 骋补迟别飞补测） 公司服务总线有两个作用：其一，为整 个蓝鲸体系服务，如：配置平台、作业 平台、数据平台等，均可以将各平台的 特性以 API 的形式对接到组件中，便于 集成平台上的 SaaS 调用。其二，第三 方系统，如微信公众号/公司号、邮件系 统、OA 系统、AD 系统、财务系统等非 蓝鲸体系内的运营系统，同样以 API 的 形式将特性对接到组件，丰富和完善整 个集成平台公司服务总线的服务。从而 使集成平台之上的 SaaS 可以调度一些， 连接一切。
- 46. 蓝鲸集成平台介绍——公司服务总线（ESB & API 骋补迟别飞补测）
- 47. 蓝鲸集成平台介绍——贰厂叠组件
- 48. 蓝鲸集成平台介绍——贰厂叠组件
- 49. 蓝鲸 MagicBox 组件样例 页面样例 通用样式 通用JS 前端模板 前端规范 第三方插件 自研插件 移动 页面套餐样例 提示页面样例 邮件模板样例 …… PC 蓝鲸前端工具集-MagicBox
- 52. 权限管理体系
- 55. 权限中心
- 56. 权限中心
- 57. 权限粒度支持资源和属性级别
- 58. 主动授权——用户组授权 ? 切换到超级管理员/系统管理员/分级管理员 ? 新建用户组 ? 可以对用户组增删组成员、增删权限项
- 59. 权限申请
- 64. 分级权限管理
- 65. 权限管理角色
- 68. 创建用户组&补尘辫;主动授权
- 70. 日志平台
- 71. 日志平台
- 72. 日志平台
- 74. 监控平台
- 75. 监控平台 平台管理者 业务维护者 告警处理者 二次开发者 开箱即用的监控场景 ? 主机监控 & 服务拨测 强大的告警策略 ? 8种检测算法 ? 3种数据监控类型 ? 多维度， 无数据监控 ? 实时检测 ? 防抖机制， 告警收敛 ? 自定义通知模版 16种数据接入方式 ? 插件在线制作， 5种类型， 7种语言 ? 采集的全生命周期管理 ? 兼容Prometheus ? 不需要agent的自定义上报 灵活丰富的数据视图 ? 仪表盘兼容所有的数据 ? 灵活的数据检索 ? 直观的检查视图 ? 各种辅助视图和视图功能 全局精细管控 ? 易用的全局配置 ? 公共信息配置 ? 批量导入和导出分享 ? 精细化权限控制 方法齐全 ? API齐全 ? 插件线下制作 ? 消息队列 ? 告警回调 完善的告警处理 ? 快捷处理： 告警确认， 屏蔽， 移动端 ? 详细的告警事件和关联信息 ? 故障自愈 多 快 细 全
- 76. 监控平台 1 2 3 4
- 77. 端 应用服务层 接入层 数据逻辑层 存储层 服务器层 网络层 浏览器/ 客户端 四层/ 七层接入 PC/ 核心服务 通用服务 Mysql/ Cache 运行环境 网络状况 用户体验 业务监 控 组件监控 主机监控 容器监控 网络监控 设备监控 APM / UEM 进 程 日 志 拨 测 脚 本 插 件 basereport PING SNMP 技术架构 监控场景 监控方式 自定义上报 自定义上报 远程采集 监控对象分层 监控平台 核心概念：监控场景-监控方式-监控对象分层
- 78. 监控平台 核心概念：指标，事件，日志 指标数据 2020112211 ， 笔记本数量= 10 ， 颜色= “ 红色” ， 状态= “ 电池故障” notebook_count{color= “ 红色” ,state= “ 电池故障” } 10 1609053930 指标： 数值 维度： 字符串 事件数据 ” 公司突然有10台红色的笔记本电池故障， 占比10% ， 需要注意了” 日志数据 ” 2020-11-22 11： 00 [W ARN ] 发现xxxx编码笔记本， 红色的， 电池坏了” 结论性， 无序性 细节大数据 定位方便 ” 2020-11-22 11： 01 [W ARN ] 发现yyyy编码笔记本， 白色的， 运行正常” 结构化， 连续性 监控平台 故障自愈 日志平台
- 80. 标准运维
- 81. 标准运维 通过作业平台把版本文件分发到 各个对应的服务主机上 5. 更新版本 利用自动化测试工具或系统跑一 遍测试流程， 验证可用性 7. 测试检查 上机用命令行或脚本将进程临时 停止， 为更新做准备 4. 停止进程 确认OK后， 登录监控系统将之前 的屏蔽策略解除， 恢复防护！ 8. 告警屏蔽解除 前往监控系统屏蔽对应的 业务告警策略。 3. 屏蔽告警 上机用命令行或脚本将服务进程 重新拉起， 使其恢复服务 6. 进程启动 通过作业平台把版本文件上传到 发布平台的中转机 2. 版本文件上传 开发从g it或svn将文件打包并交 付给运维人员 1. 版本打包
- 82. 标准运维
Editor's Notes
- #37: http://bk.tencent.com/document/bkprod/000105.html
- #46: 蓝鲸体系中的其它平台（作业平台、配置平台、数据平台、容器管理平台）和第三方的运营系统（公众号、邮箱、OA等）提供API，统一以组件的形式对接公司服务总线，实现各原子平台API协议统一和集中化管理，这样，在上层的SaaS应用就可以通过公司服务总线调用API。同时，在公司服务总线上实现了对组件的权限校验、频率控制、访问统计、路由分发以及自助接入等功能。； 在线 API查看：http://bk.tencent.com/document/bkapi
- #47: 蓝鲸体系中的其它平台（作业平台、配置平台、数据平台、容器管理平台）和第三方的运营系统（公众号、邮箱、OA等）提供API，统一以组件的形式对接公司服务总线，实现各原子平台API协议统一和集中化管理，这样，在上层的SaaS应用就可以通过公司服务总线调用API。同时，在公司服务总线上实现了对组件的权限校验、频率控制、访问统计、路由分发以及自助接入等功能。； 在线 API查看：http://bk.tencent.com/document/bkapi
- #50: 前端组件 copy 个性化插件 套餐样例
- #51: 统一登录 日志格式规范 后台框架集成多种通用模块，同时提供常用的功能样例