腾讯万亿级大数据组件TubeMQ正式开源

[db:作者]

图片来自OSCHINA社区
克日假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，在 ApacheCon 2019 上假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，腾讯开源治理委员会委员、腾讯开源同牛耳席、Apache 软件基金会 Member 堵俊平先容了腾讯开源线路图假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，公布腾讯万亿级散布式消息中心件 TubeMQ 正式对外开源假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，并计划捐赠给 Apache 基金会预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



▲ 腾讯开源线路图
图片来自OSCHINA社区
TubeMQ 的原型是腾讯数据平台部在2013年自研的散布式消息中心件系统（MQ）假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，专注于大数据场景下海量数据的高性能存储和传输假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，持久办事微信付出、腾讯视频、广点通等产物预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



▲ TubeMQ 项目先容
图片来自OSCHINA社区
TubeMQ 首要特征：

纯 Java 说话实现

引入 Master 调和理点：相比 Kafka 依靠于 Zookeeper 完成元数据的治理和实现 HA 保障分歧假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，TubeMQ 系统采用的是自治理的元数据仲裁机制方式停止假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Master 节点经过采用内嵌数据库 BDB 完成集群内元数据的存储、更新以及 HA 热切功用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，负责 TubeMQ 集群的运转管控和设置治理操纵假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，对外供给接口等；经过 Master 节点假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，TubeMQ 集群里的 Broker 设置设备、变更及查询实现了完整的自动化闭环治理假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，减轻了系统保护的复杂度

办事器侧消耗负载平衡：TubeMQ 采用的是办事侧负载平衡的计划假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，而不是客户端侧操纵假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，提升系统的管控才能同时简化客户端实现假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，更便于平衡算法升级

系统行级锁操纵：对于 Broker 消息读写中存在中心状态的并发操纵采用行级锁假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，避免反复题目

Offset 治理调剂：Offset 由各个 Broker 单独治理假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，ZK 只作数据持久化存储用（最初斟酌完全去掉ZK依靠假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，斟酌到后续的功用扩大就临时保存）

消息读取机制的改良：TubeMQ 采用的是消息随机读取形式,同时为了下降消息时延又增加了内存缓存读写,对于带 SSD 装备的机械,增加消息滞后转 SSD 消耗的处置假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，处理消耗严重滞后时吞吐量下降以及 SSD 磁盘容量小、刷盘次数有限的题目假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，使其满足营业快速生产消耗的需求

消耗者行为管控：支持经过战略实时静态地控制系统接入的消耗者行为假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，包括系统负载高时对特定营业的限流、停息消耗假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，静态调剂数据拉取的频次等；

办事分级管控：针对系统运维、营业特点、机械负载状态的分歧需求假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，系统支持运维经过战略来静态控制分歧消耗者的消耗行为假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，比如能否有权限消耗、消耗时延分级保证、消耗限流控制假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，以及数据拉取频次控制等

系统平安管控：按照营业分歧的数据办事需要假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，以及系统运维平安的斟酌假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，TubeMQ 系统增加了 TLS 传输层加密管道假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，生产和消耗办事的认证、授权假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，以及针对散布式拜候控制的拜候令牌治理假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，满足营业和系统运维在系统平安方面的需求

资本操纵率提升改良：相比于 Kafka假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，TubeMQ 采用毗连复用形式假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，削减毗连资本消耗；经过逻辑分区机关假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，削减系统对文件句柄数的占用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，经过办事器端过滤形式假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，削减收集带宽资本利用率；经过剥离对 Zookeeper 的利用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，削减 Zookeeper 的强依靠及瓶颈限制

客户端改良：基于营业利用上的便当性以假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，我们简化了客户端逻辑假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，使其做到最小的功用调集假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，我们采用基于响应消息的接收质量统计较法来自动剔出坏的 Broker 节点假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，基于初次利用时作毗连尝试来避免大数据量发送时发送受阻

堵俊平先容假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，腾讯天天要处置范围惊人的数据预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。为支持海量营业假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，腾讯组建了包括存储层、数据治理层及分析层 3 层结构的数据湖协同计划假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，向下治理多种数据引擎假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，向上支持多种数据利用需求预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。TubeMQ 就是来历于腾讯数据湖存储层的消息中心件系统假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，支持着海量数据的流入和运转预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。经过近7年、万亿范围的海量数据沉淀假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，TubeMQ 今朝日均接入量跨越 25 万亿条消息预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



▲ 腾讯数据湖计划假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，其绝大大都组件由 Apache 的开源项目组成
图片来自OSCHINA社区
堵俊平先容到假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，腾讯计划将 TubeMQ 捐赠给 Apache 基金会假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，今朝已经启动了相关的孵化流程预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
检察项目：https://www.oschina.net/p/tubemq
本文题目：腾讯万亿级大数据组件 TubeMQ 正式开源
本文地址：https://www.oschina.net/news/109943/tencent-tubemq-opensourced