您好!
欢迎来到京东云开发者社区
登录
首页
博文
课程
大赛
工具
用户中心
开源
首页
博文
课程
大赛
工具
开源
更多
用户中心
开发者社区
>
博文
>
分布式实例——概述
分享
打开微信扫码分享
点击前往QQ分享
点击前往微博分享
点击复制链接
分布式实例——概述
Apache ShardingSphere
2021-01-19
IP归属:未知
510浏览
# 背景 随着数据规模的不断膨胀,使用多节点集群的分布式方式逐渐成为趋势。在这种情况下,如何高效、自动化管理集群节点,实现不同节点的协同工作,配置一致性,状态一致性,高可用性,可观测性等,就成为一个重要的挑战。 本部分包括三个模块:治理、可观测性、集群管理(计划中)。 # 挑战 分布式治理的挑战,主要在于集群管理的复杂性,以及如何以统一和标准的方式对接各种第三方集成组件。 集成管理的复杂性体现在,一方面我们需要把所有的节点,不管是底层数据库节点,还是中间件或者业务系统节点,它们的状态都统一管理起来,并且能够实时的探测到最新的变动情况,进一步为集群的控制和调度提供依据。这方面我们使用集群拓扑状态图来管理集群状态,同时使用心跳检测机制实现状态检测与更新。 另一方面,不同节点节点之间的统一协调,策略与规则的同步,也需要我们能够设计一套在分布式情况下,进行全局事件通知机制,以及独占性操作的分布式协调锁机制。这方面,我们使用 Zookeeper/Etcd 等实现配置的同步,状态变更的通知,以及分布式锁来控制排他性操作。 同时,由于治理功能本身可以采用合适的第三方组件作为基础服务,需要我们抽象统一的接口,统一各种不同的组件的标准调用API,对接到治理功能模块。 最后对于可管理性和可观测性的要求,我们需要完善通过UI查询、操作和控制系统的功能,进一步完善对于 tracing 和 APM 的支持。 # 目标 对于治理功能,目标如下: - 实现配置中心:支持 Zookeeper/etcd/Apollo/Nacos,管理数据源、规则和策略的配置。 - 实现注册中心:支持 Zookeeper/etcd,管理各个 Proxy 示例的状态。 对于可观测性,目标如下: - 支持 OpenTracing/Skywalking 集成,实现调用链的跟踪;
原创文章,需联系作者,授权转载
上一篇:读写分离
下一篇:分布式治理——配置中心
Apache ShardingSphere
文章数
96
阅读量
231373
作者其他文章
01
突破关系型数据库桎梏:云原生数据库中间件核心剖析
数据库技术的发展与变革方兴未艾,NewSQL的出现,只是将各种所需技术组合在一起,而这些技术组合在一起所实现的核心功能,推动着云原生数据库的发展。 NewSQL的三种分类中,新架构和云数据库涉及了太多与数据库相关的底层实现,为了保证本文的范围不至太过发散,我们重点介绍透明化分片数据库中间件的核心功能与实现原理,另外两种类型的NewSQL在核心功能上类似,但实现原理会有所差别。
01
Apache ShardingSphere数据脱敏全解决方案详解(上)
Apache ShardingSphere针对新业务上线、旧业务改造分别提供了相应的全套脱敏解决方案。
01
Shardingsphere整合Narayana对XA分布式事务的支持(4)
ShardingSphere对于XA方案,提供了一套SPI解决方案,对Narayana进行了整合,Narayana初始化流程,开始事务流程,获取连接流程,提交事务流程,回滚事务流程。
01
从中间件到分布式数据库生态,ShardingSphere 5.x革新变旧
5.x 是 Apache ShardingSphere从分库分表中间件向分布式数据库生态转化的里程碑,从 4.x 版本后期开始打磨的可插拔架构在 5.x 版本已逐渐成型,项目的设计理念和 API 都进行了大幅提升。欢迎大家测试使用!
最新回复
丨
点赞排行
共0条评论
Apache ShardingSphere
文章数
96
阅读量
231373
作者其他文章
01
突破关系型数据库桎梏:云原生数据库中间件核心剖析
01
Apache ShardingSphere数据脱敏全解决方案详解(上)
01
Shardingsphere整合Narayana对XA分布式事务的支持(4)
01
从中间件到分布式数据库生态,ShardingSphere 5.x革新变旧
添加企业微信
获取1V1专业服务
扫码关注
京东云开发者公众号