629 浏览基于RDMA的共享缓冲区分布式数据库事务处理设计与实现
摘要：随着互联网技术和大数据的飞速发展,传统的集中式数据库系统已经难以满足高并发处理负载的需求。于是,出现了不同架构的分布式数据库系统用以解决高并发负载的需求。共享缓冲区的分布式数据库支持多节点写入,多台节点共享一份存储,缓冲区也是共享的。相比于无共享架构的数据库来说,由于需要共享缓冲区,所以网络的开销是较高。针对以上问题,为了有效解决大数据背景下高并发负载问题和低延迟需求,我们设计与实现了一种基于远程内存访问（RDMA）的共享缓冲区分布式数据库,充分发挥RDMA技术在网络传输中低延迟的特点,优化共享缓冲区内的数据传输效率。还利用了新型存储硬件持久化内存（PM）技术,提高了全局事务管理器（GTM）中提交日志信息的持久化效率。本文设计的数据库系统能够支持事务的特性,提出了一整套事务处理过程中遇到的冲突解决方案。此外,共享缓冲区数据库具有高可扩展性,能够横向扩展缓冲区,避免磁盘IO的发生。本文的主要贡献可以概括为以下几点:1.基于Open Gauss设计和实现了一个共享缓冲区的分布式数据库系统,并且利用了RDMA和持久内存技术进行了优化,提出了一个定制化、轻量级的网络通信框架,充分发挥了RDMA低延迟的特性。2.基于共享缓冲区分布式数据库系统,本文提出了一套有效的缓存管理模式,协调了不同节点之间缓冲区访问的冲突。由于修改缓冲区会导致其它节点内缓冲区副本的失效,本文也提出了全局缓存服务的方式,解决了缓存一致性的问题。3.为了在分布式环境下满足事务的一致性,本文提出了一种高效的集群事务管理模式,有效的解决了全局时间戳问题,为不同的计算节点提供了统一的快照和提交时间戳。同时,本文基于共享缓冲区分布式数据库提出了一种多节点写入的并发控制算法,采用了乐观锁的方式解决了事务之间的写写冲突,有效的避免了分布式锁的网络开销。4.将实现的共享缓冲区分布式数据库系统进行大量实验,进一步验证了这些方法都是正确且高效的。
关键词：共享缓冲区;分布式数据库系统
文章目录
硕士学位论文开题小组成员名单
硕士学位论文答辩委员会成员名单
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 研究内容与挑战
1.3 本文工作
1.4 本文结构
第二章 相关工作
2.1 远程直接内存访问和持久化内存
2.1.1 远程直接内存访问技术
2.1.2 持久化内存
2.2 可扩展数据库系统
2.2.1 无共享架构的分布式数据库系统
2.2.2 共享磁盘架构的分布式数据库系统
2.3 国内外研究现状
2.4 本章小结
第三章 共享缓冲区数据库系统架构的设计
3.1 集中式Open Gauss介绍
3.1.1 Open Gauss系统概述
3.1.2 Open Gauss缓冲区模块概述
3.2 共享缓冲区数据库系统架构
3.2.1 系统架构概览
3.2.2 架构特点描述
3.3 网络通信模块的设计与实现
3.3.1 网络通信模块的设计
3.3.2 网络通信模块的实现
3.4 本章小结
第四章 共享缓冲区模块的设计与实现
4.1 共享缓冲区的管理
4.1.1 全局缓存服务
4.1.2 缓冲区一致性问题
4.1.3 获取缓冲区的执行流程
4.2 基于RDMA的共享缓冲区优化
4.3 本章小结
第五章 事务并发控制的设计与实现
5.1 事务并发控制概述
5.2 全局事务管理器
5.2.1 全局事务管理器的架构
5.2.2 全局事务管理器的实现
5.3 事务冲突的管理
5.3.1 读写冲突的解决
5.3.2 写写冲突的解决
5.4 基于RDMA和PM的事务并发控制优化
5.5 本章小结
第六章 实验与分析
6.1 实验设置
6.2 吞吐量的测试
6.2.1 扩展性的测试
6.2.2 冲突优化的测试
6.2.3 TPC-C负载的测试
6.3 延迟的测试
6.4 事务冲突的测试
6.5 本章小结
第七章 总结与展望
7.1 本文总结
7.2 未来展望
参考文献
[1]装配单元缓冲区容量仿真优化[D]. 王政球.广东工业大学 2016
[2]空间分析中缓冲区生成算法研究及应用[D]. 刘丽娟.河南大学 2009
[3]基于虚拟缓冲区的对象—关系型影像库技术研究[D]. 张谦.河南大学 2012
[4]一种嵌入式移动实时数据库管理系统缓冲区管理机制研究[D]. 祝晖.华中科技大学 2008
[5]基于RDMA的分布式系统二级索引设计与实现[D]. 薛翔.上海交通大学 2018
[6]协议缓冲区数据的构造与解析软件设计与实现[D]. 张海龙.哈尔滨工业大学 2012
[7]基于地图代数距离场的精确三维缓冲区面提取方法研究[D]. 殷宗林.武汉大学 2020
[8]GIS中基于空间物体的缓冲区构建技术研究[D]. 冯花平.山东科技大学 2005
[9]软件协同开发中基于关键链的项目进度管理系统研究[D]. 吴文鸣.中南大学 2011
[10]GIS缓冲区和叠加分析[D]. 张文艺.中南大学 2007
