入选VLDB 2023! OceanBase 4.0单机分布式一体化研究成果获国际顶会认可

news/2024/7/24 6:33:07 标签: oceanbase, 分布式

近日,国际顶级数据库学术会议 VLDB 2023 在加拿大温哥华开幕。OceanBase 研究成果论文 “OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster” 被 VLDB 2023 收录!相继 2022 年 OceanBase 工业论文获得“the artifacts available badge”认可,今年 OceanBase 的单机分布式一体化研究论文再次获得该项荣誉。

图片

VLDB、SIGMOD、ICDE 被称为数据库领域的三大最顶级学术会议,收录研究机构以及工业界在数据库领域最前沿、最顶级的研究成果。VLDB 于 1975 年成立,每年吸引全球最顶级的研究机构投稿,对系统创新性、完整性、实验设计等方面都要求极高。本篇论文的收录标志着 OceanBase 提出的“单机分布式一体化”架构理论进入数据库领域前沿研究的最高水平,值得一提的是,该项研究成果已全面应用于 OceanBase 4.0 系统,并取得了显著的经济效益。

论文阐述了 OceanBase 单机分布式一体化架构背后的技术突破及优势:

  1. 单机分布式一体化架构:设计并实现单机分布式一体化架构,该架构在单机和分布式系统中均具备单机的 SQL、事务和存储引擎,使用户能够进行动态配置切换。这个独特设计使得 OceanBase 在单机模式下能够高效运行,而不会产生分布式交互的额外开销。此外,在分布式模式下,系统不仅提供了容灾性能,还可以实现出色的性能表现。

  2. 单机分布式一体化架构的 SQL 引擎:能够以串行和并行方式执行 SQL 查询,以充分利用可用的 CPU 核心,能够处理多种情况下的 SQL。此外,在分布式执行场景中,该引擎能够在多台机器之间实现并行,有效处理 SQL 命令。

  3. 单机分布式一体化架构的 LSM-Tree 存储引擎:包括适用于单机和分布式模式的压缩优化技术,这些优化包括增量主要压缩和分阶段轮流压缩等,旨在在写入性能和存储空间利用之间取得平衡。

  4. 单机分布式一体化架构的事务处理引擎:提出了 2-Phase Commit(2PC)协议的优化版本,旨在减少消息处理和日志量,从而降低事务延迟。在单机模式下,不需要使用 2PC,而是利用单一的日志流来处理事务,无需访问全局时间服务(GTS),因此事务引擎的效率与单机数据库相当。

OceanBase 分布式数据库系统在不断演进的过程中,不仅致力于为核心系统和关键业务系统提供稳定可靠的支撑,同时还在打磨适应中小型企业及中小场景的产品能力。目前,该系统已经在蚂蚁集团等商业机构得到广泛应用,而且通过 TPC-C 和 TPC-H 测试进一步证明了其稳定性和有效性。为了解决单机模式下分布式组件带来的开销问题,我们设计了单机分布式一体化架构,并实现了数据库的自适应配置。这使得 OceanBase 能够在单机和分布式场景下同时支持串行和并行执行,从而提升效率并降低成本。

这一设计已经成功应用于 OceanBase 4.0 版本中,实验结果表明单机分布式一体化架构具有显著的可扩展性,优于其他单机或分布式数据库。此外,通过在企业或业务发展的后续阶段使用单一的 OceanBase 数据库,无需迁移,从而使 OceanBase 从主要服务于大型企业转变为也可以较好地服务于中小企业。研究实验证实,OceanBase 单机分布式一体化数据库在单机模式下随着 CPU 核数的增加实现了线性可扩展性。它在 Sysbench 和 TPC-H 评估中也明显优于 MySQL 和 Greenplum。

来自 VLDB 2023 评审专家的评语:本文研究了高度可扩展的数据库系统在单节点配置中遇到的异常问题。在一场“越大越好”(“bigger is better”)的竞赛中,令人耳目一新的是,本文让人们意识到这样的大数据库系统可能不适合单机,而较小规模(单机)的数据库可能是目前绝大多数的数据库。

* 论文信息如下:

Zhifeng Yang, Quanqing Xu, Shanyan Gao, Chuanhui Yang, Guoping Wang, Yuzhong Zhao, Fanyu Kong, Hao Liu, Wanhong Wang, Jinliang Xiao. OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster. 49th International Conference on Very Large DataBases. Vancouver, Canada,August 2023.


http://www.niftyadmin.cn/n/5002718.html

相关文章

华为产业链爆发,这次是系统级的革命

华为Mate60手机爆火,让产业链随之振奋。我们看到,这种改变将是持久的、系统的。 可能在未来20年,这种影响会持续。 01 华为产业链有多长 客观而言,华为产业链可以看作是由多个领域的企业和组织组成的网络,其中包括半…

vue3+ts 引入@gausszhou/vue3-drag-resize-rotate报错解决办法

vue3ts 引入gausszhou/vue3-drag-resize-rotate报错: Could not find a declaration file for module gausszhou/vue3-drag-resize-rotate. D:/a2023/aigc-admin/node_modules/gausszhou/vue3-drag-resize-rotate/lib/bundle.esm.js implicitly has an any type. Try npm i --…

服务运营 | MSOR文章精选:远程医疗服务中的统计与运筹(二)

作者信息:王畅,陈盈鑫 编者按 在上一期中,我们分享了与远程医疗中运营管理问题相关的两篇文章。其一发表在《Stochastic Systems》,旨在使用排队论与流体近似的方法解决远程医疗中资源配置的问题;其二发表在《Managem…

行测图形推理规律(一)元素组成

题库:粉笔网题库 (fenbi.com) 不知道和测评的行测题库是不是一样的,但是总结的规律应该是一样的。 规律并不唯一,题库的答案也只是参考答案,切勿当杠精,你觉得你的规律更合适就别管。本人所归纳的规律仅代表本人想法…

MySQL——连接查询与子查询

一、连接查询 单表查询:在一张表当中查询数据,叫做单表查询。 连接查询,结合俩(多)张表,在俩张(多)表当中查询数据,在一张表当中查询一部分,在另一张表当中…

Oracle数据库尚硅谷学习笔记

文章目录 Oracle数据库体系结构简介补充SQL初步导入sql文件别名连接符distinct去重的坑 过滤和排序数据日期格式比较运算其它比较运算符逻辑运算优先级排序 单行函数SQL中不同类型的函数单行函数字符数值日期转换通用 使用条件表达式嵌套查询 多表查询等值连接非等值连接左外连…

英诺森 “供应链智能数据平台”荣获“科技进步奖”

近日,2023年中国物流与采购联合会科学技术奖正式公布,该奖项经国家科技部批准,在国家科学技术奖励工作办公室登记备案,是我国物流行业最具影响力的奖项之一。 英诺森联合客户申报的科技项目“英诺森供应链智能数据平台”&#xf…

2023年下半年广州/深圳软考(中/高级)认证报名,当然弘博创新

软考是全国计算机技术与软件专业技术资格(水平)考试(简称软考)项目,是由国家人力资源和社会保障部、工业和信息化部共同组织的国家级考试,既属于国家职业资格考试,又是职称资格考试。 系统集成…