发布于: Android转发:0回复:11喜欢:3
$恒生电子(SH600570)$ $顶点软件(SH603383)$
硬货!揭秘恒生自研内存数据库 20230419
信息技术和证券行业的快速发展,金融交易数据量越来越大,对于证券行业而言,构建新一代核心业务系统时,对数据库的处理能力及性能提出了更高的要求。
作为恒生新一代核心业务系统UF3.0,已经开始搭载新的技术“引擎”—内存数据库技术。
十年沉淀:恒生内存数据库
内存数据库又称主存数据库(IMDB/MMDB, In-memory/main memory database),是一种主要依靠内存来存储数据的数据库管理系统。
在数据库技术中,有一类内存优化技术,是在传统的磁盘数据库中,增加内存缓冲池,也就是常说的共享内存技术,其主要目的是最小化磁盘访问。
访问数据过程中的地址映射和转换依然存在,只是省掉了将数据块从磁盘加载到内存的开销;锁和数据分开存放和管理。
而内存数据库技术,几乎把整个数据库放进了内存中,相较于传统数据库使用的磁盘读写机制,内存具备更极致的读写速度,性能会比传统的磁盘数据库有数量级的提升;锁和数据可以放在一起。
因此,内存数据库通常被用于对性能要求较高的场景中。
从研发基于内存的极速交易系统,到自研内存数据库,再到完善开发工具的适配、不断进行版本迭代,恒生自研的内存数据库已经耕耘了十余年。
恒生内存数据库发展主要经历了三个阶段:
第一阶段:UFTCORE
2012年前后,因为行业需求的驱动,以及自身技术路线的规划,恒生推出了UFTCORE内存数据库,并开发了与之适配的开发工具。
相较于以往的物理数据库,使用内存数据库后核心内部处理性能提升了两个数量级。
经过持续的迭代和优化,UFTCORE支持事务回滚,索引功能增强,业务开发更加便利;同时支持直连数据库,解决数据快速上下场问题。
UFTCORE也在恒生UFT极速交易系统中得到应用,落地广发、方正、长江、兴业证券等近40家客户。
第二阶段:UFTDB
随着业务的发展,对系统的并发要求不断提高,UFTDB诞生。系统支持事务隔离,方便多线程业务。
UFTDB已经在恒生CMC风控系统、O45交易系统、PB2.0、内存清算、事前风控等产品中得到应用。
第三阶段:UFTMDB
随着业务系统规模不断扩大,UFTDB逐步演进为UFTMDB,实现了多进程隔离,提高了整体的稳定性。
目前,UFTMDB已在Alpha Broker 3.0系统(以UF3.0底层技术为基础开发)中应用,即将应用在UF3.0的内存交易中。
从UFTCORE到UFTDB,再到如今的UFTMDB,恒生内存数据库继承了此前版本的优势,同时又通过多进程隔离提高整体的稳定性,使性能、可靠性和可维护性得到持续提升。
恒生内存数据库有哪些特性?
恒生内存数据库具备配套的开发平台,包括应用框架程序和开发工具。在分布式松耦合微服务的领先架构下,可以实现稳态和敏态并行。
技术服务于业务,恒生内存数据库的特性跟随着业务场景的需求持续进化,可以根据业务特点进行针对性的设计。
-业务性能优
恒生内存数据库的基础数据模型贴近关系数据库,同样有表、索引等,方便业务开发人员的理解。
主要的差别是在此基础上支持复杂的关联关系,如交易系统中一个账户下可以有多个订单,一笔订单可能对应多笔成交,每笔成交对应一笔订单,这个关系都可以在内存数据库中建立起来,减少查找时数据检索范围,避免像关系数据库那样只能通过字段关联检索。
-符合一致性要求
恒生内存数据库支持事务提交和回滚,方便业务逻辑代码的开发,并支持Read Committed事务隔离级别。支持MVCC(多版本并发控制),解决读写之间的阻塞问题,提升事务并发处理能力。事务结束自动生成Redo日志,可以根据业务不同等级的灾备需求选择异步复制、半同步复制和强同步复制。
-兼容性好
恒生内存数据库可实现直接连接Oracle、MySQL、PostgreSQL 等,根据不同数据库提供的批量数据拷贝接口,分别实现快速的数据导入导出功能。
十年磨一剑,出鞘必锋芒。
恒生内存数据库经过了10余年持续打磨,克服了各种难点,积累了核心底层技术,有完整配套的开发工具,并且适配了主流的信创硬件。
目前,UFTMDB已经有大量成熟应用,有能力支撑各类场景需求,即将在UF3.0交易订单子系统中得到应用落地,为证券公司的业务发展打好基础并进行赋能,积极推进整个中国金融科技行业的发展。
………………~~
从该文章的时间来看,去年UF3.0才开始应用内存数据库,而顶点去年中标中信,在不考虑其它因素,技术角度看,好像只有内存数据库这一项,稍微领先了一些。
不过恒生完全不是在去年看到顶点搞了个内存数据库,才开始研发,也已经10年了。
性能也只是众多指标中的一项,也只是服务厂商综合能力中的一项。
股市大多数人都无法成为一个领域的技术专家。除了研发那些完全原创性的技术,生物医疗创新药比较适合,很多所谓的一些技术,改变不了啥行业格局。比如这种什么内存数据库。
我斗胆预判一下,顶点与恒生都是基于开源来搞的。后面看能否找到证据。

全部讨论

06-22 19:45

$恒生电子(SH600570)$ $顶点软件(SH603383)$
2021年文章,转载:
………
据恒生研究院院长白硕介绍,金融领域对数据库的需求主要在两方面:
一技术特性,如稳定、可靠、性能、安全等;
二是厂商提供的运维技术支持,如故障诊断、易运维性、易安装性、易迁移性等。
企业采购数据库并不是买软件,更多是厂商在运维、配置和优化等方面的服务。新厂商提供的服务必须可以与原来数据库厂商旗鼓相当。
通过需求倒推,恒生电子基于开源的 PostgreSQL 稳定版,研发出了 LightDB。LightDB 保留了 PostgreSQL 的核心性能,但在稳定性、高性能方面做了进一步优化,恒生电子也自主研发了监控、运维、分析等组件完善数据库的各项功能。
官方表示,LightDB 具有金融级稳定性。所谓“金融级稳定性”是指拥有持续、可预期的高性能,比如能够有效防止TPS等指标的抖动。
LightDB 除做数据冗余外,也进行容灾备份。
数据对一致性需求并不相同。副本必须强一致性,但事务一致性可以多阶段解决。多版本一致性则要看实际情况。整个系统里,可能 20%的数据流量需要保持强一致性,剩下 80%的数据对一致性要求可能没有那么严。
因此,LightDB 支持从表、到事务、到实例层面的差异化一致性控制,设立了一致性等级,来确保性能诉求和一致性诉求在解耦基础上的兼顾。
在白硕看来,分布式应该是特性而非属性。分布式架构是为了解决非常大容量的负载均衡问题,而不是一种标签。用户不需要一味追求分布式架构,根据自身情况来定就可以。
企业更换数据库常常面临两个重要限定条件:应用和数据。更换数据库的重点是更换数据库管理系统。
不同数据库之间标准不同,实现平滑替换就变得很难,但企业并不想因更换数据库而影响原有应用的运行。
因此,为了更加兼容和易用,LightDB 通过 SQL 解析等方式,兼容了 Oracle 和 MySQL 的常用特性。“它们都有广泛的用户群,用户可能也有自己的研发习惯,通过兼容可以把这些习惯带到 LightDB 当中。”白硕表示。
在运维方面,根据 DBA 提出的一些痛点问题,恒生总结出了一套告警体系,并内置在 LightDB 中。这套预警体系可以帮助 DBA 和运维更快地定位到具体问题,如容量接近上限等,同时对数据库管理系统进行监控和分析。
白硕透露,LightDB 目前优先适配私有部署的应用。当前的云应用都需要在合规前提下进行,因此云应用市场占比份额还比较低,并不是行业重点。“LightDB 未来的发展会和云应用的实际推广步骤相一致,云应用高潮到来之前,我们会做好云版本的准备。”
据悉,LightDB 支持麒麟 Linux、openEuler 等国产操作系统,支持华为鲲鹏 ARM,海光 x86 处理器等国产处理器,并已成功通过中国信通院的分布式事务型数据库基础能力评测。
目前,LightDB 已陆续应用于恒生 TA 产品及恒生内部的效能平台等系统,并正与外部金融机构客户一起探索国产数据库应用场景。
LightDB 版本从预览版起步,稳定下来的部分固化为企业版,应用在行业各种场景应用。同时,稳定下来的这部分核心代码也将用来回馈
社区,LightDB 将持续兼容社区的新版本。
国内当前数据库主要分三类:主流商业数据库、开源数据库和国产数据库。虽然国产数据库正在发展,但对于技术选型非常慎重的金融行业来说,主流商业数据库仍占据了大部分市场。
根据恒生电子发布的《2022 金融科技趋势研究报告》,在金融行业对低时延等的特别需求下,金融数据库将朝着分布式、多元化、内存化方向发展。关系型数据库保持市场主体地位的同时,内存数据库、时序数据库、图数据库等非关系型数据库的比重将提升,并且开源和国产化数据库也将逐步被应用到金融核心系统。
“目前虽然有国产数据库或开源数据库有替代主流商业数据库的趋势,但也是要一步一步来的。”白硕说道。

06-24 08:18

2023年金证年报:
公司向头部券商客户输出基于 KOCA 平台自研的内存数据库 KMDB;
新一代证券业务综合服务平台 FS2.0 订单系统在平安 证券成功上线,完成全部客户迁移;FS2.0 信创版底座在中信建投、中金财富证券投产;
FS2.0 信 创版认证系统在广发证券部署。
报告期公司延续 FS2.0 架构优势,推出新版本 FS2.5,使用金证专 为金融行业定制研发的内存数据库,对订单、清算性能全面升级。
FS2.5 在券商客户端 POC 测试 结果显示性能优势明显,位于行业第一梯队。

06-27 08:08

根据不同属性,恒生将金融核心业务分为如运营管理等需要快速创新迭代的敏态业务和交易、风控、清算等业务规则比较明确,性能要求高的稳态业务,并自主研发稳态&敏态双模驱动的技术架构。
其中,偏后台的稳态业务由低延时技术平台Light-LDP支持,实现业务极速内存化,提升稳定性和效率;而偏前台的敏态业务由云原生技术平台Light-JRES支持,实现业务低码智能化,降低业务学习成本。
---
这个是更合理的。不一定所有业务都要由内存数据库来支撑。

06-22 19:29

恒生LightDB数据库并不是专门的内存数据库。虽然LightDB在某些场景下可能利用内存加速处理,但它主要是基于PostgreSQL的关系型数据库,针对金融业务场景进行了优化。LightDB在架构和功能上与传统的关系型数据库更为接近,支持事务处理、SQL查询等常见功能,并提供了金融级的高可用性和扩展性。
内存数据库通常将数据存储在RAM中,以提供更快的读写速度,但它们也有数据持久性和容量限制等问题。而LightDB则更注重于提供稳定、可靠和高效的数据存储和查询服务,适用于对数据处理性能要求较高的金融业务场景。
因此,虽然LightDB可能利用内存加速技术,但它并不是专门的内存数据库。

06-22 19:27

以下是关于恒生LightDB数据库的详细信息:
基于PostgreSQL:LightDB是一款基于PostgreSQL的关系型数据库,它99%兼容PostgreSQL,并针对金融业务场景进行了优化。
开源增强:LightDB在开源PostgreSQL的基础上进行了增强,例如支持PostgreSQL不支持的分区定义语法、实现了pg_stat_monitor&pg_profile等监控功能、类似Oracle的自动参数优化等。
产品特性:LightDB具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性。它主要适用于对可用性、一致性要求较高的系统。
不开源但提供试用:虽然LightDB选择不开源,但它提供了无功能、容量限制180天的下载试用机制,让开发人员无需担心被双标。
金融行业应用:LightDB针对金融行业的数据可靠性与灵敏度要求高的专业需求进行了优化,成功通过了中国信通院的“可信数据库评测”,并获得了行业标准和权威机构的认证。
综上所述,恒生的LightDB数据库确实是在开源产品PostgreSQL的基础上进行研发和优化,以满足金融行业对数据库的高要求。

06-22 14:39

下降通道,破位。

06-22 10:07

卧槽,多如牛毛....2022:国产数据库名录和产品信息一览1 AbutionGraph 图数据库 北京图特摩斯科技有限公司2 Aglior 实时数据库 安捷中科(北京)数据科技有限公司
3 AISWare AntDB 分布式关系型数据库 亚信科技控股有限公司
4 AISWare MDB 分布式关系型内存数据库 亚信科技控股有限公司
5 AliSQL 开源云数据库RDS 阿里云计算有限公司
6 AnalyticDB 实时分析数据库 阿里云计算有限公司 [1] 7 Apache Doris MPP分析型数据库 百度智能云
8 Apache Kylin™ 开源分析型数据仓库 eBay Inc.
9 ArkDB 分布式关系型数据库 北京极数云舟科技有限公司
10 ArteryBase 关系型数据库 北京华宇信息技术有限公司
11 AtlasDB 企业级私有云数据库 北京海量数据技术股份有限公司
12 BaikalDB 分布式数据库 百度
13 BC-RDB Hybrid 分布式分析型关系数据库 中移(苏州)软件技术有限公司
14 BeyonDB 博阳数据库 空间数据库 北京合众思壮科技股份有限公司
15 BGraph 面向商业的图数据库 百度
16 BigRiver 时序数据库 北京美信时代科技有限公司
17 ByteGraph 分布式图数据库 字节跳动
18 CASICloud DBCP 分布式关系型数据库 北京航天紫光科技有限公司
19 CDDB 分布式并行数据库 北京谷数科技股份有限公司
20 Cedar 开源分布式关系型数据库 华东师范大学数据科学与工程学院
21 CeresDB 分布式时序数据库 中北京奥星贝斯科技有限公司
22 ChronusDB 时序数据库 北京青云科技股份有限公司
23 CirroData 分布式分析型 北京东方国信科技股份有限公司
24 Claims 开源分布式内存数据库 华东师范大学数据科学与工程学院
25 CloudTable 时序数据库 华为技术有限公司
26 CTSDB 时序数据库 腾讯云计算(北京)有限责任公司
27 CynosDB 分布式云数据库 腾讯云计算(北京)有限责任公司 [1] 28 DaMeng 达梦数据库 集中式事务型 武汉达梦数据库有限公司 [1] [2] 29 DBOne 云数据库 上海引跑信息科技有限公司
30 DolphinDB 分布式时序数据库 浙江智臾科技有限公司
31 DragonBase 分布式云原生数据库 北京金山云网络技术有限公司
32 DThink ADB 分析型数据库 杭州数梦工场科技有限公司
33 emobile DMDB 分布式内存数据库 北京思特奇信息技术股份有限公司
34 EsgynDB 易鲸捷数据库 分布式关系型数据库 贵州易鲸捷信息技术有限公司 [1] [2] 35 ESP-iSYS 实时数据库 浙江中控技术股份有限公司
36 FASGraphDB 图数据库 中科金审(北京)科技有限公司
37 GaiaDB 云数据库 北京百度网讯科技有限公司

06-22 06:51

天天造轮子浪费研发的钱,这行业就几百亿的规模,还卷死了,后面如果金融各种合并,客户会更少,今年券商已经一毛不拔了

06-21 20:43

图片评论