首頁(yè) > 資訊 > 聚焦 > 正文

數(shù)據(jù)庫(kù)自主創(chuàng)新實(shí)踐加速
，MogDB如何實(shí)現(xiàn)自身進(jìn)化與應(yīng)用？

2024-01-11 13:46:29來(lái)源：今日熱點(diǎn)網(wǎng)

在IT架構(gòu)中處于核心位置的數(shù)據(jù)庫(kù)

，是連接上層應(yīng)用和底層基礎(chǔ)資源的重要樞紐

，相當(dāng)于人的“記憶系統(tǒng)”，用于存儲(chǔ)

、調(diào)取數(shù)據(jù)

，其重要性不言而喻

?div id="4qifd00" class="flower right">

？梢哉f(shuō)

，數(shù)據(jù)庫(kù)是與芯片、操作系統(tǒng)并列的現(xiàn)代信息技術(shù)領(lǐng)域的三大核心

，是基礎(chǔ)軟件“皇冠上的明珠”

，同時(shí)更是支撐信息系統(tǒng)安全穩(wěn)定運(yùn)行的重要保障。

近年來(lái)

，國(guó)產(chǎn)數(shù)據(jù)庫(kù)已呈現(xiàn)出加速增長(zhǎng)趨勢(shì)

，以openGauss系數(shù)據(jù)庫(kù)為例，弗若斯特沙利文發(fā)布的《重點(diǎn)行業(yè)數(shù)據(jù)庫(kù)應(yīng)用調(diào)研報(bào)告》顯示

，2023年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)線下集中式openGauss系新增市場(chǎng)份額達(dá)21.9%

，已規(guī)模應(yīng)用于金融、政府

、電信等十大關(guān)鍵行業(yè)核心場(chǎng)景

。其中，云和恩墨基于openGauss內(nèi)核推出的MogDB數(shù)據(jù)庫(kù)在不斷進(jìn)化的同時(shí)

，也在金融等行業(yè)持續(xù)商業(yè)落地

。

金融行業(yè)數(shù)據(jù)庫(kù)自主創(chuàng)新正在加速

當(dāng)前

，金融市場(chǎng)的軟件升級(jí)

、數(shù)字化轉(zhuǎn)型已進(jìn)入關(guān)鍵時(shí)期。在工信部賽迪顧問(wèn)軟件與信息服務(wù)業(yè)產(chǎn)業(yè)研究中心發(fā)布的《2022-2023年度中國(guó)平臺(tái)軟件市場(chǎng)研究報(bào)告》中顯示

，金融行業(yè)將超越電信與互聯(lián)網(wǎng)行業(yè)成為平臺(tái)軟件增長(zhǎng)最快

、規(guī)模最大的應(yīng)用市場(chǎng)。

而國(guó)產(chǎn)數(shù)據(jù)庫(kù)作為我國(guó)金融信息系統(tǒng)的關(guān)鍵軟件基礎(chǔ)設(shè)施

，在積極發(fā)揮支撐金融行業(yè)數(shù)字化和高質(zhì)量作用的同時(shí)也迎來(lái)新的發(fā)展

。根據(jù)《數(shù)據(jù)庫(kù)發(fā)展研究報(bào)告（2023年）》，我國(guó)已邁入全球數(shù)據(jù)庫(kù)產(chǎn)業(yè)第一梯隊(duì)

，市場(chǎng)規(guī)模占全球7.2%

。

在筆者看來(lái)，當(dāng)前國(guó)產(chǎn)化數(shù)據(jù)庫(kù)要發(fā)展起來(lái)

，既需要面對(duì)金融業(yè)升級(jí)轉(zhuǎn)型的迫切需求

，又要應(yīng)對(duì)本土數(shù)據(jù)庫(kù)市場(chǎng)激烈的競(jìng)爭(zhēng)。要想脫穎而出

，勢(shì)必要深入了解金融行業(yè)對(duì)于數(shù)據(jù)庫(kù)的需求

，針對(duì)互聯(lián)網(wǎng)化

、支付場(chǎng)景移動(dòng)化、服務(wù)普惠性

、海量交易等金融業(yè)出現(xiàn)的新變化

，進(jìn)行數(shù)據(jù)庫(kù)的調(diào)優(yōu)，探索數(shù)據(jù)庫(kù)升級(jí)改造的方向

。

在金融場(chǎng)景下

，升級(jí)改造數(shù)據(jù)庫(kù)需要面對(duì)敏態(tài)與穩(wěn)態(tài)需求并存帶來(lái)的壓力：首先，迅猛發(fā)展的互聯(lián)網(wǎng)金融業(yè)務(wù)為IT系統(tǒng)帶來(lái)巨大的性能

、彈性

、成本的壓力，數(shù)字化升級(jí)的步伐不斷加快

，數(shù)據(jù)庫(kù)升級(jí)改造也必須同業(yè)務(wù)發(fā)展同頻

；其次，信息技術(shù)與應(yīng)用創(chuàng)新趨勢(shì)下

，業(yè)務(wù)需要高性能

、高安全、易擴(kuò)展

、易管理的IT架構(gòu)

；第三，業(yè)務(wù)連續(xù)性要求越來(lái)越嚴(yán)

，系統(tǒng)升級(jí)也需要穩(wěn)步推進(jìn)

。

總的來(lái)看，在數(shù)據(jù)庫(kù)升級(jí)的選型過(guò)程中

，數(shù)據(jù)庫(kù)需要滿足數(shù)據(jù)強(qiáng)一致

、極高可用性、彈性可擴(kuò)展

、平滑升級(jí)等更高要求

。在近日召開(kāi)的openGauss Summit 2023上，云和恩墨客戶成功部研發(fā)架構(gòu)師羅海雄表示：“為了應(yīng)對(duì)客戶對(duì)敏態(tài)與穩(wěn)態(tài)業(yè)務(wù)的多樣化需求

，我們需要從PoC開(kāi)始到架構(gòu)設(shè)計(jì)

、數(shù)據(jù)遷移與應(yīng)用適配，再到最終的系統(tǒng)上線等環(huán)節(jié)

，充分考慮并滿足客戶未來(lái)業(yè)務(wù)發(fā)展的需要

，幫助客戶實(shí)現(xiàn)更平滑的數(shù)據(jù)庫(kù)遷移上線?div id="jfovm50" class="index-wrap">！?/p>

云和恩墨客戶成功部研發(fā)架構(gòu)師羅海雄發(fā)表演講

數(shù)據(jù)庫(kù)平滑遷移有哪些核心要點(diǎn)

？

以服務(wù)某期貨交易所為例，云和恩墨將整個(gè)服務(wù)過(guò)程分為PoC、架構(gòu)設(shè)計(jì)

、數(shù)據(jù)遷移與應(yīng)用適配

、系統(tǒng)上線等環(huán)節(jié)。針對(duì)整個(gè)流程

，羅海雄表示：“云和恩墨在整個(gè)過(guò)程中都有完備的工具

、專業(yè)的專家團(tuán)隊(duì)和經(jīng)過(guò)實(shí)踐驗(yàn)證的解決方案，能夠最大程度地支持用戶業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的平滑遷移和安全保障

?div id="d48novz" class="flower left">

！?/p>

其中，PoC是整個(gè)服務(wù)的開(kāi)始也是至關(guān)重要的環(huán)節(jié)

，這一環(huán)節(jié)的工作主要在于匹配客戶需求

、展現(xiàn)產(chǎn)品優(yōu)勢(shì)?div id="d48novz" class="flower left">

！霸赑oC階段

，我們面臨最大的挑戰(zhàn)是如何讓產(chǎn)品展現(xiàn)出客戶所需要的特質(zhì)?div id="d48novz" class="flower left">

！绷_海雄如是說(shuō)

。這就需要了解客戶在業(yè)務(wù)連續(xù)性、數(shù)據(jù)強(qiáng)一致性等方面的要求

，同時(shí)兼顧高并發(fā)

、低延時(shí)等性能表現(xiàn)，此外還需要實(shí)現(xiàn)源庫(kù)兼容

、平滑遷移

。

在羅海雄看來(lái)，了解客戶的需求只是PoC的第一步

，接下來(lái)還需要進(jìn)行測(cè)試等驗(yàn)證環(huán)節(jié)

。功能上需要進(jìn)行一致性ACID測(cè)試、高可用測(cè)試

、備份容災(zāi)測(cè)試

，性能上需要進(jìn)行TPCC壓測(cè)

、簡(jiǎn)單SQL測(cè)試

、業(yè)務(wù)復(fù)雜SQL測(cè)試，適配上的表結(jié)構(gòu)與遷移測(cè)試

、語(yǔ)法兼容度測(cè)試

、SQL改寫測(cè)試等。羅海雄表示：“區(qū)別于其他數(shù)據(jù)庫(kù)

，MogDB還增加了可觀測(cè)性

、自動(dòng)安裝工具、自動(dòng)化運(yùn)維等專有特性的展示?div id="jfovm50" class="index-wrap">！?/p>

系統(tǒng)架構(gòu)設(shè)計(jì)也是至關(guān)重要的一個(gè)環(huán)節(jié)

，在這一環(huán)節(jié)不僅需要滿足兩地三中心、全棧國(guó)產(chǎn)化等業(yè)務(wù)架構(gòu)方面的設(shè)計(jì)需求

，同時(shí)也要滿足運(yùn)維

、監(jiān)控使用的架構(gòu)設(shè)計(jì)。云和恩墨提供了zCloud數(shù)據(jù)庫(kù)云管平臺(tái)

，實(shí)現(xiàn)了多元混合數(shù)據(jù)庫(kù)統(tǒng)一管理

。羅海雄表示：“zCloud最大的能力是異構(gòu)兼容性，支持Oracle

、DB2

、openGauss、MogDB

、達(dá)夢(mèng)等商業(yè)

、開(kāi)源、國(guó)產(chǎn)數(shù)據(jù)庫(kù)

，實(shí)現(xiàn)資源的統(tǒng)一調(diào)度管控

、按需分配?div id="d48novz" class="flower left">

！?/p>

羅海雄認(rèn)為系統(tǒng)架構(gòu)設(shè)計(jì)之后的適配與遷移環(huán)節(jié)也需要投入大量精力

。他表示：“自主創(chuàng)新遷移并不是簡(jiǎn)單的數(shù)據(jù)搬遷，除了確保數(shù)據(jù)的一致

、業(yè)務(wù)功能的等價(jià)

、最小化停機(jī)的基本原則外，更多地要關(guān)注兼容性改造

、性能的保證

，從而實(shí)現(xiàn)，方案完備

、遷移可靠

、改造適度、測(cè)試充分

、工期可控

、運(yùn)行穩(wěn)定?div id="jpandex" class="focus-wrap mb20 cf">！痹跀?shù)據(jù)遷移環(huán)節(jié)

，云和恩墨提供的配套遷移工具，能夠確保結(jié)構(gòu)同步與數(shù)據(jù)同步

，可以達(dá)到每小時(shí)1TB數(shù)據(jù)遷移和自動(dòng)一致性校驗(yàn)的效果

。

技術(shù)創(chuàng)新加持下的MogDB Cube一體機(jī)

，價(jià)值何在？

云和恩墨在服務(wù)金融等行業(yè)時(shí)

，除了展現(xiàn)出服務(wù)能力強(qiáng)

、流程完備等優(yōu)勢(shì)外，其技術(shù)研發(fā)

、產(chǎn)品或解決方案的迭代能力也是值得肯定的

。從云和恩墨在金融行業(yè)的應(yīng)用實(shí)踐中，我們可以看出

，MogDB在助力客戶自主創(chuàng)新實(shí)踐中展現(xiàn)出高可靠

、高性能、高易用

、高兼容的特點(diǎn)

。

當(dāng)然，除了數(shù)據(jù)庫(kù)在各個(gè)行業(yè)遷移替代遇到的挑戰(zhàn)外

，我們還發(fā)現(xiàn)

，隨著業(yè)務(wù)的拓展、數(shù)據(jù)量的激增

，單機(jī)能力并不能承受業(yè)務(wù)增長(zhǎng)帶來(lái)的壓力

。此時(shí)，數(shù)據(jù)庫(kù)領(lǐng)域呈現(xiàn)出Share-nothing分布式架構(gòu)與Share-everything資源池化架構(gòu)兩種技術(shù)演進(jìn)方向

。那么

，企業(yè)應(yīng)該選擇哪種方案作為國(guó)產(chǎn)數(shù)據(jù)庫(kù)的替代？

云和恩墨·本原數(shù)據(jù)技術(shù)合伙人張程偉認(rèn)為

，從可靠性

、性能、成本

、運(yùn)維方面考慮

，Shared-everything資源池化架構(gòu)更適合當(dāng)下國(guó)產(chǎn)數(shù)據(jù)庫(kù)平替的場(chǎng)景。面對(duì)數(shù)據(jù)庫(kù)國(guó)產(chǎn)化替代的需求

，云和恩墨一直在思考如何將自身對(duì)于行業(yè)的洞察

、理解和來(lái)自用戶的需求變成產(chǎn)品力。為此

，云和恩墨推出了MogDB數(shù)據(jù)庫(kù)一體機(jī)——MogDB Cube

。

云和恩墨·本原數(shù)據(jù)技術(shù)合伙人張程偉發(fā)表演講

簡(jiǎn)單來(lái)看，MogDB Cube基于鯤鵬多核處理器的性能算力

，結(jié)合企業(yè)級(jí)數(shù)據(jù)庫(kù)MogDB

，并在底層使用了云和恩墨擁有自主知識(shí)產(chǎn)權(quán)的分布式存儲(chǔ)軟件zStorage。zStorage在鯤鵬服務(wù)器下平均單節(jié)點(diǎn)性能達(dá)到50萬(wàn)IOPS的同時(shí)可以達(dá)成0.8毫秒的平均時(shí)延

，還能夠在磁盤故障場(chǎng)景下完成每15分鐘1TB數(shù)據(jù)的重構(gòu)

。這樣能夠滿足用戶在數(shù)字化轉(zhuǎn)型升級(jí)過(guò)程中所遇到的高并發(fā)、高性能

，以及簡(jiǎn)化運(yùn)維的場(chǎng)景化需求

。

針對(duì)數(shù)據(jù)庫(kù)場(chǎng)景的優(yōu)化，MogDB Cube存儲(chǔ)層實(shí)現(xiàn)8K原子寫

，能夠確保寫的原子性

，從而去除數(shù)據(jù)庫(kù)雙寫代價(jià)；此外還包括

，xlog日志下盤實(shí)現(xiàn)多路異步寫

，確保無(wú)空洞保序返回，在保證數(shù)據(jù)一致性的前提下提高事務(wù)提交性能

。張程偉表示：“優(yōu)先處理xlog日志的IO

，即使在負(fù)載過(guò)載的情況下還能獲得穩(wěn)定的事務(wù)提交性能；同時(shí)基于分布式存儲(chǔ)的快速克隆技術(shù)

，能夠?qū)崿F(xiàn)整個(gè)數(shù)據(jù)庫(kù)集群的快速克隆

。”

資源池化架構(gòu)是最新版MogDB的最大亮點(diǎn)

。內(nèi)存池化技術(shù)通過(guò)分布式鎖

，將不同節(jié)點(diǎn)的內(nèi)存整合為全局一致的分布式緩存，避免在主備節(jié)點(diǎn)間復(fù)制xlog日志

，將主備切換的RTO時(shí)間進(jìn)一步縮短到10秒以內(nèi)

，同時(shí)還使得備機(jī)可以提供實(shí)時(shí)一致性讀的能力，幫助對(duì)數(shù)據(jù)一致性敏感的業(yè)務(wù)從單節(jié)點(diǎn)擴(kuò)展到集群能力

。存儲(chǔ)池化技術(shù)

，通過(guò)分布式文件系統(tǒng)提供多個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)一致訪問(wèn)共享存儲(chǔ)的能力，這樣可以使數(shù)據(jù)庫(kù)集群中的主備節(jié)點(diǎn)能夠共享訪問(wèn)同一份數(shù)據(jù)

，將存儲(chǔ)成本降低50%以上

。“當(dāng)企業(yè)需要擴(kuò)容數(shù)據(jù)庫(kù)節(jié)點(diǎn)提升性能時(shí)

，不再需要在新節(jié)點(diǎn)構(gòu)建全量數(shù)據(jù)

，可以直接掛載訪問(wèn)共享存儲(chǔ)上的同一份數(shù)據(jù)，實(shí)現(xiàn)分鐘級(jí)的備機(jī)擴(kuò)容

?div id="m50uktp" class="box-center"> ！睆埑虃プ隽嗽敿?xì)的闡述。

另外

，MogDB Cube還針對(duì)大容量混合負(fù)載進(jìn)行了性能優(yōu)化

。其通過(guò)讀寫分離，以及將只讀業(yè)務(wù)自動(dòng)負(fù)載均衡到多個(gè)備節(jié)點(diǎn)

，低沖突場(chǎng)景可達(dá)70%的線性度

，而在一主兩備架構(gòu)下

，多機(jī)并行查詢可以使TPC-H總性能提升150%。

同時(shí)

，MogDB Cube中還融入了云和恩墨數(shù)據(jù)庫(kù)云管平臺(tái)zCloud的圖形化管理能力和自動(dòng)化

、智能化的運(yùn)維能力，提供開(kāi)箱即用的一體化的交付形式

，更是為用戶節(jié)省了80%的部署時(shí)間

。

張程偉介紹到，在與某客戶聯(lián)創(chuàng)方案中

，客戶在生產(chǎn)中心和災(zāi)備中心各部署一套MogDB Cube

，采用“2+3”的架構(gòu)，即兩個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)和三個(gè)存儲(chǔ)節(jié)點(diǎn)

，從而形成MogDB Cube資源池化架構(gòu)

。此外，客戶還在生產(chǎn)中心和災(zāi)備中心采用xlog日志同步復(fù)制

，確保達(dá)成容災(zāi)等級(jí)要求

。

總結(jié)來(lái)看，MogDB Cube一體機(jī)產(chǎn)品

，特別適合于對(duì)RTO敏感的核心業(yè)務(wù)場(chǎng)景

，并針對(duì)大數(shù)據(jù)量混合負(fù)載場(chǎng)景（TP和AP）做了大量性能優(yōu)化，并且可以有效減少建設(shè)成本和運(yùn)維投入

。

寫在最后

如今

，隨著國(guó)家對(duì)信息安全和自主可控要求不斷提高，國(guó)產(chǎn)數(shù)據(jù)庫(kù)市場(chǎng)也逐漸崛起

，并進(jìn)入高速發(fā)展階段

。

沙利文咨詢合伙人兼董事總經(jīng)理?xiàng)顣则G曾表示，從國(guó)家“十四五”提出要大力發(fā)展數(shù)據(jù)庫(kù)以來(lái)

，數(shù)據(jù)庫(kù)產(chǎn)業(yè)在中國(guó)有了蓬勃的發(fā)展

，從市場(chǎng)份額來(lái)看，2019年的國(guó)產(chǎn)化比例為35%左右

，而到2022年年底

，國(guó)產(chǎn)化的比例已經(jīng)接近50%，這是一個(gè)非常令人欣喜的成績(jī)

。

進(jìn)入高速發(fā)展階段也要求國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商更要持續(xù)發(fā)力

，一方面，加強(qiáng)技術(shù)研發(fā)

，突破技術(shù)攻關(guān)

、產(chǎn)業(yè)生態(tài)優(yōu)化、應(yīng)用協(xié)同等方面的難題

，另一方面

，加強(qiáng)行業(yè)實(shí)踐

，從各行各業(yè)的場(chǎng)景化需求出發(fā)，積累行業(yè)實(shí)踐經(jīng)驗(yàn)

，從而助推國(guó)產(chǎn)數(shù)據(jù)庫(kù)行業(yè)的繁榮與發(fā)展

。

我們注意到

，在自主創(chuàng)新

、擁抱開(kāi)源生態(tài)、推進(jìn)行業(yè)應(yīng)用落地方面

，云和恩墨也在進(jìn)行著自身實(shí)踐

，并致力于通過(guò)數(shù)據(jù)庫(kù)基礎(chǔ)軟件和管理軟件賦能千行百業(yè)的數(shù)字化升級(jí)轉(zhuǎn)型，期待在未來(lái)云和恩墨通過(guò)MogDB的自身進(jìn)化和廣泛應(yīng)用能夠推動(dòng)中國(guó)數(shù)據(jù)庫(kù)技術(shù)的創(chuàng)新與發(fā)展

，為用戶創(chuàng)造更多的價(jià)值

。

關(guān)鍵詞：

責(zé)任編輯：孫知兵

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與太平洋財(cái)富網(wǎng)無(wú)關(guān)

。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)

，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性

、完整性

、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考

，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容

。
如有問(wèn)題，請(qǐng)聯(lián)系我們

！