騰訊的企業級分布式 HTAP 數據庫管理系統 TBase 正式開源

本文轉自公眾號:騰訊開源

TBase簡介

TBase是騰訊數據平臺團隊在開源的PostgreSQL基礎上研發的企業級分布式HTAP數據庫管理系統:

  • 具備高性能可擴展的分布式事務能力,支持RC和RR兩種隔離級別;

  • 通過安全、管理、審計三權分立體系,提供全方位的數據安全保證機制;

  • 支持高性能分區表,可使得數據檢索效率成倍提升;

  • SQL方面兼容2003標準、PostgreSQL語法和常用Oracle函數&數據類型、窗口函數等;

  • 提供大小商戶數據分離、冷熱數據分離等高效的數據治理能力。

TBase架構

集群中有三種節點類型,各自承擔不同的功能,通過網絡連接成為一個系統。這三種節點類型分別是:

  • Coordinator:協調節點,對外提供接口,負責數據的分發和查詢規劃,多個節點位置對等,每個節點都提供相同的數據庫視圖,CN存儲系統的全局元數據。

  • Datanode:處理存儲本節點相關的元數據,每個節點還存儲數據的一個分片。在功能上,DN節點負責完成執行協調節點分發的執行請求。

  • GTM: 全局事務管理器(Global transaction manager.),負責管理集群事務信息,同時管理集群的全局對象,比如序列,除此之外GTM上不提供其他的功能。

TBase適用場景

  • 在國產化落地、業務核心領域去O場景;

  • 對HTAP混合事務分析應用模型有需要的業務場景;

  • 對物聯網地理信息系統有需求的業務場景;

  • 對實時高并發環境下的分布式事務強一致性有要求的業務(如金融、證券等業務)場景;

  • 對企業級數據安全、審計、治理應用相關功能有需求的業務場景;

  • 對高可用、異地容災、7*24小時服務能力有需求的業務場景;

  • 有海量存儲計算需求、彈性擴容、在線擴容需求的業務場景;

  • 對異構數據互通共享有需求的業務場景。

TBase功能介紹

  • 分布式事務全局一致性能力:通過擁有自主專利的分布式事務一致性技術,包括兩階段提交(Two Phase Commit)以及全局時鐘(Global Timestamp)的策略來保證在全分布式環境下的事務一致性。

  • SQL兼容能力:SQL2003標準、PostgreSQL語法、常用Oracle函數&數據類型、UDF/UDAF、常見窗口函數、JSON/JSONB/XML/數組等多種 NoSQL 類型 、遞歸WITH、無鎖DDL操作、擴展插件等。

  • HTAP能力:提供 OLTP 以及 OLAP 兩個平面視角 ,OLTP 業務運行在 >

  • 讀寫分離能力:提供了讀寫和只讀兩個平面視角,讀寫流量請求由主節點來處理,只讀流量請求由備節點來處理,主備節點的數據同步采用流復制的方式來進行。

  • 卓越的數據安全保障能力:通過三權分立的體系,將傳統數據庫系統DBA的角色分解為三個相互獨立的角色:安全管理員、審計管理員、數據管理員;基于此提出安全策略,主要細分為三個部分:數據加密、數據脫敏訪問、強制訪問控制,三者組合提供多個層級的數據安全保障能力。

  • 高效的數據治理能力:數據傾斜治理,用以解決數據分布不均帶來的存儲以及性能壓力;冷熱數據分級存儲 ,用以降低業務的存儲成本、提升熱數據的性能。

  • 多核并行計算能力:節點內部采用了并行計算,根據表大小同時啟動多個進程來協同完成一個查詢。

  • 多租戶能力:基于節點組node group的集群內多租戶解決方案,做到數據庫集群內部的業務和資源隔離,多個業務在TBase內部相互隔離的運行。

  • 多級容災能力:采用強同步復制來保證主從數據完全一致,保障主節點故障時數據無丟失;提供基于任意時間點的恢復特性來防止誤操作帶來的數據丟失。

  • 在線擴容能力:通過引入shard map層(shard map 中每一項存儲 shardid 和 DN 的 映射關系 ), 在新加節點時,只需要把一些 shard map 中的 shardid 映射到新加的節點,并把對應的數據搬遷過去就可以了,大大縮短擴容時間。

  • 豐富的周邊生態能力:PostGIS、異構數據復制、LVS負載均衡、FDW聯邦能力等。

TBase項目規劃

  • 加強TBase的HTAP能力,支持多種存儲格式;

  • 異構數據互通功能豐富,添加數據更新訂閱發布功能;

  • 完善周邊生態,豐富數據庫聯邦數據源;

  • 運維管理能力全面提升,PASS能力持續增強。

 

TBase真情期待開源貢獻

TBase目前已在騰訊內外部包括銀行、保險、證券、微信支付等多個行業提供底層數據庫支撐。我們期望通過將TBase開源,能夠有助于業界其他相關領域的應用,也希望更好的完善產品本身,TBase期待大家共同完善!

TBase 正式開源

Github 開源地址(歡迎大家踴躍點贊,支持國產):

http://github.com/Tencent/TBase

TBase 國內鏡像地址:

http://git.code.tencent.com/Tencent_OpenSource/TBase

新福利:

從11月01日開始至12月06日截止,一共五周時間,每周五我會從公眾號底部留言+轉發+在看綜合最多的讀者中抽取一名讀者,免費包郵送實體新書《Flink入門與實戰》,留言互動起來吧~

猜你喜歡

1、Apache Spark 3.0 預覽版正式發布,多項重大功能發布

2、馬蜂窩數據倉庫設計與實踐

3、使用 Spark 和 Delta Lake 構建近實時數據倉庫

4、京東 8000+ 臺 Hadoop 集群平臺化之路

過往記憶大數據微信群,請添加微信:fangzhen0219,備注【進群】

免責聲明:本文僅代表文章作者的個人觀點,與本站無關。其原創性、真實性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容文字的真實性、完整性和原創性本站不作任何保證或承諾,請讀者僅作參考,并自行核實相關內容。

http://image99.pinlue.com/thumb/img_jpg/0yBD9iarX0ntbYxRE3fxtbsEpMHm0XySI21YYR3KAKDl8IIA8KoTUH1Qno0v5M3mIZmAibeIHcrNbibF6vSiaNs5Dw/0.jpeg
我要收藏
贊一個
踩一下
分享到
?
分享
評論
首頁
买鱼能赚钱吗