柏睿實時云數(shù)倉之「性能優(yōu)化篇」· 實戰(zhàn)分享

柏睿實時云數(shù)倉性能優(yōu)化篇來也！本文分享實戰(zhàn)經(jīng)驗。前情可前往歷史文章回顧～

RapidsDB在云端的整體優(yōu)化，可以概括為計算、存柏睿分布式內(nèi)存數(shù)據(jù)庫儲、網(wǎng)絡三個方面，我們在這里分別做一些介紹。

再次強調(diào)我們優(yōu)化的整體思路：雖然云計算號稱“按需付費”，但如果不精打細算，使用成本反而會增加很多。因此我們在優(yōu)化柏睿實時云數(shù)倉的主要思路是：在成本可控的情況下，通過優(yōu)化相關的云資源，提升柏睿分布式內(nèi)存數(shù)據(jù)庫的性能。

一、計算如何優(yōu)化？

在第二篇“根據(jù)CPU選云主機”中已介紹過如何選擇CPU和云主機類型，對于“團隊作戰(zhàn)”的RapidsDB集群，單純提升CPU 一點點頻率效果不會很明顯。

將數(shù)據(jù)庫集群規(guī)模擴大，將任務分配到更多的數(shù)據(jù)庫節(jié)點，這才是提升性能的最直接而有效的方法。由于是團隊作戰(zhàn)，所以要求所有數(shù)據(jù)庫節(jié)點CPU和內(nèi)存配置是統(tǒng)一的，以方便統(tǒng)一調(diào)度管理。

CPU與內(nèi)存的配置比率，我們在“選擇內(nèi)存容量”中已介紹過，推薦1：4或1：8。但在數(shù)據(jù)庫中還是需要一些優(yōu)化設置的。

RapidsDB是一個高度可擴展的分布式系統(tǒng)，運行在Linux 系統(tǒng)中。在每個數(shù)據(jù)庫節(jié)點，通過本節(jié)點的數(shù)據(jù)分區(qū)技術，實現(xiàn)多任務并行操作。例如在一個8vCPU的數(shù)據(jù)庫云主機節(jié)點，數(shù)據(jù)的分區(qū)數(shù)據(jù)量為8。

最后再對操作系統(tǒng)做一些常規(guī)的優(yōu)化，如打開文件數(shù)量等。由于一些云廠商會調(diào)整優(yōu)化Linux內(nèi)核，因此不建議調(diào)整云主機的內(nèi)核。

下圖是不同規(guī)模的實時云數(shù)倉集群，在TPC-H 500G的測試數(shù)據(jù)量性能報表，能看到整體計算性能隨著節(jié)點數(shù)量的增加而提升。

二、存儲如何優(yōu)化？

在“選擇云硬盤”中已介紹過如何選擇硬盤，對于“團隊作戰(zhàn)”的RapidsDB集群，單純提升云主機一點點IO能力，性能提升效果不會很明顯。

將數(shù)據(jù)庫的存儲設置為獨立磁盤，避免與其他程序同時讀寫同一磁盤，這將會大幅度提升數(shù)據(jù)庫的存儲能力。

如果在云中運行的RapidsDB所在的業(yè)務有很頻繁的磁盤性能要求，可以通過在云主機中增加多塊云硬盤，組成RAID 0，實現(xiàn)更高的讀寫性能。對于為什么不做RAID 5，可以參考柏睿實時云數(shù)倉的安全文章。

下圖是不同規(guī)模的實時云數(shù)倉集群，從華為云存儲加載數(shù)據(jù)的時間，能看到隨著節(jié)點數(shù)量的增加，文件加載性能也有提升。

三、網(wǎng)絡如何優(yōu)化？

在“選擇網(wǎng)絡能力”中已介紹過如何選擇網(wǎng)絡，很多人認為云主機在內(nèi)網(wǎng)通訊的速度會很快，但在實際測試過程中，我們還發(fā)現(xiàn)一個隱含的小問題：

云廠商在不同物理位置有區(qū)域，在每個區(qū)域中又有不同的可用區(qū)。比如華為云在北京四區(qū)有4個可用區(qū)。

雖然在北京四這個區(qū)域中，每個可用區(qū)之間的網(wǎng)絡通信都是內(nèi)網(wǎng)，但跨可用區(qū)網(wǎng)絡通信時，網(wǎng)絡延時會增加。下面是通過ping不同可用區(qū)之間的延時比較：

PING本可用區(qū)云主機延時

PING其他可用區(qū)云主機延時

從上面PING的測試數(shù)據(jù)能看到，跨可用區(qū)的網(wǎng)絡訪問對于柏睿云數(shù)倉這種分布式數(shù)據(jù)庫來說，還是有網(wǎng)絡影響的。如果需要高性能，還是將所有數(shù)據(jù)庫節(jié)點部署在同一可用區(qū)，如果出于數(shù)據(jù)安全考慮，可以參考原柏睿實時云數(shù)倉的安全文章，使用數(shù)據(jù)多副本并將數(shù)據(jù)庫節(jié)點部署在不同可用區(qū)。

最后，雖然在云計算環(huán)境中不建議調(diào)整網(wǎng)絡幀大小，但可以對一些常規(guī)網(wǎng)絡參數(shù)調(diào)整，如調(diào)整重試次數(shù)、FIN完成時間等。

下圖是不同規(guī)模的實時云數(shù)倉集群，網(wǎng)絡流量性能報表，能看到隨著節(jié)點數(shù)量的增加，網(wǎng)絡性能也有提升。

四、成本如何優(yōu)化？

由于是團隊作戰(zhàn)，所以要求所有數(shù)據(jù)庫節(jié)點配置是統(tǒng)一的，以方便統(tǒng)一調(diào)度管理。

隨著集群規(guī)模的擴大，使用成本也會擴大?；赗apidsDB的實時云數(shù)倉，使用云原生微服務架構，支持在線彈性增加、刪除數(shù)據(jù)庫節(jié)點，用戶在處理大型任務時彈性增加數(shù)據(jù)庫集群規(guī)模，在不需要高性能計算時可以減少數(shù)據(jù)庫集群規(guī)模，以實現(xiàn)云成本的優(yōu)化。

守正出奇

最后，引用馮侖的自著《野蠻生長》中對“守正出奇”的修改：

“守正出奇”，“正”正路、正道，“奇”出人意料，“守正出奇”正道而行。突破思維、出奇制勝。就是用百分之七十的時間去想“正確”的優(yōu)化方向，用百分之三十的時間研究運行環(huán)境與業(yè)務需求的變通。既不墨守成規(guī)，又有創(chuàng)新。

轉(zhuǎn)自：太平洋財富網(wǎng)

　　【版權及免責聲明】凡本網(wǎng)所屬版權作品，轉(zhuǎn)載時須獲得授權并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系：010-65363056。

延伸閱讀