近幾年，企業(yè)級存儲市場上，正在經(jīng)歷著重大的變化。一方面，分布式存儲正在經(jīng)歷快速的增長時期。IDC 2019 年市場預(yù)測報告顯示，無論是對象存儲、文件存儲還是塊存儲，在未來幾年里都會保持兩位數(shù)高速增長。另一方面，IDC 市場報告顯示，全閃存儲在所有采用存儲的企業(yè)里，幾乎已經(jīng)占 80% 的使用率。全閃存儲逐漸成為主流。

面對存儲市場的變化，各家云廠商都在積極應(yīng)對。青云 QingCloud ( qingcloud.com ) 從 12 年推出云產(chǎn)品開始在底層存儲上就以自研的方式進(jìn)行，經(jīng)過 8 年磨礪，積累了大量云環(huán)境下的存儲的需求和技術(shù)實踐，由此推出的 QingStor 產(chǎn)品家族，目前包含 QingStor NeonSAN（分布式塊存儲）、QingStor 對象存儲、QingStor 文件存儲、QingStor 融合存儲等四款產(chǎn)品。

向云而生的存儲

目前，QingStor 四款家族產(chǎn)品是青云 QingCloud 最基礎(chǔ)存儲支撐，包括公有云和私有云。此外，作為底層存儲引擎，QingStor 能夠與多種平臺對接，包括 VMware 虛擬化平臺、OpenStack 云平臺，還包括 Kubernetes 容器平臺。由此可見，QingStor 就是向云而生的產(chǎn)品。

目前，QingStor 的產(chǎn)品家族已經(jīng)積累了數(shù)萬家企業(yè)客戶，同時部署在公有云和私有云。公有云方面，QingStor 全線產(chǎn)品已經(jīng)上線和部署在青云 QingCloud 的 8 個公有云區(qū)。在私有云部分，QingStor 幾乎覆蓋了全部主流的行業(yè)，擁有非常多的行業(yè)客戶案例，包括銀行、保險、證券、制造、能源、醫(yī)療等。

特別值得一提的是，QingStor 無論是在公有云，還是在私有云的部署上都是采用同一套架構(gòu)，以及同一套代碼實現(xiàn)，保證產(chǎn)品的一致性，更有利于用戶產(chǎn)品的打通�？梢钥闯�，作為青云 QingCloud 存儲的基礎(chǔ)，QingStor 全線產(chǎn)品經(jīng)過了公有云和私有云共同的檢驗，并且在大規(guī)模生產(chǎn)環(huán)境中得到了使用。

QingStor 從產(chǎn)生之初，就走上了自主設(shè)計、自主研發(fā)的道路。特別是在架構(gòu)設(shè)計上，完全采用自主設(shè)計，放棄了大多數(shù)廠商選擇的開源之路，在我看來，這也是 QingStor 能夠在公有云和私有云實現(xiàn)統(tǒng)一架構(gòu)的最主要原因。

據(jù) QingStor 存儲產(chǎn)品線研發(fā)負(fù)責(zé)人王煜介紹，QingStor 四款產(chǎn)品在考慮實際的使用基礎(chǔ)上，都采用了獨立的架構(gòu)設(shè)計方法。他特別強(qiáng)調(diào)表示，企業(yè)存儲場景的多樣性和復(fù)雜性，就代表著不能通過一套架構(gòu)滿足所有需求，而 " 銀彈架構(gòu) " 的模式，必然會對某些應(yīng)用場景做出妥協(xié)，最終造成存儲性能缺失，所以 QingStor 也因場景需求分為為熱數(shù)據(jù)、冷數(shù)據(jù)、溫數(shù)據(jù)以及混合場景。

而最近，QingStor 正在進(jìn)行新一輪的版本迭代，筆者有幸獲得其中一些消息分享給讀者。

QingStor NeonSAN 3.0

QingStor NeonSAN 在設(shè)計之初，就希望打造成一款擁有極致性能的分布式存儲產(chǎn)品。而在設(shè)計上，采用縮短 I/O 路徑棧，去掉本地文件系統(tǒng)，提高協(xié)議轉(zhuǎn)換效率等方法，使其擁有了更為優(yōu)秀的性能。目前，QingStor NeonSAN 已經(jīng)迭代到 3.0 版本。而 QingStor NeonSAN 產(chǎn)品線的迭代，完全圍繞著核心場景來打造產(chǎn)品能力，具體表現(xiàn)在云平臺 / 虛擬化場景、大數(shù)據(jù)場景、業(yè)務(wù)連續(xù)性場景以及最近這兩年非�；鸬娜萜� / 云原生場景四個核心場景。

第一，QingStor NeonSAN 除了可以與 QingCloud 云平臺形成完美的對接、實現(xiàn)云平臺層面的統(tǒng)一管理和性能的最大優(yōu)化之外，還能很好地對接目前大家在業(yè)界使用比較多的虛擬化平臺、云計算平臺，如 VMware 平臺、OpenStack 平臺、Hyper-V 平臺。

第二，針對大數(shù)據(jù)應(yīng)用常用處理框架 Hadoop 和 Spark，以及一些常用大數(shù)據(jù)系統(tǒng)所采用的底層 HDFS 文件系統(tǒng)。QingStor NeonSAN 專門做了一些設(shè)計，比如提供互斥卷組的策略，即在 QingStor NeonSAN 層面提供多個單副本的卷。另外，在和 HDFS 文件系統(tǒng)的對接上，QingStor NeonSAN 在性能方面也做了優(yōu)化。

第三，針對業(yè)務(wù)連續(xù)的問題，青云 QingCloud 還提供了一整套基于 QingStor NeonSAN 的、以存儲為核心能力的業(yè)務(wù)連續(xù)性解決方案。特別在簡化管理方面，QingStor NeonSAN 能夠跟青云 QingCloud 云平臺一起，統(tǒng)一管理云平臺上的計算資源、網(wǎng)絡(luò)資源、存儲資源，提供一整套完整的業(yè)務(wù)連續(xù)性管理的解決方案，滿足業(yè)務(wù)對不同 RPO/RTO 的要求，大大地簡化業(yè)務(wù)連續(xù)性的管理，提高業(yè)務(wù)連續(xù)性的效率。

第四，在功能層面，QingStor NeonSAN 提供標(biāo)準(zhǔn) CSI 插件，支持與容器卷粒度的管理，以及快照、克隆、在線擴(kuò)容、QoS 等存儲高級特性。在性能層面，QingStor NeonSAN 可以在整條鏈路支持端到端 RDMA 的訪問。基于高效率協(xié)議的支持，QingStor NeonSAN 可以保證容器端應(yīng)用訪問存儲的時延控制在微秒級別，基本是 0.1-0.3 毫秒訪問時延的水平。整體上，QingStor NeonSAN 可以為 K8s、KubeSphere 容器平臺提供高性能、可靠性、企業(yè)級分布式存儲的能力。

QingStor 對象存儲 3.0

對象存儲是主要解決非結(jié)構(gòu)化數(shù)據(jù)存儲的問題，如海量圖片、音視頻、日志、歸檔備份等。這些數(shù)據(jù)讀取的頻率并不是特別高，通常是一次寫入、多次讀取的模型。但是其數(shù)據(jù)容量、數(shù)據(jù)數(shù)量都是非常大的。因此 QingStor 對象存儲設(shè)計的核心是承載海量的數(shù)據(jù)。在整個架構(gòu)設(shè)計時，采用了完全 Share-Nothing 的架構(gòu)，沒有任何單點，每一個組件都是可以無限水平擴(kuò)展，并且保證性能不會下降。特別是新推出的 QingStor 對象存儲 3.0 更是一款魚和熊掌兼得的存儲服務(wù)，兼得海量數(shù)據(jù)存儲和數(shù)據(jù)存儲的超高性能。

QingStor 對象存儲 3.0，在對象版本控制、數(shù)據(jù)追加寫入、數(shù)據(jù)跨區(qū)域復(fù)制，以及生態(tài)工具四個功能上有所提升。此外新版本還具有新的能力的變化，一方面 QingStor 對象存儲 3.0 具有更強(qiáng)的、更具優(yōu)勢的存儲性能。另一方面 QingStor 對象存儲 3.0 可以服務(wù)于更多的數(shù)據(jù)應(yīng)用場景，如數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、數(shù)據(jù)備份、AI 視頻監(jiān)控。

具體而言，首先，QingStor 對象存儲 3.0 中帶來了數(shù)據(jù)跨區(qū)域復(fù)制，和全新重構(gòu)的官方工具 qsctl 和 qscamel。通過這些新功能和工具組合的方案，能夠做到數(shù)據(jù)遷移中，對跨平臺及復(fù)雜場景的全覆蓋，這套解決方案是可視化的操作和服務(wù)，讓用戶可以非常簡單快捷的進(jìn)行操作。

其次，QingStor 對象存儲 3.0 所擁有的版本控制功能，實現(xiàn)了存儲桶（Bucket）內(nèi)數(shù)據(jù)的歷史版本存儲和管理，解決了企業(yè)級用戶對數(shù)據(jù)保護(hù)的新需求，例如意外刪除、意外覆蓋、惡意篡改等極端情況。

另外，QingStor 對象存儲基于通用的 X86 硬件，以及標(biāo)準(zhǔn)的 API 接口，可以友好地對接 SaaS 備份應(yīng)用，對存儲采購成本和運維管理更有利。QingStor 對象存儲 3.0 實現(xiàn)了與更多主流廠商做深度兼容，使得數(shù)據(jù)備份更加簡單和易用。

最后，QingStor 對象存儲 3.0 帶來的新特性有數(shù)據(jù)追加寫入的接口、為智能終端定制的 SDK，以及混合云存儲的解決方案，在 QingStor 對象存儲里，徹底打通視頻影像數(shù)據(jù)的生命周期，從海量數(shù)據(jù)存儲到數(shù)據(jù)分析處理，到數(shù)據(jù)歸檔。通過 SDK 讓智能終端直接寫數(shù)據(jù)到對象存儲，簡化了端到存儲的流程。平滑對接外部數(shù)據(jù) AI 分析引擎，如數(shù)據(jù)深度分析、圖像識別、機(jī)器學(xué)習(xí)等應(yīng)用。

QingStor 文件存儲 2.0

青云 QingCloud 力求打造云計算架構(gòu)下的，通用的文件存儲產(chǎn)品，由此必須在產(chǎn)品上實現(xiàn)擁有通用的標(biāo)準(zhǔn)文件接口，擁有多層次的擴(kuò)展性，可以同時適配差異化的文件存儲需求，這三個重要的能力。為此，QingStor 文件存儲系統(tǒng)就以此為出發(fā)點。

通用的文件接口（posix），是操作系統(tǒng)原生的接口，不需要另行改造就可以使用的接口，而 QingStor 文件存儲 2.0 使用 posix 接口，可以有效的降低企業(yè)因存儲接口兼容性出現(xiàn)的問題。譬如，以 HDFS 為代表的專用文件系統(tǒng)，這些文件系統(tǒng)僅支持部分標(biāo)準(zhǔn)接口，比如僅支持順序?qū)懀�不支持隨機(jī)修改等等。

QingStor 文件存儲研發(fā)負(fù)責(zé)人黃蒙介紹表示，QingStor 文件存儲的設(shè)計目標(biāo)就是要在支持通用文件接口和通用的網(wǎng)絡(luò)文件協(xié)議的前提下，提供一個可擴(kuò)展高可用的分布式文件存儲系統(tǒng)，這就直接擴(kuò)大了產(chǎn)品的使用場景。

QingStor 文件存儲的架構(gòu)中，青云 QingCloud 自研了整個文件系統(tǒng)棧，不依賴本地文件系統(tǒng)，搭建了一個真正意義上的統(tǒng)一命名空間。由于允許多個邏輯接入節(jié)點 , 可以同時訪問和操作相同的數(shù)據(jù)，天然具有高可用的能力。在這一架構(gòu)下， 每一個目錄可以承載的容量和文件數(shù)量都沒有限制。此外，由于每個目錄下的內(nèi)容可以通過多個接入節(jié)點同時訪問，也使處理能力有了水平擴(kuò)展性。

另外，為更好的同時支撐不同的業(yè)務(wù)，QingStor 文件存儲支持為每一個創(chuàng)建的租戶文件系統(tǒng)提供差異化的設(shè)置，比如選擇副本數(shù)，甚至選擇文件數(shù)據(jù)塊大小。

值得一提的是，QingStor 文件存儲 2.0 采用了 Rust 語言作為存儲系統(tǒng)開發(fā)語言，這也給 QingStor 文件存儲帶來極大的性能提升。譬如，單個 nfs client 的 fio 性能測試數(shù)據(jù)，其中 4k 隨機(jī)讀寫 IOPS 提高了 200% 以上，64k 的順序讀寫也有大約 1 倍的提升，效果非常顯著。

黃蒙表示，QingStor 文件存儲旨在打造一款在云計算基礎(chǔ)架構(gòu)下更加通用的文件存儲產(chǎn)品，我們希望能通過這款產(chǎn)品幫助更多類型的應(yīng)用更平滑上云，享受到更好的云計算基礎(chǔ)設(shè)施帶來的便利。