在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進行哈希算法的***標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。國內(nèi)較早發(fā)布CDM領(lǐng)域的平臺型產(chǎn)品是上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品。備份校驗管理
敏捷數(shù)據(jù)管理平臺(ADM)由管理控制中心(Master)、數(shù)據(jù)服務(wù)節(jié)點(CDM Server)、敏感數(shù)據(jù)處理服務(wù)節(jié)點(SDM Server)、客戶端(Client)組成,服務(wù)節(jié)點可通過主備節(jié)點部署實現(xiàn)高可用,通過靈活的橫向節(jié)點擴展實現(xiàn)功能擴展和容量擴充,每個服務(wù)節(jié)點可以安裝在物理服務(wù)器或虛擬服務(wù)器中。一個或多個客戶端連接到服務(wù)節(jié)點,組成一個完整的數(shù)據(jù)管理平臺,客戶端負責收集數(shù)據(jù)、傳輸數(shù)據(jù),服務(wù)節(jié)點負責接收數(shù)據(jù)、存儲數(shù)據(jù)、敏感數(shù)據(jù)處理以及管理數(shù)據(jù)。初始的虛擬數(shù)據(jù)庫實例上訊ADM產(chǎn)品的公開報價是多少?
用戶提出數(shù)據(jù)管理產(chǎn)品的上線既要滿足云技術(shù)的部署帶來數(shù)據(jù)遷移和歷史備份數(shù)據(jù)接管的要求,又要對用戶系統(tǒng)更新迭代導致副本數(shù)據(jù)使用管理需求增加、測試場景需求增加的問題予以解決,因此用戶對CDM的部署方式提出了要求:即適應(yīng)混合多云環(huán)境,支持BaaS和訂閱的模式部署。敏捷數(shù)據(jù)管理平臺(ADM)產(chǎn)品具備靈活的部署模式,既支持單機部署,也支持高可用部署、多云混合部署,且每個功能均支持在線擴展,具備擴展的便捷性。在混合多云環(huán)境中,只需要將ADM在每朵云中進行部署,即可實現(xiàn)備份數(shù)據(jù)、副本數(shù)據(jù)的多云間統(tǒng)一管理,并支持在每朵云中創(chuàng)建虛擬數(shù)據(jù),實現(xiàn)數(shù)據(jù)的分鐘級快速交付;在云環(huán)境中的測試環(huán)境,可以利用云主機的快照功能及ADM的虛擬數(shù)據(jù)功能,達到整個測試環(huán)境的版本管理(包括系統(tǒng)、數(shù)據(jù)),達到數(shù)據(jù)使用及管理的便利性.
管理控制中心(Master)是ADM的集中管理和調(diào)度控制中心,是進行可視化管理的Web操作平臺。它負責集中管理ADM中的所有模塊組件,系統(tǒng)管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協(xié)調(diào)并執(zhí)行各個角色對應(yīng)的操作;數(shù)據(jù)服務(wù)節(jié)點(CDMServer)是提供數(shù)據(jù)備份與恢復(fù)、備份數(shù)據(jù)恢復(fù)驗證、副本數(shù)據(jù)創(chuàng)建和交付、數(shù)據(jù)復(fù)制容災(zāi)功能的服務(wù)節(jié)點。用于記錄數(shù)據(jù)服務(wù)任務(wù)的配置信息、存儲情況、歷史記錄等,數(shù)據(jù)服務(wù)節(jié)點統(tǒng)一通過MasterIP訪問;***服務(wù)節(jié)點(SDMServer)是提供數(shù)據(jù)脫敏的服務(wù)節(jié)點,用于記錄接入平臺的敏感數(shù)據(jù)源、數(shù)據(jù)脫敏策略、***任務(wù)記錄等信息,***服務(wù)節(jié)點統(tǒng)一通過MasterIP訪問??蛻舳耍–lient)*針對數(shù)據(jù)服務(wù)節(jié)點(CDMServer)需要保護及管理的生產(chǎn)服務(wù)器、目標服務(wù)器,如物理服務(wù)器、虛擬機等都統(tǒng)稱為客戶端。為方便與管理控制中心進行網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸,一般會在客戶端上安裝客戶端軟件??蛻舳塑浖撠燀憫?yīng)管理控制中心(Master)的命令,執(zhí)行數(shù)據(jù)備份和恢復(fù)等指令??蛻舳塑浖赏ㄟ^管理控制中心(Master)進行Web頁面的推送安裝與注冊。***服務(wù)節(jié)點(SDMServer)無需安裝客戶端軟件。市面上的敏感數(shù)據(jù)管理產(chǎn)品有哪些?
數(shù)據(jù)備份管理是上訊敏捷數(shù)據(jù)管理平臺ADM功能模塊之一,主要用于實現(xiàn)云環(huán)境、物理環(huán)境、虛擬化平臺下的數(shù)據(jù)保護。包括支持各種主流平臺下的系統(tǒng)、數(shù)據(jù)庫及文件數(shù)據(jù)的保護,支持主流的虛擬化平臺、國產(chǎn)化云服務(wù)器以及容器的保護,并可對物理服務(wù)器及虛擬化平臺下的備份數(shù)據(jù)進行即時掛載恢復(fù),提供業(yè)務(wù)應(yīng)急的能力和數(shù)據(jù)快速恢復(fù)能力;針對數(shù)據(jù)備份的存儲資源類型,ADM支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、對象存儲等存儲資源。支持接入第三方云存儲、對象存儲等作為大容量數(shù)據(jù)存儲池,具備較強的擴展能力。上訊ADM通過數(shù)據(jù)備份后獲取到的黃金副本開啟數(shù)據(jù)開發(fā)利用的創(chuàng)新流程,充分發(fā)揮數(shù)字資產(chǎn)價值。數(shù)據(jù)使用場景
ADM的敏感數(shù)據(jù)處理靈活性體現(xiàn)在異構(gòu)引擎可以將大數(shù)據(jù)平臺數(shù)據(jù)抽取至多類型數(shù)據(jù)庫,滿足輸出格式多樣化。備份校驗管理
ADM產(chǎn)品測試數(shù)據(jù)多副本快速交付ADM是國內(nèi)**早的副本數(shù)據(jù)管理(CDM)產(chǎn)品,采用數(shù)據(jù)庫虛擬化技術(shù)對原始數(shù)據(jù)庫副本(黃金副本)快速生成多個虛擬數(shù)據(jù)庫作為測試數(shù)據(jù)副本,滿足開發(fā)測試場景的測試數(shù)據(jù)快速供應(yīng)。?100倍數(shù)據(jù)交付效率提升10TB的數(shù)據(jù)恢復(fù)時間由原來的小時級縮短至分鐘級;?10倍工作效率提升在開發(fā)、測試環(huán)境中,使用者可隨時對虛擬庫做快照標記,快照對應(yīng)著不同時間的數(shù)據(jù)版本。數(shù)據(jù)版本管理可進行任意標記的快照切換,降低數(shù)據(jù)導入或恢復(fù)產(chǎn)生的時間成本,大幅提升工作效率。?10倍存儲空間節(jié)省首先內(nèi)置存儲池存儲即壓縮的機制可實現(xiàn)約3:1的數(shù)據(jù)存儲壓縮,同時交付的多個虛擬數(shù)據(jù)庫由于共享于一份原始數(shù)據(jù),因此基本不占用額外的存儲空間,隨著交付虛擬數(shù)據(jù)庫的數(shù)量增加,節(jié)約的存儲空間會成倍增加,實際應(yīng)用場景中至少為用戶節(jié)約10倍的存儲空間。備份校驗管理