大數(shù)據(jù)由于其來源的不同,具有數(shù)據(jù)多樣性的特點。對于傳統(tǒng)的數(shù)據(jù)庫,其存儲的數(shù)據(jù)都是結構化數(shù)據(jù),格式規(guī)整,相反大數(shù)據(jù)來源于日志、歷史數(shù)據(jù)、用戶行為記錄等,有的是結構化數(shù)據(jù),而更多的是半結構化或者非結構化數(shù)據(jù),這也正是傳統(tǒng)數(shù)據(jù)庫存儲技術無法適應大數(shù)據(jù)存儲的重要原因之一。所謂存儲格式,也正是由于其數(shù)據(jù)來源不同,應用算法繁多,數(shù)據(jù)結構化程度不同,其格式也多種多樣。因而大數(shù)據(jù)的存儲或者處理系統(tǒng)必須對多種數(shù)據(jù)及軟硬件平臺有較好的兼容性來適應各種應用算法或者數(shù)據(jù)提取轉換與加載。分布式存儲這種技術方式和優(yōu)勢,傳統(tǒng)的互聯(lián)網(wǎng)公司通過控制中心平臺是沒有辦法實現(xiàn)的。渭南存儲服務技巧
分布式存儲要點:組網(wǎng)架構:分布式存儲網(wǎng)絡一般分為三個平面,即業(yè)務平面、管理平面和均衡平面。業(yè)務平面,即外部訪問和使用分布式存儲、進行數(shù)據(jù)讀取的平面;管理平面,即分布式存儲管理軟件對存儲節(jié)點進行管理的平面,包括上下電、監(jiān)控和維護操作等;均衡同步平面即存儲節(jié)點之間進行副本數(shù)據(jù)同步和負載均衡的平面。組網(wǎng)協(xié)議上,通常采用IP協(xié)議進行通信和傳輸,在特殊場景,例如對時延敏感場景,也可以采用RDMA網(wǎng)絡用于業(yè)務平面和均衡同步平面。渭南存儲服務技巧分布式網(wǎng)絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷。
分布式存儲系統(tǒng)是將數(shù)據(jù)分散存儲在多臺單獨的設備上,并且能夠橫向擴展,利用多臺存儲設備分擔存儲負荷,利用元數(shù)據(jù)服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。同時,可以將這些分散的存儲設備構建成一個虛擬的大存儲池,供上層應用來使用。市場上諸多集群存儲、并行存儲,云存儲等,其實都是基于分布式的架構,只是廠商不同叫法不同。較近幾年,這種分布式架構的存儲系統(tǒng)正在逐步替代傳統(tǒng)的存儲架構,尤其是在非結構化數(shù)據(jù)的存儲領域發(fā)展非常迅猛。
存儲服務定義和服務申請靈活分離,管理員更專注存儲服務定義和監(jiān)控:傳統(tǒng)存儲系統(tǒng)中,設備的管理和業(yè)務的發(fā)放都是由系統(tǒng)管理員完成,系統(tǒng)管理員不但要關注存儲RAID、Pool和LUN如何創(chuàng)建,還要關注應用有哪些,把哪些存儲分配掛載給對應的應用。當企業(yè)業(yè)務和存儲系統(tǒng)復雜龐大時,存儲資源很難充分利用或匹配多樣的業(yè)務。實現(xiàn)了服務定義和服務申請靈活分離,首先,管理員把企業(yè)內(nèi)所涉及的應用進行SLA標準化定義、通過不同Tier匹配到不同存儲Pool,然后,再由知道業(yè)務和存儲服務租戶去申請存儲資源,實現(xiàn)存儲資源和應用的精細化匹配。管理員只對系統(tǒng)進行運維、度量和監(jiān)控。分布式存儲與中心化存儲將不斷融合,改變現(xiàn)有的互聯(lián)網(wǎng)構架和商業(yè)模式。
分布式存儲系統(tǒng)結構中包含一個機頭,這個是存儲系統(tǒng)中較為關鍵的部件。通常在機頭中有包含兩個控制器,互為備用,避免硬件故障導致整個存儲系統(tǒng)的不可用。機頭中通常包含前端端口和后端端口,前端端口用戶為服務器提供存儲服務,而后端端口用于擴充存儲系統(tǒng)的容量。通過后端端口機頭可以連接更多的存儲設備,從而形成一個非常大的存儲資源池。在整個結構中,機頭中是整個存儲系統(tǒng)的關鍵部件,整個存儲系統(tǒng)的高級功能都在其中實現(xiàn)??刂破髦械能浖崿F(xiàn)對磁盤的管理,將磁盤抽象化為存儲資源池,然后劃分為LUN提供給服務器使用。這里的LUN其實就是在服務器上看到的磁盤。當然,一些集中式存儲本身也是文件服務器,可以提供共享文件服務。分布式存儲有著豐富的個人存儲資源、用戶內(nèi)容貢獻價值和市場交換上擁有巨大的潛力。渭南存儲服務技巧
存儲系統(tǒng)設計時需要在一致性和可用性之間權衡,在某些場景下,不允許丟失數(shù)據(jù)。渭南存儲服務技巧
分布式存儲又稱去中心化存儲,要理解它,首先我們需要了解中心化存儲。中心化存儲,從概念上可以看出來是具有集中性的,也就是整個存儲是集中在一個系統(tǒng)中的,但集中式存儲并不是一個單獨的設備,是集中在一套系統(tǒng)當中的多個設備。這個存儲設備雖然可以縱向擴展,但還是共享同一個機頭,設備本身會成為系統(tǒng)性能的瓶頸,同時也是系統(tǒng)可靠性和安全性的焦點,無法滿足大規(guī)模存儲應用的需要。在這個存儲系統(tǒng)中包含很多組件,除了關鍵的機頭(控制器)、磁盤陣列(JBOD)和交換機等設備外,還有管理設備等輔助設備。渭南存儲服務技巧
海南青游信息技術有限公司位于南海大道266號??趪覄?chuàng)業(yè)孵化中心A樓5層A1-1150室。公司業(yè)務分為計算機軟件銷售,計算機系統(tǒng)集成,影視動漫制作等,目前不斷進行創(chuàng)新和服務改進,為客戶提供良好的產(chǎn)品和服務。公司從事數(shù)碼、電腦多年,有著創(chuàng)新的設計、強大的技術,還有一批專業(yè)化的隊伍,確保為客戶提供良好的產(chǎn)品及服務。青游信息技術立足于全國市場,依托強大的研發(fā)實力,融合前沿的技術理念,飛快響應客戶的變化需求。