Flow是一種數(shù)據(jù)交換方式,其工作原理是:
Flow利用標(biāo)準(zhǔn)的交換模式處理數(shù)據(jù)流的第1個IP包數(shù)據(jù),生成Flow緩存,隨后同樣的數(shù)據(jù)基于緩存信息在同一個數(shù)據(jù)流中進(jìn)行傳輸,不再匹配相關(guān)的訪問控制等策略,F(xiàn)low緩存同時包含了隨后數(shù)據(jù)流的統(tǒng)計信息。
一個Flow流定義為在一個源IP地址和目的IP地址間傳輸?shù)膯蜗驍?shù)據(jù)包流,且所有數(shù)據(jù)包具有共同的傳輸層源、目的端口號。
相對于會話(“Session”)而言,“Flow”具備更細(xì)致的標(biāo)識特征,在傳統(tǒng)的TCP/IP五元組的基礎(chǔ)上增加了一些新的域值,至少包括以下幾個字段:
|源IP地址|目的IP地址|源端口|目的端口|IP層協(xié)議類型|ToS服務(wù)類型(dscp)|輸入物理端口(ifindex)|
以上七個字段可以唯1地確定任意一個數(shù)據(jù)包屬于哪個特定的Flow。
換而言之,任何一個字段出現(xiàn)了差異都意味著一個新Flow的發(fā)生。對于Flow的分析展示同樣也是要基于多維度的:
IP(目的與源)、port(目的與源)、業(yè)務(wù)、網(wǎng)絡(luò)架構(gòu)、城市、IDC等。
具體所需的維度依賴于自己的業(yè)務(wù)場景。Flow是廠商的私有協(xié)議,業(yè)界也有多種的Flow格式。例如CISCO、華為、juniper等等的主流廠商的Flow也是均有一定差異性與優(yōu)劣的,常用的有NetFlow與SFlow。所以這部分的后臺能力是需要有異構(gòu)。 基于正確的SNMP信息,Argus可實(shí)現(xiàn)獲取高準(zhǔn)確率的拓?fù)潢P(guān)系,并自動生成拓?fù)鋱D。哪些運(yùn)維監(jiān)控
IAAS層的監(jiān)控從IAAS層的組成這個維度來說,可以分為一個個獨(dú)一的資源對象來分類監(jiān)控,針對每一類對象可以分別從狀態(tài)、性能、容量、質(zhì)量這幾個維度描述,將不同的數(shù)據(jù)綜合為開發(fā)與運(yùn)維的統(tǒng)一視角。監(jiān)控告警產(chǎn)品的建設(shè)是任重而道遠(yuǎn)的過程,坑也非常多。要考慮多種因素,技術(shù)后臺能力只是其中的一部分。
例如在DevOps的文化下,需要從更高的層面來統(tǒng)一視角(開發(fā)視角&運(yùn)維視角)避免將監(jiān)控做成"開發(fā)的監(jiān)控”與"運(yùn)維的監(jiān)控”。也需要更多的考慮監(jiān)控產(chǎn)品使用的雙態(tài)(用戶態(tài)&系統(tǒng)態(tài))與不同的權(quán)限(行業(yè)屬性)如何分類設(shè)計。 品質(zhì)運(yùn)維監(jiān)控一般多少錢對于運(yùn)維監(jiān)控的告警信息,應(yīng)該如何分析,或者說應(yīng)該從哪些方向去分析呢?
對于IaaS層的監(jiān)控,本質(zhì)來說就是監(jiān)控組成IaaS層的各個資源對象,那么資源對象代表什么呢?
例如物理服務(wù)器、交換機(jī)、一條專線與一個公網(wǎng)IP等等都是一個個資源對象。通常來說對于資源對象的監(jiān)控可以分為以下4個維度。
狀態(tài)的監(jiān)控:通指設(shè)備的的狀態(tài),如設(shè)備的存活狀態(tài)、網(wǎng)絡(luò)設(shè)備的端口狀態(tài)、電源、風(fēng)扇狀態(tài)等;
性能監(jiān)控:通指設(shè)備內(nèi)存大小,端口流量包量、CPU利用率等等;
質(zhì)量監(jiān)控:通指設(shè)備的丟包率、錯包率、網(wǎng)絡(luò)訪問的延時等等;
容量監(jiān)控:通指設(shè)備的負(fù)載使用率、專線帶寬使用率、網(wǎng)絡(luò)設(shè)備的負(fù)載使用率、服務(wù)器的負(fù)載使用率等等。
運(yùn)維監(jiān)控系統(tǒng)一般采用分層的方式劃分監(jiān)控對象。在我們的監(jiān)控系統(tǒng)中,主要關(guān)注以下幾種類型的監(jiān)控對象:1、主機(jī)監(jiān)控,主要指主機(jī)節(jié)點(diǎn)軟、硬件資源的一些監(jiān)控數(shù)據(jù)。2、容器環(huán)境監(jiān)控,主要指服務(wù)所處運(yùn)行環(huán)境的一些監(jiān)控數(shù)據(jù)。3、應(yīng)用服務(wù)監(jiān)控,主要指服務(wù)本身的基礎(chǔ)數(shù)據(jù)指標(biāo),提現(xiàn)服務(wù)自身的運(yùn)行狀況。4、第三方接口監(jiān)控,主要指調(diào)用其他外部服務(wù)接口的情況。對于應(yīng)用服務(wù)和第三方接口監(jiān)控,我們常用的指標(biāo)包括:響應(yīng)時間、請求量QPS、成功率。Argus是觀縱科技自主研發(fā)的it運(yùn)維監(jiān)控系統(tǒng),旨在對信息中心軟硬件實(shí)施全天候無死角監(jiān)控。
大集群場景特點(diǎn)數(shù)據(jù)規(guī)模大:監(jiān)控對象targets多,數(shù)千萬時序數(shù)據(jù)time-series,單Prometheus負(fù)載非常高。
當(dāng)series數(shù)據(jù)超過300萬時,Prometheus內(nèi)存增長較為明顯,需要使用較大內(nèi)存的機(jī)器來運(yùn)行。壓測過程中,我們使用了工具去生成預(yù)期數(shù)目的series,工具生成的series每個label的長度及值的長度都較小,固定為10個字符左右。我們的目的是觀察相對負(fù)載變化,實(shí)際生產(chǎn)中由于label長度不同,服務(wù)發(fā)現(xiàn)機(jī)制(比如Pod頻繁重啟)的消耗不同,相同的series數(shù)目所消耗的負(fù)載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內(nèi)存在30G以上,這會導(dǎo)致查詢效率下降,嚴(yán)重的會導(dǎo)致OOM,有的大集群內(nèi)存消耗達(dá)幾百G。 argus運(yùn)維監(jiān)控平臺讓運(yùn)維工作不再繁瑣。智能化運(yùn)維監(jiān)控創(chuàng)新
Argus基于Zabbix的IT運(yùn)維監(jiān)控平臺。哪些運(yùn)維監(jiān)控
一般公司里的運(yùn)維,大致可以分為基礎(chǔ)運(yùn)維、應(yīng)用運(yùn)維、運(yùn)維開發(fā)、監(jiān)控組四大部分,而運(yùn)維監(jiān)控是所有運(yùn)維的基礎(chǔ)。1、基礎(chǔ)運(yùn)維,負(fù)責(zé)IDC運(yùn)維,服務(wù)器上下架,網(wǎng)絡(luò)設(shè)備等。2、應(yīng)用運(yùn)維,也就是systemadministrator,系統(tǒng)管理員。3、運(yùn)維開發(fā),負(fù)責(zé)運(yùn)維工具的開發(fā),系統(tǒng)開發(fā)等,例如開發(fā)監(jiān)控系統(tǒng),代碼發(fā)布系統(tǒng)。4、監(jiān)控組,也就是24小時值班的工作人員,需要時刻關(guān)注服務(wù)器,網(wǎng)站的狀況,出現(xiàn)問題后,盡快時間聯(lián)系相關(guān)運(yùn)維以及研發(fā)人員。哪些運(yùn)維監(jiān)控
上海觀縱科技有限公司位于上海市奉賢區(qū)望園南路1288弄80號1904、1909室。公司業(yè)務(wù)涵蓋webfunny前端監(jiān)控,webfunny前端埋點(diǎn),全鏈路應(yīng)用性能監(jiān)控,Argus-IT運(yùn)維監(jiān)控等,價格合理,品質(zhì)有保證。公司秉持誠信為本的經(jīng)營理念,在傳媒、廣電深耕多年,以技術(shù)為先導(dǎo),以自主產(chǎn)品為重點(diǎn),發(fā)揮人才優(yōu)勢,打造傳媒、廣電良好品牌。觀縱科技立足于全國市場,依托強(qiáng)大的研發(fā)實(shí)力,融合前沿的技術(shù)理念,及時響應(yīng)客戶的需求。