既然進(jìn)程之間是流水線式的協(xié)作，我們看一下監(jiān)控?cái)?shù)據(jù)在三類進(jìn)程之間如何進(jìn)行輸入和輸出。首先，Trapper和poller進(jìn)程接收到的數(shù)據(jù)按照來源分為兩種，一種是來自proxy端，一種是來自agent端。由于來自proxy端的數(shù)據(jù)已經(jīng)由proxy完成了預(yù)處理，所以，這部分?jǐn)?shù)據(jù)會(huì)直接輸出到共享內(nèi)存，供historysyncer進(jìn)程使用。對(duì)于來自agent端的數(shù)據(jù)，無論其監(jiān)控項(xiàng)是否設(shè)置了預(yù)處理步驟，都會(huì)通過unix域套接字傳遞給預(yù)處理進(jìn)程。預(yù)處理進(jìn)程接收到數(shù)據(jù)以后，如果發(fā)現(xiàn)該數(shù)據(jù)并沒有設(shè)置預(yù)處理步驟，則直接寫入共享內(nèi)存，供historysyncer進(jìn)程使用；如果發(fā)現(xiàn)需要預(yù)處理，則在預(yù)處理完畢以后再寫入共享內(nèi)存，供historysyncer進(jìn)程使用。對(duì)于historysyncer進(jìn)程來說，其輸入數(shù)據(jù)來自共享內(nèi)存，它會(huì)批量地從共享內(nèi)存讀取數(shù)據(jù)進(jìn)行處理，具體處理過程是先寫入數(shù)據(jù)庫，然后計(jì)算觸發(fā)器表達(dá)式生成event。Zabbix6.2驚喜發(fā)布!特別優(yōu)化中大型環(huán)境部署的性能!zabbix 6.2詳細(xì)部署過程

除了監(jiān)控?cái)?shù)據(jù)本身，Zabbix中的元數(shù)據(jù)（或者叫主數(shù)據(jù)）也體現(xiàn)出性，元數(shù)據(jù)主要包含host、item、trigger等信息，其性主要體現(xiàn)在host層面，因?yàn)閕tem屬性與host屬性是關(guān)聯(lián)的，而trigger又是與item關(guān)聯(lián)的。所以每個(gè)host元數(shù)據(jù)相互關(guān)聯(lián)，構(gòu)成整體。然而，某個(gè)host屬性的修改不會(huì)影響到其他host。在Zabbix系統(tǒng)中所反映出的監(jiān)控?cái)?shù)據(jù)以及元數(shù)據(jù)之間的性，為并行和可擴(kuò)展性提供了基礎(chǔ)，可以說Zabbix監(jiān)控系統(tǒng)非常適合基于數(shù)據(jù)分組的并行化和微服務(wù)化。時(shí)代zabbix有哪些集群節(jié)點(diǎn)發(fā)送到數(shù)據(jù)庫后端的心跳是非常小的消息，記錄在一個(gè)較小的Zabbix數(shù)據(jù)庫表中，故性能影響忽略不計(jì)。

監(jiān)控?cái)?shù)據(jù)的邏輯視角：監(jiān)控?cái)?shù)據(jù)首先特點(diǎn)是具有相互獨(dú)立性。在不同的數(shù)據(jù)處理階段，這種**性會(huì)體現(xiàn)在不同的層面，在數(shù)據(jù)采集階段會(huì)體現(xiàn)在value層面，如果不考慮日志監(jiān)控的話，同一監(jiān)控項(xiàng)的多次數(shù)據(jù)采集之間不會(huì)互相影響，相當(dāng)于是無狀態(tài)的。在數(shù)據(jù)傳輸階段，也就是從agent發(fā)送數(shù)據(jù)到server接收數(shù)據(jù)的階段，**性體現(xiàn)在host層面，不同的host使用不同的地址和接口進(jìn)行數(shù)據(jù)傳輸，互不影響，而在同一個(gè)host內(nèi)部，每次傳輸?shù)臄?shù)據(jù)往往包含多個(gè)監(jiān)控項(xiàng)的值。

下面看一下元數(shù)據(jù)對(duì)數(shù)據(jù)處理效率的影響。元數(shù)據(jù)位于共享內(nèi)存中，包含監(jiān)控項(xiàng)、主機(jī)、觸發(fā)器、接口等所有必要的信息，這些信息分別存儲(chǔ)在很多個(gè)哈希表結(jié)構(gòu)中。這些信息供幾乎所有Zabbix進(jìn)程使用，在Zabbixserver端，無論是數(shù)據(jù)接收階段、預(yù)處理階段、數(shù)據(jù)計(jì)算階段都離不開對(duì)元數(shù)據(jù)的訪問。此外，元數(shù)據(jù)還需要通過configurationsyncer進(jìn)程進(jìn)行定期數(shù)據(jù)同步，目的是將數(shù)據(jù)庫中所作的修改同步到緩存中。當(dāng)在同步過程中需要修改元數(shù)據(jù)，configurationsyncer進(jìn)程會(huì)對(duì)面臨一個(gè)較大的挑戰(zhàn)，就是與其他進(jìn)程的協(xié)調(diào)?？紤]到大部分進(jìn)程只是讀取元數(shù)據(jù)，而不會(huì)進(jìn)行寫操作，Zabbix選擇使用讀寫鎖來協(xié)調(diào)所有進(jìn)程對(duì)元數(shù)據(jù)的訪問，從而允許多個(gè)進(jìn)程同時(shí)讀取元數(shù)據(jù)。zabbix主動(dòng)模式和被動(dòng)模式的優(yōu)缺點(diǎn)。

在實(shí)際的工作環(huán)境中，根據(jù)網(wǎng)絡(luò)環(huán)境和監(jiān)控的規(guī)模不同，zabbix一共有三種框架，分別是server_client架構(gòu)、master_node_client架構(gòu)和server_proxy_client架構(gòu)。1、server_client架構(gòu)zabbix**簡(jiǎn)單的架構(gòu)，監(jiān)控設(shè)備和被監(jiān)控設(shè)備之間直接相連，zabbix_server和zabbix_client之間直接進(jìn)行數(shù)據(jù)交互。2、zabbix_proxy_client架構(gòu)proxy是連接server和client之間的橋梁，其本身不存放數(shù)據(jù)，只是將zabbix_agent端發(fā)來的數(shù)據(jù)暫存，然后再提交給server。這種架構(gòu)一般用于跨機(jī)房、跨網(wǎng)絡(luò)的中型網(wǎng)絡(luò)架構(gòu)。在server_proxy_client架構(gòu)中，server設(shè)備的宕機(jī)會(huì)導(dǎo)致整個(gè)系統(tǒng)癱瘓而無法正常工作。3、master_node_client架構(gòu)master_node_client架構(gòu)是zabbix**復(fù)雜的架構(gòu)。一般用于跨機(jī)房、跨網(wǎng)絡(luò)、監(jiān)控設(shè)備較多的大型網(wǎng)絡(luò)架構(gòu)。與server_proxy_client架構(gòu)相比，master_node_client架構(gòu)的主要區(qū)別在于node與proxy上.在master_node_client架構(gòu)中，每個(gè)node可以理解為一個(gè)小的server端，在自己的配置文件和數(shù)據(jù)庫，node下游可以直接連接client，也可以再次經(jīng)過proxy代理后連接client。在master_node_client架構(gòu)中，master設(shè)備宕機(jī)不會(huì)影響node節(jié)點(diǎn)的正常工作。zabbix通過一系列的UI/UX優(yōu)化、新監(jiān)控項(xiàng)和配置選項(xiàng)以及中大型環(huán)境部署的性能優(yōu)化。哪里有zabbix認(rèn)真負(fù)責(zé)

Zabbix如何實(shí)現(xiàn)對(duì)大流量監(jiān)控?cái)?shù)據(jù)的高效處理？zabbix 6.2詳細(xì)部署過程

ValueCache以哈希表形式存儲(chǔ)每個(gè)監(jiān)控項(xiàng)的熱數(shù)據(jù)，這些數(shù)據(jù)主要用于觸發(fā)器表達(dá)式的計(jì)算，從而，監(jiān)控項(xiàng)數(shù)量的增長(zhǎng)基本不會(huì)影響觸發(fā)器表達(dá)式計(jì)算所消耗的時(shí)間。趨勢(shì)緩存中存儲(chǔ)的是每個(gè)監(jiān)控項(xiàng)**近自然小時(shí)內(nèi)的累計(jì)趨勢(shì)數(shù)據(jù)，這些數(shù)據(jù)的更新和寫庫均需要經(jīng)歷查找的過程，因?yàn)閿?shù)據(jù)的更新和寫庫都是由***到來的監(jiān)控?cái)?shù)據(jù)驅(qū)動(dòng)的，需要根據(jù)到來的監(jiān)控?cái)?shù)據(jù)查找對(duì)應(yīng)的監(jiān)控項(xiàng)數(shù)據(jù)。除了需要解決快速查找問題，Zabbix還需要解決快速排序問題，這一問題源于historysyncer進(jìn)程處理監(jiān)控?cái)?shù)據(jù)時(shí)應(yīng)該按照什么樣的順序進(jìn)行處理，Zabbix是以監(jiān)控項(xiàng)為單位對(duì)所有監(jiān)控?cái)?shù)據(jù)按照時(shí)間戳從小到大進(jìn)行全局性的排序，所使用的排序方法就是堆排序，當(dāng)需要選擇目標(biāo)時(shí)，只需要訪問根節(jié)點(diǎn)即可。在使用堆排序的情形下，每次排序所消耗的時(shí)間與堆的規(guī)模直接相關(guān)。所以我們應(yīng)該盡可能降低歷史緩存中的監(jiān)控項(xiàng)的數(shù)量，以加快數(shù)據(jù)處理速度。在壓力較小的Zabbix系統(tǒng)中，歷史緩存中的數(shù)據(jù)總是接近于0。上述哈希表結(jié)構(gòu)的設(shè)計(jì)體現(xiàn)了監(jiān)控?cái)?shù)據(jù)的**性，正是由于**性，每次查找數(shù)據(jù)只需要訪問單個(gè)目標(biāo)。而堆排序的設(shè)計(jì)則體現(xiàn)了監(jiān)控?cái)?shù)據(jù)在時(shí)間維度的先后次序。zabbix 6.2詳細(xì)部署過程

上海觀縱科技有限公司是一家集研發(fā)、生產(chǎn)、咨詢、規(guī)劃、銷售、服務(wù)于一體的服務(wù)型企業(yè)。公司成立于2022-11-14，多年來在webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控行業(yè)形成了成熟、可靠的研發(fā)、生產(chǎn)體系。公司主要經(jīng)營(yíng)webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控等產(chǎn)品，產(chǎn)品質(zhì)量可靠，均通過傳媒、廣電行業(yè)檢測(cè)，嚴(yán)格按照行業(yè)標(biāo)準(zhǔn)執(zhí)行。目前產(chǎn)品已經(jīng)應(yīng)用與全國(guó)30多個(gè)省、市、自治區(qū)。上海觀縱科技有限公司每年將部分收入投入到webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控產(chǎn)品開發(fā)工作中，也為公司的技術(shù)創(chuàng)新和人材培養(yǎng)起到了很好的推動(dòng)作用。公司在長(zhǎng)期的生產(chǎn)運(yùn)營(yíng)中形成了一套完善的科技激勵(lì)政策，以激勵(lì)在技術(shù)研發(fā)、產(chǎn)品改進(jìn)等。webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控產(chǎn)品滿足客戶多方面的使用要求，讓客戶買的放心，用的稱心，產(chǎn)品定位以經(jīng)濟(jì)實(shí)用為重心，公司真誠(chéng)期待與您合作，相信有了您的支持我們會(huì)以昂揚(yáng)的姿態(tài)不斷前進(jìn)、進(jìn)步。