大集群場(chǎng)景特點(diǎn)數(shù)據(jù)規(guī)模大：監(jiān)控對(duì)象targets多，數(shù)千萬(wàn)時(shí)序數(shù)據(jù)time-series，單Prometheus負(fù)載非常高。

當(dāng)series數(shù)據(jù)超過(guò)300萬(wàn)時(shí)，Prometheus內(nèi)存增長(zhǎng)較為明顯，需要使用較大內(nèi)存的機(jī)器來(lái)運(yùn)行。壓測(cè)過(guò)程中，我們使用了工具去生成預(yù)期數(shù)目的series，工具生成的series每個(gè)label的長(zhǎng)度及值的長(zhǎng)度都較小，固定為10個(gè)字符左右。我們的目的是觀察相對(duì)負(fù)載變化，實(shí)際生產(chǎn)中由于label長(zhǎng)度不同，服務(wù)發(fā)現(xiàn)機(jī)制（比如Pod頻繁重啟）的消耗不同，相同的series數(shù)目所消耗的負(fù)載會(huì)比壓測(cè)中高不少。目前Argus有好幾個(gè)集群的采集端Prometheus消耗內(nèi)存在30G以上，這會(huì)導(dǎo)致查詢(xún)效率下降，嚴(yán)重的會(huì)導(dǎo)致OOM，有的大集群內(nèi)存消耗達(dá)幾百G。Argus運(yùn)維監(jiān)控從聚合事件快速下探到具體事件， 并直觀呈現(xiàn)相關(guān)事件的發(fā)生趨勢(shì)。信創(chuàng)智慧運(yùn)維監(jiān)控管理

Argus運(yùn)維監(jiān)控中硬件監(jiān)控包括：可以通過(guò)IPMI對(duì)硬件詳細(xì)情況進(jìn)行監(jiān)控，并對(duì)CPU、內(nèi)存、磁盤(pán)、溫度、風(fēng)扇、電壓等設(shè)置報(bào)警設(shè)置報(bào)警閾值(自行對(duì)監(jiān)控報(bào)警內(nèi)容編寫(xiě)合理的報(bào)警范圍)IPMI工具無(wú)法獲取到硬件的狀態(tài)，可以借助MegaCli工具探測(cè)Raid磁盤(pán)隊(duì)列狀態(tài)zabbix提供IPMI監(jiān)控模板：ZabbixIPMIInterface。同時(shí)也能夠?qū)崟r(shí)采集到服務(wù)器的硬件報(bào)錯(cuò)日志，代替管理員的日常機(jī)房巡檢工作，使管理員實(shí)時(shí)了解到服務(wù)器底層硬件的運(yùn)行情況。帶外方式不通過(guò)操作系統(tǒng)，即使系統(tǒng)關(guān)機(jī)的狀態(tài)下仍可監(jiān)控服務(wù)器的基本硬件健康狀況業(yè)務(wù)智能化運(yùn)維監(jiān)控企業(yè)級(jí)運(yùn)維監(jiān)控系統(tǒng)體系化建設(shè)指南。

對(duì)于服務(wù)器的監(jiān)控同樣也是從狀態(tài)、性能與容量這幾個(gè)維度入手。雖然SNMP也可以用于服務(wù)器監(jiān)控，但相對(duì)于agent主動(dòng)上報(bào)指標(biāo)與數(shù)據(jù)會(huì)少很多。

服務(wù)器的狀態(tài)監(jiān)控主要包含服務(wù)器是否ping的通、agent上報(bào)是否超時(shí)與電源運(yùn)行狀態(tài)等等。對(duì)于性能與容量這兩類(lèi)維度，主要依賴(lài)當(dāng)前OS的數(shù)據(jù)捕獲，一般來(lái)說(shuō)對(duì)于服務(wù)器監(jiān)控來(lái)說(shuō)在通用場(chǎng)景下主要關(guān)注CPU、內(nèi)存、流量與包量這四個(gè)指標(biāo)即可，但是別的指標(biāo)也建議盡量捕獲。

單個(gè)監(jiān)控對(duì)象的數(shù)據(jù)豐富了會(huì)有如下好處：避免對(duì)象的監(jiān)控盲點(diǎn)不同的監(jiān)控?cái)?shù)據(jù)點(diǎn)可以部分對(duì)應(yīng)出該服務(wù)器所承載的業(yè)務(wù)特性指標(biāo)，例如存儲(chǔ)類(lèi)業(yè)務(wù)也會(huì)關(guān)注disk_total_read、svctm_time_max、await_time_max等等系統(tǒng)指標(biāo)生產(chǎn)的數(shù)據(jù)足夠豐富能夠催生出更加豐富的運(yùn)維數(shù)據(jù)消費(fèi)場(chǎng)景。服務(wù)器監(jiān)控相對(duì)是很標(biāo)準(zhǔn)的監(jiān)控模型，針對(duì)于物理服務(wù)器與虛擬機(jī)都有共性指標(biāo)。這部分主要做到采集的數(shù)據(jù)豐富與上報(bào)的準(zhǔn)確性(算法準(zhǔn)確)。

十四五規(guī)劃和十九屆五中全會(huì)提出：

1、加強(qiáng)關(guān)鍵數(shù)字技術(shù)創(chuàng)新應(yīng)用用聚焦芯片、操作系統(tǒng)、人工智能關(guān)鍵算法、傳感 器等關(guān)鍵領(lǐng)域，加快推進(jìn)基礎(chǔ)理論、基礎(chǔ)算法、裝備 材料等研發(fā)突破與迭代應(yīng)用。加強(qiáng)通用處理器、 云計(jì)算系統(tǒng)和軟件技術(shù)一體化研發(fā)。

2、加快推動(dòng)數(shù)字產(chǎn)業(yè)化培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、網(wǎng)絡(luò) 安全等新興數(shù)字產(chǎn)業(yè)，提升通信設(shè)備、關(guān)鍵電 子元器件、關(guān)鍵軟件等產(chǎn)業(yè)水平。

3、科技自強(qiáng) ，科技自立堅(jiān)持創(chuàng)新在我國(guó)現(xiàn)代化建設(shè)全局中的重要地位，把 科技自立自強(qiáng)作為國(guó)家發(fā)展的戰(zhàn)略支撐。

Argus運(yùn)維監(jiān)控系統(tǒng)在信息技術(shù)創(chuàng)新應(yīng)用的大背景下應(yīng)運(yùn)而生。運(yùn)維監(jiān)控體系一般來(lái)說(shuō)包括數(shù)據(jù)采集、數(shù)據(jù)檢測(cè)、告警管理、故障管理、視圖管理和監(jiān)控管理6大模塊。

面向IT資源200+以上的各類(lèi)型單位，產(chǎn)品提供一體化運(yùn)維監(jiān)控功能，以幫助信息部門(mén)員高效管理IT運(yùn)行環(huán)境、IT資產(chǎn)，通過(guò)運(yùn)維工具的自動(dòng)化，提升單位IT服務(wù)質(zhì)量，提高運(yùn)維效率，降低運(yùn)維成本，減輕運(yùn)維人員工作壓力。

Argus實(shí)時(shí)運(yùn)維監(jiān)控分析系統(tǒng)是基于全球負(fù)有盛名的IT基礎(chǔ)監(jiān)控平臺(tái)Zabbix深度二次開(kāi)發(fā)的運(yùn)維監(jiān)控軟件，面向私有化及混合云數(shù)據(jù)中心提供多角度多層次的統(tǒng)一監(jiān)控和運(yùn)維管理。幫助用戶(hù)實(shí)時(shí)對(duì)各類(lèi)IT資源（網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)、數(shù)據(jù)庫(kù)、中間件等）執(zhí)行性能指標(biāo)監(jiān)控，實(shí)現(xiàn)事前運(yùn)維。我們要運(yùn)維監(jiān)控這個(gè)東西的什么屬性？比如CPU的使用率、負(fù)載、用戶(hù)態(tài)、內(nèi)核態(tài)、上下文切換。哪個(gè)運(yùn)維監(jiān)控管理產(chǎn)品好用

快速讀懂智能化運(yùn)維監(jiān)控如何賦能IT可觀察性！信創(chuàng)智慧運(yùn)維監(jiān)控管理

Prometheus指標(biāo)采集和查詢(xún)存儲(chǔ)方案-2020年

我們分一級(jí)監(jiān)控平臺(tái)和二級(jí)集群Prometheus監(jiān)控采集組件。一級(jí)提供kafka集群和Prometheus聚合組件，二級(jí)各集群部署Prometheus和Prometheus-kafka-adapter組件，采集和遠(yuǎn)程送數(shù)據(jù)到一級(jí)的kafka集群。

該方案優(yōu)點(diǎn)：

1.業(yè)務(wù)系統(tǒng)可以跨集群聚合數(shù)據(jù)，如圖k8s集群-1和k8s集群-2數(shù)據(jù)聚合到Top-1的Prometheus上。

2.一級(jí)監(jiān)控平臺(tái)上只要有足夠的cpu、存儲(chǔ)資源，理論上可以水平擴(kuò)展接入更多集群。2020年底采集的指標(biāo)量每天3194億的量級(jí)，吞吐量達(dá)370萬(wàn)/s。

3.采集端Prometheus可以保留極少數(shù)據(jù)，比如6小時(shí)的數(shù)據(jù)，減少資源消耗。而上層Prometheus由于落數(shù)據(jù)到時(shí)序數(shù)據(jù)庫(kù)influxdb中，可以保存一個(gè)月數(shù)據(jù)量甚至更多。

該方案沒(méi)做到什么：

1.采集端Prometheus擴(kuò)容問(wèn)題，單集群中數(shù)據(jù)規(guī)模受Prometheus原生的限制。

2.一級(jí)監(jiān)控平臺(tái)上時(shí)序數(shù)據(jù)庫(kù)influxdb有單點(diǎn)問(wèn)題，數(shù)據(jù)規(guī)模和數(shù)據(jù)安全性受其影響。信創(chuàng)智慧運(yùn)維監(jiān)控管理

上海觀縱科技有限公司是以提供webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控為主的有限責(zé)任公司，公司始建于2022-11-14，在全國(guó)各個(gè)地區(qū)建立了良好的商貿(mào)渠道和技術(shù)協(xié)作關(guān)系。觀縱科技以webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控為主業(yè)，服務(wù)于傳媒、廣電等領(lǐng)域，為全國(guó)客戶(hù)提供先進(jìn)webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控。將憑借高精尖的系列產(chǎn)品與解決方案，加速推進(jìn)全國(guó)傳媒、廣電產(chǎn)品競(jìng)爭(zhēng)力的發(fā)展。

本文來(lái)自中動(dòng)發(fā)電機(jī)出租：http://ha390ha.cn/Article/75b20199723.html