智維數(shù)據(jù)【智能運維技術(shù)專題】概覽

隨著互聯(lián)網(wǎng)不斷發(fā)展,為了適應高并發(fā)、大流量業(yè)務,負載均衡技術(shù)在整個IT架構(gòu)中占據(jù)著重要地位。

F5作為全球領(lǐng)先的應用交付廠商,為全球大型企業(yè)、運營商、政府與消費品牌提供更加快速、安全以及智能的應用。

隨著語音、數(shù)據(jù)、視頻流量、移動員工和應用的迅猛增長,F(xiàn)5在滿足企業(yè)和機構(gòu)IT需求的同時,也抓住了市場的潛在機遇。通過收購Nginx,進一步鞏固了市場地位。

智維數(shù)據(jù)(nCompass)通過與F5 LTM、F5 GTM、Nginx對接,助力企業(yè)實現(xiàn)業(yè)務長期穩(wěn)定運行。

1、通過iControl集中管理所有F5設備,減少IT人員維護成本。

2、通過HSL獲取Http、DNS、系統(tǒng)日志,并進一步分析處理,助力企業(yè)保障業(yè)務穩(wěn)定運行。

3、通過Telemetry Streaming,監(jiān)控設備性能指標,助力企業(yè)保障設備穩(wěn)定運行。

4、通過Nginx日志分析網(wǎng)站運行情況,助力企業(yè)保障業(yè)務穩(wěn)定運行。

5、通過綜合數(shù)據(jù)分析實現(xiàn)端到端的可視化,助力IT人員更加了解自己業(yè)務架構(gòu)。

數(shù)據(jù)可視化之HSL

1.1   前言

4.png

F5為了打造自己的生態(tài),不斷增強可擴展性,同時提供了很多工具鏈,部分如下:

F5 Application Services 3 Extension簡稱AS3。通過使用聲明性模型對應用程序進行配置,由此可以打造基于F5的CI/CD平臺。

F5 iControl LX是F5擴展性的基礎(chǔ),通過REST API可以獲取配置信息,狀態(tài)信息等。

F5 Telemetry Streaming簡稱TS。TS是獨立于TMOS的RPM包,作為iControl LX擴展。規(guī)范化將統(tǒng)計信息和事件從BIG-IP轉(zhuǎn)發(fā)到消費者。例如Fluentd、ES、S3存儲等。功能非常強大,作為F5的監(jiān)控工具,未來必定是一個趨勢。

如今業(yè)務復雜性越來越高,對自動化、智能化需求也變得非常迫切,我們可以基于F5提供的工具鏈打造自己運維自動化和監(jiān)控平臺。同時借助F5自身的日志輸出來分析和優(yōu)化我們的業(yè)務,本章主要介紹如何利用HSL來分析http日志。后面我們會分享TS和iControl的一些應用場景。

1.2   HSL是什么

HSL是一種高容量,低開銷的日志記錄機制。HSL支持通過TCP或者UDP方式將日志發(fā)送到日志平臺。HSL的CPU和內(nèi)存使用率非常低,CPU占用小于10%,幾乎沒有什么內(nèi)存開銷。

1.3   HSL應用場景

HSL收集日志通常包含很多字段,有了這些字段我們就可以基于一些場景做分析:

運營分析:通過一天日志總請求量,計算UV、PV、獨立IP。整體了解自己網(wǎng)站運營情況。

負載調(diào)度分析:通過$VIRTUAL_POOL_NAME、$SERVER_IP來分析調(diào)度算法是不是合理,避免分配不均的情況出現(xiàn)。

用戶分布:可以統(tǒng)計IP、UA的分布做集中展示。

性能分析:通過$RESPONSE_USECS可以分析請求的響應時間,優(yōu)化請求慢的URL。

行為審計:通過Audit Log對F5管理員行為進行審計,完善企業(yè)安全建設。

系統(tǒng)日志分析:通過System Log 對系統(tǒng)狀態(tài)進行診斷。例如Member的up、 down信息,Pool的健康檢查信息等。

1.4   通過HSL收集HTTP日志

1 Profile—> Other—> Request Logging (默認request-log是系統(tǒng)自帶的profile模板,不能刪除。

2點擊Create,填寫name,Parent Profile引用系統(tǒng)的模板

Template是日志模板格式,HSL Protocol我們選擇UDP。Pool Name指定把日志發(fā)送到哪個Pool里面,Pool里面定義的Member是用來接收日志的服務器。

Pool配置如下:日志會發(fā)送到192.168.40.70服務器的20001端口

F5 LTM 常用日志字段如下:可以根據(jù)自己需要添加

3關(guān)聯(lián)VS:我們已經(jīng)定義好了Profile,需要關(guān)聯(lián)具體VS。也就是說Logging Profile是Virtual Services作為區(qū)分的,沒有全局的。點擊進入到具體Virtual Services,在Configuration選擇Advanced,找到Logging Profile選項,選擇之前定義好的Profile。(此處VS type是standard,使用http profile)

1.5   通過HSL收集系統(tǒng)日志

1 工作流程:

LTM or GTM —> Log Filter —> Log Publisher —> Log Destinations

2 系統(tǒng)日志收集配置步驟如下:

找到System —> logs —> Configuration

首先配置Log Destinations,配置如下:

Name:根據(jù)自己情況自己定義。

Type:選擇Remote High-speed Log。

Protocol:選擇UDP,也可以選擇TCP根據(jù)自己情況來,建議使用UDP。

Pool Name:選擇要轉(zhuǎn)發(fā)的地址池,地址池里面配置具體Member和端口,端口根據(jù)自己情況設置即可。

Distribution:選擇adaptive,也可以選擇balanced和replicated,根據(jù)自己情況來。

Name:根據(jù)自己情況自己定義

Type:選擇Remote Syslog

Syslog Format:推薦選擇BSD Syslog

Forward To:選擇圖1.5.1定義的Log Destinations

為什么既要定義Remote Syslog也要定義Remote High-speed Log?只定義一個不行嗎?可以只定義Remote High-speed Log,不定義Remote Syslog,如果要定義Remote Syslog必須先定義Remote High-speed Log。此處定義Remote Sylog主要是因為輸出的日志遵循BSD的規(guī)范,方便后面解析。很重要!?。?/p>

配置Log Publishers:

Name:根據(jù)自己情況定義

Destinations:選擇圖7定義的Dest-syslog

配置Log Filters:

Name:根據(jù)自己情況定義

Severity:根據(jù)自己情況選擇,建議Notice。

Source:選擇all,也可以選擇其他選項較多,此處不一一列舉

Log Publisher:選擇圖8定義的Publisher-hsl

1.6   智維數(shù)據(jù)(nCompass)日志分析平臺

通過上面配置我們已經(jīng)獲取了F5 http日志和系統(tǒng)日志。接下來就是如何分析,目前智維數(shù)據(jù)(nCompass) 日志分析平臺可以處理和分析任何日志。包括但不僅限于負載均衡、Tomcat中間件、數(shù)據(jù)庫等并提供如下能力:

應用梳理:基于F5 數(shù)據(jù),快速、準確的呈現(xiàn)應用間的訪問關(guān)系,為網(wǎng)絡、應用、安全部門提供數(shù)據(jù)支撐。

IPv6統(tǒng)計:基于F5 數(shù)據(jù),提供應用的IPv6/IPv4的運行統(tǒng)計分析,提供IPv6應用運行狀態(tài)的可視化能力。

異常監(jiān)控:基于F5 日志數(shù)據(jù)及TDA平臺的算法庫,實現(xiàn)零配置的異常檢測、告警,主動發(fā)現(xiàn)異常事件。

智能分析:基于F5 日志數(shù)據(jù)及TDA平臺的知識圖譜,實現(xiàn)告警事件的智能分析,降低MTTR,提升用戶體驗。  

優(yōu)化統(tǒng)計:基于F5 日志數(shù)據(jù),主動發(fā)現(xiàn)應用存在的錯誤、慢、重載等隱患頁面,為應用部門優(yōu)化應用提供數(shù)據(jù)支撐。

指標監(jiān)控:基于F5數(shù)據(jù)實時查看每個VS以及Member的運行狀態(tài),可提供多個指標數(shù)據(jù),為業(yè)務狀態(tài)監(jiān)控提供數(shù)據(jù)支撐。

有了這些數(shù)據(jù),智維數(shù)據(jù)(nCcompass)日志分析平臺可以根據(jù)不同場景靈活定制視圖,使得客戶更加了解自己的業(yè)務。遇到突發(fā)問題可以快速定位,甚至是提前預警。

應用梳理:

大屏展示:

1.7    下期預告

有了日志,我們還缺少對基礎(chǔ)指標的監(jiān)控,像磁盤、網(wǎng)絡、設備信息、統(tǒng)計信息(流量、連接數(shù)、pool vs狀態(tài)等)下期我們主要來介紹如何使用Telemetry Streaming來完善F5監(jiān)控以及如何配置Telemetry Streaming,并做具體的場景分析。

分享到

zhangnn

相關(guān)推薦