Linux系統(tǒng)怎么區(qū)分Nginx日志
發(fā)表時間:2023-08-06 來源:明輝站整理相關(guān)軟件相關(guān)文章人氣:
[摘要]Linux系統(tǒng)下Nginx 日志可以查看系統(tǒng)運(yùn)行記錄和出錯說明,對Nginx 日志的分析可以了解系統(tǒng)運(yùn)行的狀態(tài)。那么Linux系統(tǒng)Nginx日志怎么分析呢?Nginx 日志相關(guān)配置有 2 個地方:a...
Linux系統(tǒng)下Nginx 日志可以查看系統(tǒng)運(yùn)行記錄和出錯說明,對Nginx 日志的分析可以了解系統(tǒng)運(yùn)行的狀態(tài)。那么Linux系統(tǒng)Nginx日志怎么分析呢?

Nginx 日志相關(guān)配置有 2 個地方:access_log 和 log_format 。
默認(rèn)的格式:
access_log /data/logs/nginx-access.log;
log_format old ‘$remote_addr [$time_local] $status $request_time $body_bytes_sent ’
‘“$request” “$http_referer” “$http_user_agent”’;
相信大部分用過 Nginx 的人對默認(rèn) Nginx 日志格式配置都很熟悉,對日志的內(nèi)容也很熟悉。但是默認(rèn)配置和格式雖然可讀,但是難以計算。
Nginx 日志刷盤相關(guān)策略可配置:
比如,設(shè)置 buffer,buffer 滿 32k 才刷盤;假如 buffer 不滿 5s 鐘強(qiáng)制刷盤的配置如下:
access_log /data/logs/nginx-access.log buffer=32k flush=5s;
這決定了是否實(shí)時看到日志以及日志對磁盤 IO 的影響。
Nginx 日志能夠記錄的變量還有很多沒出現(xiàn)在默認(rèn)配置中:
比如:
請求數(shù)據(jù)大小:$request_length
返回數(shù)據(jù)大小:$bytes_sent
請求耗時:$request_time
所用連接序號:$connection
當(dāng)前連接發(fā)生請求數(shù):$connection_requests
Nginx 的默認(rèn)格式不可計算,需要想辦法轉(zhuǎn)換成可計算格式,比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。
log_format 的格式可以變成這樣:
log_format new ‘$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A’
‘$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent’;
這樣之后就通過常見的 Linux 命令行工具進(jìn)行分析了:
查找訪問頻率最高的 URL 和次數(shù):
cat access.log awk -F ‘^A’ ‘{print $10}’ sort uniq -c
查找當(dāng)前日志文件 500 錯誤的訪問:
cat access.log awk -F ‘^A’ ‘{if($5 == 500) print $0}’
查找當(dāng)前日志文件 500 錯誤的數(shù)量:
cat access.log awk -F ‘^A’ ‘{if($5 == 500) print $0}’ wc -l
查找某一分鐘內(nèi) 500 錯誤訪問的數(shù)量:
cat access.log awk -F ‘^A’ ‘{if($5 == 500) print $0}’ grep ’09:00’ wc-l
查找耗時超過 1s 的慢請求:
tail -f access.log awk -F ‘^A’ ‘{if($6》1) print $0}’
假如只想查看某些位:
tail -f access.log awk -F ‘^A’ ‘{if($6》1) print $3″ ”$4}’
查找 502 錯誤最多的 URL:
cat access.log awk -F ‘^A’ ‘{if($5==502) print $11}’ sort uniq -c
查找 200 空白頁
cat access.log awk -F ‘^A’ ‘{if($5==200 && $8 《 100) print $3″ ”$4″ ”$11″ ”$6}’
查看實(shí)時日志數(shù)據(jù)流
tail -f access.log cat -e
或者
tail -f access.log tr ‘^A’ ‘ ’
照著這個思路可以做很多其他分析,比如 UA 最多的訪問;訪問頻率最高的 IP;請求耗時分析;請求返回包大小分析;等等。
這就是一個大型 Web 日志分析系統(tǒng)的原型,這樣的格式也是非常方便進(jìn)行后續(xù)大規(guī)模 batching 和 streaming 計算。
以上就是Linux系統(tǒng)Nginx日志怎么分析的全部內(nèi)容了,可以看出來Nginx日志還是有很強(qiáng)大的作用的。
Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)