Server常用之分析工具.doc

專題報導 - Proxy Server常用之分析工具31Proxy Server常用之分析工具吳欣蒨國立中興大學計算機及資訊網路中心台中市402國光路250號(04-22840306轉735)E-mail:.tw前言Proxy Server 在網路中是扮演著代理人的角色，當你設定代理伺服器之後，網路上的相關的要求均會透過代理伺服器去搜尋。而proxy server 在運作的過程中會產生log檔，但是proxy server 就算流量再怎麼少，一天當中被的requests的log檔少說也有十幾萬筆。當然在管理上或多或少也會遇到問題，若一旦遇到問題在第一時間裡想要從密密麻麻的log檔中直接看出一些端倪並不是一件很輕鬆的事，而解決問題的時效性卻是不容忽略的。本文將分享proxy server在FreeBSD+squid管理上的些許經驗並介紹幾個可以應用在Proxy server上的分析工具，籍由這幾個工具可以更有效率的得知Proxy Server問題所在並進一步解決。一、MRTGMRTG(Multi Router Traffic Grapher)這支程式對一般的網管者來說應該是不陌生， 它是透過Simple Network Management Protcol(SNMP)來監視並記錄網路傳輸流量的工具。那從MRTG圖上我們可以看出什麼呢?其實我們想要得知Proxy server的顛峰時段是什麼時候，那麼從MRTG圖上就可以看的出來。若我們設定MRTG是五分鐘執行一次，那麼我們每隔5分鐘就可以看到它流量的變化，當流量有變化或者是Proxy Server服務有中斷時我們就可以在很清楚的在MRTG圖上看到變化。除了上述所提到的功能之外，還有一個地方蠻值得去思考的，因為我們的MRTG是安裝在proxy server上面，在這之前我們可以稍微想一下proxy server的運作流程。Clinet端會對proxy server發出request，而 Proxy server是在接受使用者的要求後會將資料傳送給使用者，照理來說我們在MRTG上所看到的流量應該是流出=流入，也就是說圖上藍色和綠色是相等的，但為何有時我們會看到流出流入呢?我們可以這麼說，當使用者向proxy server提出要求時，若proxy server本身沒有資料時就要向外面抓取資料，若使用者所要求的資料proxy server本身就有，那麼proxy server server就可以直給將資料給使用者，而這時使用者只是對proxy server發出request，並沒有真正在傳送檔案，而真正在傳送檔案的是proxy server，所以從proxy server本身的角度來看，當porxy有較好的運作效益時流出大於流入是正常的，簡單的說就是使用者要的資料proxy server在某段時間內都不必再向外面抓。(圖一)(圖一) 1.軟體的取得:MRTG的安裝方式有很多種，通常可以選擇ports的安裝方式或者是去下載tgz or tar.gz的檔下來安裝。這些軟體在興大的檔案伺服器中都可以抓得到，可到檔案伺服器的首頁進行搜尋下載。2.安裝: 因為MRTG是透過SNMP來監視並記錄網路傳輸流量，所以正式安裝MRTG之前比需將SNMP安裝起來。除了安裝SNMP之外，還要注意系統中是否己經安裝一些相關的套件，例如: SNMP implementation、jpeg compression utilities、png Library、apache 這些套件是MRTG安裝過程中所必須的，缺少這些套件MRTG可能會裝不起來的。若上述的套件在系統中都安裝好了，接下來就可以著手進行主程式的安裝動作(本文是下載的檔案為mrtg-2.9.25.tgz)。 pkg_add mrtg-2.9.25.tgz(圖二)安裝後可以輸入pkg_info 來確認是否有安裝成功3.設定:在/usr/local/bin/ 輸入cfgmaker -no-down mrtg163.28.x.x /usr/local/soft/MRTG/MRTG 其中mrtg後面接的是要分析的主機位址，隨後編輯剛剛的MRTG檔，並在其中加入幾個設定Workdir:完整路徑 也就是MRTG流量圖檔產生的地方。 Language:Big5 選擇MRTG的語系（繁體中文）。 WithPeak_: wmy 畫出每5分鐘的最大流入/流出圖。4.產生HTML檔: 在/usr/local/bin/ 輸入indexmaker title 網頁的標題 output /data/web/MRTG/index.htm /usr/local/soft/mrtg/mrtg5.在apache 加入設定，並restart apache 6.執行MRTG:/usr/local/bin/mrtg /usr/local/soft/mrtg/mrtg第一次執行時通常都會有錯誤，不過執行個一二次之後就不會有了7.加入crontab (每5分鐘執行一次)*/5 * * * * /usr/local/bin/mrtg /usr/local/soft/mrtg/mrtg8.這時就可以開啟網頁看看是否可以執行，若安裝成功就可以看到流量了，這時在畫面的下方可能會有些圖無法顯示，那些圖其實是 MRTG的版權圖示，使用者可以抓取 /usr/ports/distfiles/MRTG-2.9.25.tar.gz ，將這個檔解開後把images底下的圖檔和MRTG的網頁放在一起後就ok了。* 如果MRTG的設定檔有更動時，要重新做indexmaker的動作，並重run MRTG(圖三)MRTG圖的畫面二、Pwebstats上述介紹的是MRTG圖，從那裡可以得知proxy server相關的流量資訊，但是如果我們想更進一步得知哪個Client端用量最大或者因為管理需要，必須瞭解使用者大多是連到那些網站，這個時候就得利用Pwebstats 這一支分析程式了。Pwebstats 是一支由Perl所寫的程式，它可以對web和proxy server 的log檔進行解讀，並將分析完後的結果和圖形產生在html上，使用者也可自行設定讓pwebstats分析什麼格式的log檔和多久執行一次分析。在pwebstats的網頁上方我們可以看到daily usage chart，而在圖的下方則會有依每日log檔所分析出來的統計連結，使用者可以點選任一日統計資料進去觀看。統計資料所分析的項目非常的多，我們通常會去觀看Proxy Server的Hit Rate，它能告訴我們的Proxy server被Hit的命中率有多少，也代表著proxy server到底是發揮了多少效用。Pwebstats的運用當然不止如此而己，在proxy server request突然變大時pwebstats也可以派上用場，舉個幾個實際的例子來說好了，（圖四）中我們可以看到80在一天之內被access數居然高達258,575次，而且比知名的入口網站高出了20幾倍，流量之大當然也造成proxy server無法負荷而產生服務中斷的現象。另外比對（圖五）中的統計結果也發現有人在access .rar的檔案而目的地就是上述所說的80，經追查的結果，發現是學生是利用學校的proxy server在抓取非法資料。另一個實例是在（圖六）的統計結果顯示出/work/scheduler.php這個網頁被access的次數高達2,676,578，後經追查才得知原來是有使用者的電腦中毒了，一直在存取一個不存在的網頁。所以說pwebstats這個軟體夠好用吧，將又臭又長的log一個一個的分析成有用的資訊，藉此，我們就可以替我們的proxy server找出問題所在，並進一步的追查問題的來源。（圖四）（圖五）（圖六）1. 軟體的取得: 可至pwebstats官方網站或本校的檔案伺服器上取得。2. 安裝fly及gd函式庫:pwebstats是由perl所寫的程式，所以你的系統必需支援perl5.0以上的版本，並且下載fly程式及gd函式庫並且安裝他們。pkg_add fly-1.6.5.tgzpkg_add gd-1.8.4_63. 安裝pwebstatstar zxvf pwebstats-1.3.8.tar.gz在設定檔中修改幾個設定 /pwebstasts-1.3.8/conf/pwebstats.conflogfile: 要分析的log檔位置logtype:squid(設定log的形態)outdir:分析完結果的輸出位置templates:這個要指向原始檔的templates位置interval: (daily)fly-prog:/usr/local/bin/fly4. 執行pwebstats./pwebstats c ./conf/pwebstats.conf*在執行之前必須要修改pwebstats 執行檔的perl的路徑5. 在確認執行沒有問題之後就可以設定crontab 使pwebstats每天都能自動分析6. 另一個pwebstats的工作：在FreeBSD+squid中的access log通常時間都是我們所看不懂的格式，萬一在proxy server發生狀況時我們要即時的觀看某個時間點的log想必是無從看起，這時就可以運用pwebstats原始檔中的一個小工具來替我們轉換時間。其路徑為/utilities/squid2common.pl (圖七 轉換前格式) (圖八 轉換後格式)三、webalizer其實webalizer(官方網站: /webalizer/)和pwebstats的功能可說是差不多，其分析項目為Daily Statistics、Hourly Statistics、URLs、Entry、Sites、Countries在這裡就不多介紹他的功能，有興趣的話不妨多裝一個webalizer來看看。1. 檔案的取得:如果先前有安裝了MRTG和pwebstats的話，那麼要安裝webalizer就簡單多了，因為png和gd的函式庫就不必再裝了，若系統尚未安裝則要先裝好才能安裝webalizer。Pkg_add webalizer-2.1.10_1.tgz2. 備份一個設定檔並修改設定:cp /usr/local/etc/webalizer.conf-dist webalizer.confvi webalizer.confinput log:log檔的位置LogType :設定為squid格式output log:分析的結果的存放位置3. 執行webalizer:/usr/local/bin/webalizer若有安裝成功就可在網頁上看到如下的畫面(圖九、十、十一)4. 加入crontab 0 1 * * * /usr/local/bin/webalizer(圖九)(圖十)(圖十一)結語造成proxy server服務中斷的因素實在是大多了，常見的有可能是下游的使用者機器中毒了，這時在pwebstats的分析資料中就可以看到proxy server被request的資數很明顯的變多了，甚者有人利用proxy server抓取大量非法資料檔。在在的都會影響到proxy server運作上的效能。其實可運用proxy server的分析工具很多，不論那一種都能帶來相當不錯的效用，管理者可以選擇針對自己需求的工具來使用，本文只是列舉介紹幾個較常用也較為人知的幾個工具。最主要的目的在於分享管理者可以有效的利用工具來達到有效的管理工作。因為這是資料轉變成資訊重要的工具和過程，因為只要一有服務中斷，對任何的使用者來說是帶來相當不方便的。然而這時管理者若能善用工具將資料變成有用的資訊，那想必能替user帶來更有效率的服務，也才不失使用proxy server的用意不是嗎?相關網站MRTG官方網站：http: