《使用PSSH批量管理Linux》 一文中,已經(jīng)學習了使用pssh批量管理linux的技巧。而很多時候,我們需要定時執(zhí)行一些任務,或者需要定時執(zhí)行一些批量任務。因此,本文就來研究一下linux設置定時任務的方法。
創(chuàng)新互聯(lián)是一家專注于成都做網(wǎng)站、成都網(wǎng)站制作與策劃設計,臨潁網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設十多年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:臨潁等地區(qū)。臨潁做網(wǎng)站價格咨詢:18980820575
主要參考 Linux Crontab 定時任務 、 Linux定時任務Crontab命令詳解 和 Linux 定時任務詳解 。
cron(crond)是linux下用來周期性的執(zhí)行某種任務或等待處理某些事件的一個守護進程。linux系統(tǒng)上面原本就有非常多的計劃性工作,因此這個系統(tǒng)服務是默認啟動的。crond進程每分鐘會定期檢查是否有要執(zhí)行的任務,如果有要執(zhí)行的任務,則自動執(zhí)行該任務。另外,由于使用者自己也可以設置計劃任務,所以,linux系統(tǒng)也提供了使用者控制計劃任務的命令:crontab命令。
crontab命令是cron table的簡寫,它是cron的配置文件,也可以叫它作業(yè)列表,我們可以在以下文件夾內(nèi)找到相關配置文件。
linux下的任務調(diào)度分為兩類,系統(tǒng)任務調(diào)度和用戶任務調(diào)度。
系統(tǒng)任務調(diào)度:系統(tǒng)周期性所要執(zhí)行的工作,比如寫緩存數(shù)據(jù)到硬盤、日志清理等。 /etc/crontab 文件就是系統(tǒng)任務調(diào)度的配置文件。
用戶任務調(diào)度:用戶定期要執(zhí)行的工作,比如用戶數(shù)據(jù)備份、定時郵件提醒等。用戶可以使用 crontab 工具來定制自己的計劃任務。所有用戶定義的crontab文件都被保存在 /var/spool/cron/crontabs/ 目錄中,其文件名與用戶名一致。
假設我們使用的是Ubuntu14.04.5 Server版,查看 /etc/crontab ,內(nèi)容為:
第一行SHELL變量指定了系統(tǒng)要使用哪個shell;第二行PATH變量指定了系統(tǒng)執(zhí)行 命令的路徑。
接下來的命令格式為:
m h dom mon dow user command
英文全拼為:
minute hour day month week user commond
注意, /var/spool/cron 目錄中的用戶調(diào)度任務,沒有user一項,因為文件名已經(jīng)代表了user。
在以上各個字段中,還可以使用以下特殊字符:
crontab命令格式為:
crontab [-u username] [file] [ -e | -l | -r ]
設置定時任務和時間緊密相關,如果服務器的時區(qū)時間設置和本地不同,就不能保證計劃任務的正確執(zhí)行。所以使用crontab的第一步,是調(diào)節(jié)好服務器的時間。
下面參考 Ubuntu 16.04將系統(tǒng)時間寫入到硬件時間BIOS ,對服務器時間進行調(diào)節(jié)。
時間是有時區(qū)的,無論硬件時間還是操作系統(tǒng)時間。hwclock的時區(qū)在/etc/default/rcS文件中設置,里面有一個參數(shù)UTC,默認值為yes,表示使用UTC時區(qū),如果設置為no,那表示使用osclock的時區(qū)。建議hwclock與osclock設置相同的時區(qū),也就是no。
1、查看服務器硬件時間
sudo hwclock -r ,看到的時間格式為: Wed 23 May 2018 11:02:17 AM HKT -0.031663 seconds
2、查看服務器系統(tǒng)時間
date ,看到的時間格式為: Wed May 23 11:02:41 HKT 2018
3、設置hwclock和osclock時區(qū)相同
sudo vim /etc/default/rcS ,找到:
修改為:
4、將系統(tǒng)時間寫入硬件時間
sudo hwclock -w
5、修改系統(tǒng)時區(qū)
osclock的時區(qū)配置文件為/etc/timezone,不建議直接修改配置文件。
如果你想修改為CST時間,那么執(zhí)行 sudo tzselect 命令時,選擇Asia-China-Beijing Time即可,這時會提示使用Asia/Shanghai時區(qū)。(ubuntu和centos通用)
6、設置即刻生效
執(zhí)行 date ,發(fā)現(xiàn)時區(qū)沒有變化,依然是HKT。
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
sudo ntpdate time.windows.com
如果執(zhí)行ntpdate報錯:ntpdate[18409]: no server suitable for synchronization found ,那么就換一個時間同步工具。
sudo apt-get install rdate
sudo rdate -s time-b.nist.gov
再次執(zhí)行 date ,發(fā)現(xiàn)時區(qū)已經(jīng)變成了CST。
7、硬件時間同步
sudo hwclock -r ,發(fā)現(xiàn)硬件時間落后。
sudo hwclock -w ,再次把系統(tǒng)時間寫入硬件時間,同步完成。
實例1:每分鐘、每小時、每天、每周、每月、每年執(zhí)行
實例2:每小時的第3和第15分鐘執(zhí)行
3,15 * * * * myCommand
實例3:在上午8點到11點的第3和第15分鐘執(zhí)行
3,15 8-11 * * * myCommand
實例4:每隔兩天的上午8點到11點的第3和第15分鐘執(zhí)行
3,15 8-11 */2 * * myCommand
實例5:每周一上午8點到11點的第3和第15分鐘執(zhí)行
3,15 8-11 * * 1 myCommand
實例6:每晚的21:30重啟smb
30 21 * * * /etc/init.d/smb restart
實例7:每月1、10、22日的4 : 45重啟smb
45 4 1,10,22 * * /etc/init.d/smb restart
實例8:每周六、周日的1 : 10重啟smb
10 1 * * 6,0 /etc/init.d/smb restart
實例9:每天18 : 00至23 : 00之間每隔30分鐘重啟smb
0,30 18-23 * * * /etc/init.d/smb restart
實例10:每星期六的晚上11 : 00 pm重啟smb
0 23 * * 6 /etc/init.d/smb restart
實例11:每一小時重啟smb
0 * * * * /etc/init.d/smb restart
實例12:晚上11點到早上7點之間,每隔一小時重啟smb
0 23-7/1 * * * /etc/init.d/smb restart
實例13:每月的4號與每周一到周三的11點重啟smb
0 11 4 * mon-wed /etc/init.d/smb restart
實例14:一月一號的4點重啟smb
0 4 1 jan * /etc/init.d/smb restart
實例15:每小時執(zhí)行/etc/cron.hourly目錄內(nèi)的腳本
01 * * * * root run-parts /etc/cron.hourly
run-parts這個參數(shù)了,如果去掉這個參數(shù)的話,后面就可以寫要運行的某個腳本名,而不是目錄名了。
目標:每分鐘查看一下ganglia的狀態(tài),并保存到/tmp/log/ganglia目錄。
1、創(chuàng)建/tmp/log/ganglia目錄
sudo mkdir -p /tmp/log/ganglia
sudo chmod a+w /tmp/log/ganglia
2、編輯crontab
crontab -e ,選擇編輯器為vim
3、在crontab文件中添加一行
4、查看crontab任務
crontab -l ,看到任務已經(jīng)添加成功。
5、等待了五分鐘,發(fā)現(xiàn)/tmp/log/ganglia目錄下啥也沒有。
sudo service cron status ,狀態(tài)正常。
sudo /etc/init.d/cron restart ,重啟cron試試。
又等待了五分鐘,發(fā)現(xiàn)/tmp/log/ganglia目錄下依然空空。
莫非是因為pssh沒有使用絕對路徑? whereis pssh ,找到pssh路徑為 /usr/lib/pssh ,修改crontab為:
然而,并沒有用。
還是查看下crontab日志吧!
以下主要參考 Ubuntu下用crontab 部署定時任務 。
1、編輯50-default.conf
sudo vim /etc/rsyslog.d/50-default.conf
2、把cron前的井號去掉,也就是修改為:
3、重啟rsyslog服務
sudo service rsyslog restart
4、重啟crontab服務
sudo service cron restart
5、查看crontab日志
less /var/log/cron.log
果然發(fā)現(xiàn)了問題:
也就是說,命令確實按時執(zhí)行了,只不過沒有執(zhí)行完,被百分號截斷了,導致log文件沒有正常生成!
修改crontab為:
終于,log文件成功生成,nice!但是,文件內(nèi)容是空的!因為, /usr/lib/pssh 是一個目錄,不是pssh命令!真正的pssh命令是parallel-ssh,找到它的位置為 /usr/bin/parallel-ssh ,修改crontab:
至此,問題圓滿解決。
實際使用的時候,一天獲取一次ganglia的狀態(tài)就夠了,所以crontab改成:
以上,每天執(zhí)行一次定時任務,抓取ganglia的運行狀態(tài)保存到日志文件中。緊接著,我們的目標是使用腳本檢查當天的日志文件,如果發(fā)現(xiàn)ganglia運行異常,則產(chǎn)生一個錯誤日志。
1、假設日志文件ganglia-20180524.log的內(nèi)容為:
2、參考 grep命令最經(jīng)常使用的功能總結 ,編寫腳本checkganglia.sh
3、執(zhí)行
chmod a+x checkganglia.sh
./checkganglia.sh
如果所有客戶機的ganglia運行正常,就會輸出All services are runing!。如果有的客戶機ganglia進程不存在,則會在/tmp/log/ganglia/目錄下生成當天的錯誤日志。
4、設置定時運行
因為日志的檢查工作要在日志生成之后,所以時間上延后十分鐘。
上面的腳本,還有很多要改進的地方。比如有的客戶機宕機了,上面的腳本檢查不出來。比如有的客戶機ganglia服務沒有啟動,那么具體是哪幾臺?針對這兩個問題,下面進行改進。假設已經(jīng)知道客戶機的數(shù)量為10。
參考 csplit命令 ,checkganglia.sh腳本修改為:
以上腳本,實現(xiàn)了當客戶機數(shù)量不為10的時候,進行報錯;當客戶機ganglia服務沒有啟動時,進行報錯,并且篩選出所有沒有啟動ganglia的客戶機。
本文中,我們先學習了crontab的基礎知識和基本用法。然后通過監(jiān)控ganglia這一個應用場景來具體學習crontab的詳細使用方法,包括查看cron日志的方法,crontab中命令轉義的方法,定時執(zhí)行腳本的方法,以及審閱日志腳本的編寫和進階。
至此,還不夠完美,因為我們需要每天登錄管理機查看有沒有錯誤日志。下一篇 Linux設置郵件提醒 中,我們將會研究linux設置郵件提醒的方法。審閱完日志后,如果腳本能夠給我們發(fā)送一封郵件,告知我們審閱的結果,那么我們就不必再每天查看錯誤日志。
還是接著第一篇的筆記來寫。還是看韓順平老師的Linux課程。
常用選項:
-e :編輯crontab定時任務
-l : 查詢crontab任務
-r : 刪除當前用戶所有的crontab任務
由于任務調(diào)度這塊很多都是配置細節(jié)內(nèi)容,故截圖。
這一塊的內(nèi)容大部分是一些細節(jié)和配置的知識,一般很難記憶。需要用的時候,隨手可查。
一、
加在一個命令的最后,可以把這個命令放到后臺執(zhí)行,如:
[root@bqh-01 ~]# watch -n 3 "sh 1.sh " #每3s在后臺執(zhí)行一次 1.sh 腳本
二、ctrl + z
可以將一個正在前臺執(zhí)行的命令放到后臺,并且處于暫停狀態(tài)。
三、jobs
查看當前有多少在后臺運行的命令
jobs -l選項可顯示所有任務的PID,jobs的狀態(tài)可以是running, stopped, Terminated。但是如果任務被終止了(kill),shell 從當前的shell環(huán)境已知的列表中刪除任務的進程標識。
將后臺中的命令調(diào)至 前臺 繼續(xù)運行。如果后臺中有多個命令,可以用fg %jobnumber(是命令編號,不是進程號)將選中的命令調(diào)出。
五、bg
將一個在后臺暫停的命令,變成在 后臺 繼續(xù)執(zhí)行。如果后臺中有多個命令,可以用bg %jobnumber將選中的命令調(diào)出。
六、kill
****
前臺進程的終止:Ctrl+c
****七、 nohup
如果讓程序始終在后臺執(zhí)行,即使關閉當前的終端也執(zhí)行(之前的做不到),這時候需要nohup。該命令可以在你退出帳戶/關閉終端之后繼續(xù)運行相應的進程。關閉中斷后,在另一個終端jobs已經(jīng)無法看到后臺跑得程序了,此時利用ps(進程查看命令)
pre style="margin: 0px; padding: 0px; color: rgb(51, 51, 51); font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-style: initial; text-decoration-color: initial;"ps -aux | grep "1.sh" #a:顯示所有程序 u:以用戶為主的格式來顯示 x:顯示所有程序,不以終端機來區(qū)分/pre