死鏈太多，建議你在robot.txt中禁止收錄那些沒用的頁(yè)面，對(duì)你的網(wǎng)站非常不好
創(chuàng)新互聯(lián)公司是一家集成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、網(wǎng)站頁(yè)面設(shè)計(jì)、網(wǎng)站優(yōu)化SEO優(yōu)化為一體的專業(yè)的建站公司，已為成都等多地近百家企業(yè)提供網(wǎng)站建設(shè)服務(wù)。追求良好的瀏覽體驗(yàn),以探求精品塑造與理念升華,設(shè)計(jì)最適合用戶的網(wǎng)站頁(yè)面。 合作只是第一步，服務(wù)才是根本,我們始終堅(jiān)持講誠(chéng)信，負(fù)責(zé)任的原則，為您進(jìn)行細(xì)心、貼心、認(rèn)真的服務(wù),與眾多客戶在蓬勃發(fā)展的市場(chǎng)環(huán)境中,互促共生。
新建一個(gè).php文件并把它命名為spider，把以下代碼復(fù)制到文件里；
?php
functionget_naps_bot()
{
$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);
if(strpos($useragent,'googlebot')!==false){
return'Googlebot';
}
if(strpos($useragent,'msnbot')!==false){
return'MSNbot';
}
if(strpos($useragent,'slurp')!==false){
return'Yahoobot';
}
if(strpos($useragent,'baiduspider')!==false){
return'Baiduspider';
}
if(strpos($useragent,'sohu-search')!==false){
return'Sohubot';
}
if(strpos($useragent,'lycos')!==false){
return'Lycos';
}
if(strpos($useragent,'robozilla')!==false){
return'Robozilla';
}
returnfalse;
}
functionnowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return$date;
}
$searchbot =get_naps_bot();
if($searchbot){
$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
?
2
把制作好的spider.php文件上傳至主題根目錄中（注意不是網(wǎng)站根目錄）；
3
把以下代碼復(fù)制在主題的footer.php里面（后臺(tái)—外觀—編輯—footer.php），我是放在最下面；
!--?php include('spider.php') ?--!--蜘蛛記錄--
4
查看方法：瀏覽器訪問，把域名換成你的就可以了。（注：也可以查看網(wǎng)站根目錄里面的spiderlogs.txt文件），
要使Wordpress網(wǎng)站同意蜘蛛收錄，需要修改 Robots.txt 文件，讓它不再阻擋網(wǎng)站頁(yè)面被搜索引擎抓取。
Robots.txt文件位于Wordpress網(wǎng)站根目錄下。在文件中，要添加以下代碼：
User-agent: *
Allow: /
上面的代碼表示，允許所有的蜘蛛抓取網(wǎng)站的所有頁(yè)面。
有很多站長(zhǎng)朋友的個(gè)人wordpress博客或者是其他站點(diǎn)，在php空間中安裝之后設(shè)置了文章保護(hù)措施，那就是文章加密，可能有一些隱私不外公布，或者是收費(fèi)的標(biāo)準(zhǔn)，而這些文章只要在站點(diǎn)上面掛著，沒有任何的設(shè)置，可能就會(huì)被蜘蛛給收取，但是站長(zhǎng)朋友們不想讓這樣的事情發(fā)生，而要禁止蜘蛛的收錄，來達(dá)到他們的愿望。
今天無憂主機(jī)小編在上班的時(shí)候就遇到這樣的事情的發(fā)生，可能是有預(yù)感吧，小編當(dāng)時(shí)還認(rèn)為看的這篇資料應(yīng)該會(huì)有很多的站長(zhǎng)朋友都知道，可是讓無憂主機(jī)小編很是無奈，原因很簡(jiǎn)單，因?yàn)檎鹃L(zhǎng)朋友們搞不清楚，哪個(gè)文章有作用還是沒有作用，所以急需要小編來看看，還好無憂主機(jī)小編懂那么一點(diǎn)點(diǎn)，給站長(zhǎng)朋友講解之后，他們也相信，此做法呢是非常之有效，所以呢，無憂主機(jī)小編就寫下這篇文章，希望能幫助更多的站長(zhǎng)朋友！
找到主題目錄下：functions.php，移到最后有一個(gè)php結(jié)束符號(hào)?,然后把一下代碼復(fù)制進(jìn)去：
?
view code
1
2
3
4
5
6
7
function password_noindex_header() {
global $post;
if (!empty($post-post_password)) {
echo 'meta name="robots" content="noindex"'."\n";
}
}
add_action('wp_head', 'password_noindex_header');
如果您所用的主題有專門seo文件，就到目錄includes/seo.php在is_page之前有一個(gè)?php}?,那么就在?php之后加入一下代碼：
?
view code
1
2
3
if (!empty($post-post_password)) {
echo 'meta name="robots" content="noindex" /'."\n";
}
好了，這樣我們就成功了設(shè)置密碼文章蜘蛛不能收錄的問題。
重慶分公司
重慶分公司
