欧美日韩午夜精品不卡综合-欧美日韩系列-欧美日韩小视频-欧美日韩性-成人五月网-成人五级毛片免费播放

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資快訊 » 問答式 » 正文

如何在Apache中用shell腳本提交網站4

放大字體  縮小字體 發布日期:2021-08-25 21:56:57    作者:宮志強    瀏覽次數:24
導讀

百度站長平臺提供的死鏈提交工具,可將網站存在的死鏈(協議死鏈、404頁面)進行提交,可快速刪除死鏈,幫助網站SEO優化。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩,工作中我們提倡復雜自動化,所以本文我們一起交

百度站長平臺提供的死鏈提交工具,可將網站存在的死鏈(協議死鏈、404頁面)進行提交,可快速刪除死鏈,幫助網站SEO優化。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩,工作中我們提倡復雜自動化,所以本文我們一起交流分享Apache服務中通過shell腳本整理網站死鏈,便于我們提交。


1.配置Apache記錄搜索引擎

Apache是目前網站建設最為主流的web服務,但是apache的日志文件默認是不記錄百度、谷歌等各大搜索引擎的爬取程序的,所以首先需要我們設置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到下面兩行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

默認采用的是common,這里我們只需要將common這一行前面加#注釋掉,然后將combined這一行前的#去掉即可。然后保存重啟Apache服務。

注:如果你的服務器上添加了多個站點,每個站點有單獨的配置文件,則我們只需要在相應站點的配置文件中設置CustomLog項即可,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] documentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymlinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

下面是配置前后的網站日志記錄格式:

配置前:


配置后:


2.編寫shell腳本

我們通過shell腳本獲取網站日志中指定爬蟲的抓取記錄,然后匯總到一個文件中,便于后期使用。代碼如下,比如保存為deathlink.sh

#!/bin/bash#初始化變量#定義蜘蛛UA信息(默認是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html' #前一天的日期(apache日志)DATE=`date +%Y%m%d -d "1 day ago"` #定義日志路徑logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log #定義死鏈文件存放路徑deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt #定義網站訪問地址website=http://www.chanzhi.org #分析日志并保存死鏈數據for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}done 

大家在使用該腳本時,根據自己服務器情況調整下路徑和字段即可,然后執行腳本,:

bash deathlink.sh 

3.提交死鏈

執行上面腳本時候,就會在指定目錄下生成包含所有獲取的404頁面鏈接的文件,每個連接占一行。例如:


最后在站長平臺提交死鏈頁面中,填寫自己的死鏈文件地址即可,例如:


百度在審核通過之后,會將已經收錄的失效鏈接刪除,以避免失效頁面鏈接對網站造成不良的影響。

 
(文/宮志強)
免責聲明
本文僅代表作發布者:宮志強個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 毛色毛片免费看 | 亚洲日本aⅴ片在线观看香蕉 | 美国一级毛片片aa久久综合 | 欧美亚洲综合另类在线观看 | 日韩欧国产精品一区综合无码 | 曰韩一级毛片 | 99久久精品久久久久久清纯 | 成人性一级视频在线观看 | 欧美成人一区二区三区 | 亚洲欧美中文字幕在线网站 | 国产精品尹人在线观看免费 | 国产精品99精品久久免费 | 久久久久久一级毛片免费野外 | 国产精品久久久久久久人热 | 视频一区中文字幕 | 亚洲欧美94色 | 国产日产久久高清欧美一区 | 国产黄三级三·级三级 | 欧美一区二区在线免费观看 | 亚洲国产成人久久精品图片 | 暴操美女 | 美女张开双腿让男人桶 | 五月色婷婷综合开心网4438 | 毛片a片免费观看 | 国产精品久久久久久一区二区三区 | 中文字幕在线观看网址 | 免费又黄又爽视频 | 成人做爰网站免费看 | 亚洲自偷自拍另类12p | 三级国产在线观看 | 国产香蕉国产精品偷在线观看 | 91久久青青草原线免费 | 尤物蜜芽福利国产污在线观看 | 亚洲美女爱爱 | 中国一级大黄大片 | 亚洲欧美国产18 | 亚洲欧洲日产国产 最新 | 国产呦精品一区二区三区网站 | 色偷偷亚洲第一成人综合网址 | 成人国产精品一级毛片天堂 | 欧美在线 | 亚洲 |