谷歌SEO：如何進(jìn)行SEO日志文件分析？

在過(guò)去五年中，日志文件越來(lái)越受到技術(shù)SEO的認(rèn)可，這是有充分理由的。它們是了解搜索引擎已抓取的URL的最值得信賴的信息來(lái)源，這可能是幫助診斷技術(shù)SEO問(wèn)題的關(guān)鍵信息。Google本身也意識(shí)到了它們的重要性，在Google Search Console中發(fā)布了新功能，并且可以輕松查看以前只能通過(guò)分析日志才能獲得的數(shù)據(jù)樣本。

此外，Google Search Advocate John Mueller曾公開表示日志文件保存了多少好的信息。圍繞日志文件中的數(shù)據(jù)大肆宣傳，您可能希望更好地了解日志、如何分析它們以及您正在處理的網(wǎng)站是否會(huì)從中受益。本文將回答所有這些以及更多內(nèi)容。以下是我們將要討論的內(nèi)容：

·什么是服務(wù)器日志文件

·日志文件如何使SEO受益

·如何訪問(wèn)您的日志文件

·如何分析您的日志文件

什么是服務(wù)器日志文件？

服務(wù)器日志文件是由服務(wù)器創(chuàng)建和更新的文件，用于記錄其已執(zhí)行的活動(dòng)。一個(gè)流行的服務(wù)器日志文件是一個(gè)訪問(wèn)日志文件，它保存了對(duì)服務(wù)器的HTTP請(qǐng)求歷史記錄（用戶和機(jī)器人）。當(dāng)非開發(fā)人員提到一個(gè)日志文件時(shí)，他們通常會(huì)提到訪問(wèn)日志。然而，開發(fā)人員發(fā)現(xiàn)自己花費(fèi)更多時(shí)間查看錯(cuò)誤日志，這些日志報(bào)告服務(wù)器遇到的問(wèn)題。

以上很重要：如果您向開發(fā)人員索取日志，他們首先會(huì)問(wèn)的是，“哪些？”因此，請(qǐng)始終針對(duì)日志文件請(qǐng)求進(jìn)行具體說(shuō)明。如果您希望日志分析爬取，請(qǐng)索取訪問(wèn)日志。訪問(wèn)日志文件包含有關(guān)向服務(wù)器發(fā)出的每個(gè)請(qǐng)求的大量信息，例如：

·IP地址

·用戶代理

·網(wǎng)址路徑

·時(shí)間戳（當(dāng)機(jī)器人/瀏覽器發(fā)出請(qǐng)求時(shí)）

·請(qǐng)求類型（GET或POST）

·HTTP狀態(tài)碼

訪問(wèn)日志中包含的服務(wù)器因服務(wù)器類型而異，有時(shí)開發(fā)人員已將服務(wù)器配置為存儲(chǔ)在日志文件中。日志文件的常見格式包括：

·Apache格式——這由Nginx和Apache服務(wù)器使用。

·W3C格式–這是由Microsoft IIS服務(wù)器使用的。

·ELB格式–這由Amazon Elastic Load Balancing使用。

·自定義格式——許多服務(wù)器支持輸出自定義日志格式。

·存在其他形式，但這些是您將遇到的主要形式。

日志文件如何使SEO受益？

現(xiàn)在我們已經(jīng)對(duì)日志文件有了基本的了解，讓我們看看它們?nèi)绾问筍EO受益。

以下是一些關(guān)鍵方法：

·抓取監(jiān)控——您可以查看搜索引擎抓取的URL，并使用它來(lái)發(fā)現(xiàn)抓取工具陷阱，注意抓取預(yù)算浪費(fèi)，或者更好地了解獲取內(nèi)容更改的速度。

·狀態(tài)代碼報(bào)告——這對(duì)于優(yōu)先修復(fù)錯(cuò)誤特別有用。無(wú)需知道您有404，您可以準(zhǔn)確地看到用戶/搜索引擎訪問(wèn)404 URL的次數(shù)。

·趨勢(shì)分析——通過(guò)監(jiān)控對(duì)URL、頁(yè)面類型/站點(diǎn)部分或整個(gè)站點(diǎn)的爬取，您可以發(fā)現(xiàn)變化并調(diào)查潛在原因。

·孤立頁(yè)面發(fā)現(xiàn)——您可以交叉分析來(lái)自日志文件的數(shù)據(jù)，并通過(guò)您自己運(yùn)行的站點(diǎn)爬網(wǎng)來(lái)發(fā)現(xiàn)孤立頁(yè)面。

所有站點(diǎn)都將在一定程度上受益于日志文件分析，但收益量因站點(diǎn)大小而異。這是因?yàn)槿罩疚募饕ㄟ^(guò)幫助您更好地管理爬網(wǎng)來(lái)使站點(diǎn)受益。谷歌本身表示管理抓取預(yù)算是更大規(guī)?；蚪?jīng)常變化的網(wǎng)站將從中受益。

日志文件分析也是如此。例如，較小的網(wǎng)站可能會(huì)使用Google Search Console中提供的“抓取統(tǒng)計(jì)”數(shù)據(jù)并獲得上述所有好處，而無(wú)需訪問(wèn)日志文件。Google不會(huì)向您提供所有抓取的網(wǎng)址（如日志文件），并且趨勢(shì)分析僅限于三個(gè)月的數(shù)據(jù)。但是，不經(jīng)常更改的較小站點(diǎn)也需要較少的持續(xù)技術(shù)SEO。讓現(xiàn)場(chǎng)審核員發(fā)現(xiàn)和診斷問(wèn)題可能就足夠了。

例如，來(lái)自站點(diǎn)爬蟲、XML站點(diǎn)地圖、Google Analytics和Google Search Console的交叉分析可能會(huì)發(fā)現(xiàn)所有孤立頁(yè)面。您還可以使用站點(diǎn)審核員從內(nèi)部鏈接中發(fā)現(xiàn)錯(cuò)誤狀態(tài)代碼。我指出這一點(diǎn)有幾個(gè)關(guān)鍵原因：

獲取訪問(wèn)日志文件并不容易。對(duì)于不經(jīng)常更改的小型網(wǎng)站，日志文件的好處并不多，這意味著SEO的重點(diǎn)可能會(huì)轉(zhuǎn)移到其他地方。

如何訪問(wèn)您的日志文件？

在大多數(shù)情況下，要分析日志文件，您首先必須向開發(fā)人員請(qǐng)求訪問(wèn)日志文件。然后，開發(fā)人員可能會(huì)遇到一些問(wèn)題，他們會(huì)引起您的注意。這些包括：

·部分?jǐn)?shù)據(jù)——日志文件可以包含分散在多個(gè)服務(wù)器上的部分?jǐn)?shù)據(jù)。這通常發(fā)生在開發(fā)人員使用各種服務(wù)器時(shí)，例如源服務(wù)器、負(fù)載均衡器和CDN。獲得所有日志的準(zhǔn)確圖片可能意味著編譯來(lái)自所有服務(wù)器的訪問(wèn)日志。

·文件大小——高流量站點(diǎn)的訪問(wèn)日志文件最終可能達(dá)到TB，如果不是PB的話，這使得它們難以傳輸。

·隱私/合規(guī)——日志文件包括屬于個(gè)人身份信息（PII）的用戶IP地址。用戶信息可能需要先刪除，然后才能與您共享。

·存儲(chǔ)歷史——由于文件大小，開發(fā)人員可能已將訪問(wèn)日志配置為僅存儲(chǔ)幾天，這使得它們對(duì)于發(fā)現(xiàn)趨勢(shì)和問(wèn)題沒有用處。

這些問(wèn)題會(huì)讓人質(zhì)疑存儲(chǔ)、合并、過(guò)濾和傳輸日志文件是否值得開發(fā)人員的努力，特別是如果開發(fā)人員已經(jīng)有很長(zhǎng)的優(yōu)先級(jí)列表（通常是這種情況）。開發(fā)人員可能會(huì)將責(zé)任放在SEO上來(lái)解釋或建立一個(gè)案例，說(shuō)明為什么開發(fā)人員應(yīng)該在這方面投入時(shí)間，您需要在其他SEO重點(diǎn)中優(yōu)先考慮這一點(diǎn)。這些問(wèn)題正是日志文件分析不經(jīng)常發(fā)生的原因。

您從開發(fā)人員那里收到的日志文件也經(jīng)常被流行的日志文件分析工具以不支持的方式格式化，使得分析更加困難。值得慶幸的是，有一些軟件解決方案可以簡(jiǎn)化這個(gè)過(guò)程。我最喜歡的是Logflare，它可以將日志文件存儲(chǔ)在您擁有的BigQuery數(shù)據(jù)庫(kù)中。

如何分析您的日志文件？

現(xiàn)在是時(shí)候開始分析您的日志了。我將具體向您展示如何在Logflare的上下文中執(zhí)行此操作；但是，有關(guān)如何使用日志數(shù)據(jù)的提示適用于任何日志。

1.首先設(shè)置Logflare（可選）

2.驗(yàn)證Googlebot

3.從日志文件中提取數(shù)據(jù)

4.添加到Google表格

5.添加Ahrefs數(shù)據(jù)

6.檢查狀態(tài)碼

7.檢測(cè)抓取預(yù)算浪費(fèi)

8.監(jiān)控重要的URL

9.查找孤立的URL

10.監(jiān)控按目錄爬取

11.查看Cloudflare緩存比率

12.檢查哪些機(jī)器人最常抓取您的網(wǎng)站

寫在最后

您現(xiàn)在應(yīng)該對(duì)在審核站點(diǎn)時(shí)可以對(duì)日志文件進(jìn)行的分析有了一個(gè)很好的了解。