谷歌SEO：如何進(jìn)行SEO日志文件分析？

在過去五年中，日志文件越來越受到技術(shù)SEO的認(rèn)可，這是有充分理由的。它們是了解搜索引擎已抓取的URL的最值得信賴的信息來源，這可能是幫助診斷技術(shù)SEO問題的關(guān)鍵信息。Google本身也意識到了它們的重要性，在Google Search Console中發(fā)布了新功能，并且可以輕松查看以前只能通過分析日志才能獲得的數(shù)據(jù)樣本。

此外，Google Search Advocate John Mueller曾公開表示日志文件保存了多少好的信息。圍繞日志文件中的數(shù)據(jù)大肆宣傳，您可能希望更好地了解日志、如何分析它們以及您正在處理的網(wǎng)站是否會從中受益。本文將回答所有這些以及更多內(nèi)容。以下是我們將要討論的內(nèi)容：

·什么是服務(wù)器日志文件

·日志文件如何使SEO受益

·如何訪問您的日志文件

·如何分析您的日志文件

什么是服務(wù)器日志文件？

服務(wù)器日志文件是由服務(wù)器創(chuàng)建和更新的文件，用于記錄其已執(zhí)行的活動。一個流行的服務(wù)器日志文件是一個訪問日志文件，它保存了對服務(wù)器的HTTP請求歷史記錄（用戶和機(jī)器人）。當(dāng)非開發(fā)人員提到一個日志文件時，他們通常會提到訪問日志。然而，開發(fā)人員發(fā)現(xiàn)自己花費(fèi)更多時間查看錯誤日志，這些日志報(bào)告服務(wù)器遇到的問題。

以上很重要：如果您向開發(fā)人員索取日志，他們首先會問的是，“哪些？”因此，請始終針對日志文件請求進(jìn)行具體說明。如果您希望日志分析爬取，請索取訪問日志。訪問日志文件包含有關(guān)向服務(wù)器發(fā)出的每個請求的大量信息，例如：

·IP地址

·用戶代理

·網(wǎng)址路徑

·時間戳（當(dāng)機(jī)器人/瀏覽器發(fā)出請求時）

·請求類型（GET或POST）

·HTTP狀態(tài)碼

訪問日志中包含的服務(wù)器因服務(wù)器類型而異，有時開發(fā)人員已將服務(wù)器配置為存儲在日志文件中。日志文件的常見格式包括：

·Apache格式——這由Nginx和Apache服務(wù)器使用。

·W3C格式–這是由Microsoft IIS服務(wù)器使用的。

·ELB格式–這由Amazon Elastic Load Balancing使用。

·自定義格式——許多服務(wù)器支持輸出自定義日志格式。

·存在其他形式，但這些是您將遇到的主要形式。

日志文件如何使SEO受益？

現(xiàn)在我們已經(jīng)對日志文件有了基本的了解，讓我們看看它們?nèi)绾问筍EO受益。

以下是一些關(guān)鍵方法：

·抓取監(jiān)控——您可以查看搜索引擎抓取的URL，并使用它來發(fā)現(xiàn)抓取工具陷阱，注意抓取預(yù)算浪費(fèi)，或者更好地了解獲取內(nèi)容更改的速度。

·狀態(tài)代碼報(bào)告——這對于優(yōu)先修復(fù)錯誤特別有用。無需知道您有404，您可以準(zhǔn)確地看到用戶/搜索引擎訪問404 URL的次數(shù)。

·趨勢分析——通過監(jiān)控對URL、頁面類型/站點(diǎn)部分或整個站點(diǎn)的爬取，您可以發(fā)現(xiàn)變化并調(diào)查潛在原因。

·孤立頁面發(fā)現(xiàn)——您可以交叉分析來自日志文件的數(shù)據(jù)，并通過您自己運(yùn)行的站點(diǎn)爬網(wǎng)來發(fā)現(xiàn)孤立頁面。

所有站點(diǎn)都將在一定程度上受益于日志文件分析，但收益量因站點(diǎn)大小而異。這是因?yàn)槿罩疚募饕ㄟ^幫助您更好地管理爬網(wǎng)來使站點(diǎn)受益。谷歌本身表示管理抓取預(yù)算是更大規(guī)模或經(jīng)常變化的網(wǎng)站將從中受益。

日志文件分析也是如此。例如，較小的網(wǎng)站可能會使用Google Search Console中提供的“抓取統(tǒng)計(jì)”數(shù)據(jù)并獲得上述所有好處，而無需訪問日志文件。Google不會向您提供所有抓取的網(wǎng)址（如日志文件），并且趨勢分析僅限于三個月的數(shù)據(jù)。但是，不經(jīng)常更改的較小站點(diǎn)也需要較少的持續(xù)技術(shù)SEO。讓現(xiàn)場審核員發(fā)現(xiàn)和診斷問題可能就足夠了。

例如，來自站點(diǎn)爬蟲、XML站點(diǎn)地圖、Google Analytics和Google Search Console的交叉分析可能會發(fā)現(xiàn)所有孤立頁面。您還可以使用站點(diǎn)審核員從內(nèi)部鏈接中發(fā)現(xiàn)錯誤狀態(tài)代碼。我指出這一點(diǎn)有幾個關(guān)鍵原因：

獲取訪問日志文件并不容易。對于不經(jīng)常更改的小型網(wǎng)站，日志文件的好處并不多，這意味著SEO的重點(diǎn)可能會轉(zhuǎn)移到其他地方。

如何訪問您的日志文件？

在大多數(shù)情況下，要分析日志文件，您首先必須向開發(fā)人員請求訪問日志文件。然后，開發(fā)人員可能會遇到一些問題，他們會引起您的注意。這些包括：

·部分?jǐn)?shù)據(jù)——日志文件可以包含分散在多個服務(wù)器上的部分?jǐn)?shù)據(jù)。這通常發(fā)生在開發(fā)人員使用各種服務(wù)器時，例如源服務(wù)器、負(fù)載均衡器和CDN。獲得所有日志的準(zhǔn)確圖片可能意味著編譯來自所有服務(wù)器的訪問日志。

·文件大小——高流量站點(diǎn)的訪問日志文件最終可能達(dá)到TB，如果不是PB的話，這使得它們難以傳輸。

·隱私/合規(guī)——日志文件包括屬于個人身份信息（PII）的用戶IP地址。用戶信息可能需要先刪除，然后才能與您共享。

·存儲歷史——由于文件大小，開發(fā)人員可能已將訪問日志配置為僅存儲幾天，這使得它們對于發(fā)現(xiàn)趨勢和問題沒有用處。

這些問題會讓人質(zhì)疑存儲、合并、過濾和傳輸日志文件是否值得開發(fā)人員的努力，特別是如果開發(fā)人員已經(jīng)有很長的優(yōu)先級列表（通常是這種情況）。開發(fā)人員可能會將責(zé)任放在SEO上來解釋或建立一個案例，說明為什么開發(fā)人員應(yīng)該在這方面投入時間，您需要在其他SEO重點(diǎn)中優(yōu)先考慮這一點(diǎn)。這些問題正是日志文件分析不經(jīng)常發(fā)生的原因。

您從開發(fā)人員那里收到的日志文件也經(jīng)常被流行的日志文件分析工具以不支持的方式格式化，使得分析更加困難。值得慶幸的是，有一些軟件解決方案可以簡化這個過程。我最喜歡的是Logflare，它可以將日志文件存儲在您擁有的BigQuery數(shù)據(jù)庫中。

如何分析您的日志文件？

現(xiàn)在是時候開始分析您的日志了。我將具體向您展示如何在Logflare的上下文中執(zhí)行此操作；但是，有關(guān)如何使用日志數(shù)據(jù)的提示適用于任何日志。

1.首先設(shè)置Logflare（可選）

2.驗(yàn)證Googlebot

3.從日志文件中提取數(shù)據(jù)

4.添加到Google表格

5.添加Ahrefs數(shù)據(jù)

6.檢查狀態(tài)碼

7.檢測抓取預(yù)算浪費(fèi)

8.監(jiān)控重要的URL

9.查找孤立的URL

10.監(jiān)控按目錄爬取

11.查看Cloudflare緩存比率

12.檢查哪些機(jī)器人最常抓取您的網(wǎng)站

寫在最后

您現(xiàn)在應(yīng)該對在審核站點(diǎn)時可以對日志文件進(jìn)行的分析有了一個很好的了解。