robots.txt 的簡易使用方法

robots.txt 的簡易使用方法

何使用robots.txt檔案來開放Google搜尋引擎更多地拜訪您的網站。😊

robots.txt檔案是一種告訴搜尋引擎哪些網頁或目錄可以或不可以被爬取的方法。您可以在您的網站『根目錄』下建立一個robots.txt檔案,並使用一些指令來控制不同的搜尋引擎爬蟲的行為。1

如果您想要讓Google搜尋引擎更多地拜訪您的網站,您可以使用以下的方法:

使用Allow指令來明確地允許Google爬蟲訪問您想要被索引的網頁或目錄。例如,如果您想要讓Google爬蟲訪問您的網站上所有的網頁,您可以在robots.txt檔案中加入以下內容:

User-agent: Googlebot

Allow: /

使用Disallow指令來明確地禁止Google爬蟲訪問您不想要被索引的網頁或目錄。例如,如果您想要阻止Google爬蟲訪問您的網站上的/upload/和/videos/這兩個目錄,您可以在robots.txt檔案中加入以下內容:

User-agent: Googlebot

Disallow: /upload/

Disallow: /videos/

使用Sitemap指令來告訴Google爬蟲您的網站上有哪些Sitemap檔案,這些檔案可以幫助Google爬蟲發現和索引您的網站上的新頁面或更新頁面。例如,如果您有一個Sitemap檔案放在2這個位置,您可以在robots.txt檔案中加入以下內容:

User-agent: Googlebot

Sitemap: https://www.example.com/sitemap.xml

使用Crawl-delay指令來控制Google爬蟲訪問您的網站的頻率,這可以避免因為過多的爬取而造成您的網站負載過重。Crawl-delay指令後面跟隨的數字表示每次爬取之間的秒數間隔。例如,如果您想要讓Google爬蟲每次爬取之間至少等待10秒,您可以在robots.txt檔案中加入以下內容:

User-agent: Googlebot

Crawl-delay: 10

以上就是一些使用robots.txt檔案來開放Google搜尋引擎更多地拜訪您的網站的方法。如果您想要了解更多關於robots.txt檔案的詳細資訊和規則,您可以參考以下的資源:

robots.txt 怎麼設定?如何禁止搜尋引擎爬取網站?2023 教學 – 貓熊先生

简介与指南 | Google 搜索中心 | 文档 | Google for Developers

使用 robots.txt 測試工具檢測 robots.txt – Search Console說明 – Google Help