Google använder RSS/atom feeds

Google använder RSS/atom feeds för att crawla och indexera ny webbplatster

Googles mål är att så snabbt som möjligt hitta nya webbplatser på nätet för  att presentera ett relevant resultat för den aktuella sökningen. Google ”hoppar” från länk till länk för att identifiera relevant webbplatser och deras content.

Numera så använder även Google rss /atom feeds för att på ett snabbt sätt identifiera nytt och fräscht content. Detta gör att Google snabbare kan crawla content än den traditionella crawlingen.

För att göra detta möjligt för webbplatsägare så är det viktigt att dessa filer inte är disallowed i din robot.txt

/Robert