Sökmotorer “spindlar” konstant webben i jakt på uppdaterade och nya webbsidor. Sökmotoroptimering handlar i mångt och mycket om att underlätta för spindeln att söka igenom hela din webbplats och förstå dess innehåll.