Come escludo un sito o parte del sito dall’indicizzazione?
Come escludere un sito o parte di esso dall'indicizzazione

Il modo più semplice e più usato per indicare ai robot di non indicizzare una pagina web o un sito è l’utilizzo dei file robot.txt. Installando sul server questo file, impedirete al crawler del motore di accedere al sito. Per ulteriori informazioni, consultare il sito Web http://www.robotstxt.org/wc/norobots.html. Esiste anche un altro metodo per indicare ai robot di non indicizzare una pagina Web o di non eseguire un collegamento presente sulla pagina stessa. Questo metodo può rivelarsi particolarmente utile in alcuni casi, poiché consente di escludere anche singole pagine. Tale metodo consiste nell'inserire un elemento "META" in una pagina HTML, come descritto nel sito http://www.robotstxt.org/wc/exclusion.html#meta. Ricordate che la modifica del file robots.txt sul server o degli elementi "META" sulle pagine non sarà immediatamente visibile su Google. Generalmente, le modifiche apportate diventano effettive dopo la successiva scansione del crawler.