Cosa sono i file robots?
Cosa sono i file robots e come funzionano

Robots.txt è un documento standard che indica agli spider dei motori di non scaricare parte o tutte le informazioni da un server web o una directory. Per ulteriori informazioni su robots.txt visitate il sito http://www.robotstxt.org/wc/norobots.html. Un file robots.txt presenta restrizioni ai robot dei motori di ricerca (noti come "bot") che eseguono la scansione del Web; questi bot sono automatici e, prima di accedere alle pagine di un sito, controllano per verificare la presenza di un file robots.txt che impedisce loro di accedere a determinate pagine. Avrai bisogno di un file robots.txt solo se sul tuo sito sono presenti contenuti che desideri vengano esclusi dall'indicizzazione dei motori di ricerca. Il file robots.txt deve risiedere nella directory principale del dominio e deve avere il nome "robots.txt". Un file robots.txt memorizzato in una sottodirectory non è valido, in quanto i bot verificano la presenza del file solo nella directory principale del dominio. Ad esempio, http://www.example.com/robots.txt è una posizione valida, mentre http://www.example.com/mysite/robots.txt non lo è. Se non hai accesso alla directory principale di un dominio, puoi limitare l'accesso utilizzando il META tag Robots. Puoi creare un file robots.txt in un qualsiasi editor di testo. Deve essere un file di testo con codifica ASCII e non un file HTML. Il nome del file deve essere in minuscolo. Il file robots.txt più semplice utilizza due regole: lo User-Agent (il robot al quale si applica la regola) e il Disallow (le pagine che desideri bloccare).Queste due righe sono considerate una voce unica nel file. Puoi includere il numero di voci desiderato. Puoi includere più righe Disallow e più User-Agent in una sola voce.