E' obbligatorio creare il file robots.txt ?
Quando, come e perchè utilizzare i file robotx.txt

L’utilizzo di file robots.txt non è obbligatorio, ma utile se si vuole che il crawler del motore non indicizzi tutte le pagine del sito (per esempio quelle dinamiche o in Flash che possono bloccare la scansione). Il file robots.txt più semplice utilizza due regole: lo User-Agent (il robot al quale si applica la regola) e il Disallow (le pagine che desideri bloccare).Queste due righe sono considerate una voce unica nel file. Puoi includere il numero di voci desiderato. Puoi includere più righe Disallow e più User-Agent in una sola voce. Il bot di Google riconosce anche un'estensione al file robots.txt standard denominata Allow. Questa estensione potrebbe non essere riconosciuta da tutti gli altri bot dei motori di ricerca; per scoprirlo, verifica altri motori di ricerca di tuo interesse. La riga Allow funziona esattamente come la riga Disallow. È sufficiente indicare una directory o una pagina che desideri consentire. Disallow e Allow possono essere utilizzate insieme. Ad esempio, per bloccare l'accesso a tutte le pagine di una sottodirectory tranne una, puoi utilizzare le seguenti voci: User-Agent: Googlebot Disallow: /folder1/ Allow: /folder1/myfile.html Queste voci bloccano tutte le pagine all'interno della directory folder1 ad eccezione di myfile.html. Puoi anche bloccare un bot e consentirne un altro; ad esempio per bloccare Googlebot e consentire l'accesso di un altro dei bot di Google (come Googlebot-Mobile), utilizza la regola Allow: User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Allow: