Browsing Tag 'file robot’
La sintassi del campo user-agent è la seguente: User-agent: nome-dello-spider (p.e.: User-agent: googlebot) La sintassi del campo disallow è: Disallow: percorso del file o della directory (p.e.: Disallow: /pagina.html) Prendendo spunto dagli esempi riportati, entriamo nel merito dei contenuti del file robots.txt. “googlebot” è il nome dello spider di Google, al quale viene inviata l’istruzione [...]
Read more...Il file robots è un file di testo (si noti l’estensione .txt), contenente dei record composti di un campo “user-agent” e uno o più campi “disallow” (non permettere). Il campo user-agent indica a quale spider sono rivolte le istruzioni contenute nel campo “disallow”. Nel campo disallow sono riportati gli URL relativi alle pagine alle quali [...]
Read more...
