Come funziona il robot.txt

l file robot.txt non è altro che una serie di comandi che vengono forniti ai motori di ricerca per indicizzare correttamente il nostro sito web o blog. Grazie al robot, gli amministratori dei siti, acconsentono al browser ad accedere e condividere sui motori di ricerca i contenuti all'interno del proprio sito. È possibile difatti con dei codici, consentire il browser ad accedere a tutto il sito, oppure di accedere solo ad alcune pagine e ad altre no, con la conseguente non condivisione di quest'ultimi.

Cos'è e come funziona il robot.txt?
Molto importante per una condivisione perfetta, dato che non tutti i contenuti sono condivisibili sul web. Un esempio sono le pagine nascoste, che non vogliamo che l'utente visualizzi singolarmente tra le ricerche del web. Mi spiego meglio, ad esempio quando creiamo una mailing list, di solito viene aggiunta una pagina di ringraziamento per l'iscrizione. Chiaramente non vogliamo che questa pagina sia visibile sui motori di ricerca, dato che non ha alcun significato per un utente che cerca delle informazioni su internet. Quindi tramite il robot.txt possiamo evitare di visualizzarla, oppure si possono bloccare intere sezioni.

Attenzione, però a non inserire restrizioni molto stringenti, altrimenti potremmo bloccare intere sezioni del nostro sito, risentendo sotto il profilo delle visualizzazioni. È importante anche utilizzare la corretta scrittura, altrimenti potremmo creare dei danni all'indicizzazione.

Se hai Blogger, non preoccuparti dato che il file robot.txt è già preimpostato automaticamente. È possibile anche personalizzarlo, ma ti consiglio di utilizzare quello già presente, a meno che non devi fare modifiche oscurando delle pagine o dei dati. È importante, anche perché contiene l'indirizzo della site map. (Che abbiamo già visto come condividerla su Google Web Master, clicca pure sulla scritta per collegarti al post).

Nella guida seguente vedremo come personalizzare il robot.txt e ottimizzarlo in base alle nostre esigenze: clicca qui.

Segui Help Tecno Blog sui canali social per rimanere aggiornato sulle ultime novità, basta un click:
-Seguici su Facebook😄
-Seguici su Twitter😀
-Seguici su YouTube😁
-Iscriviti ai Feed😏

Offerte consigliate: