A Google molts creadors de continguts, propietaris de pàgines web, desitgen que les seves pàgines no siguin incloses en una indexació, d’aquesta manera no apareixen en els resultats de cerca. Per evitar que el lloc web sigui indexat, es tendeix a realitzar un bloqueig per robots.txt o utilitzar una metaetiqueta noindex.
L’editor ha de considerar quina és la millor opció i quines són les possibles conseqüències d’aquestes accions. Jhon Mueller de Google proporciona informació respecte al tema, aconsellant directament a aquelles pàgines que no desitgen ser visibles en el cercador google.
És important, en prendre aquesta decisió, conèixer el funcionament de Google a respecte a les pàgines i llocs, com maneja les que considera importants, que aporten una informació valuosa per a l’audiència o, per contra, aquelles que poden passar desapercebudes, a més de com classifica les pàgines web que, en intentar accedir-hi, es troben bloquejades.Per al cercador google serà important la qualitat del contingut publicat a cada pàgina web, i si el propietari té l’objectiu d’ocultar la seva informació a Google, és aconsellable escollir un mètode que aprovi el cercador popular, això per al seu propi benefici i la preservació de el seu treball dins de la plataforma cibernètica.
Per la qual cosa aquesta acció ha de ser pensada i analitzada per l’editor web, no prendre-la a la lleugera, per assegurar que s’aconsegueixi l’objectiu sense conseqüències negatives o inesperades.Cercador google i bloqueig robots.txt o metaetiquetes noindexLes pàgines que es troben bloquejades per robots.txt igualment podran indexar pel cercador Google, si hi ha enllaços que apuntin a elles, afirma John Mueller de Google. Això comportaria a un problema ja que el cercador google observaria que aquestes pàgines tenen un contingut indegut i que no poden ser rastrejades.
El consell de Mueller sobre posseir un contingut que es vol amagar a Google, apunta com a millor opció l’ús d’una metaetiqueta noindex. Aquest tema va ser tocat en un hangout, realitzat fa poc, de Webmaster Central, en el moment en el qual un propietari d’un lloc web va exposar la interrogant que es seria suficient “no permetre” aquelles pàgines que no són necessàries per a la indexació.Mueller, en la seva resposta diu que una de les coses que s’ha de tenir en consideració és que si les pàgines es troben bloquejades per l’arxiu robots.txt, ja que seria possible que algú, de forma aleatòria, es vinculi a una d’aquestes pàgines , per la qual pot succeir que el cercador google indexi aquest URL sense cap contingut, ja que està bloquejat per robots.txt.
Per la qual cosa no se sabria el desig que aquestes pàgines no es trobin realment indexades.D’altra banda, si les pàgines no es troben bloquejades per robots.txr es pot utilitzar una metaetiqueta noindex, i si algú arriba a connectar amb ells, es rastrejarà l’enllaç amb el pensament que potser es trobi publicat alguna cosa de valor, i llavors es coneixeria que aquestes pàgines no necessiten ser indexades i el cercador google les s’ometria, per complet, de la indexació segons un consultor seo.