Una URL no debería aparecer en Google. Alguien propone bloquearla en robots.txt; otra persona, agregar noindex. Las dos acciones se suelen llamar “bloquear”, pero controlan cosas diferentes. Aplicar ambas sin revisar el caso puede impedir que el buscador lea la instrucción que querías comunicar.

El punto de partida es definir si necesitás controlar solicitudes del rastreador, excluir una página del índice, proteger información o retirar un contenido que dejó de existir. Esta guía recorre esas decisiones con ejemplos. La implementación se comprueba sobre la respuesta publicada, no solamente dentro del panel del CMS.

Las dos preguntas que conviene separar

¿Puede el rastreador solicitar esta URL?
Robots.txt comunica permisos de rastreo a los bots que respetan sus reglas. Se consulta antes de acceder al recurso y puede limitar solicitudes a ciertas rutas.
¿Debe esta página formar parte del índice?
Noindex indica a los buscadores compatibles que no indexen ese contenido. Google necesita poder acceder al recurso y leer la meta o la cabecera que lo contiene.

Una URL bloqueada por robots.txt todavía puede aparecer en resultados si el buscador la conoce por otros enlaces, aunque no pueda rastrear su contenido. Por eso, Disallow no es una garantía de desindexación. Y noindex no evita que una persona abra una página pública ni que un bot que no lo respeta descargue el contenido.

Decisión 1: la información es privada

Un presupuesto de un cliente, un panel interno o un documento con datos personales necesitan controles de acceso. Usá autenticación y autorización apropiadas; comprobá que una persona sin permiso no pueda descargar el recurso directamente. Ocultarlo del menú, agregar noindex o escribir su ruta en robots.txt no protege el archivo.

Lo mismo vale para un entorno de pruebas. Una contraseña o una restricción de acceso bien implementada ofrece un control que una preferencia de rastreo no puede dar. Al publicar, revisá qué controles temporales se deben retirar y cuáles protegen áreas que siguen siendo privadas.

Si una información sensible ya quedó expuesta, priorizá cerrar el acceso y gestionar la exposición. No hagas pública una URL privada para que Google pueda leer un noindex. La protección de los datos tiene una necesidad distinta de la limpieza del índice.

Decisión 2: la página debe seguir accesible, pero no en resultados

Una página de confirmación sin información privada puede ser útil después de completar una acción y no tener valor como entrada desde una búsqueda. Si decidís excluirla, una meta noindex en el head del HTML es una opción:

<meta name="robots" content="noindex">

Comprobá que la URL permita el rastreo y que la respuesta publicada incluya la instrucción. Si el sitio genera otra meta o una cabecera contradictoria, revisá la configuración conjunta. No alcanza con ver una casilla activada en el plugin.

En un PDF u otro recurso que no tiene un head HTML, la instrucción puede enviarse en una cabecera de respuesta:

X-Robots-Tag: noindex

La configuración de esa cabecera depende del servidor o de la aplicación. Probala en el archivo específico y revisá el alcance de la regla: una condición demasiado amplia puede excluir documentos que sí querés posicionar. Google no admite una directiva Noindex: dentro de robots.txt como reemplazo de estos mecanismos.

Decisión 3: querés reducir rastreo innecesario

Un sistema puede generar muchas combinaciones de filtros, resultados internos o rutas técnicas. Antes de bloquearlas, verificá qué URLs existen, cómo se descubren y si alguna cumple una necesidad de búsqueda. La cantidad de parámetros no determina por sí sola que una página carezca de valor.

Para un directorio de búsqueda interna que decidiste no rastrear, una regla ilustrativa sería:

User-agent: *
Disallow: /busqueda-interna/

Este ejemplo limita el rastreo de las rutas que coincidan con ese prefijo para bots que respeten el grupo. No retira automáticamente URLs ya indexadas ni controla otros subdominios. Robots.txt se sirve por host y protocolo; verificá que estés editando el archivo del sitio que realmente atiende las solicitudes.

Probá coincidencias antes de publicar. Una barra, un comodín o un prefijo incorrecto puede alcanzar categorías comerciales o recursos necesarios para renderizar páginas. No bloquees archivos CSS o JavaScript que el buscador necesita para comprender el contenido.

En una tienda, reducir combinaciones desde los enlaces y el funcionamiento de los filtros puede ser parte de la solución. La guía sobre facetas y filtros para SEO desarrolla cómo decidir qué combinaciones merecen una URL indexable.

Decisión 4: tenés duplicados y querés consolidar señales

Una categoría limpia y su variante con parámetros de campaña pueden mostrar el mismo contenido. Si el objetivo es indicar la versión preferida, revisá canónicas, enlaces internos y redirecciones cuando correspondan. Agregar noindex a todo no expresa la misma decisión.

Una redirección permanente sirve cuando una dirección debe llevar a otra y ya no necesita ofrecer una página independiente. Una anotación canónica puede expresar preferencia entre versiones que siguen accesibles. Ninguna debería usarse para enviar indiscriminadamente páginas diferentes a la portada.

Si Google está seleccionando otra versión, seguí el diagnóstico de canónicas. Si estás retirando productos o contenidos, evaluá también si hay un reemplazo pertinente o corresponde una respuesta de eliminación. La guía de productos discontinuados aplica esa decisión a un catálogo.

Decisión 5: el contenido desapareció definitivamente

Si la página ya no existe y no tiene sustituto útil, una respuesta HTTP 404 o 410 representa esa situación. Diseñá una página de ayuda si querés orientar al visitante, pero conservá el estado correcto. Mostrar “no encontrado” con 200 puede generar un error suave.

Si el contenido se trasladó a una dirección equivalente, corresponde revisar una redirección. Noindex no lleva a la persona al reemplazo, y un bloqueo de rastreo puede impedir que el buscador vea el cambio.

El caso que más confunde: una URL indexada y bloqueada

Supongamos que un sitio ficticio tiene /resultados/ en Google y después la bloquea en robots.txt. El equipo agrega noindex a la página, pero la URL sigue apareciendo. El bot no puede entrar a leer esa nueva instrucción.

Si el contenido puede seguir siendo público y la decisión es excluirlo del índice, la secuencia consiste en permitir su rastreo, mantener el noindex en la respuesta y comprobar que Google pueda leerlo. Después hace falta un nuevo rastreo y procesamiento; no existe una retirada instantánea garantizada.

No vuelvas a bloquear automáticamente la URL apenas veas que desapareció. El bloqueo vuelve a impedir la comprobación futura de noindex y una URL conocida por enlaces puede seguir planteando problemas. Si también necesitás reducir rastreo a gran escala, definí una política para esas rutas en vez de combinar instrucciones por costumbre.

Para una retirada urgente de resultados, Search Console tiene herramientas de eliminación temporal. Esa solicitud no reemplaza la medida permanente que corresponda: protección, noindex o retirada real. Tampoco borra el contenido del servidor.

Comprobalo en este orden

  1. Abrí la URL exacta. Incluí parámetros, protocolo y host. Confirmá qué contenido recibe una visita sin sesión iniciada.
  2. Revisá estado y cabeceras. Buscá redirecciones, errores y X-Robots-Tag. Una respuesta servida por caché puede diferir de la configuración que acabás de cambiar.
  3. Leé el robots.txt correspondiente. Identificá el grupo aplicable y las reglas que coinciden con la URL. No supongas que la presencia del archivo significa que está bien.
  4. Inspeccioná el HTML. En páginas HTML, comprobá la meta de robots publicada y que no haya una plantilla aplicando noindex a un conjunto mayor.
  5. Contrastá con Search Console. Distinguí la información del rastreo guardado de una prueba actual. Registrá fechas y verificá si el cambio ya fue visto.

Por ejemplo, una petición GET que muestra cabeceras sin guardar el cuerpo puede ayudarte a revisar un PDF:

curl -sS -D - -o /dev/null 'https://sitio.example/documento.pdf'

Ese comando no interpreta robots.txt ni determina si Google ya retiró el recurso. Solo muestra la respuesta que recibió la herramienta. Para evaluar cambios en volumen, combiná el estado de indexación con registros de solicitudes del servidor y una muestra de URLs por patrón.

Dejá escrita la política antes de ampliar la regla

Para cada tipo de URL, documentá si debe ser pública, rastreable e indexable, cuál es la medida elegida y cómo se comprueba. Agregá ejemplos que deben coincidir con la regla y otros que deben quedar fuera. Eso permite revisar una implementación sin convertir cada nuevo caso en una discusión desde cero.

Una política útil distingue páginas comerciales, búsquedas internas, filtros, confirmaciones, archivos y áreas privadas. Si una regla alcanza miles de direcciones, probala primero sobre una muestra representativa y comprobá que no cambie el comportamiento de las URLs que querés conservar. La decisión correcta se reconoce por el problema que resuelve y por una respuesta publicada que la cumple.