Método de control masivo de indexación de URLs

Método de control masivo de indexación de URLs
5 (100%) 3 votos

Por mucho que nos esforcemos en trabajar el posicionamiento de nuestro sitio web, y conseguir más y más tráfico, uno de los problemas más graves que existen es que no tenemos el 100% de nuestro sitio web bien indexado en los buscadores.

Por tanto, si no hemos indexado, es poco probable que nos llegue tráfico orgánico verdad? Pues por esta razón yo me lo tomo casi como algo personal.

Y como vimos en el post anterior sobre un montón de formas de indexar una URL en Google, luego tendremos que comprobar que cada una de ellas realmente se indexa.

¿Cómo puedo saber si mi URL está indexada?

La forma más simple de saber si una URL está indexada es realizar una consulta en el buscador similar a esta:

site:albertofdez.com/mi-url

Esto ya lo hemos visto en mil sitios, y está bien cuando quieres mirar alguna cosilla puntual. Sin embargo, para los que nos dedicamos a esto, ¿no os vendría mejor checkear al completo todas las URLs de un sitio web? Algo así como pasarle Screaming Frog e ir chequeando una a una cada una de las URLs en HTML que tiene el sitio, y que automáticamente nos apareciera si está indexada o no.

WMT podría mejorar un poco e informarnos de qué URLs tenemos o no tenemos indexadas, en vez de quedarse solamente en el dato, el número de cuántas de ellas lo están.

Pues esto es lo que he intentado hacer y vamos a ver algunas posibilidades para conseguirlo:

Consejo MJ en el Congreso SEO Online

Charlando con MJ Cachón en el turno de preguntas de su ponencia en el Congreso SEO Profesional, comentaba la posibilidad de hacerlo cruzando el conjunto de URLs de tu sitio web (sacado con herramientas como Screaming Frog) con el informe que sacaran herramientas como Scrapebox al realizar una búsqueda con comando, como podéis ver en la imagen.

scrapebox-indexacion

Del mismo modo, Scrapebox tiene una opción para  checkear la indexación de un conjunto de URLs (Check Indexed) que nosotros introdujéramos, aunque nunca he conseguido que funcione al 100%.

Control de indexación masiva usando Google Spreadsheet

Mi experiencia con Spreadsheet es de amor-odio. Me encanta, me parece la leche, pero falla más que una escopeta de feria a la vez de que es muchísimo más lenta que cualquier Excel.

Sin embargo, me permite hacer cosas que con Excel jamás podría, ni aún instalándole montones de SEO Tools.

La clave de todo está en la fórmula ImportXML, capaz de encontrar algo en el código fuente de una URL. Según esto, podríamos tratar de investigar la diferencia entre la URL de Google.es cuando se realiza una búsqueda con el comando site de una URL determinada, cuando la encuentra y cuando no.

El Bulk Check Index

Vale, pues ahora vamos a ver cómo lo construiríamos.

Bulk Check Index… ¿sabrías cómo hacerlo? - Compártelo       

Control de indexación masivo con URL Profiler

Actualizando este post siguiendo el comentario de MJ, os pongo aquí mis pruebas y el magnífico resultado usando esta herramienta. URL Profiler tiene un coste mensual de 12,95 libras al mes. Además, tendríamos que sumarle la compra de algunos proxys, que podéis hacerlo desde aquí

Una vez introducidos los proxies en las opciones de configuración, tenemos que seleccionar las opciones que nos interesan. En este caso, vamos a seleccionar lo relativo a la indexación en Google.

opciones url profiler

Para añadir todas y cada una de las URLs del sitio web no hemos echo más que utilizar el programa Screaming Frog, filtrar por HTML, copiar las direcciones web y pegarlas con botón derecho en este programa.

Una vez que lo iniciamos marcando la opción “Run Profiler” nos genera un informe similar al que aparece en la siguiente imagen.

url profiler google index

Como veis, aparece en una columna con el encabezado URL Google Indexed un valor verdadero o falso en el caso de que esté indexada o no lo esté.

El único problema que le veo, y por lo que estoy intentando contactar con soporte, es que yo quiero saber si está indexada en Google.es, y mu probablemente las comprobaciones me las esté realizando el Google.com.

Os mantendré informados 😉

¿Conocéis vosotros alguna herramienta que haga esta función o lo realizáis de alguna otra manera? Formas hay muchas, y en ocasiones tenemos que sacarnos las castañas para intentar ahorrar tiempos en algo tan simple y a la vez relevante como esto.

 

  • Mj 1 enero, 2015 12:23 pm

    Muy bueno Alberto.

    Con Urlprofiler puedes comprobar listados de urls y ver si están indexados o no.

    Y esa misma tool ha creado scrapers para extraer de forma masiva lo que queramos de Google, como hace ScrapeBox. Pruébalo que esta interesante, también para extraer info de topsy y de Twitter list.

    Feliz año

    • alberto 2 enero, 2015 12:23 pm

      Buenas MJ! Gracias por pasarte por aquí.

      He mirado lo que comentas, a ver qué nos dice soporte del problemilla que me surge con la indexación en datacenter por país.

      Un saludo!

  • Elena 4 abril, 2016 7:52 am

    Hola, muy buen post! Estoy probando en el Spreadsheet la formula para scrapear todas las url´s indexadas de un dominio y me funciona solo con las 100 primeras pero luego cambiando start=100 para las 100 siguientes no me funciona: =importXml(“https://www.google.com/search?q=site:www.midominio.com&num=100&start=1”; “//cite”)
    ¿sabes por qué puede ser? ¿ O si hay otro método o herramienta? Necesito meter en un excell las 1300 urls indexadas de un dominio. Gracias!

    • alberto 4 abril, 2016 10:43 am

      Hola, pues puedes probar con Scrapebox por ejemplo, que te sacará todas las URLs indexadas si le colocas un site:doomain.com
      Un saludo!

  • booking 2 junio, 2016 12:04 pm

    Hola, buen post, estoy buscando como identificar las urls de un sitio que contiene unos cuantos millones de urls en varios idiomas, tuve un problema de etiqueta robot:index/noindex y actualmente tengo algo descontrolado el asunto.. 🙁 así que necesito hacerlo en bloques grandes… del soporte técnico de URL Profiler aclararon si la verificación era solo en el .es o el .com .. o como o hacen???
    Un saludo

    • Alberto Fernández 22 noviembre, 2016 2:56 pm

      La comprobación la herramienta la realiza sobre el .com. Sin embargo, cuando compruebas indexación con una query avanzada, lo haces de forma general, da lo mismo donde la lances. Así que no necesitas seleccionar el Google del país que sea 😉

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Post relacionados con: Método de control masivo de indexación de URLs

Solicita presupuesto



Mensaje

Acepto condiciones y términos legales

Posts relacionados con:close