Como funcian los motores de busqueda
(y como a veces no!)
Usted sabe lo importante que es calificar en una posicion importante en los SERPs [Search Engine Results Position]. Pero su sitio no alcanza las primeras tres paginas y usted no entiende porque. Puede ser que este confundiendo a los "web crawlers" que estan tratando de indexarla. Como puede saberlo? Continue leyendo.
Usted tiene un muy buen sitio, con mucho contenido relevante, pero el sitio no esta apareciendo en los primeros resultados de busqueda (SERPs). Sab que si su sitio no esta dentro de las primeras paginas, los motores de busqueda probablemente no lo encontraran. Usted no puede entender porque es aparentemente invisible para Google y los otros principales motores de busqueda. Sus competidores mantienen buenos puestos en los SERPs, y ellos tienen sitios que no son, ni cercanamente, tan buenos como el suyo.
Los motores de busqueda no son personas. Para poder manejar las decenas de billones de paginas web que pertenecen a la World Wide Web, las companias de motores de busqueda han automatizado por completo los procesos. Un software no va a ver su sitio web con los mismos "ojos" como un ser humano. Esto no significa que usted no pueda tener un sitio que sea del agrado de sus visitantes, pero si necesita tener en cuenta las maneras en las cuales los motores de busqueda "ven" su sitio web y planear en torno a eso.
A pesar de la complejidad de la red, y tratando con toda la informacion y velocidad, los motores de busqueda actualmente desempenan una pequena lista de operaciones para poder retornar resultados relevantes a sus usuarios. Cada una de estas operaciones pueden ir en direccion equivocada de cierta forma. No es que los motores de busqueda vayan en direccion equivocada, simplemente algunas veces encuentran cosas para las que no estan programados o la forma en que estan programados para tratarlas produce resultados no deseados.
Entender como operan los motores de busqueda le ayudara a comprender como ud puede estar haciendo algo equivocado. Todos los motores de busqueda desempenan las siguientes cuatro tareas:
Web "Crawling" [Analisis]. Los motores de busqueda envian programas automatizados, algunas veces llamados "robots" o "spiders", las cuales usan la estructura de los hipervinculos de la red para analizar sus paginas. De acuerdo a alguno de nuestros mejores estimados, los robots de los motores de busqueda han analizado aproximadamente la mitad de las paginas que existen en internet.
Indexado de Documentos. Luego que los robots examinan una pagina su contenido necesita ser puesto en un formato que sea facil de recobrar cuando el usuario consulte en el motor de busqueda. Debido a esto las paginas estan guardadas en una gigante, estrechamente administrada base de datos que conforma el index de los motores de busqueda. Estos indeces contienen billones de documentos, los cuales son enviados a los usuarios en solo fracciones de segundos.
Procesamiento de Consultas. Cuando un usuario consulta un motor de busqueda, lo que sucede cientos de millones de veces cada dia, los motores examinan sus indeces para encontrar documentos que concuerden. Las consultas que lucen superficialmente igual pueden producir muchos resultados diferentes. Por ejemplo, una busqueda con la frase "fiel and stream magazine", sin usar comillas, produce mas de cuatro millones de resultados en Google. Haga lo mismo, usando comillas y Google dara solamente 19.600 resultados. Esto es solo uno de los muchos modificadores que un motor puede usar para dar la base de datos una mejor idea de que deberia tomar en cuenta como resultados relevantes.
Resultado de Posiciones. Google no va a mostrar todos los 19.600 resultados en la misma pagina - y aun si lo hiciera, necesita alguna manera de decidir cuales debe mostrar al pricipio. De esta forma los motores de busqueda corren algoritmos en los resultados para calcular cuales son los mas relevante.
Ahora que ya tiene alguna idea del lo que involucra el proceso, es tiempo de echar una mirada mas de cerca a cada uno. Esto le ayudara a entender como hacer que las cosas vayan bien, como y porque se estas tareas pueden ir mal. Este artiuclo se en focara en analisis de la web.
"Stumbling" en vez de "Crawling"
Usted probablemente esta pensando principalmente en sus visitante humanos cuando crea la navegacion en su sitio web, de hecho ud debe hacerlo. Pero cierta clase de estructuras de navegacion pueden perder a los robots, haciendo menos probable para estos visitantes encontrar su sitio web en primer lugar. Como valor agregado, muchas de las cosas que ud le hace a su sitio y que facilitaran a los robots el encontrar contenido, a menundo haran mas facil la navegacion en su sitio para sus visitantes.
Ademas, es bueno tener en mente que usted no deberia desear que los robots puedan indexar todo su sitio web. Si ud posee un sitio con contenido en el que los usuarios deben pagar una cuota para accesarlo, problemente no querra que Google consiga este contenido y lo muestre a cualquiera que inserte los keywords correctos. Hay maneras de bloquear tal contenido para los robots, deliberadamente. A lo largo de este articulo, el cual esta creado principalmente como una introduccion, seran mencionadas brevemente.
Los URL's dinamicos son unos de los mas grandes bloqueos para los robots de los motores de busqueda. En particular, paginas con dos o mas parametros dinamicos daran un ajustes a los robots. Usted puede reconocer una URL dinamica cuando la ve, usualmente tiene un monton de 'basura', comillas, signos de igual '=', '&' y '%'. Estas paginas son buenas para el uso de usuarios humanos, quienes usualmente las accesan para poner ciertos parametros en la pagina. Por ejemplo, introducir un codigo postal dentro de una celda en weather.com le llevara a una pagina que describe el clima para una area en una zona especifica de los Estados Unidos - y una URL donde esta localizada la pagina.
Hay otros casos en los que los robots se ven afectados por la conplejidad. Por ejemplo, paginas con mas de 100 unicos links a otras paginas en el mismo sitio podrian cansarlas con solo una mirada. Una arana podria no seguir cada link. Si ud trata de construir un mapa del sitio, hay formas mejores de organizarlos.
Paginas que estan mas alla de tres clicks de la pagina principal del sitio podrian no ser analizadas. A los robots no les gusta ir tan profundo. En este sentido, muchos humanos pueden perderse en un sitio web con tantos niveles de links si no hay alguna clase de guia navegacional.
Paginas que requieren una 'cuenta' para habilitar la navegacion podrian nos ser analizadas por los robots. Los robots no son buscadores, y no tienen las mismas capacidades. Ellas podrian no ser capaces de retener estas formas de identificacion.
Otro bloqueo para los robots son paginas que estan divididas en 'frames'. Muchos disenadores de web gustan de los 'frames'; esto les permite mantener la navegacion de la pagina en un solo lugar aun cuando el usuario se mueva dentro del contenido. Pero los robots encuentran confusos los sitios con 'frames'. Para ellas, contenido es contenido, y no tienen forma de saber cuales paginas deben aparecer en los resultados. Francamente, a muchos usuarios tampoco les gustan las paginas con frames, lejos de proveer una interaccion limpia, tales paginas muchas veces lucen confusas.
Muchos de los bloqueos anteriores son aquellos que accidentalmente usted podria poner en el camino de las aranas. El proximo grupo de bloqueos incluyen algunos que los propietario del sitio web podrian usar para bloquear las aranas. Aunque anteriormente mencione una de las razones mas obvias para bloquear una arana (contenido en el que los usuarios deben pagar para poder accesarlo), ciertamente hay otras: el contenido por si mismo deberia ser gratuito, pero no deberia ser facilmente accesado por todos, por ejemplo.
Paginas que puden ser accesadas solamente despues de llenar un formulario y presionar "Submit" podrian tambien ser puertas cerradas para las aranas. Pinse en ellas como no si no se pudieran presionar botones ni escribir. De la misma forma, paginas que requieren del uso de menues desplegables para accesarlas podrian no ser analizadas por las aranas.
Documentos que estan bloqueados a proposito usualmente no son analizados por las aranas. Esto puede ser manejado con robots "meta tags" o robots.txt file.
Paginas que requieren de 'login' bloquean los robots de los motores de busqueda. Recuerde que los "robots" no pueden "escribir", anteriormente mencionado. Entonces, como van a hacer un "login" para conseguir la pagina?
Finalmente, me gustaria hace una nota especial de las paginas que redireccionan antes de mostrar el contenido. No solamente eso no indexara su pagina, podria ser inhabilitado. Los motores de busqueda se refieren a esta tactica como “encubrimiento” or “provocar-y-cambiar.” Puede revisar Google’s guidelines for webmasters (http://www.google.com/intl/en/webmasters/guidelines.html) si tiene alguna pregunta sobre que is considerado como legitimo y que no.
Ahora que sabe que asfixia a los robots, como las anima a ir donde usted quiere que vayan? La clave es proveer HTML links directamente a cada pagina que ud quiere que los robots visiten. Tambien, darles una " piscina segura" donde puedan jugar. Los robots usualmente empiezan en su pagina principal, si alguna parte de su sitio no puede ser accesado desde ahi, hay posibilidades de que los robots no los vean. Hay es cuando el uso de un mapa del sitio es invaluable.
Como ven los robots un Hyper-Link?
Asumire que esta familiarizado con HTML. Si alguna vez a visto un codigo fuente de una pagina en HTML, probablmenten noto texto como este en el lugar donde aparece cada hyperlink:
Cuando un buscador lee esto, sabe ue el texto "SEO Chat" deberia ser un hyperlink para la pagina web http://www.seochat.com. A proposito, “SEO Chat” en est caso es el “anchor text” de el link. Cuando un robot lee esto, piensa, “Okay, la pagina http://www.seochat.com esta relacionada con el texto en esta pagina y muy relacionada con el termino `SEO Chat.’”
Pongamoslo un poco mas complicado.
Ahora que? El "anchor text" no ha cambiado, entonces el link todavia se vera igual cuando el browser lo muestre. Pero un robot pensara, “Okay, esta pagina no esta solamente relacionada con el termino`SEO Chat,’ tambien esta relacionada con la frase `Great Site for SEO Info.’ Y miren, hay una relacion entre la pagina que estoy analizando y este hyperlink! Dice que este link no cuenta como un "voto" para la pagina que esta siendo enlazada. Okay, entonces no lo anadire al page rank.”
El ultimo punto, sobre no tomar en cuenta un voto para la pagina a la que se esta enlazando, es lo que la etiqueta rel="nofollow" hace. Esta etiqueta sirve para el problema de gente registrando comentarios en blogs con links que dicen cosas como "Visit my pharmaceuticals site!" Esta clase de comentarios son un intento del alguien por aumentar la posicion de su propio sitio en el posicionamiento de los motores de busqueda. Son llamandos comentarios spam, por cierto; muchos de los principales motores de busqueda no aceptan comentarios spam porque desenfocan sus resultados, haciendolos menos relevantes. Como pudo haber adivinado, entonces, la etiqueta “nofollow” en el atributo “rel” es especificamete para los motores de busqueda; realmenten no esta ahi para ser notado por nadie mas. Yahoo!, MSN, y Google lo reconoce.
En algunos casos, un link puede ser asignado a una imagen. El hyperlink entoces incluira el nombre de una imagen, y podria incluir algun texto en el atributo “alt”, el cual podria ayudar en un "voice-based" browsers used por ciegos. Tambien ayuda a los robots, porque les da otra pista para saber de que se trata la pagina.
Los Hyperlinks pueden tomar otras formas en la web, sin dejar de lado el valor de los robots. En general, entre mas cercano que se sea el link al texto normal, mas facil es para los robots seguirlo, y viceversa.
