En este capítulo vamos a ver cómo funcionan los grandes buscadores, especialmente los spiders. Si tu web tiene muchos contenidos, serán los que más número de visitas te aporten.

Los spiders son robots dedicados a indexar páginas. El webmaster sólo tiene que dar de alta su URL principal, por ejemplo “http://www.lukor.com” y el robot, una vez llegado a esta página, se dedicará a seguir todos los links que encuentre en esa página dentro del dominio (http://www.lukor.com/novedades.htm, http://www.lukor.com/cine/index.htm, etc.). Los spiders se limitan a leer el código HTML y no descargan los gráficos, las animaciones o los scripts. Para hacerse una idea de qué es lo que ve un spider en nuestras páginas, tendremos que desactivar en las opciones de nuestro navegador las que permiten ver gráficos y animaciones y marcar la opción de navegar sin conexión a la red. También podemos usar un navegador de “sólo texto” como Lynx que usa los protocolos más antiguos (sin flash, javascript, etc.) para ver a qué se quedan reducidas nuestras páginas. El primer paso para entrar en estos buscadores suele darlo el webmaster cuando lo da de alta, pero a veces ni es necesario porque el spider llega a esa web siguiendo enlaces desde otras páginas.

Para tener éxito con estos buscadores hay que tener en cuenta cómo entregan los resultados al usuario. Supongamos que un visitante del buscador introduce las palabras de búsqueda “tarifas de billetes de avión para París”. En este caso el buscador puede realizar todas estas operaciones:
- descartar de la búsqueda las palabras “de” y “para” que no tienen contenido sustantivo
- buscar las palabras concretas (“billetes”) o buscar aproximaciones de todo tipo (“billets”, “bille*”, “billetería”)
- buscar en cada una de las partes del documento HTML: título, keywords, descripción, body, campos ALT de las imágenes, etc. - determinar la existencia de todas las palabras clave o empezar entregando resultados coincidentes con la primera palabra, luego con la segunda, etc.
- entregar los resultados ordenados según el número de veces que se repitan todas y cada una de las palabras de la búsqueda en el documento, es decir, en primer lugar aparece la página que tiene más veces “tarifas”, “billetes”, “avión” y “París”.
- entregar los resultados según el número de documentos HTML que existen una URL y que contienen las palabras clave. Por ejemplo, entregar en primera posición una web que tenga 150 páginas con tarifas para distintos destinos que una web que sólo tiene un documento HTML con una larguísima lista con las tarifas de todos los destinos.
- entregar los resultados según la densidad relativa de las palabras clave en el documento (éste es un concepto un poco más complejo), es decir, entrego en primer lugar los documentos que contienen más texto, siempre que dentro de ese documento estén las palabras de la búsqueda de manera que el usuario tenga la mayor información en los resultados ofrecidos. Este concepto se traduce en que el buscador entregará antes una página de 3.000 palabras en la que aparezcan dos veces “tarifas”, “billetes”, “avión” y “París” que una página de cinco líneas en cada una de las cuales están repetidas las palabras “tarifas”, “billetes”, “avión” y “París” cinco veces cada una. - a igualdad de resultados, entregar primero el resultado de la página con más “peso”. El método para determinar el peso de una página varía de un buscador a otro pero uno muy común es determinar el “peso” de la página según la cantidad de links que recibe de otras páginas. Así, la web de Iberia, hacia la que apuntan miles de links que informan sobre viajes o sobre transportes de todo tipo, aparecerá antes que la de “Viajes El mochilero morrocotúo”, que no la conoce nadie y con la que apenas enlazan páginas.

¿Y todo esto lo piensan los buscadores? Pues sí, cada uno de una manera y siguiendo sus propias reglas y criterios. Yo tampoco sé cómo se las arreglan para manejar cientos de millones de páginas y devolver el resultado en 65 centésimas de segundo pero el caso es que lo hacen. Si quieres probar, entra en Google y busca “tarifas de billetes de avión para París” y después busca “paris avión tarifas billetes” y comprobarás que algunos de los resultados cambian de posición o aparecen webs nuevas y desaparecen otras.

También hay que tener en cuenta que la presión económica sobre los propietarios de los buscadores ha hecho que algunos de ellos acepten adulterar los resultados de sus búsquedas colocando en primer lugar a aquéllos que, sin corresponder con lo solicitado por el usuario, han decidido patrocinar su web a base de vil metal. El ejemplo más claro de esto ha sido el de Altavista que no sólo llega a entregar resultados evidentemente irreales sino que a veces llega al puro surrealismo cuando ofrece en primer lugar consumibles de oficina al realizar una búsqueda sobre “lesbianas porno hardcore”.

El mejor ejemplo de spider puro es Google. Basta con introducir la URL de una página web y su robot indexará todas las páginas de esa web cada mes y medio aproximadamente. Según ellos, hasta la fecha tienen indexados en su enorme base de datos más de 1.600.000.000 documentos HTML. Su importancia aumenta día a día no sólo porque lo usan cada vez más usuarios sino porque provee de resultados de búsqueda a cada vez más portales y directorios, entre los que se encuentran el imprescindible Yahoo y portales españoles como Ozú o El Mundo.



En consecuencia, para aparecer en las primeras posiciones en los resultados de búsqueda de estos grandes spiders hay que tener en cuenta estas reglas a la hora de diseñar una página:
1º.- El título de la página debe contener una descripción breve de la página en la que aparezcan las palabras clave por las que queremos ser localizados. En el caso que antes utilizábamos podría ser ““. Pero no basta una descripción para todas las páginas, cada una de ellas variará según el contenido particular de cada página.
2º.- Hay que repetir esta misma operación con los campos KEYWORD y DESCRIPTION de los META TAGS de nuestra página.
3º.- Cada enlace debe ser descriptivo; así, en vez de poner una tabla donde se vean los distintos precios de cada destino (París, Londres, Roma, etc) pondremos en la tabla la descripción completa (Tarifas de billetes para París, Tarifas de billetes para Londres, Tarifas de billetes para Roma, etc.).
4º.- Si los enlaces arriba descritos están hechos con una imagen, utilizaremos todos y cada uno de los campos ALT de las imágenes para introducir otra vez todas las palabras clave así: “<A HREF=26.htm><IMG SRC="paris.gif" ALT="Billetes y reservas económicas y baratas de viajes en avión, precios económicos y baratos para París"></A>“.
5º.- Utilizaremos una plantilla para confeccionar nuestras páginas de manera que no nos sea difícil crear 20, 50 o 200 páginas ofreciendo un fragmento de la información en cada una de ellas. En estas plantillas es MUY IMPORTANTE definir bien enlaces hacia otras páginas y enlaces de vuelta hacia la página principal (index.html o similar) de manera que no se pueda dar el caso de que el spider siga una ruta y tras recorrer tres páginas se encuentre en un callejón sin salida y se vaya a indexar otras webs, haciendo inútil nuestro trabajo.
6º.- Si utilizamos lenguajes de programación distintos del puro HTML como PHP o ASP es imprescindible documentarse bien sobre cómo conseguir que los spiders puedan seguir los links sin dificultad. El que escribe este artículo, sinceramente, no tiene ni idea de cómo se hace esto en concreto pero sí que recuerda haber leído un amargo comentario de un webmaster que se lamentaba de cómo su enorme web de más de 2.500 documentos había desaparecido de los buscadores al “pasarla” a PHP y daba algunas explicaciones que no entendí en absoluto porque mis conocimientos de programación son nulos.

En el fondo de todas estas operaciones subyace una filosofía que consiste en que quienes hacemos las páginas nos solemos olvidar de los usuarios y les damos una forma las estructuramos de una manera lógica (cada uno con la suya) para que la web se pueda usar cómoda y coherentemente pero olvidamos que después de tanto escribir artículos y tanto trabajar en nuestras webs, puede llegar un usuario y no encontrar esta simple página porque llega al buscador y escribe “como anunciar mi pagina web” y en todo este artículo que habla de promoción de páginas web y resultados en los buscadores no aparecía ni una sola vez la palabra “anunciar” (bueno... ahora ya sí sale y la podrán encontrar). Es decir, que si se tiene suficiente tráfico por alguna razón (por ser la web de una empresa importante o de un ayuntamiento o por cualquier otra razón), no será necesario hacer este esfuerzo pero si se tiene una página personal y se quiere recibir tráfico de los buscadores, es imprescindible pensar en cómo buscaría nuestra página un usuario cualquiera, no nosotros mismos. En el caso de quien escribe este artículo, sobre una media de 2.200 páginas vistas diariamente, sólo Google le proporciona más de 300 visitantes únicos cada día y eso, a razón de una media de 2,6 páginas vistas por usuario, se traduce en 800 páginas vistas por usuarios provenientes de este buscador; o sea, más del 30% del tráfico diario. Google da mucha relevancia al título de la página, al tag "TITLE", y haciendo cualquier búsqueda veremos cómo en muchos casos las palabras que hemos utilizado para la búsqueda aparecen en el título de las webs ofrecidas como resultados en los primeros lugares y después en el cuerpo de la página, el "BODY", Aunque algunos buscadores ya han empezado a indexar documentos en formato PDF, lo normal es que se limiten a leer el código HTML de cada página. Por eso es difícil encontrar entre los primeros resultados de las búsquedas páginas con pocos contenidos o realizadas en otros formatos como el Flash. Y esto resalta una condición obvia para que nuestras páginas aparezcan en los buscadores: el contenido. Todo lo escrito en este artículo resultaría inútil si nuestras páginas carecen de fondo, de cientos de palabras que traten sobre algún tema, que satisfagan la necesidad o la simple curiosidad de los posibles visitantes. Esto es sólo una opinión personal, pero la actual velocidad de transmisión de la red hace que no sea apta para la difusión de contenidos multimedia. Cualquiera que haya descargado un vídeo de la red conocerá la experiencia de esperar ocho minutos para descargar una secuencia de diez segundos a una ridícula resolución de 300x320 en un área de 180x160 pixeles. Eso no estaría mal si no fuese porque saliendo de la habitación, en el comedor, tenemos un mando a distancia que nos proporciona como mínimo siete u ocho canales de televisión instantáneamente y, si tenemos satélite o cable, docenas de canales de audio y vídeo. Y lo mismo respecto a las páginas web que te tienen minuto y medio esperando la descarga de una animación flash en la que vemos a un pececillo de cuyas burbujas salen las letras que forman el título de la web (y, lo peor, no tienen un enlace para saltarse la presentación).

Estas dos últimas cuestiones vuelven a enlazar con los párrafos anteriores. Probablemente quien hace esas páginas, dedica muchas horas de esfuerzo para crear su página y, cuando después de tres tardes de trabajo la animación está lista, se dedica a verla una y otra vez en su ordenador, desde su disco duro; pero se olvida de que el resto de los mortales la verán accediendo a ella mediante modems de 56 Kb/s que harán eterna la descarga.

En conclusión, si tu web es un producto personal para ti y tus amigos, puedes saltarte cuantas reglas en el mundo han sido pero, si quieres que el fruto de tu esfuerzo sea conocido en toda la web, piensa en lo que buscan los usuarios.



Una vez hemos construido la página y la hemos preparado para aparecer en los buscadores, habrá que indicarle a éstos la URL en la que la pueden encontrar. En los directorios, ya explicamos antes que no queda otra opción que el alta indicando todos y cada uno de los campos que nos pidan: título, descripción, keywords, etc. A los spiders, simplemente habrá que facilitarles la URL principal y ellos se encargarán de seguir todos los vínculos que encuentren en nuestra web.

Las altas deben ser una tarea periódica que el webmaster debe acometer con regularidad. Antes de embarcarse en la tarea de realizar las altas automáticas, hay que hacer una serie de altas a mano que son imprescindibles y que serán las que nos proporcionen mayor cantidad de visitas porque son los buscadores más utilizados. Se trata de Yahoo, Terra, Google y el Open Directory.

Yahoo es un directorio con millones de visitas y no es fácil que una web sea admitida. Sólo aceptan páginas de cierta calidad y sin errores de bulto; una sección inacabada es motivo suficiente para que una web no sea admitida. De todas formas, tampoco hay que perder la paciencia e insistir si, pasadas seis semanas no se ha recibido el correspondiente email de confirmación.

Terra hace tiempo que reformó su estructura de directorios y ofrece unos resultados de búsqueda algo confusos pero la enorme cantidad de usuarios que hablan español que tiene esta página hace que sea imprescindible estar en ella.

Google es un spider en el que hay que estar. Su importancia viene de la enorme cantidad de visitas diarias que tiene y de ser el proveedor de resultados de búsqueda de otras muchas webs, como la mismísima Yahoo o las españolas Ozú o El Mundo.

Finalmente, hay que conseguir que incluyan tu web en el Open Directory. El Open Directory es un proyecto de la Fundación DMOZ que pretende ser un directorio gratuito de Internet en el que los editores de contenidos colaboren de forma altruista. (Aunque fue comprado por Netscape, sigue siendo gratuito). Una vez formado el directorio, éste se ofrece en su web para que se lo puedan descargar gratuitamente cuantas webs quieran. Y ésta es su importancia: no sólo es el directorio de Google o EresMas sino que si tu web entra en el Open Directory, cada vez que una de estas webs actualice su base de datos de enlaces bajándose la versión actualizada del O.D., habrás conseguido un enlace en webs de cierto prestigio, de forma que la valoración que hacen de tu web algunos buscadores que miden el número de links para determinar la importancia de una web, subirá como la espuma. En cualquier caso, entrar en este directorio es una tarea pesada y requiere que se realice el alta en la categoría adecuada y no se pierda la paciencia. Para facilitar las altas automáticas existen unos programas que se dedican a lanzar miles de altas, más que a los buscadores, contra los buscadores. La verdad es que la inmensa mayoría de estas altas son automáticamente desechadas por los buscadores más pequeños que, en realidad, ofrecen su buscador como una manera alternativa de atraer tráfico hacia sus páginas y no como un verdadero servicio global de búsqueda en Internet.

Otra alternativa la ofrecen algunas páginas con un servicio de altas en buscadores. A su vez, éstas se pueden dividir en dos clases, las que utilizan los mismos programas de los que se habla en el párrafo de arriba y las que tienen verdaderos scripts, normalmente programados en Perl, que se encargan de hacer las altas en vivo y en directo. Los dos servicios más interesantes de éste último tipo son Sonri y WorldSubmitter, la primera de ellas en español. En ambas el procedimiento es el mismo y tiene tres fases: inscripción del usuario, definición de los perfiles de la/s web/s que se van a dar de alta y las altas en sí. Sonri tiene la ventaja de que está en español e incluye numerosos buscadores hispanos, internacionales, nacionales y regionales, y WorldSubmitter tiene la ventaja de que, además de en los buscadores, te puede dar de alta en “tó lo que verdeguea”: páginas de links FFA (páginas de links Para este tipo de altas masivas es conveniente abrirse una cuenta de correo nueva, de usar y tirar, que facilitaremos como nuestra dirección y en la que recibiremos docenas, cientos o miles de emails de confirmación, aceptación, rechazo, posposición o puro spam.

Pese a todo, los mejores resultados se conseguirán visitando uno a uno todos los buscadores de que se tenga noticia y haciendo el alta manualmente. Se trata de una cuestión de método. Tenemos que crearnos una lista de buscadores y repetir cada tres meses las altas. Basta con dedicarle una tarde o un par de horas durante dos o tres tardes.

Como siempre, no hay que olvidar que no hay que dudar en darse de alta en todos los buscadores, páginas de links, libros de visita, foros, etc. que cada uno vaya encontrando a su paso y tener paciencia, mucha paciencia, que es la madre de la visitas.

 Mauricio Luque
www.lukor.com

Otros artículos de Mauricio Luque -Slowview-    -¿Qué es el SPAM?-    -¿Qué pasa en Argentina?-    -Que viene la LOU-    -Afganistán (algunas claves)-    -The Beatles -Historia-    -MSN Messenger-    -Las listas de correo-    -¿Se derrite la Antártida?-    -Los primeros anuncios-    -Pearl Harbor (182 minutos)-    -Cómo aparecer en los buscadores-