Sabíamos que era grande ::
26/07/08. Leer el artículo original en The Official Google Blog.
Hace tiempo que lo sabíamos: la red es grande. El primer índice de Google en 1998 ya tenía 26 millones de páginas, y en el 2000 llegó a los mil millones. […] Recientemente, nuestros sistemas que procesan enlaces de la red para encontrar nuevo contenido marcaron un nuevo hito: ¡un billón de URLs únicas (es decir, 1.000.000.000.000) al mismo tiempo!
¿Cómo encontramos todas esas páginas? Empezamos con una serie de páginas iniciales bien conectadas y seguimos todos sus enlaces hacia nuevas páginas. Después seguimos los enlaces de esas nuevas páginas hasta aún más páginas, y así sucesivamente, hasta que tenemos una lista enorme de enlaces. De hecho, encontramos más de un billón de enlaces individuales, pero no todos ellos conducen a páginas web únicas. […] Aun después de descontar el contenido duplicado, vimos un billón de URLs únicas, y el número de páginas web individuales que hay en la red aumenta en varios miles de millones de páginas cada día.
Vía Technorati