La información en internet puede verse como un gran iceberg, donde encontramos información que es visible por que se encuentra sobre la superficie y otra que es invisible ya que se encuentra por debajo. Con esto en mente, la información en la web se clasifica en: Superficial y/o Profunda.
La primera, la Superficial, es toda aquella que se encuentra indexada por los robots buscadores convencionales. La segunda, la Profunda, esta constituida a su vez por toda la información que es"invisible" a los robots de los buscadores tradicionales.
A su vez, esta se pude clasificar como:
- Opaca: que está compuesta por archivos que, si bien podrían estar incluidos en los índices de los buscadores, no lo están por alguno de los siguientes motivos: extension de indización; frecuencia de indización; Numero máximo de resultados; URL desconectadas.
- Privada: consiste en las páginas Web que podrían estar indizadas en los buscadores pero son excluidas deliberadamente por alguno de estos motivos: paginas protegidas por contraseña; paginas protegidas de indización por medio de un robot.txt; páginas con campo "noindex".
- Propietaria: incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o arancelada.
- Realmente invisible: se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.
