Analítica y predicción de tráfico web

Los servidores de la Agencia Española de Protección de Datos (AEPD) registran millones de peticiones técnicas cada mes. Sin embargo, un archivo de logs no explica cómo los ciudadanos utilizan el portal: peticiones automáticas, recursos técnicos de páginas y accesos duplicados se mezclan con consultas reales sobre privacidad y derechos.

El reto de este proyecto (mi Trabajo de Fin de Grado en el IRTIC de la Universitat de València) fue transformar ese volumen masivo de datos en una herramienta analítica clara: depurar la actividad real, estructurarla en un almacén de datos y anticipar el tráfico horario para planificar recursos con antelación.

Para que el sistema resultara verdaderamente útil, la solución debía responder a dos necesidades complementarias: dotar a la dirección de visibilidad histórica sobre los trámites más demandados y anticipar los picos de visitas para dimensionar la infraestructura técnica.

Como autor del proyecto desarrollado en el IRTIC para la AEPD, mi contribución abarcó la responsabilidad técnica completa de extremo a extremo: desde el diseño del modelo dimensional y la automatización ETL, hasta el desarrollo de modelos de Machine Learning y la entrega del cuadro de mando interactivo.

Diseñé e implementé el pipeline en Pentaho para filtrar el tráfico de rastreadores (bots) y reconstruir sesiones de navegación ciudadana, modelé el almacén dimensional en PostgreSQL y formulé el problema de predicción de visitas horarias.

Asimismo, entrené y evalué algoritmos de gradiente (XGBoost, LightGBM e HistGradientBoosting) con optimización bayesiana y validación temporal rigurosa, construyendo finalmente el dashboard en Power BI que fue transferido a producción y calificado con un 10/10.

La arquitectura del proyecto resuelve un problema habitual en analítica web: los servidores generan un torrente continuo de registros técnicos no estructurados que deben transformarse antes de llegar a la base de datos para no degradar su rendimiento.

Diseñé una estructura lineal en dos capas sobre PostgreSQL. En primer lugar, una zona de staging recibe y valida los archivos de registro crudos; posteriormente, un almacén dimensional en esquema en estrella (Star Schema) consolida las sesiones de los usuarios, separando los hechos cuantificables de las dimensiones descriptivas (tiempo, trámite y tipo de solicitud).

Esta base unificada sirve como fuente única de verdad para dos propósitos independientes: alimenta el cuadro de mando en Power BI para la toma de decisiones directivas y provee los datos históricos a los modelos en Python para la predicción de tráfico.

Si los datos de partida contienen ruido, cualquier cuadro de mando o predicción carecerá de sentido. Los servidores no solo registran a ciudadanos: reciben rastreos constantes de robots y llamadas a elementos técnicos de las páginas.

Mediante Pentaho Data Integration, programé un flujo automatizado (ETL) que descartó más del 40% del volumen inicial correspondiente a rastreadores automatizados y recursos estáticos. Además, reconstruyó las visitas reales de las personas agrupando sus clics consecutivos en sesiones de navegación mediante ventanas de 30 minutos de inactividad.

Con la actividad ciudadana depurada y vinculada a sus trámites correspondientes, los datos quedaron organizados y listos para dar el salto del análisis histórico a la predicción futura.

Con los datos organizados por sesiones y horas, el siguiente paso fue pasar de ver el pasado a anticipar el futuro: ¿cuántas visitas recibirá la sede electrónica en cada hora del día siguiente para dimensionar la infraestructura técnica?

El tráfico web sigue patrones muy marcados: hay más actividad a media mañana que de madrugada, y los días laborables tienen mucha más afluencia que fines de semana o festivos. Por eso, enriquecí los datos con el calendario oficial (festivos nacionales y autonómicos) y con el historial de visitas de las últimas 24 horas y de la misma hora de la semana anterior para capturar la inercia habitual.

Entrené y comparé modelos de Machine Learning (XGBoost, LightGBM e HistGradientBoosting) ajustando sus parámetros para encontrar la mayor precisión. Para garantizar que las previsiones funcionaran en la práctica, evalué los modelos únicamente intentando predecir días futuros que no habían aparecido durante el entrenamiento.

La gráfica inferior muestra este resultado: la curva estimada por el modelo reproduce fielmente los picos de máxima afluencia laboral y el descenso nocturno, ofreciendo a los administradores una referencia fiable con horas de antelación.

La inteligencia predictiva y los datos depurados debían ser fácilmente interpretables por el equipo directivo y técnico de la AEPD. Por ello, diseñé un cuadro de mando interactivo en Power BI que integra en una misma pantalla el análisis histórico de visitas y las previsiones horarias del modelo.

El informe permite explorar qué servicios digitales generan mayor afluencia (como el canal de denuncias o las guías de protección de datos), identificar patrones según la procedencia geográfica y contrastar de un vistazo la demanda real frente a la esperada.

El proyecto obtuvo la máxima calificación académica (10/10) en la Universitat de València y fue transferido a producción, operando actualmente como una herramienta oficial utilizada por la propia Agencia Española de Protección de Datos para supervisar su sede web.

A continuación puedes interactuar con el cuadro de mando funcional con datos ficticios ilustrativos. Filtra por periodo o procedencia y consulta las predicciones horarias estimadas por el sistema.

Este proyecto consolidó una convicción profesional clave: la calidad del dato en origen determina todo lo que ocurre después. Una mala regla de filtrado en los registros brutos distorsiona el cuadro de mando y desvía por completo el aprendizaje del modelo predictivo.

Comprobé también que en problemas operativos de demanda, anticipar la forma de la curva y el momento exacto del pico de tráfico es mucho más valioso para los gestores que perseguir un error decimal mínimo.

Por último, trabajar para la autoridad nacional de protección de datos reafirmó que el rigor ético, la privacidad por diseño y la trazabilidad no son frenos al desarrollo, sino los pilares que hacen que una solución analítica sea creíble y duradera.