Dashboard de Detección de Anomalías

Metodología del Análisis

Este sistema evalúa contratos públicos para identificar anomalías estadísticas mediante un modelo híbrido que combina análisis financiero y textual. La fuente de datos es la API del portal de Datos Abiertos de Colombia, específicamente el dataset 4jvh-c3hj.

Un score de anomalía elevado no implica una irregularidad, sino que es un indicador de que las características de un contrato se desvían significativamente de la norma de su categoría, justificando una revisión más detallada. El proceso se desglosa en los siguientes componentes:

1. Componente de Anomalía Financiera (Score_Financiero)

Para cada tipo de contrato (ej. "licitación pública", "mínima cuantía"), se modela la "normalidad" del valor de los contratos. La anomalía se cuantifica calculando el Z-score, que mide cuántas desviaciones estándar se aleja un valor de la media de su grupo.

2. Componente de Anomalía Textual (Score_Textual)

Se analiza el campo "objeto del contrato" para encontrar términos que son inusualmente relevantes. Esto se logra mediante el algoritmo TF-IDF (Term Frequency-Inverse Document Frequency). Un término con un alto score TF-IDF es uno que aparece frecuentemente en un contrato específico (TF alto) pero es raro en el resto de los contratos de la misma categoría (IDF alto).

El score de anomalía textual de un contrato se define como el máximo valor TF-IDF de cualquier término en su objeto.

3. Score de Anomalía Total (Ponderado y Normalizado)

Dado que el Z-score y el score TF-IDF operan en escalas diferentes, ambos se normalizan a un rango común de [0, 1] usando Min-Max Scaling. Posteriormente, se combinan en un score final mediante un promedio ponderado para reflejar la importancia relativa de cada componente.