Análisis Profundo de Calidad de Datos para CSV

El CSV Analyzer es una habilidad especializada diseñada para automatizar el 80% inicial de los flujos de trabajo de ciencia e ingeniería de datos: comprender la estructura, la calidad y los patrones ocultos de un conjunto de datos. En lugar de escribir manualmente scripts repetitivos en pandas o SQL para detectar nulos y valores atípicos, esta habilidad realiza una auditoría exhaustiva de cualquier archivo CSV en segundos.

Qué hace

• Detección Inteligente de Tipos: Va más allá de cadenas e enteros básicos para identificar correos electrónicos, URLs, UUIDs, fechas y datos categóricos.
• Análisis Estadístico Profundo: Calcula distribuciones, valores atípicos basados en IQR y asimetría para datos numéricos, junto con análisis de alta cardinalidad para texto.
• Auditoría de Calidad de Datos: Detecta tipos mixtos, columnas constantes, espacios en blanco al inicio o al final, y columnas casi duplicadas.
• Mapeo de Relaciones: Identifica correlaciones de Pearson fuertes entre variables numéricas para revelar posibles redundancias.

¿Por qué usar esta habilidad?

Mientras que un LLM estándar puede examinar unas pocas filas de datos, no puede calcular estadísticas con precisión ni analizar más de 10.000 filas en busca de anomalías sin ayuda. Esta habilidad aprovecha herramientas de Bash y del sistema de archivos para procesar grandes conjuntos de datos de forma fiable, generando un CSV_REPORT.md estructurado que sirve como artefacto de documentación permanente para tu proyecto. El resultado ofrece recomendaciones accionables para la limpieza de datos (imputación, deduplicación, etc.) que puedes trasladar a tu agente o a un equipo de datos.