Minería de datos

Actividad integradora

MINERÍADE DATOS

Teoría del curso y resultados del análisis con WEKA sobre reservaciones.

Almacén en MySQL · vista vw_minable_reservaciones

Estadísticas descriptivas · WEKA · J48 (95%) · SimpleKMeans (K = 3)

Teoría Resultados
  • Proceso KDD y CRISP-DM
  • Herramientas WEKA, J48, K-Means
  • Dataset 40 reservaciones, 18 atributos
0 Instancias
0 Precisión
0 Clusters

Sección 1

Base teórica

Temas y conceptos del curso, con citas y referencias en formato APA (7.ª ed.).

Sociedad de la información y sociedad del conocimiento

La sociedad de la información describe un contexto social donde las redes digitales y el manejo intensivo de datos organizan gran parte de la actividad económica, política y cultural (Castells, 2006). La información pasa a ser un recurso central para producir, comunicar y decidir.

La sociedad del conocimiento enfatiza no solo disponer de datos, sino convertirlos en conocimiento aplicable. La UNESCO (2005) señala que el conocimiento se genera, comparte y utiliza de manera colectiva, con efectos en educación e innovación.

Inteligencia de negocios

La inteligencia de negocios (Business Intelligence, BI) reúne tecnologías y procesos para transformar datos operativos en información útil para la gerencia (Turban et al., 2011). Sirve para consultar indicadores, elaborar reportes y analizar el negocio desde distintas dimensiones.

Un entorno de BI normalmente incluye extracción de datos, un almacén, análisis multidimensional (OLAP) y visualización. La minería de datos se usa dentro de este entorno cuando se buscan patrones que no aparecen en reportes tradicionales (Han et al., 2012).

OLAP

OLAP (Online Analytical Processing) permite consultar grandes volúmenes de datos históricos desde múltiples perspectivas —por ejemplo, tiempo, producto, canal o región— mediante operaciones como slice, dice, drill-down y roll-up (Chaudhuri y Dayal, 1997).

A diferencia de OLTP (operaciones del día a día), OLAP se centra en consultas agregadas. MOLAP guarda datos preagregados en cubos; ROLAP consulta el almacén relacional; HOLAP combina ambos (Kimball y Ross, 2013).

Minería de datos

La minería de datos consiste en encontrar patrones, relaciones o modelos a partir de conjuntos de datos, con métodos estadísticos y de aprendizaje automático (Han et al., 2012). Permite describir, predecir o segmentar casos con base en evidencia cuantitativa.

Según Fayyad et al. (1996), la minería de datos es una etapa del proceso KDD (descubrimiento de conocimiento en bases de datos), no solo la ejecución aislada de un algoritmo.

¿Qué es el proceso de KDD y cuáles son sus etapas?

El KDD (Knowledge Discovery in Databases) es el proceso para identificar patrones válidos, nuevos, útiles y comprensibles en los datos (Fayyad et al., 1996). Ordena el trabajo desde la selección de fuentes hasta la evaluación de resultados.

“KDD is the non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data.” — Fayyad, Piatetsky-Shapiro y Smyth (1996, p. 40).

El proceso se divide en estas etapas:

1

Selección

Se eligen las fuentes y los subconjuntos de datos relevantes para el problema de negocio.

2

Preprocesamiento

Se limpian valores faltantes, se tratan outliers y se corrigen inconsistencias.

3

Transformación

Se construyen atributos, se normalizan variables y se genera la vista minable.

4

Minería de datos

Se aplican algoritmos de clasificación, agrupamiento, asociación u otras tareas.

5

Interpretación y evaluación

Se validan los patrones, se miden métricas de calidad y se traducen a decisiones.

En este proyecto también se usó CRISP-DM, que organiza comprensión del negocio, datos, preparación, modelado, evaluación y despliegue (Chapman et al., 2000).

Tareas y técnicas de minería de datos y su correlación

Las tareas indican qué se quiere lograr (clasificar, agrupar, asociar, etc.) y las técnicas son los métodos que se usan para hacerlo (Witten et al., 2017). La tabla siguiente muestra esa correlación.

Tarea Objetivo Técnicas asociadas
Clasificación Asignar una etiqueta discreta a nuevas instancias Árboles de decisión (C4.5/J48), Naive Bayes, SVM, redes neuronales
Agrupamiento Descubrir grupos naturales sin etiqueta previa k-means, hierarchical clustering, DBSCAN
Asociación Encontrar co-ocurrencias frecuentes Apriori, FP-Growth
Regresión / predicción Estimar un valor continuo Regresión lineal/logística, árboles de regresión
Detección de anomalías Identificar comportamientos atípicos Isolation Forest, One-Class SVM, reglas de distancia

Herramientas ETL, MOLAP, Data Warehouse y Data Marts

ETL (Extract, Transform, Load) extrae datos de distintas fuentes, los transforma y los carga en un destino analítico (Kimball y Ross, 2013). Ejemplos: Talend Open Studio, Apache NiFi, Informatica PowerCenter, Microsoft SSIS y Pentaho Data Integration.

Un Data Warehouse es un almacén integrado, histórico y no volátil para soporte a la decisión (Inmon, 2005). Los Data Marts son subconjuntos por área de negocio, por ejemplo ventas u operaciones (Kimball y Ross, 2013).

MOLAP aplica OLAP sobre cubos con agregaciones precalculadas para responder consultas multidimensionales con mayor rapidez (Chaudhuri y Dayal, 1997).

Vista minable

La vista minable es el conjunto de datos ya preparado (atributos relevantes y tipificados) sobre el que se aplica el algoritmo de minería (Fayyad et al., 1996; Han et al., 2012).

En este proyecto la vista vw_minable_reservaciones incluye canal, categoría de servicio, montos, duración, anticipación y la variable objetivo target_estado_cita.

Herramientas de minería de datos

Algunas herramientas comunes de minería de datos son WEKA, RapidMiner, Orange, Knime, Python (scikit-learn, pandas) y R (Witten et al., 2017).

En este trabajo se utilizó WEKA porque permite cargar datos en ARFF, aplicar algoritmos de clasificación y clustering, y revisar métricas como la matriz de confusión.

Técnicas de minería de datos

Los árboles de decisión (C4.5 / J48) construyen reglas IF–THEN fáciles de interpretar (Quinlan, 1993; Witten et al., 2017).

El clustering con k-means agrupa instancias por similitud sin usar una etiqueta previa (Han et al., 2012). Aquí se aplicaron ambas técnicas: J48 para predecir el estado de la cita y SimpleKMeans para obtener perfiles de reservación.

Sección 2

Resultados del análisis

Resultados sobre vw_minable_reservaciones.csv con WEKA: J48 y SimpleKMeans.

Instancias

40

Reservaciones analizadas

Atributos

18

Columnas en la vista minable

Precisión J48

95%

38 de 40 instancias correctas

Kappa

0.89

Estadístico Kappa = 0.8925

Almacén de datos para generar vistas minables

El almacén se creó en MySQL (SGBD relacional). Con las tablas de cliente, negocio, servicio, canal y reservación se armó el modelo correlacional y se generó la vista SQL vw_minable_reservaciones (40 registros y 18 atributos). Esa vista se exportó a CSV/ARFF para analizarla en WEKA. El objetivo fue predecir target_estado_cita para reducir cancelaciones y no-shows.

Diagrama correlacional del modelo de datos

Modelo correlacional del almacén Entidades Cliente, Negocio, Servicio, Canal y Tiempo se relacionan con la tabla hecho Reservacion; de ahí se deriva la vista minable vw_minable_reservaciones. Cliente genero, segmento Negocio categoria, ciudad Servicio nombre, categoria Canal nombre, plataforma Tiempo dia, mes, anio Reservacion (hecho) id_reservacion, monto_cobrado, duracion_real_minutos, tiempo_anticipacion_dias, metodo_pago, target_estado_cita Vista minable: vw_minable_reservaciones 18 atributos · 40 instancias · clase target_estado_cita
Diagrama correlacional del almacén en MySQL: entidades relacionadas con Reservacion y vista minable resultante.

Atributos de la vista minable

  • id_reservacion
  • cliente_genero
  • segmento_cliente
  • negocio_categoria
  • negocio_ciudad
  • nombre_servicio
  • categoria_servicio
  • nombre_canal
  • tipo_plataforma
  • cita_dia_semana
  • cita_mes
  • cita_anio
  • monto_cobrado
  • duracion_real_minutos
  • tiempo_anticipacion_dias
  • metodo_pago
  • motivo_cancelacion
  • target_estado_cita

Distribución de la clase: Completada 28 (70%), No-show 6 (15%), Cancelada 6 (15%). Archivo generado desde MySQL: vw_minable_reservaciones.csv.

Herramientas utilizadas en el análisis de datos

MySQL para el almacén y la vista minable; WEKA Explorer para el modelado. Preparación: normalización y conversión a ARFF. Metodología CRISP-DM (F01–F06).

  • MySQL (SGBD / almacén)
  • Vista SQL vw_minable_reservaciones
  • WEKA Explorer
  • Formato ARFF
  • trees.J48
  • SimpleKMeans

Estadísticas descriptivas

Valores básicos sobre variables numéricas de la vista minable (n = 40), calculados antes de aplicar las técnicas de minería.

Variable Media Mediana Mínimo Máximo Desv. est.
monto_cobrado ($) 434.25 350.00 0.00 1200.00 383.67
duracion_real_minutos 30.13 35.00 0.00 70.00 21.95
tiempo_anticipacion_dias 11.45 10.00 2.00 25.00 6.05

Técnicas utilizadas en el análisis de datos

Se aplicaron dos técnicas de minería de datos (además de la estadística descriptiva): clasificación con árbol de decisión y agrupamiento.

1) Clasificación — J48 (C4.5): parámetros -C 0.25 -M 2, evaluación sobre el conjunto de entrenamiento. Resultado: 38/40 correctas (95%), Kappa 0.8925, MAE 0.0489.

2) Agrupamiento — SimpleKMeans: K = 3, distancia euclidiana. Resultado: tres perfiles de reservación por canal, categoría y estado predominante.

Estadísticas por estado de cita
Estado n Monto media / mediana Duración media / mediana Anticipación media / mediana
Completada 28 $620.36 / $600.00 43.04 / 42.50 min 10.79 / 10.00 días
No-show 6 $0.00 / $0.00 0.00 / 0.00 min 11.17 / 10.00 días
Cancelada 6 $0.00 / $0.00 0.00 / 0.00 min 14.83 / 12.50 días

Resultado útil: solo Completada tiene cobro y duración real; Cancelada tiene mayor anticipación. Con J48, monto_cobrado > 0 indica Completada. Con clustering, el grupo de mayor proporción muestra más No-show y Cancelada.

Distribución de clases

Variable objetivo target_estado_cita.

Métricas por estado de cita

Monto cobrado, duración real y anticipación.

Panel Gerencial (Dashboard) derivado del análisis de datos

Indicadores del modelo, matriz de confusión J48, reglas del árbol y perfiles SimpleKMeans.

Matriz de confusión J48

Real \ Predicho Completada No-show Cancelada
Completada 28 0 0
No-show 0 6 0
Cancelada 0 2 4

MAE = 0.0489. Hubo 2 errores: canceladas clasificadas como No-show. Las 28 citas Completadas se clasificaron correctamente.

Proporción de clusters

Reglas del árbol J48

  • IF monto_cobrado > 0 THEN Completada (28 casos)
  • IF monto_cobrado ≤ 0 AND cita_mes = Noviembre THEN No-show (5 casos, 1 error)
  • IF monto_cobrado ≤ 0 AND cita_mes = Octubre AND id_reservacion ≤ 1013 THEN No-show (3 casos, 1 error)
  • IF monto_cobrado ≤ 0 AND cita_mes = Octubre AND id_reservacion > 1013 THEN Cancelada (4 casos)

Si monto_cobrado > 0, la cita se clasifica como Completada. Sin cobro, el mes y el id_reservacion separan No-show de Cancelada.

Perfiles SimpleKMeans (K = 3)

Cluster 0 — Peluquería / básicos

Proporción
11 citas (28%)
Canal
WhatsApp
Categoría
Peluquería
Estado predominante
Completada

Cluster 1 — Complejos / barbería

Proporción
13 citas (33%)
Canal
Sitio web
Categoría
Estética / Barbería
Estado predominante
Completada

Cluster 2 — Tratamientos / mayor valor

Proporción
16 citas (40%)
Canal
App móvil / Presencial
Categoría
Estética
Estado predominante
No-show / Cancelada

El Cluster 2 (40% de las citas, tratamientos de mayor valor) concentra más No-show y cancelaciones.

Fases CRISP-DM

  1. F01
    Comprensión del negocio Objetivo: reducir cancelaciones y no-shows.
  2. F02
    Comprensión de datos Carga de 40 registros y 18 atributos en WEKA.
  3. F03
    Preparación Normalización y conversión a formato ARFF.
  4. F04
    Modelado Implementación de J48 y SimpleKMeans.
  5. F05
    Evaluación Matriz de confusión con 95% de precisión.
  6. F06
    Despliegue Resultados documentados en esta página web.

Sección 3

Referencias

Referencias en formato APA (7.ª edición), en orden alfabético.

  • Castells, M. (2006). La sociedad red (2.ª ed.). Alianza Editorial.
  • Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C., & Wirth, R. (2000). CRISP-DM 1.0: Step-by-step data mining guide. SPSS Inc.
  • Chaudhuri, S., & Dayal, U. (1997). An overview of data warehousing and OLAP technology. ACM SIGMOD Record, 26(1), 65–74. https://doi.org/10.1145/248603.248616
  • Fayyad, U., Piatetsky-Shapiro, G., & Smyth, P. (1996). From data mining to knowledge discovery in databases. AI Magazine, 17(3), 37–54. https://doi.org/10.1609/aimag.v17i3.1230
  • Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3.ª ed.). Morgan Kaufmann.
  • Inmon, W. H. (2005). Building the data warehouse (4.ª ed.). Wiley.
  • Kimball, R., & Ross, M. (2013). The data warehouse toolkit: The definitive guide to dimensional modeling (3.ª ed.). Wiley.
  • Quinlan, J. R. (1993). C4.5: Programs for machine learning. Morgan Kaufmann.
  • Turban, E., Sharda, R., Delen, D., & King, D. (2011). Business intelligence: A managerial approach (2.ª ed.). Prentice Hall.
  • UNESCO. (2005). Towards knowledge societies. UNESCO Publishing. https://unesdoc.unesco.org/ark:/48223/pf0000141843
  • Witten, I. H., Frank, E., Hall, M. A., & Pal, C. J. (2017). Data mining: Practical machine learning tools and techniques (4.ª ed.). Morgan Kaufmann.