Insertar datos desde Excel/CSV — Casas Comunales

import pandas as pd

ruta = "ruta/del/archivo"
df = pd.read_csv(ruta) if ruta.lower().endswith(".csv") else pd.read_excel(ruta)

# Limpiar nombres de columnas (espacios, mayúsculas)
df.columns = df.columns.str.strip()

print(f"Total filas: {len(df)}")
print(f"Columnas encontradas: {df.columns.tolist()}")
print(df.head(3).to_string())

Mostrar al usuario las columnas reales del archivo y proponer el mapeo. Confirmar antes de insertar.

Paso 4 — Mapeos de referencia

Ajustar según las columnas reales del archivo. Estos son los mapeos más comunes:

Participantes → tabla participantes

Casas Comunales → tabla casas_comunales

Paso 5 — Validar antes de insertar

Usar el script de validación para no sorprender al usuario:

import psycopg2, os
from dotenv import load_dotenv
load_dotenv()

conn = psycopg2.connect(os.getenv("DATABASE_URL"))
cur = conn.cursor()

duplicados = []
nulos = []

for idx, row in df.iterrows():
    fila = idx + 2  # +2 porque idx empieza en 0 y hay cabecera
    
    # Verificar campos obligatorios
    if pd.isna(row.get("ci")) or str(row.get("ci", "")).strip() == "":
        nulos.append(f"Fila {fila}: CI vacía")
        continue
    
    # Verificar duplicados en BD
    cur.execute("SELECT id FROM participantes WHERE ci = %s", (str(row["ci"]).strip(),))
    if cur.fetchone():
        duplicados.append(f"Fila {fila}: CI {row['ci']} ya existe en BD")

conn.close()
print(f"Filas válidas para insertar: {len(df) - len(duplicados) - len(nulos)}")
print(f"Duplicados: {len(duplicados)}")
print(f"Nulos en campos obligatorios: {len(nulos)}")

Reportar al usuario y pedir confirmación para continuar.

Paso 6 — Insertar (solo los válidos)

Insertar fila por fila con manejo de errores individuales. Una fila que falla no cancela las demás:

insertados = 0
fallidos = []

for idx, row in df_validos.iterrows():
    try:
        cur.execute("""
            INSERT INTO participantes (nombres, apellidos, ci, genero, telefono, casa_comunal_id)
            VALUES (%s, %s, %s, %s, %s, %s)
        """, (
            str(row["nombres"]).strip(),
            str(row["apellidos"]).strip(),
            str(row["ci"]).strip(),
            str(row.get("genero", "")).strip().upper()[:1] or None,
            str(row.get("telefono", "")).strip() or None,
            int(row["casa_comunal_id"]) if pd.notna(row.get("casa_comunal_id")) else None,
        ))
        insertados += 1
    except Exception as e:
        conn.rollback()
        fallidos.append(f"Fila {idx+2}: {str(e)[:80]}")
    else:
        conn.commit()

cur.close()
conn.close()

Paso 7 — Reporte final

📊 RESULTADO DE INSERCIÓN
─────────────────────────
✅ Insertados correctamente:  N
⚠️  Omitidos (ya existían):   N
❌ Errores al insertar:       N

Detalle de errores (si hay):
  - Fila 5: valor de fecha_nacimiento inválido
  - Fila 12: casa_comunal_id 99 no existe