He visto a varios terapeutas y psicólogos promocionando en redes y podcasts su “agente de IA entrenado por mí” con frases como: «Si quieres hablar conmigo, este agente te responderá exactamente como yo».
La idea es atractiva, pero el problema no es si es técnicamente posible: es si se han evaluado y gestionado los riesgos reales que esta implementación conlleva para la consulta, los pacientes y el propio profesional.
Si estás considerando entrenar, personalizar o poner a disposición de pacientes un agente de IA —aunque solo sea para consultas simples— es esencial que comprendas el escenario legal en la Unión Europea. El Reglamento de Inteligencia Artificial (EU AI Act) , con obligaciones progresivas que afectan desde febrero de 2025 y que se endurecerán a partir de agosto de 2026 para sistemas de alto riesgo, categoría en la que suelen caer los agentes de IA aplicados a la salud mental.
Ignorar o subestimar estas obligaciones puede exponerte a sanciones millonarias, responsabilidad civil y repercusiones deontológicas ante tu colegio profesional.
En resumen: la IA no está prohibida en terapia, pero su uso en salud mental no es neutro ni exento de obligaciones estrictas. Antes de implementarla, analiza riesgos, clasifica correctamente tu sistema, asegura supervisión humana, transparencia total y busca asesoramiento especializado. La promoción irresponsable que se ve en redes puede ser comercialmente atractiva, pero legal y éticamente es un terreno minado.
No es un chatbot cualquiera. Es IA de Alto Riesgo
Este es el primer punto crítico que muchos pasan por alto.
Según el nuevo Reglamento Europeo de Inteligencia Artificial (AI Act), cualquier sistema que intervenga en salud mental, bienestar psicológico o situaciones de vulnerabilidad se clasifica directamente como IA de Alto Riesgo.
Traducido a la práctica:
la ley te exige un nivel de diligencia muy superior al de una herramienta “normal”.
Y hay más.
Si ese agente hace algo que pueda interpretarse, aunque sea mínimamente, como apoyo diagnóstico, orientación terapéutica o toma de decisiones clínicas, entras en el terreno del Reglamento de Dispositivos Médicos (MDR).
Aquí ya no hablamos de “configurar un bot”.
Hablamos de software sanitario, con requisitos de validación clínica, trazabilidad y marcado CE.
Tus dos sombreros legales: Desplegador y Proveedor
En mi experiencia, este es uno de los grandes puntos ciegos.
Muchos terapeutas creen que solo “usan” una IA. Pero cuando la personalizan, entrenan o definen cómo responde, asumen dos roles legales distintos.
Como Desplegador (quien usa la IA)
-
Estás obligado a mantener supervisión humana real.
-
No puedes dejar que la IA interactúe sin control ni protocolos.
-
Debes garantizar que los datos introducidos sean adecuados.
-
Y, por ley, el paciente debe saber claramente que no está hablando contigo, sino con un sistema automatizado, concretamente, con una IA.
Como Proveedor (quien la entrena o ajusta)
-
Pasas a ser responsable de la calidad de los datos, los flujos de respuesta y los posibles sesgos.
-
La UE puede exigirte documentación técnica, justificación de decisiones y medidas de mitigación de riesgos.
Aquí ya no vale el “yo no sabía”.
El RGPD no negocia con la salud
Te lo digo sin rodeos:
los datos de salud son la categoría más protegida del RGPD. El núcleo duro.
Usar herramientas comerciales abiertas “porque son cómodas” no es una opción segura.
Lo mínimo imprescindible
-
Consentimiento explícito y reforzado
No basta con un check genérico. El paciente debe saber:-
que interactúa con una IA
-
cuáles son sus límites reales (errores, alucinaciones, ausencia de empatía humana)
-
dónde se alojan los datos y quién puede acceder a ellos
-
-
Evaluación de Impacto (DPIA)
Si usas IA con datos de salud, la DPIA no es opcional.
Es tu principal defensa ante una inspección de la AEPD.
Lo que nunca debería hacer el agente IA (prohibiciones absolutas o de altísimo riesgo)
Nunca sugerir, confirmar o insinuar un diagnóstico (depresión mayor, trastorno bipolar, TDAH, trastorno de personalidad, etc.). La IA no tiene capacidad para evaluación diferencial ni contexto clínico completo.
No generar ni sugerir intervenciones específicas (ej. “deberías probar exposición gradual para tu fobia”, “reduce la medicación así”, “haz EMDR por tu cuenta”). Solo información general pre-aprobada y genérica.
Nunca gestionar ideación suicida, autolesiones, abuso, crisis psicóticas, manía, descompensaciones graves o cualquier indicio de peligro inminente. Debe derivar inmediatamente a humano (teléfono de emergencia, terapeuta, 112/016) y nunca dar consejos directos en estos casos.
No debe “acompañar” ni afirmar delirios, ideas paranoides, pensamientos catastróficos extremos, conductas autolesivas o adictivas. Ejemplo real documentado: cuando se pregunta por puentes altos tras perder el empleo, la IA no debe listar puentes , debe activar protocolo de crisis.
Nunca usar técnicas que exploten limitaciones cognitivas, emocionales o situacionales de personas con problemas mentales, discapacidad, edad avanzada o vulnerabilidad socioeconómica para influir en decisiones que causen daño (ej. conductas adictivas o decisiones perjudiciales).
No insertar mensajes subliminales, persuasión encubierta ni distorsionar la capacidad de decisión informada del usuario de forma que cause daño significativo.
Evitar (o limitar fuertemente) sistemas de emotion recognition que infieran estados emocionales a partir de texto/voz para guiar respuestas, sobre todo si se usa en contextos que puedan violar privacidad o generar perfiles sensibles.
No simular una relación terapéutica tan cercana que el usuario prefiera la IA al contacto humano real, sustituyendo relaciones sociales o el vínculo terapéutico auténtico
Nunca presentarse como “tu psicólogo”, “tu terapeuta” o usar lenguaje que induzca a creer que hay una relación profesional humana real (prohibido por transparencia art. 50 AI Act y ética profesional).
No continuar charlando indefinidamente si el tema deriva a trauma profundo, abuso sexual, duelo complicado, violencia de género, adicciones graves, etc. Debe tener umbrales claros de escalado obligatorio a supervisión humana.
Nunca recomendar cambios en medicación, suspender tratamientos, probar sustancias, dietas extremas o terapias alternativas sin evidencia.
No guardar conversaciones indefinidamente ni usarlas para reentrenar modelos sin base legal sólida (RGPD art. 9 + DPIA obligatoria).
No afirmar hechos clínicos falsos ni dar consejos basados en “alucinaciones” del modelo (riesgo sistémico en LLM).
La IA es una herramienta auxiliar; el psicólogo nunca debe delegar decisiones clínicas relevantes ni exonerarse de responsabilidad por lo que diga el agente.
Mi hoja de ruta mínima para una consulta responsable
Antes de poner un agente de IA frente a un paciente, hay una serie de líneas rojas que, desde mi criterio profesional, no se negocian:
☑ Protocolo de crisis
Si el sistema detecta ideación suicida, autolesiones o crisis graves, debe bloquear la interacción y derivar de inmediato a un humano o a servicios de emergencia.
Una IA nunca debe gestionar una crisis sola.
☑ Limitación clara del alcance
Úsala solo para tareas de bajo impacto, donde no haya riesgo clínico ni toma de decisiones críticas:
Recordatorios y seguimiento
- Citas y horarios de sesiones
- Recordatorios de ejercicios o rutinas sugeridas por el terapeuta
- Ejercicios básicos guiados
- Respiración, relajación o mindfulness simples
- Ejercicios de estiramiento o pausas activas
- Técnicas de grounding o atención plena de bajo riesgo
Información administrativa y logística
- Procedimientos de inscripción o pago
- Acceso a materiales educativos o recursos generales
- Preguntas frecuentes sobre el funcionamiento de la consulta
Apoyo educativo y psicoeducación
- Explicación de conceptos generales de psicología o bienestar emocional
- Recomendaciones de hábitos saludables sin sustituir intervención clínica
- Respuestas a dudas frecuentes sobre procesos terapéuticos, siempre con disclaimers claros
- Registro y organización de datos no sensibles
- Seguimiento de tareas o ejercicios completados por el paciente
- Recopilación de feedback sobre la experiencia de la consulta
- Generación de resúmenes administrativos de sesiones, sin datos clínicos sensibles
Regla general: todo lo que implique diagnóstico, intervención terapéutica profunda, análisis de emociones complejas o gestión de crisis debe ser derivado a un profesional humano. La IA en estos contextos solo complementa, nunca sustituye la relación terapéutica.
☑ Seguridad técnica real
Datos cifrados, entornos controlados y contratos de encargado de tratamiento con proveedores que cumplan estándares europeos. Sin esto, el riesgo es tuyo.
☑ Seguro de responsabilidad civil
Muchos seguros profesionales no cubren errores derivados de IA. Llama antes de asumir que estás protegido.
Mi consejo final, sin adornos
La IA puede ser una gran aliada.
Pero en el ámbito clínico, la responsabilidad no se automatiza.
Ante el paciente y ante la ley, el garante sigues siendo tú.
Y las sanciones por incumplir el AI Act pueden llegar hasta el 7 % de la facturación anual o cifras millonarias.
Mi trabajo consiste precisamente en evitar que una buena intención tecnológica acabe convirtiéndose en una pesadilla legal.
Si estás diseñando algo así, no te la juegues.
Escríbeme y lo analizamos antes de que el problema exista.
Si quieres ampliar información sobre el nuevo reglamento IA, te recomiendo que leas este otro post.
