Octubre mes de la Ciberseguridad - Día 19: Cuidado con lo que compartes con las IA

[jorgesdb]

Las inteligencias artificiales son herramientas poderosas, pero no son un buzón privado, tu psicólogo, ni un confesor digital.

Cuando escribes en un chatbot, generador de texto o asistente de IA, tus mensajes pueden ser almacenados, analizados e incluso revisados por personas reales para mejorar el sistema o verificar su uso.

Tu conversación puede no ser completamente privada.

• Muchos servicios de IA (como chatbots públicos o gratuitos) guardan las interacciones para entrenar sus modelos o auditar respuestas.
• Parte de ese contenido puede ser revisado manualmente por personal humano con fines de control de calidad o seguridad.

Las IAs tienen mecanismos de alerta.

• Si el sistema detecta que alguien describe, solicita o confiesa conductas delictivas, puede activar protocolos de seguridad o notificar a moderadores humanos.
• No basta con decir “es una broma”: los filtros automáticos no entienden el contexto con humor.

Todo lo que escribes deja rastro.

• Las plataformas registran tu dirección IP, el navegador o dispositivo desde el que accedes, la fecha y hora y, a veces, el país.
• Si introduces datos personales, esos datos pueden acabar almacenados en servidores ajenos.

Ejemplos de información que​

• Tu nombre completo, dirección o DNI.
• Números de cuenta, tarjetas, contraseñas o datos fiscales.
• Información médica o de terceros.
• Detalles de trabajo, proyectos confidenciales o datos de clientes.
• Mensajes o documentos internos de tu empresa.
• Búsquedas o frases que pudieran malinterpretarse como amenazas o delitos, aunque sean en tono de broma.

Si compartes datos personales o laborales, podrían salir de tu control o violar la ley (por ejemplo, el RGPD en Europa).

Si haces preguntas sobre temas ilegales, aunque sea “por curiosidad”, el sistema puede marcar tu conversación para revisión humana.

Si usas IA en entornos corporativos sin medidas adecuadas, podrías filtrar información sensible de la empresa sin darte cuenta.

Cómo usar la IA de forma segura​

1. Trata a la IA como si fuera pública.
   Todo lo que escribas podría ser visto por alguien.
   Si no lo dirías en un foro abierto, tampoco lo pongas en un chat con una IA.
2. Evita usar datos reales.
   Si necesitas usar ejemplos, inventa nombres, direcciones o cifras.
   Por ejemplo, “Cliente A” o “12345” en lugar de un nombre o número real.
3. Desactiva el entrenamiento si el servicio lo permite.
   Algunas plataformas permiten usar el modo “sin guardar conversaciones” o “sin entrenar con mis datos”. Actívalo siempre que sea posible.
4. Revisa las políticas de privacidad.
   Antes de usar una IA, mira quién la gestiona, dónde guarda los datos y durante cuánto tiempo.
5. Si trabajas con información sensible, usa herramientas aprobadas por tu empresa o soluciones locales que cumplan el RGPD.
   No copies ni pegues contratos, informes ni datos de clientes en un chatbot público.
6. Evita bromas sobre temas delictivos o sensibles.
   Lo que para ti es humor, para un sistema de detección automática puede parecer una amenaza, apología o incitación al delito.
7. Recuerda: la IA no tiene secreto profesional.
   No le cuentes cosas que no le contarías a un desconocido.

Ejemplo real (esto ha pasado)​

Un empleado de una multinacional copió fragmentos de código y documentación interna en un chatbot público para “pedir ayuda con un bug”.
Meses después, partes de ese código aparecieron en los resultados de entrenamiento del modelo.
Conclusión: la IA aprendió de esos datos, y la empresa filtró sin querer propiedad intelectual.

Las IAs no son “neutrales” ni “secretas”: detrás hay empresas, servidores, algoritmos y personas que pueden revisar lo que escribes.
Usarlas con sentido común es la mejor forma de proteger tu privacidad y evitar problemas legales o reputacionales.

Lumo, la IA privada de Proton​

• Lumo afirma que no mantiene registros (no-logs) de tus conversaciones.
• Usa “cifrado de cero-acceso” (“zero-access encryption”), lo que significa que las conversaciones guardadas sólo pueden descifrarse en tu dispositivo y que Proton “no puede leerlas”. No usa tus conversaciones para entrenar su modelo de IA (“not used to train AI”).
• Está basado en modelos de lenguaje de código abierto, alojados en servidores que Proton controla en Europa (según la información disponible).
• Ofrece un “modo fantasma” (“Ghost mode”) según el que una sesión puede desaparecer cuando la cierras, si no quieres guardarla.

Matices y preguntas que conviene hacerse​

Aunque Proton hace declaraciones fuertes, ningún servicio es “perfectamente seguro” sin verificaciones. Estas son algunas cuestiones que conviene tener en mente:

1. ¿Qué significa “cifrado de extremo a extremo” (E2EE) en este contexto?
   • En la mayoría de servicios de mensajería, E2EE implica que sólo los participantes pueden leer los mensajes, sin que el servidor pueda hacerlo. En el blog de Proton se habla de “zero-access encryption” para los historiales guardados.
   • Pero cuando el modelo de IA procesa la petición (es decir, el servidor de IA recibe el prompt, lo procesa y da respuesta), es probable que ese dato pase por infraestructura del proveedor. Por ejemplo, The Verge menciona que Lumo cifra asimétricamente los “prompts” y que solo los servidores GPU los descifran cuando es necesario.
   • Por tanto: la parte “historial guardado” puede estar cifrada de modo que Proton no lo lea, pero el procesamiento del modelo aún requiere que la entrada llegue al sistema de IA. ¿Dónde se procesa? ¿Cómo se gestiona el prompt antes de la respuesta? Es legítimo hacer esas preguntas.
2. ¿Qué garantiza que el modelo no use tus datos para entrenamiento o que no haya inesperados logs temporales?
   • Proton declara que “not used to train AI” y “no logging” de chats.
   • Pero en sistemas de IA generalistas, la cadena de procesamiento puede implicar registros técnicos, cachés temporales, almacenamiento en memoria, etc. Aunque la empresa afirme el no-registro, los usuarios con necesidades de alta confidencialidad deberían revisar auditorías externas, código abierto y política de transparencia.
3. Jurisdicción, servidores y solicitudes legales
   • Proton está basada en Suiza y afirma operar bajo fuertes leyes de privacidad europeas.
   • Pero según noticias recientes, se plantea que migrará parte de su infraestructura fuera de Suiza por cambios legales.
   • Siempre cabe la posibilidad (poco probable, pero no cero) de solicitudes legales que puedan obligar a retener o revelar ciertos metadatos, aunque la propia arquitectura “zero-access” busca reducir lo que puede retenerse.
4. ¿La promesa de “todos los chats guardados sólo tú los puedes leer” se aplica a archivos subidos, historial, backups, etc.?
   • Proton dice que los historiales guardados se cifran con “zero-access”, pero deberías ver cómo gestionan la subida de archivos, backups, almacenamiento externo, acceso desde múltiples dispositivos.
   • También conviene revisar qué versión gratuita/plus tienen, qué límites, qué modelo de negocio aplica.

¿Es “100 % seguro/confidencial”?​

Podemos decir que sí, en el sentido de que Proton ha diseñado Lumo con una arquitectura de privacidad más fuerte que muchos competidores y lo presenta como una alternativa privacidad por diseño. Pero “100 % seguro” es una afirmación fuerte, en informática no existe nada 100% seguro (para mi es una red flag este tipo de afirmaciones): hay siempre riesgos de operación, incidentes de infraestructura, vulnerabilidades imprevistas o futuros cambios contractuales/regulatorios.

Para datos altamente sensibles (información legal crítica, documentos de clientes confidenciales, etc.), conviene ver Lumo como una opción muy buena, pero no mezclarla con la relajación de otras buenas prácticas: sigue aplicando cifrado, datos mínimos, acceso limitado, políticas de retención, etc.

 

[bernat]

Las inteligencias artificiales son herramientas poderosas, pero no son un buzón privado ni un confesor digital.
Cuando escribes en un chatbot, generador de texto o asistente de IA, tus mensajes pueden ser almacenados, analizados e incluso revisados por personas reales para mejorar el sistema o verificar su uso.

Tu conversación puede no ser completamente privada.

• Muchos servicios de IA (como chatbots públicos o gratuitos) guardan las interacciones para entrenar sus modelos o auditar respuestas.
• Parte de ese contenido puede ser revisado manualmente por personal humano con fines de control de calidad o seguridad.

Las IAs tienen mecanismos de alerta.

• Si el sistema detecta que alguien describe, solicita o confiesa conductas delictivas, puede activar protocolos de seguridad o notificar a moderadores humanos.
• No basta con decir “es una broma”: los filtros automáticos no entienden el contexto con humor.

Todo lo que escribes deja rastro.

• Las plataformas registran tu dirección IP, el navegador o dispositivo desde el que accedes, la fecha y hora y, a veces, el país.
• Si introduces datos personales, esos datos pueden acabar almacenados en servidores ajenos.

Ejemplos de información que​

• Tu nombre completo, dirección o DNI.
• Números de cuenta, tarjetas, contraseñas o datos fiscales.
• Información médica o de terceros.
• Detalles de trabajo, proyectos confidenciales o datos de clientes.
• Mensajes o documentos internos de tu empresa.
• Búsquedas o frases que pudieran malinterpretarse como amenazas o delitos, aunque sean en tono de broma.

Si compartes datos personales o laborales, podrían salir de tu control o violar la ley (por ejemplo, el RGPD en Europa).

Si haces preguntas sobre temas ilegales, aunque sea “por curiosidad”, el sistema puede marcar tu conversación para revisión humana.

Si usas IA en entornos corporativos sin medidas adecuadas, podrías filtrar información sensible de la empresa sin darte cuenta.

Cómo usar la IA de forma segura​

1. Trata a la IA como si fuera pública.
   Todo lo que escribas podría ser visto por alguien.
   Si no lo dirías en un foro abierto, tampoco lo pongas en un chat con una IA.
2. Evita usar datos reales.
   Si necesitas usar ejemplos, inventa nombres, direcciones o cifras.
   Por ejemplo, “Cliente A” o “12345” en lugar de un nombre o número real.
3. Desactiva el entrenamiento si el servicio lo permite.
   Algunas plataformas permiten usar el modo “sin guardar conversaciones” o “sin entrenar con mis datos”. Actívalo siempre que sea posible.
4. Revisa las políticas de privacidad.
   Antes de usar una IA, mira quién la gestiona, dónde guarda los datos y durante cuánto tiempo.
5. Si trabajas con información sensible, usa herramientas aprobadas por tu empresa o soluciones locales que cumplan el RGPD.
   No copies ni pegues contratos, informes ni datos de clientes en un chatbot público.
6. Evita bromas sobre temas delictivos o sensibles.
   Lo que para ti es humor, para un sistema de detección automática puede parecer una amenaza, apología o incitación al delito.
7. Recuerda: la IA no tiene secreto profesional.
   No le cuentes cosas que no le contarías a un desconocido.

Ejemplo real (esto ha pasado)​

Un empleado de una multinacional copió fragmentos de código y documentación interna en un chatbot público para “pedir ayuda con un bug”.
Meses después, partes de ese código aparecieron en los resultados de entrenamiento del modelo.
Conclusión: la IA aprendió de esos datos, y la empresa filtró sin querer propiedad intelectual.

Las IAs no son “neutrales” ni “secretas”: detrás hay empresas, servidores, algoritmos y personas que pueden revisar lo que escribes.
Usarlas con sentido común es la mejor forma de proteger tu privacidad y evitar problemas legales o reputacionales.

Lumo, la IA privada de Proton​

• Lumo afirma que no mantiene registros (no-logs) de tus conversaciones.
• Usa “cifrado de cero-acceso” (“zero-access encryption”), lo que significa que las conversaciones guardadas sólo pueden descifrarse en tu dispositivo y que Proton “no puede leerlas”. No usa tus conversaciones para entrenar su modelo de IA (“not used to train AI”).
• Está basado en modelos de lenguaje de código abierto, alojados en servidores que Proton controla en Europa (según la información disponible).
• Ofrece un “modo fantasma” (“Ghost mode”) según el que una sesión puede desaparecer cuando la cierras, si no quieres guardarla.

Matices y preguntas que conviene hacerse​

Aunque Proton hace declaraciones fuertes, ningún servicio es “perfectamente seguro” sin verificaciones. Estas son algunas cuestiones que conviene tener en mente:

1. ¿Qué significa “cifrado de extremo a extremo” (E2EE) en este contexto?
   • En la mayoría de servicios de mensajería, E2EE implica que sólo los participantes pueden leer los mensajes, sin que el servidor pueda hacerlo. En el blog de Proton se habla de “zero-access encryption” para los historiales guardados.
   • Pero cuando el modelo de IA procesa la petición (es decir, el servidor de IA recibe el prompt, lo procesa y da respuesta), es probable que ese dato pase por infraestructura del proveedor. Por ejemplo, The Verge menciona que Lumo cifra asimétricamente los “prompts” y que solo los servidores GPU los descifran cuando es necesario.
   • Por tanto: la parte “historial guardado” puede estar cifrada de modo que Proton no lo lea, pero el procesamiento del modelo aún requiere que la entrada llegue al sistema de IA. ¿Dónde se procesa? ¿Cómo se gestiona el prompt antes de la respuesta? Es legítimo hacer esas preguntas.
2. ¿Qué garantiza que el modelo no use tus datos para entrenamiento o que no haya inesperados logs temporales?
   • Proton declara que “not used to train AI” y “no logging” de chats.
   • Pero en sistemas de IA generalistas, la cadena de procesamiento puede implicar registros técnicos, cachés temporales, almacenamiento en memoria, etc. Aunque la empresa afirme el no-registro, los usuarios con necesidades de alta confidencialidad deberían revisar auditorías externas, código abierto y política de transparencia.
3. Jurisdicción, servidores y solicitudes legales
   • Proton está basada en Suiza y afirma operar bajo fuertes leyes de privacidad europeas.
   • Pero según noticias recientes, se plantea que migrará parte de su infraestructura fuera de Suiza por cambios legales.
   • Siempre cabe la posibilidad (poco probable, pero no cero) de solicitudes legales que puedan obligar a retener o revelar ciertos metadatos, aunque la propia arquitectura “zero-access” busca reducir lo que puede retenerse.
4. ¿La promesa de “todos los chats guardados sólo tú los puedes leer” se aplica a archivos subidos, historial, backups, etc.?
   • Proton dice que los historiales guardados se cifran con “zero-access”, pero deberías ver cómo gestionan la subida de archivos, backups, almacenamiento externo, acceso desde múltiples dispositivos.
   • También conviene revisar qué versión gratuita/plus tienen, qué límites, qué modelo de negocio aplica.

¿Es “100 % seguro/confidencial”?​

Podemos decir que sí, en el sentido de que Proton ha diseñado Lumo con una arquitectura de privacidad más fuerte que muchos competidores y lo presenta como una alternativa privacidad por diseño. Pero “100 % seguro” es una afirmación fuerte, en informática no existe nada 100% seguro (para mi es una red flag este tipo de afirmaciones): hay siempre riesgos de operación, incidentes de infraestructura, vulnerabilidades imprevistas o futuros cambios contractuales/regulatorios.

Para datos altamente sensibles (información legal crítica, documentos de clientes confidenciales, etc.), conviene ver Lumo como una opción muy buena, pero no mezclarla con la relajación de otras buenas prácticas: sigue aplicando cifrado, datos mínimos, acceso limitado, políticas de retención, etc.

Muy buen artículo, como todos. Supongo que ya te lo he dicho antes, pero muchas gracias por tu tiempo y estas aportaciones que haces.

 

[jorgesdb]

Muy buen artículo, como todos. Supongo que ya te lo he dicho antes, pero muchas gracias por tu tiempo y estas aportaciones que haces.

Gracias!

Del tema de relojes soy un aprendiz, ya que tenemos este subforo está es mi manera de intentar devolver a la comunidad todo lo que estoy aprendiendo.