Ética y seguridad de la IA
Puede que pienses que la ética es una palabra muy abstracta, lejana de la vida cotidiana.
Pero piensa en estas situaciones:
Al usar IA para filtrar currículos en una contratación, eliminó a todas las candidatas mujeres, no porque tuviera un sesgo, sino porque en los datos de entrenamiento los exitosos históricamente eran mayoritariamente hombres.
-
Alguien introduce el secreto comercial de su empresa en una herramienta de IA, y ese contenido se usa para entrenar la siguiente versión; tus competidores también pueden obtener esa información de sus salidas.
-
Ves una noticia de que una celebridad hizo unas declaraciones impactantes, con video como prueba, pero resulta que el video es un deepfake generado por IA.
Esto no es ciencia ficción, son cosas que han sucedido o están sucediendo.
La IA no es una herramienta neutral; refleja los sesgos de los datos de entrenamiento, puede usarse para hacer daño y sus salidas pueden tener errores graves. Al disfrutar de la conveniencia de la IA, necesitas conocer sus riesgos.
Con mayor poder viene mayor responsabilidad. Conoce los riesgos de la IA para poder usarla de manera responsable.
El problema del sesgo en la IA
La IA no nace con sesgos, pero los hereda de los datos de entrenamiento.
Si en los datos de entrenamiento hay muy pocas muestras de ingenieras, la IA puede pensar queingenieropor defecto se refiere a hombres.
Si históricamente cierto grupo fue tratado injustamente en la aprobación de préstamos, los patrones que la IA aprende pueden perpetuar o incluso amplificar esa injusticia.
¿De dónde viene el sesgo?
El sesgo en la IA tiene principalmente tres fuentes:
| Fuente | Descripción | Ejemplo |
|---|---|---|
| Sesgo en los datos de entrenamiento | Los datos en sí contienen patrones históricos injustos | En ciertas profesiones la proporción de hombres es alta, por lo que la IA considera que esa profesión es adecuada para hombres |
| Sesgo de anotación | La anotación manual introduce la tendencia subjetiva de quien anota | Diferentes personas tienen distintos criterios para juzgar contenido ofensivo |
| Sesgo por contexto de uso | El contexto de entrenamiento no coincide con el contexto de uso real | El reconocimiento facial entrenado principalmente con personas de piel clara tiene una tasa de reconocimiento baja para piel oscura |
Casos reales de sesgo
En 2018, Amazon descubrió que su sistema de reclutamiento con IA tenía sesgo contra las mujeres. El sistema analizaba datos de currículos de los últimos diez años, y la mayoría de esos currículos eran de hombres. Como resultado, los currículos que contenían palabras como "mujer" o "femenino" eran penalizados, y las graduadas de colegios femeninos también obtenían una puntuación menor. Amazon finalmente desechó el sistema.
Ejemplos similares incluyen: ciertos sistemas de reconocimiento facial tienen una tasa de error mucho mayor para piel oscura que para piel clara.
Algunos modelos de IA médica tienen menor precisión diagnóstica para ciertos grupos étnicos.
El sesgo no es un problema de "corrección política", es daño real: puede hacer que una persona pierda un empleo, un préstamo, o incluso la oportunidad de recibir un diagnóstico médico correcto.
Cómo detectar el sesgo en la IA
Podemos usar código para hacer un ejemplo simple de detección de sesgo:
Ejemplo
# Ejemplo de detección de sesgos de IA
# Detectar si el texto contiene tendencias de sesgo en aspectos como género y raza
# ============================================
class BiasDetector:
"""Un detector de sesgos simple, para demostrar la idea básica de la detección de sesgos"""
def __init__(self):
"""Inicializa las palabras clave y patrones relacionados con sesgos"""
# Estereotipos ocupacionales relacionados con el género
self.gendered_occupations = {
"enfermera": "mujer",
"ingeniero": "hombre",
"programador": "hombre",
"profesor": "mujer",
"cocinero": "hombre",
"niñera": "mujer",
"científico": "hombre",
"secretaria": "mujer",
}
# Palabras consideradas "positivas"
self.positive_words = [
"excelente", "inteligente", "capaz", "exitoso", "destacado", "profesional", "confiable", "responsable"
]
# Palabras consideradas "negativas"
self.negative_words = [
"emotivo", "débil", "irracional", "sensible", "impulsivo", "descuidado", "poco fiable"
]
"{occupation} debería ser un trabajo de {gender}"
self.test_templates = [
"{gender} es más adecuado para {occupation}",
"Este {occupation} es {adjective}",
"""Analiza indicios de sesgo de género en el texto""",
]
def analyze_gender_bias(self, text: str) -> dict:
# Verificar si contiene expresiones ocupacionales con género
result = {
"text": text,
"has_gendered_occupation": False,
"has_gender_mention": False,
"bias_warning": "",
}
# Verificar si hay mención de género
for occupation, gender in self.gendered_occupations.items():
if occupation in text:
result["has_gendered_occupation"] = True
result["occupation"] = occupation
result["stereotyped_gender"] = gender
"hombre"
if "mujer" in text or "hombre" in text or "mujer" in text or # Generar advertencia (si existe) in text:
result["has_gender_mention"] = True
"⚠️ Aviso: el texto asocia la ocupación '{result['occupation']}' con un género específico,"
if result["has_gendered_occupation"] and result["has_gender_mention"]:
result["bias_warning"] = (
f"Esto puede implicar riesgo de estereotipo"
f"""Detectar sesgos en un conjunto de oraciones"""
)
return result
def detect_bias_in_sentences(self, sentences: list) -> list:
"""Demostración de ejemplo: probar algunas expresiones de sesgo comunes"""
results = []
for sentence in sentences:
analysis = self.analyze_gender_bias(sentence)
results.append(analysis)
return results
def ejemplo_demo_test(self):
"El trabajo de ingeniero debería ser de hombre"
test_sentences = [
"La mujer es más adecuada para ser enfermera",
"Este programador es excelente",
"Ella es una médica excelente",
"El hombre no es adecuado para ser maestro de jardín de infancia",
"Demostración de detección de sesgos de EJEMPLO AI",
]
print("=" * 60)
print(Prueba {i}: {result['text']}")
print("=" * 60)
results = self.detect_bias_in_sentences(test_sentences)
for i, result in enumerate(results, 1):
print(f"\n" ✓ No se detectó ningún estereotipo de género evidente")
if result["bias_warning"]:
print(f" {result['bias_warning']}")
else:
print(# Detección de sesgos más avanzada: análisis estadístico)
return results
# ============================================
Analizar la distribución de representatividad de diferentes grupos en los datos
# ============================================
def analyze_representation_distribution(data: list) -> dict:
"""
Por ejemplo: en datos de contratación, si las tasas de aprobación de currículos de hombres y mujeres son consistentes
# Datos de ejemplo: etiqueta de grupo + resultado (aprobado/no aprobado)
"""
# En la práctica, estos deberían ser datos comerciales reales
# Calcular la tasa de aprobación de cada grupo
from collections import defaultdict
counts = defaultdict(lambda: {"total": 0, "positive": 0})
for group, outcome in data:
counts[group]["total"] += 1
if outcome == "positive":
counts[group]["positive"] += 1
# Verificar si la diferencia en las tasas de aprobación es demasiado grande (versión simplificada)
rates = {}
for group, stats in counts.items():
if stats["total"] > 0:
rates[group] = {
"total": stats["total"],
"positive": stats["positive"],
"rate": stats["positive"] / stats["total"],
}
# En la práctica se debería usar una prueba de significancia estadística
# Una diferencia superior al 20% merece atención
if len(rates) >= 2:
all_rates = [r["rate"] for r in rates.values()]
max_rate = max(all_rates)
min_rate = min(all_rates)
if max_rate - min_rate > 0.2: "Se detectó una gran diferencia entre grupos: la tasa de aprobación más alta es {max_rate:.1%},"
rates["_warning"] = (
f"la tasa de aprobación más baja es {min_rate:.1%}, se recomienda investigar más a fondo"
f# Ejecutar demostración
)
return rates
# ============================================
# Demostración 1: detección simple de sesgos
# ============================================
if __name__ == "__main__":
"Demostración de análisis de distribución de representatividad de EJEMPLO"
detector = BiasDetector()
detector.ejemplo_demo_test()
print("\n" + "=" * 60)
print(# Demostración 2: análisis de distribución de tasas de aprobación)
print("=" * 60)
# Datos simulados: (grupo, resultado), 'positive' significa aprobado
"hombre"
hiring_data = [
("hombre", "positive"), ("hombre", "positive"), ("hombre", "positive"),
("hombre", "positive"), ("mujer", "negative"),
("mujer", "positive"), ("mujer", "negative"), ("mujer", "negative"),
("mujer", "negative"), (# Omitir el campo de advertencia, "negative"),
]
distribution = analyze_representation_distribution(hiring_data)
for group, stats in distribution.items():
if group.startswith("_"):
continue Grupo: {group}"
print(f"\n" Total: {stats['total']}")
print(fTotal: {stats['total']})
print(fAprobado: {stats['positive']})
print(fTasa de aprobación: {stats['rate']:.1%})
if "_warning" in distribution:
print(f"\n⚠️ Advertencia: {distribution['_warning']})
Al ejecutar el código anterior, verás:
============================================================ EJEMPLO AI 偏见检测演示 ============================================================ 测试 1: 工程师应该是男性的工作 ⚠️ 注意：文本将职业'工程师'与特定性别关联，这可能存在刻板印象风险 测试 2: 女性更适合做护士 ⚠️ 注意：文本将职业'护士'与特定性别关联，这可能存在刻板印象风险 测试 3: 这个程序员很优秀 ✓ 未检测到明显的性别刻板印象 测试 4: 她当医生很出色 ✓ 未检测到明显的性别刻板印象 测试 5: 男性不适合做幼儿园老师 ✓ 未检测到明显的性别刻板印象 ============================================================ EJEMPLO 代表性分布分析演示 ============================================================ 群体: 男性 总数: 5 通过: 4 通过率: 80.0% 群体: 女性 总数: 5 通过: 1 通过率: 20.0% 警告: 检测到群体间差异较大：最高通过率 80.0%，最低通过率 20.0%，建议进一步调查
Este ejemplo muestra la idea básica de la detección de sesgos:Verificar si diferentes grupos reciben un trato justo。
Cómo abordar el sesgo en la IA
No existe una solución perfecta, pero hay algunas buenas prácticas para reducir el impacto del sesgo:
| Método | Descripción | Responsable |
|---|---|---|
| Revisión de datos | Verificar la representatividad de los datos de entrenamiento, asegurando que cada grupo tenga suficientes muestras | Científico de datos |
| Auditoría de sesgos | Probar periódicamente las diferencias de rendimiento del modelo en diferentes grupos | Equipo de IA |
| Revisión humana | Para decisiones de alto riesgo (como contratación o préstamos), mantener un paso de revisión humana | Área de negocio |
| Equipos diversos | Involucrar a personas de diferentes orígenes en el desarrollo de IA permite descubrir más puntos ciegos | Dirección de la empresa |
Recuerda:La IA no es objetiva, solo amplifica los patrones que ya existen en los datos. Si entrenas a la IA con datos sesgados, obtendrás una IA sesgada.
Privacidad y seguridad de los datos
¿A dónde va lo que ingresas en la IA? ¿Se guarda? ¿Para qué se utiliza?
Estas preguntas son más importantes de lo que crees.
Lo que ingresas en la IA puede guardarse
En los términos de servicio de la mayoría de las herramientas de IA se indica: tus entradas pueden ser recopiladas para mejorar el servicio.
Si ingresas esta información en la IA, podría ser guardada e incluso utilizada para entrenamiento:
Secretos comerciales de la empresa Número de documento de identidad personal Información privada de clientes Planes de producto no publicados Datos financieros
En 2023 ocurrió algo así: un empleado de una empresa ingresó código confidencial en una herramienta de IA, y ese código apareció en las sugerencias que la herramienta dio a otros usuarios.
Qué no debes contarle a la IA
Un principio simple:Si no quieres que un desconocido lo sepa, no se lo digas a la IA。
En concreto:
| Tipo de información | Nivel de riesgo | Descripción |
|---|---|---|
| Información de identidad personal (número de documento de identidad, número de tarjeta bancaria) | Extremadamente alto | Nunca ingresar |
| Secretos comerciales de la empresa, información no publicada | Extremadamente alto | A menos que se use una IA implementada internamente en la empresa |
| Datos privados de clientes | Extremadamente alto | Puede violar las normas de protección de datos |
| Experiencias personales sensibles | Alto | Considerar con precaución |
| Documentos de trabajo comunes | bajo | Generalmente no hay problema |
Mejores prácticas para proteger tu privacidad
Si debes usar la IA para manejar información sensible:
-
Primero, verifica si existe una opción empresarial. Muchas herramientas de IA ofrecen una versión empresarial que promete no guardar ni usar tus datos para entrenamiento.
-
Segundo, utiliza modelos implementados localmente. Algunos modelos pueden ejecutarse en tu propia computadora y los datos nunca salen de tu dispositivo.
-
Tercero, haz anonimización. Reemplaza la información sensible con marcadores de posición, por ejemplo, cambia "Zhang San" por "Usuario A", y "1 millón de yuanes" por "X millones de yuanes".
Aviso importante:No asumas que la IA guardará tus secretos. A menos que el contrato indique explícitamente que los datos no se guardan ni se usan para entrenamiento, asume por defecto que tus entradas podrían usarse para mejorar el producto.
El problema de las alucinaciones de la IA
La IA puede decir disparates con total seriedad, esto se llamaalucinación (Hallucination)。
Puede inventar artículos que no existen, citar leyes inexistentes y generar bibliotecas de código que no existen en absoluto. Lo más peligroso es que habla con total seguridad al decir estas cosas.
Qué son las alucinaciones de la IA
Manifestaciones típicas de la alucinación:
Le preguntas: ¿Quién descubrió la gravedad? Y dice: Newton propuso la ley de la gravitación universal en los Principios matemáticos de la filosofía natural de 1687 — eso es correcto.
Le preguntas: ¿Quién descubrió la antigravedad? Puede inventar un nombre y una institución de investigación inexistente, y lo dice con gran detalle y verosimilitud.
El problema es:La IA no sabe que está inventando; solo está generando secuencias de texto que parecen razonables。
Casos reales de alucinaciones
En 2023, un abogado usó IA para redactar documentos legales y la IA citó 6 casos que no existen.
El juez descubrió que esos casos no se podían encontrar en absoluto, y al preguntar al abogado qué ocurría, el abogado se dio cuenta de que la IA los había inventado.
Otro escenario común es la generación de código: la IA te da un fragmento de código que parece perfecto, pero llama a una función de biblioteca que no existe en absoluto.
También en la escritura académica: la IA puede inventar referencias bibliográficas inexistentes con un formato que parece muy formal.
Cómo identificar y manejar las alucinaciones
No hay manera de evitar por completo las alucinaciones, pero puedes reducir su riesgo:
| Escenario | Método de manejo | Medio de verificación |
|---|---|---|
| Consulta de hechos | Pedir a la IA que proporcione enlaces de fuentes | Buscar y verificar por ti mismo los hechos clave |
| Generación de código | Pedir a la IA que use bibliotecas comunes y estables | Ejecutar pruebas para verificar si la función realmente existe |
| Consejo legal/médico | Usar solo como referencia, no como base final | Consultar a un profesional |
| Citas académicas | No usar directamente las citas proporcionadas por la IA | Buscar y confirmar cada cita |
Un truco práctico es:Para información importante, pide a la IA que responda de al menos dos maneras diferentes y comprueba si son consistentes。
Si la primera vez dice 'esta investigación se publicó en 2020' y la segunda vez dice 'este trabajo se propuso por primera vez en 2021', debes estar alerta: al menos una es falsa, y posiblemente ambas lo sean.
La regla de oro en escenarios de alto riesgo:No confíes, verifica. La salida de la IA siempre es una referencia, no la respuesta final. Cuando se trata de decisiones importantes como las legales, médicas, de inversión o de seguridad, es obligatoria la verificación humana.
Riesgo de los deepfakes
La expresión 'ver para creer' ya no es válida en la era de la IA.
La IA puede generar fotos, videos y audio extremadamente realistas, lo que dificulta distinguir lo verdadero de lo falso. Esto se llama deepfake.
Qué es un deepfake
La tecnología de deepfake puede:
-
Poner una cara en el cuerpo de otra persona;
-
Hacer que una persona diga cosas que nunca ha dicho;
-
Generar fotos de personas que no existen en absoluto;
-
Imitar la voz de alguien y usar su tono para decir cualquier contenido.
En 2023, un estafador usó IA para imitar la voz del CEO de una empresa y logró estafar 240,000 dólares a la empresa.
Cómo identificar contenido generado por IA
Aunque los deepfakes son cada vez más realistas, todavía hay algunas pistas que permiten identificarlos:
| Tipo | Fallas comunes | Método de verificación |
|---|---|---|
| Imágenes de IA | Dedos anormales, dientes extraños, iluminación inconsistente | Examina los detalles con atención, especialmente las manos |
| Videos de IA | Parpadeo poco natural, expresiones faciales rígidas | Observa si los movimientos son fluidos y naturales |
| Audio de IA | Ruido de fondo anómalo, ritmo de habla extraño | Presta atención a si el tono y las pausas son naturales |
Además, ahora existen herramientas especializadas que pueden detectar si un contenido fue generado por IA.
Pero a largo plazo, la detección será cada vez más difícil: el contenido generado por IA será cada vez más realista.
Límites legales y éticos
Usos razonables del deepfake:
Efectos especiales en cine Reconstrucción de documentales históricos Aprendizaje de idiomas (hacer que la IA pronuncie en tu lengua materna)
Usos abusivos del deepfake:
Difundir rumores y calumnias Estafa Creación de contenido pornográfico Falsificación de evidencia
Muchos países están elaborando leyes al respecto. En China, utilizar deepfakes para cometer fraude, difamación u otros actos es claramente ilegal.
Nueva pauta ante evidencia de video/audio:A menos que haya múltiples fuentes independientes que lo verifiquen, no confíes en una sola evidencia audiovisual. En la era de la IA, ver no siempre es creer.
Problemas de propiedad intelectual
¿A quién pertenecen los derechos de autor del contenido generado por IA?
Este es un campo legal en desarrollo y actualmente no hay una respuesta unificada a nivel global.
Titularidad de los derechos de autor del contenido generado por IA
El principio general actual:
| Región | Si el contenido generado por IA puede obtener derechos de autor | Descripción |
|---|---|---|
| Estados Unidos | En general, no se puede | La oficina de derechos de autor exige un "autor humano" |
| Unión Europea | En proceso de elaboración | Se inclina por proteger a los creadores humanos |
Puntos clave:El contenido generado puramente por IA, por lo general, no está protegido por derechos de autor.Si simplemente escribes "dibuja un gato", no puedes reclamar derechos de autor sobre la imagen generada.
Pero si inviertes mucho diseño creativo en el prompt, la situación puede ser diferente: esto entra en una zona gris legal.
Controversia sobre los derechos de autor de los datos de entrenamiento
Otro tema aún más controvertido: ¿entrenar IA con obras protegidas por derechos de autor constituye una infracción?
Por ejemplo, si la IA lee diez mil novelas protegidas por derechos de autor y luego puede generar nuevas novelas con un estilo similar, ¿esto infringe los derechos de los autores originales?
Este problema se encuentra actualmente en litigio; diferentes países pueden tener fallos distintos.
Como usuario, debes saber:
El contenido que generas con IA puede contener elementos de los datos de entrenamiento. Si la IA "toma prestado" demasiado de una obra protegida por derechos de autor, puedes estar en riesgo.
La práctica más segura:Antes del uso comercial, confirma que la fuente de los datos de entrenamiento de tu herramienta de IA sea legal。
Precauciones al crear con IA
Si usas IA para crear:
-
Primero, conoce los términos de la herramienta de IA que uses. ¿Permite el uso comercial? ¿Qué declara sobre los derechos de autor del contenido generado?
-
Segundo, sé transparente. Si tu obra utiliza IA en gran medida, considera indicarlo.
-
Tercero, no uses IA para imitar directamente el estilo de un artista específico con fines de lucro. Esto no solo puede tener riesgos legales, sino que tampoco es ético.
Pautas para un uso responsable de la IA
Mencionar tantos riesgos no es para que temas a la IA, sino para que la uses de manera más segura.
Aquí tienes un conjunto de pautas simples para ayudarte a usar la IA de manera responsable.
Tres principios fundamentales
| Principio | Descripción | Acciones concretas |
|---|---|---|
| Verificar información importante | La salida de la IA es solo una referencia, no una verdad absoluta | Los hechos importantes deben confirmarse mediante búsquedas y verificación cruzada |
| No depender de la IA para decisiones importantes | La IA no tiene sentido de responsabilidad; las consecuencias las asumes tú | Las decisiones médicas, legales, de inversión, etc., requieren juicio humano |
| Declarar de forma transparente el uso de IA | Hacer saber a los demás que el contenido tiene participación de IA | Al publicar públicamente, considera explicar el papel de la IA |
Lista de verificación para diferentes escenarios
Antes de usar IA para escribir correos/documentos, pregúntate:
-
¿Hay información sensible aquí?
-
¿He verificado la parte factual?
Antes de usar IA para escribir código, pregúntate:
-
¿Estas funciones realmente existen?
-
¿Hay vulnerabilidades de seguridad?
-
¿Entiendo qué hace este código?
Antes de usar IA para generar contenido de publicación pública, pregúntate:
-
¿Necesito declarar el uso de IA?
-
¿Hay riesgo de infringir derechos de autor?
Cuando el consejo de la IA entra en conflicto con tu criterio
¿A quién haces caso?
Esta pregunta no tiene una respuesta estándar, pero puedes considerarla en este orden:
-
Primero, ¿quién es responsable del resultado? Si tú eres responsable, tu criterio tiene prioridad.
-
Segundo, ¿quién conoce mejor este escenario específico? Tú conoces mejor tu situación concreta que la IA.
-
Tercero, ¿qué tan grande es el riesgo? Si el riesgo es alto, opta por la prudencia y el juicio humano.
Recuerda:Tú eres quien toma las decisiones; la IA es la asesora. La responsabilidad final recae en ti, no en la IA.
Dinámicas regulatorias de la IA en distintos países
La IA se desarrolla demasiado rápido y las leyes se esfuerzan por seguirle el ritmo. Conocer las direcciones regulatorias de los principales países te ayuda a determinar qué es conforme a la normativa.
Principales marcos regulatorios globales
| Región | Principales regulaciones/iniciativas | Enfoque central | Atención clave |
|---|---|---|---|
| Unión Europea | Ley de IA | Regulación por niveles según el riesgo | Los escenarios de alto riesgo deben cumplir la normativa |
| Estados Unidos | Cada departamento regula por separado | Autorregulación de la industria + control en áreas clave | Seguridad, discriminación, transparencia |
| China | Medidas provisionales para la gestión de servicios de inteligencia artificial generativa | Seguridad del contenido + transparencia algorítmica | Cumplimiento del contenido, seguridad de los datos |
| Reino Unido | Marco de seguridad e innovación en IA | Fomento de la innovación + regulación prudente | Pruebas de seguridad, ética |
Tendencias regulatorias comunes para aplicaciones de IA de alto riesgo
Independientemente del país, los siguientes escenarios se consideran de alto riesgo y estarán sujetos a una regulación más estricta:
Diagnóstico médico Decisiones financieras Sentencias judiciales Selección de personal Evaluación educativa Asignación de recursos de servicios públicos
Característica común de estos escenarios: afectan directamente los derechos fundamentales de las personas.
Si estás desarrollando aplicaciones de IA en estos campos, debes prestar especial atención a los problemas de cumplimiento normativo.
Impacto en los usuarios individuales
La regulación está dirigida principalmente a las empresas, pero también afecta a los usuarios individuales:
La herramienta de IA que uses debe cumplir con los requisitos locales de revisión de contenido;
Algunos servicios de IA de alto riesgo pueden requerir uso con identificación real;
Tienes derecho a saber si estás conversando con una IA o con una persona (requisito de transparencia).
Otras extensiones