Этика и безопасность ИИ

Возможно, вы думаете, что этика — очень абстрактное понятие, далёкое от повседневной жизни.

Но рассмотрите такие сценарии:

Когда ИИ используют для отбора резюме при найме, он отсеивает всех кандидатов-женщин — не потому, что он предвзят, а потому, что обучающие данные показывают, что исторически успешными кандидатами были в основном мужчины.
Кто-то вводит коммерческую тайну компании в инструмент ИИ, и это содержимое в итоге используется для обучения его следующей версии, позволяя вашим конкурентам получать соответствующую информацию из его выходных данных.
Вы видите новостной репортаж, в котором утверждается, что знаменитость сделала шокирующие заявления, и в качестве доказательства приводится видео, но это видео оказывается дипфейком, созданным ИИ.

Это не научная фантастика; это то, что уже произошло или происходит прямо сейчас.

ИИ — не нейтральный инструмент. Он отражает предвзятость в обучающих данных, его можно использовать во вред, а его выводы могут содержать серьёзные ошибки. Наслаждаясь удобством ИИ, нужно осознавать его риски.

С большой силой приходит большая ответственность. Только понимая риски ИИ, можно ответственно использовать ИИ.

Проблемы предвзятости ИИ

ИИ не является предвзятым по своей природе, но он наследует предвзятость из своих обучающих данных.

Если в обучающих данных очень мало примеров женщин-инженеров, ИИ может считать, чтоинженерэто слово по умолчанию соответствует мужчинам.

Если с какой-то группой людей исторически обращались несправедливо при одобрении кредитов, закономерности, которые усваивает ИИ, могут сохранять или даже усиливать эту несправедливость.

Откуда берётся предвзятость

Существует три основных источника предвзятости ИИ:

Source	Описание	Пример
Предвзятость обучающих данных	Сами данные содержат несправедливые исторические закономерности	Если мужчины составляют высокую долю в определённой профессии, ИИ предполагает, что эта профессия подходит мужчинам
Предвзятость разметки	Ручная разметка привносит субъективные склонности аннотатора	У разных людей разные критерии оценки оскорбительного контента
Предвзятость сценария использования	Несоответствие между сценариями обучения и реальными сценариями использования	Система распознавания лиц, обученная в основном на светлокожих людях, имеет низкую точность распознавания темнокожих людей

Реальные случаи предвзятости

В 2018 году Amazon обнаружила, что её система рекрутинга с ИИ была предвзятой по отношению к женщинам. Система проанализировала данные резюме за десять лет, и большинство этих резюме поступило от мужчин. В результате резюме, содержащие слова «woman» или «female», получали штраф, а выпускницам женских колледжей также ставили более низкие оценки. В конце концов Amazon отказалась от системы.

Похожие примеры включают: некоторые системы распознавания лиц имеют значительно более высокую частоту ошибок для тёмной кожи, чем для светлой.

Некоторые модели медицинского ИИ имеют более низкую точность диагностики для определённых расовых групп.

Предвзятость — это не вопрос «политической корректности»; она причиняет реальный вред: из-за неё человек может лишиться работы, кредита или даже возможности получить правильный медицинский диагноз.

Как обнаружить предвзятость ИИ

Мы можем использовать код, чтобы создать простой пример обнаружения предвзятости:

Примеры

# ============================================
# Пример обнаружения предвзятости ИИ
# Обнаружение тенденций предвзятости в тексте в отношении пола, расы и т. д.
# ============================================

class BiasDetector:
"""Простой детектор предвзятости для демонстрации базовой идеи обнаружения предвзятости"""

def __init__(self):
"""Инициализировать ключевые слова и шаблоны, связанные с предвзятостью"""
# Гендерные профессиональные стереотипы
self.gendered_occupations = {
"nurse": "female",
"engineer": "male",
"programmer": "male",
"teacher": "female",
"cook": "male",
"няня": "женщина",
"учёный": "мужчина",
"секретарь": "женщина",
}

# Слова, считающиеся "положительными"
self.positive_words = [
"отличный", "умный", "способный", "успешный", "выдающийся", "профессиональный", "надёжный", "ответственный"
]

# Слова, считающиеся "отрицательными"
self.negative_words = [
"эмоциональный", "слабый", "иррациональный", "чувствительный", "импульсивный", "небрежный", "ненадёжный"
]

# Шаблоны тестовых предложений
self.test_templates = [
"{occupation} — это работа {gender}",
"{gender} больше подходит для {occupation}",
"Этот {occupation} очень {adjective}",
]

def analyze_gender_bias(self, text: str) -> dict:
"""Проанализировать текст на признаки гендерной предвзятости"""
result = {
"text": text,
"has_gendered_occupation": False,
"has_gender_mention": False,
"bias_warning": "",
}

# Проверить гендерно-окрашенные профессиональные выражения
for occupation, gender in self.gendered_occupations.items():
if occupation in text:
result["has_gendered_occupation"] = True
result["occupation"] = occupation
result["stereotyped_gender"] = gender

# Проверка упоминаний пола
if "Man" in text or "Woman" in text or "Male" in text or "Female" in text:
result["has_gender_mention"] = True

# Сгенерировать предупреждение (если есть)
if result["has_gendered_occupation"] and result["has_gender_mention"]:
result["bias_warning"] = (
f"⚠️ Примечание: Текст связывает профессию '{result['occupation']}' с определённым гендером,"
f"Это может нести риск стереотипизации"
)

return result

def detect_bias_in_sentences(self, sentences: list) -> list:
"""Пакетное обнаружение предвзятости в наборе предложений"""
results = []
for sentence in sentences:
analysis = self.analyze_gender_bias(sentence)
results.append(analysis)
return results

def example_demo_test(self):
"""пример демо: проверка некоторых распространённых предвзятых выражений"""
test_sentences = [
"Инженер — это мужская работа",
"Женщины больше подходят для сестринского дела",
"Этот программист превосходен",
"Она превосходна как врач",
"Мужчины не подходят на роль воспитателей детского сада",
]

print("=" * 60)
print("ПРИМЕР: Демонстрация обнаружения предвзятости ИИ")
print("=" * 60)

results = self.detect_bias_in_sentences(test_sentences)

for i, result in enumerate(results, 1):
print(f"\n"Тест {i}: {result['text']}")
if result["bias_warning"]:
print(f" {result['bias_warning']}")
else:
print(" ✓ Очевидных гендерных стереотипов не обнаружено")

return results

# ============================================
# Более продвинутое обнаружение предвзятости: статистический анализ
# ============================================

def analyze_representation_distribution(data: list) -> dict:
"""
Проанализируйте распределение представленности различных групп в данных
Например: одинакова ли доля прохождения резюме мужчин и женщин в данных о найме
"""
# Пример данных: метка группы + результат (пройдено/не пройдено)
# В реальных приложениях это должны быть настоящие бизнес-данные
from collections import defaultdict

counts = defaultdict(lambda: {"total": 0, "positive": 0})

for group, outcome in data:
counts[group]["total"] += 1
if outcome == "positive":
counts[group]["positive"] += 1

# Вычислить долю прохождения для каждой группы
rates = {}
for group, stats in counts.items():
if stats["total"] > 0:
rates[group] = {
"total": stats["total"],
"positive": stats["positive"],
"rate": stats["positive"] / stats["total"],
}

# Проверить, не слишком ли велика разница в проценте прохождения (упрощённая версия)
# В реальных приложениях используйте тесты статистической значимости
if len(rates) >= 2:
all_rates = [r["rate"] for r in rates.values()]
max_rate = max(all_rates)
min_rate = min(all_rates)
if max_rate - min_rate > 0.2: # Разница более 20% заслуживает внимания
rates["_warning"] = (
f"Обнаружены большие различия между группами: наибольшая доля успешных {max_rate:.1%},"
f"наименьшая доля успешных {min_rate:.1%}, рекомендуется дополнительное исследование"
)

return rates

# ============================================
# Запуск демо
# ============================================

if __name__ == "__main__":
# Демо 1: Простое обнаружение предвзятости
detector = BiasDetector()
detector.example_demo_test()

print("\n" + "=" * 60)
print("ПРИМЕР: демонстрация анализа репрезентативного распределения")
print("=" * 60)

# Демо 2: Анализ распределения доли успешных
# Смоделированные данные: (group, result), 'positive' означает успех
hiring_data = [
("Male", "positive"), ("Male", "positive"), ("Male", "positive"),
("Male", "positive"), ("Male", "negative"),
("Female", "positive"), ("Female", "negative"), ("Female", "negative"),
("Female", "negative"), ("Female", "negative"),
]

distribution = analyze_representation_distribution(hiring_data)

for group, stats in distribution.items():
if group.startswith("_"):
continue # Пропустить поля предупреждений
print(f"\nГруппа: {group}")
print(f" Всего: {stats['total']}")
print(f" Успешно: {stats['positive']}")
print(f" Доля успешных: {stats['rate']:.1%}")

if "_warning" in distribution:
print(f"\n⚠️ Предупреждение: {distribution['_warning']}")

Запустите приведённый выше код, и вы увидите:

============================================================
EXAMPLE AI 偏见检测演示
============================================================

测试 1: 工程师应该是男性的工作
   &#x26a0;&#xfe0f; 注意：文本将职业'工程师'与特定性别关联，这可能存在刻板印象风险

测试 2: 女性更适合做护士
   &#x26a0;&#xfe0f; 注意：文本将职业'护士'与特定性别关联，这可能存在刻板印象风险

测试 3: 这个程序员很优秀
   ✓ 未检测到明显的性别刻板印象

测试 4: 她当医生很出色
   ✓ 未检测到明显的性别刻板印象

测试 5: 男性不适合做幼儿园老师
   ✓ 未检测到明显的性别刻板印象

============================================================
EXAMPLE 代表性分布分析演示
============================================================

群体: 男性
  总数: 5
  通过: 4
  通过率: 80.0%

群体: 女性
  总数: 5
  通过: 1
  通过率: 20.0%
警告: 检测到群体间差异较大：最高通过率 80.0%，最低通过率 20.0%，建议进一步调查

Этот пример демонстрирует основную идею обнаружения предвзятости:Проверьте, справедливо ли относятся к разным группам。

Как устранить предвзятость ИИ

Идеального решения не существует, но есть несколько лучших практик, позволяющих снизить влияние предвзятости:

Метод	Описание	Кто это делает
Аудит данных	Проверьте репрезентативность обучающих данных, чтобы гарантировать, что каждая группа имеет достаточно образцов	Специалист по данным
Аудит предвзятости	Регулярно проверяйте различия в производительности модели между разными группами	Команда ИИ
Ручная проверка	Решения с высоким риском (например, приём на работу, кредиты) сохраняют этап проверки человеком	Бизнес-сторона
Разнообразные команды	Участие людей из разных слоёв общества в разработке ИИ может выявить больше слепых зон	Руководство компании

Помните:ИИ не объективен; он просто усиливает закономерности, уже присутствующие в данных. Если вы обучаете ИИ на предвзятых данных, вы получите предвзятый ИИ.

Конфиденциальность и безопасность данных

Куда попадает контент, который вы вводите в ИИ? Будет ли он храниться? Для чего он будет использоваться?

Эти вопросы важнее, чем вы думаете.

То, что вы вводите в ИИ, может быть сохранено

В условиях обслуживания большинства инструментов ИИ указано: ваш ввод может собираться для улучшения сервиса.

Если вы введёте эту информацию в ИИ, она может быть сохранена или даже использована для обучения:

Коммерческая тайна компании Персональные идентификационные номера Конфиденциальная информация клиентов Неопубликованные планы продуктов Финансовые данные

Это произошло в 2023 году: сотрудник ввёл конфиденциальный код компании в инструмент ИИ, и этот код появился в подсказках, которые инструмент ИИ давал другим пользователям.

О чём не следует рассказывать ИИ

Простой принцип:Если вы не хотели бы, чтобы это знал незнакомец, не рассказывайте это ИИ.。

В частности:

Тип информации	Уровень риска	Описание
Личная идентификационная информация (номер удостоверения личности, номер банковской карты)	Чрезвычайно высокая	Никогда не вводите
Коммерческая тайна компании, неопубликованная информация	Чрезвычайно высокая	Если только не используется ИИ, развёрнутый компанией
Конфиденциальные данные клиентов	Чрезвычайно высокая	Может нарушать правила защиты данных
Личный чувствительный опыт	Высокая	Тщательно подумайте
Обычные рабочие документы	Низкая	Как правило, не проблема

Лучшие практики защиты конфиденциальности

Если вам всё же необходимо использовать ИИ для обработки чувствительной информации:

Во-первых, проверьте, есть ли корпоративная версия. Многие ИИ-инструменты предлагают корпоративные версии, которые обещают не сохранять ваши данные и не использовать их для обучения.
Во-вторых, используйте локально развёрнутые модели. Некоторые модели могут работать на вашем собственном компьютере, и данные никогда не покидают ваше устройство.
В-третьих, обезличьте данные. Замените конфиденциальную информацию на заполнители, например, замените «Чжан Сан» на «Пользователь A», а «1 миллион юаней» на «X десятков тысяч юаней».

Важное напоминание:Не предполагайте, что ИИ сохранит ваши секреты. Если в договоре явно не указано, что данные не сохраняются и не используются для обучения, исходите из того, что ваш ввод может быть использован для улучшения продукта.

Проблемы галлюцинаций ИИ

ИИ может уверенно говорить чепуху; это называетсягаллюцинацией。

Он может выдумывать несуществующие статьи, ссылаться на несуществующие правовые нормы и генерировать несуществующие библиотеки кода. Самое опасное в том, что он утверждает всё это с большой уверенностью.

Что такое галлюцинация ИИ

Типичные проявления галлюцинации:

Вы спрашиваете его: кто открыл гравитацию? Он отвечает: Ньютон предложил закон всемирного тяготения в «Математических началах натуральной философии» в 1687 году — это верно.
Если вы спросите его: «Кто открыл антигравитацию?», он может выдумать имя и несуществующее исследовательское учреждение, и это будет звучать очень убедительно.

Проблема в том:ИИ не знает, что он выдумывает; он просто генерирует последовательности текста, которые выглядят правдоподобно.。

Реальные случаи галлюцинаций

В 2023 году адвокат использовал ИИ для написания юридических документов, и ИИ сослался на 6 несуществующих дел.

Судья обнаружил, что эти дела вообще невозможно найти, и спросил адвоката, что происходит. Только тогда адвокат понял, что они были сфабрикованы ИИ.

Другой распространённый сценарий — генерация кода: ИИ даёт вам фрагмент кода, который выглядит идеально, но вызывает библиотечную функцию, которая вообще не существует.

Есть также академическое письмо: ИИ выдумывает несуществующие ссылки, а форматирование выглядит особенно формальным.

Как распознавать и обрабатывать галлюцинации

Полностью избежать галлюцинаций невозможно, но можно снизить риск:

Сценарий	Способ реагирования	Способ проверки
Проверка фактов	Попросите ИИ предоставить ссылки на источники	Самостоятельно ищите и проверяйте ключевые факты
Генерация кода	Попросите ИИ использовать распространённые, стабильные библиотеки	Запустите тесты, чтобы проверить, действительно ли существуют функции
Юридические/медицинские консультации	Использовать только для справки, а не как окончательное основание	Консультируйтесь со специалистами
Научные ссылки	Не используйте напрямую ссылки, предоставленные ИИ	Каждую ссылку необходимо найти и подтвердить

Практический совет:Для важной информации попросите ИИ ответить как минимум двумя разными способами и посмотрите, согласуются ли они.。

Если в первый раз он говорит: «это исследование было опубликовано в 2020 году», а во второй раз говорит: «эта работа была впервые предложена в 2021 году», вам следует насторожиться — по крайней мере одно неверно, а возможно, и оба неверны.

Золотое правило для сценариев высокого риска:Не доверяйте; проверяйте.. Вывод ИИ — всегда справочная информация, а не окончательный ответ. Когда речь идёт о важных решениях, связанных с законом, медицинской помощью, инвестициями, безопасностью и т. д., требуется ручная проверка.

Риски дипфейков

Поговорка «одна картинка стоит тысячи слов» больше не актуальна в эпоху ИИ.

ИИ может генерировать чрезвычайно реалистичные фото, видео и аудио, из-за чего людям трудно отличить настоящее от поддельного. Это называется дипфейк.

Что такое дипфейк

Технология дипфейка может:

Заменять лицо одного человека на тело другого;
Заставлять человека говорить то, чего он никогда не говорил;
Генерировать фото людей, которые вообще не существуют;
Имитировать голос конкретного человека, используя его тембр для произнесения произвольного содержания.

В 2023 году мошенники использовали ИИ, чтобы имитировать голос генерального директора компании, и обманом выманили у компании $240,000.

Как распознать контент, созданный ИИ

Хотя дипфейки становятся всё более реалистичными, всё ещё есть некоторые признаки, позволяющие их распознать:

Type	Распространённые признаки	Как проверить
ИИ-изображения	Неестественные пальцы, странные зубы, непоследовательное освещение	Внимательно присмотритесь к деталям, особенно к рукам
ИИ-видео	Неестественное моргание, застывшая мимика	Проверьте, плавные ли движения и естественные ли они
ИИ-аудио	Аномальный фоновый шум, странный темп и ритм	Внимательно послушайте, звучат ли тон и паузы естественно

Кроме того, сейчас существуют специальные инструменты, которые могут определить, был ли контент сгенерирован ИИ.

Но в долгосрочной перспективе обнаружение станет сложнее — контент, сгенерированный ИИ, будет становиться всё более реалистичным.

Правовые и этические границы

Разумные случаи использования дипфейков:

Спецэффекты в кино Реставрация исторических документальных фильмов Изучение языков (позволяя ИИ произносить слова на вашем родном языке)

Случаи злоупотребления дипфейками:

Распространение слухов и клевета Мошенничество Создание порнографического контента Фальсификация доказательств

Многие страны принимают соответствующие законы. В Китае использование дипфейков для мошенничества, клеветы и других действий однозначно незаконно.

Новые рекомендации для видео- и аудиодоказательств:Если это не подтверждено несколькими независимыми источниками, не доверяйте единичному аудиовизуальному доказательству. В эпоху ИИ видеть — не значит верить.

Вопросы интеллектуальной собственности

Кому принадлежат авторские права на контент, созданный ИИ?

Это развивающаяся область права, и в настоящее время нет глобально единого ответа.

Принадлежность авторских прав на контент, созданный ИИ

Текущие общие принципы:

Область	Может ли контент, сгенерированный ИИ, получить авторское право	Примечания
США	Как правило, нет	Бюро по авторским правам требует "человеческого авторства"
Европейский союз	В разработке	Склонна защищать права людей-авторов

Ключевые моменты:Контент, полностью сгенерированный ИИ, как правило, не защищён авторским правом.Если вы просто введёте "нарисуй кота", вы не сможете претендовать на авторское право на сгенерированное изображение.

Но если вы вложите существенные творческие усилия в промпт, ситуация может быть иной — это правовая серая зона.

Споры об авторском праве в обучающих данных

Ещё один более спорный вопрос: является ли обучение ИИ на произведениях, защищённых авторским правом, нарушением?

Например, если ИИ прочитает 10,000 романов, защищённых авторским правом, а затем сгенерирует новые романы в похожем стиле, нарушает ли это права оригинальных авторов?

Этот вопрос всё ещё рассматривается в судах, и в разных странах могут быть приняты разные решения.

Как пользователю, вам нужно знать:

Контент, сгенерированный ИИ, может содержать элементы из его обучающих данных. Если ИИ «позаимствует» слишком много из произведения, защищённого авторским правом, вы можете подвергнуться риску.

Наиболее безопасный подход:Перед коммерческим использованием убедитесь, что источник обучающих данных используемого вами ИИ-инструмента является законным.。

Меры предосторожности при создании с помощью ИИ

Если вы используете ИИ для создания:

Во-первых, ознакомьтесь с условиями использования ИИ-инструмента, которым вы пользуетесь. Разрешает ли он коммерческое использование? Что в нём сказано об авторских правах на сгенерированный контент?
Во-вторых, будьте прозрачны. Если в вашей работе активно используется ИИ, подумайте о том, чтобы раскрыть это.
В-третьих, не используйте ИИ для прямого подражания стилю конкретного художника с целью получения прибыли. Это может не только нести юридические риски, но и противоречить этическим нормам.

Принцип	Описание	Конкретные действия
Проверяйте важную информацию.	Вывод ИИ — это лишь ориентир, а не истина.	Важные факты следует подтверждать через поиск и перекрёстную проверку.
Не полагайтесь на ИИ при принятии важных решений.	ИИ не несёт ответственности; последствия несёте вы.	Решения, касающиеся медицины, права, инвестиций и т. п., требуют человеческого суждения.
Прозрачно раскрывайте использование ИИ.	Сообщайте другим, что ИИ участвовал в создании контента.	Рассмотрите возможность раскрытия роли ИИ при публичной публикации.

Развитие регулирования ИИ в мире

ИИ развивается слишком быстро, и законы пытаются не отставать. Понимание направлений регулирования в основных странах поможет вам определить, что соответствует требованиям.

Основные глобальные системы регулирования

Область	Ключевые нормативные акты/инициативы	Основной подход	Ключевые направления
Европейский союз	Закон об ИИ	Регулирование по уровням риска	Сценарии с высоким риском должны соответствовать требованиям
США	Раздельное регулирование разными ведомствами	Саморегулирование отрасли + контроль в ключевых областях	Безопасность, дискриминация, прозрачность
Китай	Временные меры по управлению услугами генеративного ИИ	Безопасность контента + прозрачность алгоритмов	Соответствие контента требованиям, безопасность данных
Соединённое Королевство	Рамочная основа безопасности и инноваций в области ИИ	Поощрение инноваций + осмотрительное регулирование	Тестирование безопасности, этика

Общие тенденции регулирования высокорисковых приложений ИИ

Независимо от страны, следующие сценарии считаются высокорисковыми и подлежат более строгому регулированию:

Медицинская диагностика Принятие финансовых решений Судебное вынесение приговора Скрининг при найме Оценивание в образовании Распределение ресурсов государственных служб

Общая черта этих сценариев: прямое влияние на основные права людей.

Если вы разрабатываете ИИ-приложения в этих областях, вам нужно обратить особое внимание на вопросы соответствия требованиям.

Влияние на отдельных пользователей

Регулирование в основном нацелено на бизнес, но оно также затрагивает отдельных пользователей:

ИИ-инструменты, которые вы используете, должны соответствовать местным требованиям проверки контента;

Некоторые высокорисковые ИИ-сервисы могут требовать регистрации с указанием настоящего имени;

Вы имеете право знать, общаетесь ли вы с ИИ или с человеком (требование прозрачности).

Другие расширения