Настройка окружения TensorFlow

TensorFlow 2.x имеет определённые требования к версиям Python:

Рекомендуется Python 3.9-3.11Эти версии обеспечивают наилучшую совместимость и стабильность.

Проверить текущую версию Python

# 检查 Python 版本
python --version
# или 
python3 --version

# 检查 pip 版本
pip --version
# или 
pip3 --version

Варианты установки Python

Вариант 1: Официальный Python (рекомендуется для начинающих)

• Посетитеpython.orgСкачайте и установите
• Установите флажок "Add Python to PATH" при установке
• Включает менеджер пакетов pip

Вариант 2: Anaconda/Miniconda (Рекомендуется для Data Science)

• Anaconda: Полноценная среда для Data Science
• Miniconda: Облегчённая версия
• Встроенное управление средами и пакетами

Вариант 3: Системный менеджер пакетов

# Ubuntu/Debian
sudo apt update
sudo apt install python3 python3-pip

# macOS (使用 Homebrew)
brew install python3

# Windows (使用 Chocolatey)
choco install python3

Настройка виртуального окружения (настоятельно рекомендуется)

Зачем использовать виртуальное окружение

Преимущества：

• Изоляция зависимостей: Позволяет избежать конфликтов версий пакетов между разными проектами
• Чистое окружение: Сохраняет системное окружение Python чистым
• Простое управление: Позволяет легко удалять и пересоздавать окружения
• Воспроизводимость: Упрощает воспроизведение окружений на разных машинах

Создание виртуальной среды с помощью venv

# 创建虚拟环境
python -m venv tensorflow_env

# 激活虚拟环境
# Windows:
tensorflow_env\Scripts\activate
# macOS/Linux:
source tensorflow_env/bin/activate

# 确认激活（提示符会显示环境名）
which python  # 应该指向虚拟环境中的 python

# 升级 pip
python -m pip install --upgrade pip

Создание виртуальной среды с помощью Conda

# 创建新环境
conda create -n tensorflow_env python=3.10

# 激活环境
conda activate tensorflow_env

# 列出所有环境
conda env list

# 在环境中安装包
conda install pip

Управление виртуальной средой

# 查看已安装的包
pip list

# 生成依赖文件
pip freeze > requirements.txt

# 从文件安装依赖
pip install -r requirements.txt

# 退出虚拟环境
deactivate  # venv
conda deactivate  # conda

# 删除虚拟环境
rm -rf tensorflow_env  # venv
conda env remove -n tensorflow_env  # conda

Установка TensorFlow

Установка версии для CPU (подходит для обучения и лёгких задач)

# 确保在虚拟环境中
pip install tensorflow

# 验证安装
python -c "import tensorflow as tf; print('TensorFlow version:', tf.__version__)"

Особенности версии для CPU：

• Преимущества: простая установка, не требуется дополнительная настройка
• Недостатки: медленная скорость обучения, подходит для небольших объёмов данных
• Применимые сценарии: обучение, прототипирование, развёртывание инференса

Установка версии для GPU (подходит для крупномасштабного обучения)

Ускорение на GPU может значительно повысить скорость обучения, особенно для задач глубокого обучения.

3.2.1 Требования к NVIDIA GPU

Требования к оборудованию：

• NVIDIA GPU (вычислительная способность 3.5 или выше)
• 8GB+ видеопамяти (рекомендуется)

Просмотр информации о GPU：

# Windows
nvidia-smi

# Linux
lspci | grep -i nvidia

Установка CUDA и cuDNN

Соответствие версий TensorFlow 2.15+ и CUDA：

Шаги установки：

1. Скачивание и установка CUDA Toolkit

   • ПосетитеNVIDIA CUDA Toolkit
   • Выберите соответствующую версию для скачивания и установки
   • Добавить в системный PATH

2. Скачивание и установка cuDNN

   • ПосетитеNVIDIA cuDNN
   • Требуется регистрация учетной записи NVIDIA
   • Распакуйте в каталог установки CUDA

3. Проверка установки CUDA

   nvcc --version
   nvidia-smi

Установка GPU-версии TensorFlow

# TensorFlow 2.10+ 统一包名
pip install tensorflow

# 验证 GPU 可用性
python -c "
import tensorflow as tf
print('TensorFlow version:', tf.__version__)
print('GPU available:', tf.config.list_physical_devices('GPU'))
print('Built with CUDA:', tf.test.is_built_with_cuda())
"

Установка через Conda

# CPU 版本
conda install tensorflow

# 或从 conda-forge
conda install -c conda-forge tensorflow

# GPU 版本（自动安装 CUDA）
conda install tensorflow-gpu

Установка конкретной версии

# 安装特定版本
pip install tensorflow==2.14.0

# 安装预发布版本
pip install tf-nightly

# 升级到最新版本
pip install --upgrade tensorflow

Установка инструментов разработки

Jupyter Notebook/Lab

Jupyter — стандартная среда разработки для науки о данных и машинного обучения:

# 安装 Jupyter Notebook
pip install jupyter notebook

# 或安装 JupyterLab（推荐）
pip install jupyterlab

# 启动 Jupyter
jupyter notebook
# или 
jupyter lab

Расширения Jupyter：

# 安装有用的扩展
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user

# 变量检查器
pip install nbextensions

Выбор IDE

Visual Studio Code (рекомендуется)：

• Установите расширение Python
• Установите расширение Jupyter
• Интеллектуальное автодополнение кода и отладка

PyCharm：

• Профессиональная Python IDE
• Мощные возможности отладки
• Встроенная поддержка Git

Google Colab (облачный вариант)：

• Бесплатное использование GPU
• Предустановленные распространённые библиотеки
• Не требует локальной настройки

Необходимые пакеты Python

# 数据处理
pip install numpy pandas matplotlib seaborn

# 科学计算
pip install scipy scikit-learn

# 图像处理
pip install pillow opencv-python

# 进度条和实用工具
pip install tqdm

# 创建完整的要求文件
cat > requirements.txt << EOF
tensorflow>=2.12.0
numpy>=1.21.0
pandas>=1.3.0
matplotlib>=3.5.0
seaborn>=0.11.0
scikit-learn>=1.0.0
jupyter>=1.0.0
tqdm>=4.60.0
pillow>=8.0.0
EOF

# 批量安装
pip install -r requirements.txt

Проверка конфигурации

Полный скрипт проверки установки

Создайтеverify_installation.pyфайл:

Запуск проверки:

python verify_installation.py

Тест производительности

Создайте простой тест производительности:

Распространённые проблемы и решения

Проблемы при установке

Проблема 1: тайм-аут установки pip

pip install --user tensorflow

Проблема 2: ошибка прав доступа

# 创建新的虚拟环境
python -m venv fresh_env
source fresh_env/bin/activate  # Linux/Mac
# или  fresh_env\Scripts\activate  # Windows
pip install tensorflow

Проблема 3: конфликт версий

# 创建新的虚拟环境
python -m venv fresh_env
source fresh_env/bin/activate  # Linux/Mac
# или  fresh_env\Scripts\activate  # Windows
pip install tensorflow

Проблемы, связанные с GPU

Проблема 1: несоответствие версии CUDA

• Проверьте совместимость версий TensorFlow и CUDA
• Переустановите подходящую версию CUDA

Проблема 2: недостаточно памяти GPU

# 设置 GPU 内存增长
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    for gpu in gpus:
        tf.config.experimental.set_memory_growth(gpu, True)

Проблема 3: GPU не найден

# 检查 NVIDIA 驱动
nvidia-smi

# 检查 CUDA 安装
nvcc --version

# 重新安装 GPU 支持
pip uninstall tensorflow
pip install tensorflow

Проблемы, связанные с Jupyter

Проблема 1: виртуальное окружение не отображается в Jupyter

# 安装 ipykernel
pip install ipykernel

# 添加虚拟环境到 Jupyter
python -m ipykernel install --user --name tensorflow_env --display-name "Python (TensorFlow)"

Проблема 2: Jupyter не запускается

# 重新安装 Jupyter
pip uninstall jupyter notebook
pip install jupyter notebook

# 或使用 conda
conda install jupyter

Оптимизация среды разработки

Управление памятью GPU

# GPU 配置优化
import tensorflow as tf

# 方法 1：设置内存增长
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

# 方法 2：限制内存使用
if gpus:
    try:
        tf.config.experimental.set_memory_limit(gpus[0], 4096)  # 4GB
    except RuntimeError as e:
        print(e)

Настройки оптимизации производительности

# 启用混合精度训练（提升性能）
from tensorflow.keras.mixed_precision import experimental as mixed_precision

policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)

# 启用 XLA 编译优化
tf.config.optimizer.set_jit(True)

Конфигурация инструментов разработки

Конфигурация VS Code (.vscode/settings.json)：

{
    "python.defaultInterpreterPath": "./tensorflow_env/bin/python",
    "python.linting.enabled": true,
    "python.linting.pylintEnabled": true,
    "jupyter.defaultKernel": "tensorflow_env"
}

Обслуживание среды

Регулярные обновления

# 更新 TensorFlow
pip install --upgrade tensorflow

# 更新所有包
pip list --outdated
pip install --upgrade package_name

# 或批量更新
pip freeze | grep -v "^-e" | cut -d = -f 1 | xargs pip install -U

Резервное копирование и миграция среды

# 导出环境
pip freeze > requirements.txt
conda env export > environment.yml

# 在新机器上恢复环境
pip install -r requirements.txt
conda env create -f environment.yml