Введение в нейросети
Узнаете, зачем нужны нейросети, какие ключевые отличия глубокого обучения от классического машинного обучения. Рассмотрите основные компоненты нейросети: нейрон, полносвязные слои (Fully Connected Layers), понятие весов и смещений (weights & biases), перцептрон.
Построение полносвязной нейросети (MLP)
Поймёте, как соединяются слои и происходит forward pass, распространение входных данных, и вычисление выходного сигнала.
Функции ошибок и градиентный спуск
Разберёте, что такое функция потерь и зачем она нужна, какие бывают популярные функции ошибок: MSE, MAE для регрессии, Cross-Entropy Loss для классификации, варианты градиентного спуска (Batch Gradient Descent, Stochastic Gradient Descent (SGD), Mini-Batch SGD).
Обратное распространение ошибки (Backpropagation)
Примените цепное правило для вычисления градиентов. Разберёте процесс Backpropagation для простых сетей и его связь с функцией ошибок. Выведете формулы обновления весов признаков, визуализируете процесс оптимизации в пространстве параметров.
Оптимизаторы: как ускорить и улучшить обучение
Сравните различные оптимизаторы (Adam, RMSprop, Adagrad, AdamW) и проведёте их настройку для быстрой сходимости.
Функции активации
Узнаете, зачем нужны функции активации и какие из них популярные: Sigmoid, Tanh, ReLU и его вариации (Leaky ReLU, Parametric ReLU), Swish и GELU.
Обучение нейросети: основные проблемы и их решения
Продиагностируете переобучение и недообучение по графикам процесса обучения нейросети. Освоите и примените методы регуляризации и другие стратегии борьбы с Overfitting и Underfitting, в том числе настройку параметров, Dropout, BatchNorm, планировщик шага обучения.
Введение в PyTorch и построение нейросети
Рассмотрите принципы создания нейросетей в PyTorch и его основные сущности: Tensor, Dataset, DataLoader.