Введение в нейросети
Узнаете, зачем нужны нейросети, какие ключевые отличия глубокого обучения от классического машинного обучения. Рассмотрите основные компоненты нейросети: нейрон, полносвязные слои (Fully Connected Layers), понятие весов и смещений (weights & biases), перцептрон.
Построение полносвязной нейросети (MLP)
Поймёте, как соединяются слои и происходит forward pass, распространение входных данных, и вычисление выходного сигнала.
Функции ошибок и градиентный спуск
Разберёте, что такое функция потерь и зачем она нужна, какие бывают популярные функции ошибок: MSE, MAE для регрессии, Cross-Entropy Loss для классификации, варианты градиентного спуска (Batch Gradient Descent, Stochastic Gradient Descent (SGD), Mini-Batch SGD).
Обратное распространение ошибки (Backpropagation)
Научитесь пересчитывать градиенты, строить производную функцию ошибки по весам и решать проблему исчезающего градиента.
Оптимизаторы: как ускорить и улучшить обучение
Узнаете про SGD, его улучшенные версии Adam, RMSprop, Adagrad и их особенности. Выберете подходящий метод оптимизации.
Функции активации
Узнаете, зачем нужны функции активации и какие из них популярные: Sigmoid, Tanh, ReLU и его вариации (Leaky ReLU, Parametric ReLU), Swish и GELU.
Обучение нейросети: основные проблемы и их решения
Поймёте, чем вызвано переобучение (Overfitting): Dropout, Batch Normalization, Data Augmentation; недообучение (Underfitting). Узнаете, почему модель не учится. Повысите сложность модели, подберёте архитектуру. Выясните, почему происходит взрыв и затухание градиентов, и изучите методы борьбы с этим: Gradient Clipping, нормализацию данных.
Введение в PyTorch и построение нейросети
Сравните PyTorch с TensorFlow и поймёте их ключевые различия. Рассмотрите основные сущности PyTorch: Tensor, Dataset, DataLoader, Neural Networks (torch.nn).