Нейронные сети и deep learning

Обучения с 01 июня по 30 июня 2024 года

ЦЕЛЬ РЕАЛИЗАЦИИ ПРОГРАММЫ

Основной темой данной программы является глубокое обучение, т.е. новое поколение методов, основанных на нейронных сетях, существенно улучшивших качество систем искусственного интеллекта в таких направлениях, как компьютерное зрение, распознавание речи, обработка естественного языка, обучение с подкреплением, биоинформатика. Программа охватывает основы обучения с учителем и без учителя в контексте глубоких архитектур. Кроме того, в программе детально рассматриваются два наиболее успешных класса моделей, а именно сверточные и рекуррентные нейронные сети. В прикладной части особый акцент делается на задачах компьютерного зрения и обработки естественного языка. Программа включает в себя существенную практическую компоненту в виде большого числа практических заданий.

Цель курса: охват основ обучения с учителем и без учителя в контексте глубоких архитектур.

ФОРМАЛИЗОВАННЫЕ РЕЗУЛЬТАТЫ ОБУЧЕНИЯ:

Знать
Знать алгоритмические основы глубокого обучения, включая новейшие варианты стохастического градиентного спуска и особенности современных сверточных и рекуррентных нейронных сетей
Быть в курсе последних разработок в области глубокого обучения для анализа изображений и обработки естественного языка
Уметь
Уметь прототипировать, тренировать и применять глубокие архитектуры, включая архитектуры, использующие перенос знаний с предварительно обученных моделей Уметь определять и проектировать новые глубокие архитектуры для нестандартных задач и приложений машинного обучения
Владеть
Владеть программными пакетами для глубокого обучения (Theano/Lasagne и другие релевантные Python-библиотеки)

Содержание курса

Основы нейросетей. Сети прямого распространения сигнала
Простейшая нейросеть – 1 нейрон. Функции активации (линейная, пороговая, сигмоида, гиперболический тангенс, softmax, LeakyReLU, ELU, Maxout). Функциональная выразимость нейрона. Теорема об универсальной аппроксимации. Сеть прямого распространения. Обучение. Функции ошибки. Производные на компьютере. Проблема затухания градиента. Обратное распространение градиента.
Рекуррентные и сверточные нейронные сети

Что такое изображение. Линейный подход к классификации на несколько классов. Свёрточные нейронные сети (ConvNet, CNN). Что такое свёртка (Convolution): глубина свёртки, отступ (Padding), шаг (stride), Dilation (расширение). 1×1-свёртки (Pointwise Convolutions). Реализация свёртки. Разреженные взаимодействия (sparse interactions). Pooling (агрегация, субдискретизация / subsampling), виды пулинга, Pooling layer. Устройство слоя свёрточной НС, мотивация. Перевод тензора в тензор. Визуализация признаков. Полносвязный слой. Какие бывают свёртки: Spatial Separable Convolutions, Group Convolutions, depth-wise convolution, Depth-wise separable convolution. Dropout в свёрточных сетях.

RNN (базовый блок). RNN: обучение. RNN: как решать задачи классификации. LSTM. Забывающий гейт (Forget Gate). Входной гейт (Input Gate). Обновление состояния (Cell update). Выходной гейт (Output Gate). Gated Recurrent Unit (GRU). Метод форсирования учителя (teacher forcing). Scheduled sampling. Двунаправленные (Bidirectional) RNN. Глубокие (Deep) RNN. Глубокие двунаправленные RNN. Многонаправленные RNN. Пиксельные RNN. Рекурсивные (Recursive Neural Networks) НС. Exploding / Vanishing gradients. Особенности регуляризации в RNN: Dropout. Особенности регуляризации в RNN: Batchnorm. MI (Multiplicative Integration). Интерпретация LSTM: Sentiment neuron. Применение RNN.
Генеративные модели

Представление слов: – токенизация на подслова (byte-pair encoding (BPE), wordpiece, unigram language model, sentencepiece), – посимвольный подход (представления слов из анализа символов, Compositional Character Model, Character-Aware NLM), – гибридный подход (действуем на уровне слов, если надо – на уровне символов.

РАСПИСАНИЕ ЗАНЯТИЙ

Онлайн вебинары
Понедельник и четверг с 19.00
01 июня – 30 июня
Преподаватели
Смирнов И.Н. доцент кафедры общей математики
Ястребов К.С. программист, лаборатория ОИТ

ДОКУМЕНТЫ ОБ ОКОНЧАНИИ

ДОКУМЕНТЫ ДЛЯ ЗАЧИСЛЕНИЯ

• Для зачисления на программу необходимо заполнить следующие документы (от руки или в электронном виде) и прислать на почту dpovmk@cs.msu.ru:
1. Заявление
2. Анкета
3. Согласие на обработку персональных данных
4. копия паспорта
5. копия диплома о высшем образовании или справка о том, что вы являетесь студентом.
• После того как вы пришлёте документы, мы вам вышлем договор и направление на оплату