Deep Learning (семестр 1, весна 2021): продвинутый поток
Deep Learning начинается где-то в середине курса.
Основы машинного обучения
[Лелейтнер Григорий] Лекция 1. Введение в машинное обучение
https://www.youtube.com/watch?v=LcvKd42DGQU
На этой вводной лекции про машинное обучение вы узнаете, что такое обучение с учителем, как выглядит решение задачи машинного обучения и что такое обучение модели.
(С нейросетями практически никогда не делается. Для других методов, почти всегда.)
[Лелейтнер Григорий] Семинар 1. Введение в машинное обучение
https://www.youtube.com/watch?v=YMtsgx8oB24
В этом семинаре вы познакомитесь с библиотекой sklearn и узнаете основные этапы обработки данных. Также мы будем подбирать гиперпараметры модели с помощью метрик и кросс валидации.
Инструкция по подключению своего Google drive к Google colab
https://yadi.sk/i/sqqI2xVBcztIDw
Линейные модели
[Лелейтнер Григорий] Лекция 2.1: Линейная регрессия
https://www.youtube.com/watch?v=khdaLtu9i-s
[Лелейтнер Григорий] Лекция 2.2: LogLoss
https://www.youtube.com/watch?v=HV4Bm8UJwIs
[Лелейтнер Григорий] Лекция 2.3: Логистическая регрессия
https://www.youtube.com/watch?v=FssgYm7FYM8
[Лелейтнер Григорий] Лекция 2.4: Градиентный спуск
https://www.youtube.com/watch?v=YWr3S1IqnlQ
[Лелейтнер Григорий] Лекция 2.5: Регуляризация в линейной регрессии
https://www.youtube.com/watch?v=7lKwdPwqVHc
[Лелейтнер Григорий] Лекция 2.6: Нормализация
https://www.youtube.com/watch?v=tOiwAyilk3I
[Ямалутдинов Артём] Семинар. Линейная и логистическая регрессия
https://www.youtube.com/watch?v=5VOp5xmBvds
[Ямалутдинов Артём] Семинар. Регуляризация в линейной регрессии
https://www.youtube.com/watch?v=56YdhX0xj3k
Композиции алгоритмов и выбор модели
В этом модуле вы познакомитесь с решающими деревьями, а также научитесь строить композиции алгоритмв: бэггинг, стекинг и бустинг. Также вы научитесь выбирать оптимальную модель машинного обучения.
[Яровиков Юрий] Лекция. Решающие деревья
https://www.youtube.com/watch?v=MJwAoWFTMWw
[Яровиков Юрий] Лекция. Композиции алгоритмов
https://www.youtube.com/watch?v=vqF8wrWjR5s
Бэггинг, Стекинг и Бустинг используют принцип композиции
- Бэггинг - принимает решение простым голосованием
- Стекинг - обучает метаалгоритм над разноплановыми алгоритмами
- Бустинг - строит базовые модели, компенсирующие ошибки предыдущих.
[Яровиков Юрий] Лекция. Градиентный бустинг
https://www.youtube.com/watch?v=JElfEE1OrSU
Градиентный бустинг - эффективный способ построения композиции решающих деревьев.
- Деревья строятся послдеовательно.
- Каждое следующее дерево стремится компенсировать ошбику уже построенных.
- Решение затем принимается взвешенным голосованием.
[Боков Аркадий] Семинар. Выбор моделей и цикл разработки.
https://www.youtube.com/watch?v=B03CrtpYDi4
Интересная лекция, нужно пересмотреть.
Введение в нейронные сети
В этом модуле мы начинаем знакомство с нейронными сетями. Вы узнаете о том, что такое полносвязные нейронные сети, изучите алгоритм обратного распространения ошибки для обучения нейронных сетей, а также изучите библиотеку Pytorch.
Ссылки на сайты:
- https://cs231n.github.io/
- http://playground.tensorflow.org/
[Нейчев Радослав] Лекция. Введение в нейронные сети. Часть 1. История развития Deep Learning
https://www.youtube.com/watch?v=ZfXpX8tMg-w
[Нейчев Радослав] Лекция. Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
https://www.youtube.com/watch?v=-yiq1DRX9K0
Интересная лекция, нужно пересмотреть.
[Нейчев Радослав] Лекция. Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
https://www.youtube.com/watch?v=3F7rydcAa0w
Интересная лекция, нужно пересмотреть.
[Садыков Дмитрий] Семинар. Основы PyTorch. Работа с тензорами
https://www.youtube.com/watch?v=aW9BgoKalY0
Official PyTorch tutorials:
https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#sphx-glr-beginner-blitz-tensor-tutorial-py
Useful repo with different tutorials:
https://github.com/yunjey/pytorch-tutorial
[Садыков Дмитрий] Семинар. Основы PyTorch. Обучение нейронных сетей
https://www.youtube.com/watch?v=afGOdNmRF_s
Свёрточные нейросети
Свёрточные нейросети - это особый вид нейросетей, который подходит для обработки структурированных данных - например, изображений.
[Гайнцева Татьяна] Лекция. Лекция. История развития сверточных нейронных сетей
https://www.youtube.com/watch?v=Xq76hQHCkvQ
[Гайнцева Татьяна] Лекция. Лекция. Сверточные нейронные сети
https://www.youtube.com/watch?v=HpKGv-kYurk
[Гайнцева Татьяна] Лекция. Операция пулинга
https://www.youtube.com/watch?v=IxLuPHtZBTY
[Гайнцева Татьяна] Лекция. Задачи компьютерного зрения
https://www.youtube.com/watch?v=3IPRcBIsgNA
Продвинутое обучение нейросетей
[Нейчев Радослав] Лекция. Градиентная оптимизация в Deep Learning
https://www.youtube.com/watch?v=6CvpMOO-DB4
[Нейчев Радослав] Лекция. Лекция. Регуляризация в Deep Learning
https://www.youtube.com/watch?v=x72-oUjv1ew
[Лелейтнер Григорий] Семинар. PyTorch. Batch Normalization и Dropout
https://www.youtube.com/watch?v=Y9a5EfqM7RM
[Лелейтнер Григорий] Семинар. PyTorch. Оптимизаторы
https://www.youtube.com/watch?v=Yh1VoUhS5MY
Классификация изображений
[Гайнцева Татьяна] Лекция. Архитектуры CNN
https://www.youtube.com/watch?v=TcUPuKpIlhQ
[Гайнцева Татьяна] Лекция. Transfer Learning
https://www.youtube.com/watch?v=oLpREso27Zw
[Балаганский Никита] Семинар. Transfer Learning в компьютерном зрении
https://www.youtube.com/watch?v=4AUxDH4doV0
Семантическая сегментация
[Гайнцева Татьяна] Лекция. Семантическая сегментация. Введение
https://www.youtube.com/watch?v=tIqndofykgc
[Гайнцева Татьяна] Лекция. Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
https://www.youtube.com/watch?v=K73tZxH9nvE
Как улучшить имеющиеся архитектуры для задачи сегментации
[Гайнцева Татьяна] Лекция. Семантическая сегментация. Архитектура UNet
https://www.youtube.com/watch?v=yEuIV5FsRMs
Детекция объектов на изображениях
[Захаркин Илья] Лекция. Нейронная детекция объектов. Классификация (повторение)
https://www.youtube.com/watch?v=8D01Xo9hWgg
[Захаркин Илья] Лекция. Нейронная детекция объектов. Основы
https://www.youtube.com/watch?v=Y4JvVOaZWsU
[Захаркин Илья] Лекция. Нейронная детекция объектов. Двухстадийные нейросети
https://www.youtube.com/watch?v=WrKl7GHWilA
[Захаркин Илья] Лекция. Нейронная детекция объектов. Одностадийные нейросети
https://www.youtube.com/watch?v=OPK63uqAQLs
[Захаркин Илья] Лекция. Нейронная детекция объектов. Современные подходы и задачи
https://www.youtube.com/watch?v=6WXUNNYysww
[Захаркин Илья] Практика. Нейронная детекция объектов. Запуск SSD, TorchHub
https://www.youtube.com/watch?v=JX6N74K84n0
[Захаркин Илья] Практика. Нейронная детекция объектов. Обучение SSD, mmdetection
https://www.youtube.com/watch?v=gw_IXcbhOO0
Применение моделей компьютерного зрения
[Захаркин Илья] Семинар: Нейросети в компьютерном зрении: практика (08.12.2019)
https://www.youtube.com/watch?v=XSPYe4-y4HE