[Skillbox] Профессия Data Scientist - Deep Learning
Библиотека Keras, TF 1.4 в какой-то момент начинаем работать с версией 2.0
01 - 04 Введение
05 - 14 Computer Vision
13 - 15 NLP
16 - 17 Reinforcement Learning
18 - Ускорение и оптимизация
19 - Внедрение моделей в production
1.2 Линейный классификатор.
1.4 Функционал ошибки
1.6 Нейрон и логистическая регрессия
2.1 Градиентный спуск
2.3 Метод обратного распространения ошибки
2.6 Функции активации
3.5 Определение модели в Tensorflow
3.7 Обучение модели в Tensorflow
Определение лосс функции
На протяжении курса вы познакомились как минимум с тремя типами функций потерь
- MSE (mean squared error) – для задачи регрессии
- Binary cross entropy – для задачи бинарной классификации
- Categorical cross entropy – для задачи многоклассовой классификации
Все они реализованы в Keras и находятся в tf.keras.losses:
- tf.keras.losses.MSE()
- tf.keras.losses.binary_crossentropy()
- tf.keras.losses.sparse_categorical_crossentropy()
Определение оптимизатора
- tf.keras.optimizers.Adam
- tf.keras.optimizers.SGD и многие другие.
Каждый из оптимизаторов имеет свои параметры, но все разделяют общий – learning rate.
3.9 Сохранение и загрузка моделей в TF
4.6 Свертки
4.8 Демо. Сверточный слой в Keras
4.11 Демо. Сверточная сеть в Keras
4.12 Демо. Input pipeline
5.2 Переобучение / аугментации
Аугментация искусственно делает датасет более разнообразным, а значит более сложным для “заучивания”. Это очень эффективный метод борьбы с переобчуением, но у него конечно есть пределы, т.к. новых данных мы не добавляем.
5.4 Демо. Инференс моделей
5.6 Что “видят” нейронные сети?
5.8 Демо. Transfer learning в Keras
6.5 Реализация слабой локализации с помощью скользящего окна
6.8 Конвертация классификационной сети в полносвёрточную
6.11 Реализация обучения FCN
7.2 Реализация модернизированной FCN сети
7.5 Реализация U-Net
7.7 Реализация ASPP сети
8.5 Реализация модели для Классификации+Локализации
9.2 Подготовка обучающего датасета для R-CNN
9.3 Создание и обучение модели
9.4 Запуск R-CNN
10
- Локализация объектов
- Детектирование объектов
- Сегментация объектов
10.2 Реализация Fast R-CNN
10.6 Реализация SSD / YOLO
YOLO - You Only Look Once
SSD - Single Shot Multibox Detector
В Уроке 7 - Подключение google диска к colab.
В Уроке 8 - Fine Tuning, Transfer learning
В Уроке 9 - Сегментация объектов
11.3 Демо. Генерация изображения как задача оптимизации
11.4 Генерация изображения с перцептивным лоссом
11.6 Демо. Генерация текстур в Keras
Style Transfer
12. Генеративные состязательные сети (GAN)
12.4 Демо. 2D GAN
12.7 Демо. Deep Convolutional GAN (DCGAN)
13. NLP
13.1 Цели и задачи NLP
13.2 Предварительная обработка текста
13.4 Векторизация текста: Bag of Words
13.6 Векторизация слов: Word2Vec
14.3 Реализация слоя RNN
14.5 Реализация сети RNN
14.8 Реализация LSTM. Часть 1
14.15 Рекуррентные нейросети для классификации текстов
14.16 Реализация и обучение классификатора текстов
15.3 Реализация языковой модели
15.5 Реализация Encoder-Decoder
Задачи машинного перевода
Архитектура “Трансформер” (отказ от рекуррентных сетей)