[Skillbox] Профессия‌ ‌Data‌ ‌Scientist‌ - Deep Learning


Библиотека Keras, TF 1.4 в какой-то момент начинаем работать с версией 2.0


01 - 04 Введение

05 - 14 Computer Vision

13 - 15 NLP

16 - 17 Reinforcement Learning

18 - Ускорение и оптимизация

19 - Внедрение моделей в production


1.2 Линейный классификатор.


1.4 Функционал ошибки


1.6 Нейрон и логистическая регрессия


2.1 Градиентный спуск


2.3 Метод обратного распространения ошибки


2.6 Функции активации


3.5 Определение модели в Tensorflow


3.7 Обучение модели в Tensorflow

Определение лосс функции

На протяжении курса вы познакомились как минимум с тремя типами функций потерь

  • MSE (mean squared error) – для задачи регрессии
  • Binary cross entropy – для задачи бинарной классификации
  • Categorical cross entropy – для задачи многоклассовой классификации

Все они реализованы в Keras и находятся в tf.keras.losses:

  • tf.keras.losses.MSE()
  • tf.keras.losses.binary_crossentropy()
  • tf.keras.losses.sparse_categorical_crossentropy()


Определение оптимизатора

  • tf.keras.optimizers.Adam
  • tf.keras.optimizers.SGD и многие другие.

Каждый из оптимизаторов имеет свои параметры, но все разделяют общий – learning rate.


3.9 Сохранение и загрузка моделей в TF


4.6 Свертки


4.8 Демо. Сверточный слой в Keras


4.11 Демо. Сверточная сеть в Keras


4.12 Демо. Input pipeline


5.2 Переобучение / аугментации

Аугментация искусственно делает датасет более разнообразным, а значит более сложным для “заучивания”. Это очень эффективный метод борьбы с переобчуением, но у него конечно есть пределы, т.к. новых данных мы не добавляем.


5.4 Демо. Инференс моделей


5.6 Что “видят” нейронные сети?


5.8 Демо. Transfer learning в Keras


6.5 Реализация слабой локализации с помощью скользящего окна


6.8 Конвертация классификационной сети в полносвёрточную


6.11 Реализация обучения FCN


7.2 Реализация модернизированной FCN сети


7.5 Реализация U-Net


7.7 Реализация ASPP сети


8.5 Реализация модели для Классификации+Локализации


9.2 Подготовка обучающего датасета для R-CNN


9.3 Создание и обучение модели


9.4 Запуск R-CNN


10

  • Локализация объектов
  • Детектирование объектов
  • Сегментация объектов

10.2 Реализация Fast R-CNN


10.6 Реализация SSD / YOLO

YOLO - You Only Look Once
SSD - Single Shot Multibox Detector


В Уроке 7 - Подключение google диска к colab.

В Уроке 8 - Fine Tuning, Transfer learning

В Уроке 9 - Сегментация объектов


11.3 Демо. Генерация изображения как задача оптимизации


11.4 Генерация изображения с перцептивным лоссом


11.6 Демо. Генерация текстур в Keras

Style Transfer


12. Генеративные состязательные сети (GAN)

12.4 Демо. 2D GAN


12.7 Демо. Deep Convolutional GAN (DCGAN)


13. NLP


13.1 Цели и задачи NLP


13.2 Предварительная обработка текста


13.4 Векторизация текста: Bag of Words


13.6 Векторизация слов: Word2Vec


14.3 Реализация слоя RNN


14.5 Реализация сети RNN


14.8 Реализация LSTM. Часть 1


14.15 Рекуррентные нейросети для классификации текстов


14.16 Реализация и обучение классификатора текстов


15.3 Реализация языковой модели


15.5 Реализация Encoder-Decoder

Задачи машинного перевода

Архитектура “Трансформер” (отказ от рекуррентных сетей)


16. Обучение с подкреплением (Reinforcement learning, RL)


16.5 Знакомство с Gym


16.8 Q-функция


16.10 Реализация табличного Q-Learning


17.2 Exploration


17.5 Реализация Deep Q-Network (DQN)


17.6 Experience Replay


17.7 Policy Gradients


18. Ускорение и оптимизация

18.4 Реализация поканальной сепарабельной свёртки


18.5 Прореживание (Pruning)


18.7 Применение TensorRT для оптимизации нейросетей


19. Внедрение моделей в production

Жизненный цикл ML проекта

19.3 Сохранение и загрузка моделей TensorFlow

19.4 TensorFlow Serving