Deep Learning (Глубокое обучение) Нейронные сети

Я пытаюсь разобраться. Добавляйте, кому есть что добавить. Исправляйте, где я заблуждаюсь.


Лучшее из коротких объяснение как работают нейронные сети


Классификация нейронных сетей:

  • Dense Networks
  • Convolutional Networks (ConvNets) - (MNIST - распознавание цифр)
  • Recurrent Neural Networks (RNNs) - (распознавание речи)
  • Reinforecement Learning
  • Generative Adversarial Networks (GANs)


Deep Learning


Deep Learning


Deep Learning


Deep Learning


Deep Learning


Deep Learning


Deep Learning


Библиотеки грубокого обучения


TensorFlow

TensorFlow - библиотека от Google для ML/DL. Можно запускать обычным способом, в docker контейнерах, в том числе в kubernetes кластерах (инструмент для запуска кучи контейнеров на куче серверов). Есть специальный проект kubeflow, для работы tensorflow в kubernetes. Скрипты для развертывания локального kubernetes кластера в linux у меня есть. Спросить в чате, если нужно.

TensorFlow, вроде как, был сложен для программистов и была написана библиотека упрощающая работу с ним - keras. Библиотека набрала популярность и в Google решили добавить наработки из этой библиотеки во вторую версию TensorFlow, которая пока beta. В общем, если выбирать библиотеку для изучения DL, наверное лучше сразу начинать копаться со второй версии TensorFlow.


Keras

Работает над TensorFlow или дургой библиотекой Theano.


PyTorch

Вроде как, “более гибкая” библиотека, чем keras. Так сказал автор курса от Отус по ML.


Lasagna (построена на основе библиотеки theano)

Хз, что за библиотека такая


Функции активации:

  • Блок линейной ректификации - Rectified Linear Unit (ReLU)
  • ELU
  • Сигмоида (softmax)
  • Гиперболический тангенс
  • Линейная функция
  • Логистическая фукнкция



По функциям активации в tensorflow1 почитать [Орельен Жерон] Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow [RUS, 2018]

Полный перечень функций активации keras приведен на странице: keras.io/activations/


Обучающие материалы:

Книги по Deep Learning

Видеокурсы по Deep Learning


Practical Deep Learning for Coders

https://github.com/fastai/courses