Deep Learning mit Pytorch: GAN, RNN und Transformer

Ziele

In dieser 5-tägigen Schulung "Deep Learning mit Pytorch: GAN, RNN und Transformer" bekommen Sie einen umfassenden Einblick in diverse anspruchsvolle Bereiche des Deep Learning, die in den letzten Jahren viel Aufmerksamkeit erhalten haben und nun zahlreiche neue Anwendungen ermöglichen.

Für jeden der Haupttypen (GAN, RNN, Transformer) werden ausführliche Beispiele präsentiert, teilweise in Form von Jupyter-Notebooks sowie in mehreren Dateien innerhalb der Entwicklungsumgebung. Zudem werden mehrere Fallstudien mit bereitgestelltem Code durchgeführt und analysiert. Außerdem werden zeitgemäße Netzwerkarchitekturen wie BERT, verschiedene GPT-Varianten und VisionTransformer in ihren Grundkonzepten vorgestellt.

Zusätzlich liefert der Kurs mathematische Hintergrundinformationen und wertvolle Hinweise zur praktischen Umsetzung in Form eines Softwareprojekts.

Zielgruppe

• Pythonentwickler

Voraussetzungen

• Python: Routinierte Erfahrungen mit IDE und Jupyter Notebooks
• Deep Learning: Multi Layer Perceptrons und Convolutional Neural Networks mit Pytorch

Agenda

Generative adversarial networks

• Einsatzgebiete
• Spezielle Loss-Funktionen
• Einfacher Fall: MLPs ausreichend
• Komplexer mit Deep Convolutional GANS: Face generation
• Moderne Varianten (Wasserstein GAN, CycleGAN)
• Überblick generative Modelle

Recurrent neural networks

• Sequentielle Daten als Input und/oder Output
• Char level oder word level
• Embeddings
• Backpropagation through time
• Problem vanishing / exploding gradient
• LSTM Intuition
• Variante GRU
• Seq2seq Modelle: Encoder/Decoder
• Attentionmechanimus in RNNs
• Einsatz für Chatbots, Übersetzungen u.a.

Transformer

• Attention ohne RNN, Intuition
• Self Attention, Multi head attention
• Queries, Keys, Values
• Originale Transformer Architektur
• Nur Encoding: BERT
• Nur Decoding: GPT
• Large Language Models
• Finetuning (ähnlich Transfer Learning bei CNN)
• Einsatzmöglichkeiten: Sentimentanalyse, Übersetzung u.a.
• Qualitätsmaß BLEU score

Ausblicke

• Transformer für Bilder
• Weiterentwicklung bei CNNs
• Umfeld: Unternehmen und Dienste (Kaggle, HuggingFace, ...)
• Vereinfachung/Wrapper für Pytorch: Lighting
• Ausführung in der Cloud, Services bei AWS u.a.
• Grundidee Diffusion Modelle zur Generierung von Audio und Bildern
• Kurzvorstellung Reinforcement Learning

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges