Statistische Analyse von maschinellen Lernalgorithmen
Spezialvorlesung im Wintersemester 2023/2024
Organisatorisches
Die erste Vorlesung findet am Donnerstag, 19.10.2023 statt!- Zeit: Dienstag (11–13 Uhr), Donnerstag (11–13 Uhr)
- Ort: Mathematikon INF 205, SR B
Kontakt
Dozent und Vorlesungsassistenz: Dr. Stefan Richter
Klassifizierung
- Master-Spezialvorlesung, 6LP, Modul MM36 (Spezialvertiefung Statistik und Wahrscheinlichkeitstheorie)
- 3 + 1 SWS (2 Vorlesung pro Woche, einmal alle 2 Wochen eine Übung).
Vorlesung
Inhalt
Wir führen das theoretische Fundament zur Bewertung von maschinellen Lernalgorithmen mit Hilfe des Excess Bayes Risks ein. Dieses misst die Vorhersagequalität auf Basis von Annahmen an die Verteilung der Trainingsdaten und des jeweiligen Algorithmus. Unter anderem werden Support Vector machines, Entscheidungsbäume und neuronale Netzwerke behandelt. Diese werden dazu auch jeweils kurz eingeführt.Die Vorlesung ist zusätzlich zum Live-Betrieb auch online verfügbar in Form von Videos. Diese sind in kleinere Zeiteinheiten unterteilt und behandeln jeweils möglichst abgeschlossene Themenkomplexe (z.B. Unterkapitel im Skript). Das Kennwort dazu wird in der Vorlesung mitgeteilt.
Vorlesungsplan:
- 1) Motivation und statistische Entscheidungstheorie
- 2) Lineares Modell und Lasso-Schätzer
- 3) Klassifikationsprobleme und logistische Regression
- 4) Support Vector Machines I
- 5) Support Vector Machines II
- 6) Bäume I
- 7) Verbesserungsalgorithmen: Boosting
- 8) Neuronale Netzwerke
Voraussetzungen
- VL Wahrscheinlichkeitstheorie
- Äußerst hilfreich: VL Wahrscheinlichkeitstheorie 2, VL Empirische Prozesse, VL Asymptotische Statistik
- Optional: Die Programmiersprache R und Ihre Anwendungen in der Stochastik
Skript
Es gibt ein Skript zur Vorlesung, sowohl in deutscher als auch englischer Sprache: Skript deutsch - Skript englischDas Passwort wird Ihnen in der Vorlesung mitgeteilt.
Vorlesungsaufnahmen
Siehe Menu links: VideosÜbungsgruppen und Übungen
Die Übungen finden im Rahmen der Vorlesung statt. Alle zwei Wochen wird ein Vorlesungstermin zu einer Übung ersetzt.Übungsblätter
Die Übungsaufgaben und -lösungen sind im Skript enthalten.
Modulprüfung
Mündliche Prüfung.
Literatur
- Richter, S.: Statistisches und maschinelles Lernen. Springer (2019) - auch als online-Version verfügbar!
- Giraud, C.: Introduction to High-Dimensional Statistics, Chapmann and Hall (Taylor and Francis) 2015
- Hastie, T., Tibshirani, R., Friedman, J.: The elements of statistical learning (Online-Version)