Heidelberg University

Statistische Analyse von maschinellen Lernalgorithmen

Spezialvorlesung im Wintersemester 2023/2024

Organisatorisches

Die erste Vorlesung findet am Donnerstag, 19.10.2023 statt!

  • Zeit: Dienstag (11–13 Uhr), Donnerstag (11–13 Uhr)
  • Ort: Mathematikon INF 205, SR B

Kontakt

Klassifizierung

  • Master-Spezialvorlesung, 6LP, Modul MM36 (Spezialvertiefung Statistik und Wahrscheinlichkeitstheorie)
  • 3 + 1 SWS (2 Vorlesung pro Woche, einmal alle 2 Wochen eine Übung).

Vorlesung

Inhalt

Wir führen das theoretische Fundament zur Bewertung von maschinellen Lernalgorithmen mit Hilfe des Excess Bayes Risks ein. Dieses misst die Vorhersagequalität auf Basis von Annahmen an die Verteilung der Trainingsdaten und des jeweiligen Algorithmus. Unter anderem werden Support Vector machines, Entscheidungsbäume und neuronale Netzwerke behandelt. Diese werden dazu auch jeweils kurz eingeführt.

Die Vorlesung ist zusätzlich zum Live-Betrieb auch online verfügbar in Form von Videos. Diese sind in kleinere Zeiteinheiten unterteilt und behandeln jeweils möglichst abgeschlossene Themenkomplexe (z.B. Unterkapitel im Skript). Das Kennwort dazu wird in der Vorlesung mitgeteilt.

Vorlesungsplan:
  • 1) Motivation und statistische Entscheidungstheorie
  • 2) Lineares Modell und Lasso-Schätzer
  • 3) Klassifikationsprobleme und logistische Regression
  • 4) Support Vector Machines I
  • 5) Support Vector Machines II
  • 6) Bäume I
  • 7) Verbesserungsalgorithmen: Boosting
  • 8) Neuronale Netzwerke

Voraussetzungen

  • VL Wahrscheinlichkeitstheorie
  • Äußerst hilfreich: VL Wahrscheinlichkeitstheorie 2, VL Empirische Prozesse, VL Asymptotische Statistik
  • Optional: Die Programmiersprache R und Ihre Anwendungen in der Stochastik

Skript

Es gibt ein Skript zur Vorlesung, sowohl in deutscher als auch englischer Sprache: Skript deutsch - Skript englisch
Das Passwort wird Ihnen in der Vorlesung mitgeteilt.

Vorlesungsaufnahmen

Siehe Menu links: Videos

Übungsgruppen und Übungen

Die Übungen finden im Rahmen der Vorlesung statt. Alle zwei Wochen wird ein Vorlesungstermin zu einer Übung ersetzt.

Übungsblätter

Die Übungsaufgaben und -lösungen sind im Skript enthalten.

Modulprüfung

Mündliche Prüfung.

Literatur