Universität Wien

250042 VU Mathematics of Machine Learning (2022S)

7.00 ECTS (4.00 SWS), SPL 25 - Mathematik
Prüfungsimmanente Lehrveranstaltung
GEMISCHT
Moodle

An/Abmeldung

Hinweis: Ihr Anmeldezeitpunkt innerhalb der Frist hat keine Auswirkungen auf die Platzvergabe (kein "first come, first served").

Details

max. 25 Teilnehmer*innen
Sprache: Englisch

Lehrende

Termine (iCal) - nächster Termin ist mit N markiert

  • Mittwoch 02.03. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 03.03. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 09.03. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 10.03. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 16.03. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 17.03. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 23.03. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 24.03. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 30.03. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 31.03. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 06.04. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 07.04. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 27.04. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 28.04. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 04.05. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 05.05. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 11.05. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 12.05. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 18.05. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 19.05. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 25.05. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 01.06. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 02.06. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 08.06. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 09.06. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 15.06. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 22.06. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 23.06. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Mittwoch 29.06. 13:15 - 14:45 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock
  • Donnerstag 30.06. 08:00 - 09:30 Hörsaal 11 Oskar-Morgenstern-Platz 1 2.Stock

Information

Ziele, Inhalte und Methode der Lehrveranstaltung

We will introduce the basic concepts of the mathematics behind machine learning. This lecture deals with classical machine learning as compared to deep learning, which is the topic of another lecture.
Topics include:
1. PAC Theory: PAC Learning model, finite hypothesis sets, consistent and inconsistent problems, deterministic and agnostic learning,
2. Rademacher complexity and VC dimension: generalization bounds for Rademacher, Growth function, Connection to Rademacher compl., VC dimension, VC dimension based upper bounds,
lower bounds on generalization.
3. Model Selection: Bias Variance trade-off, Structural Risk minimisation, Cross validation, regularisation
4. Support Vector Machines: generalisation bounds, margin theory/margin based generalization bounds
5. Kernel Methods: Reproducing Kernel Hilbert spaces, Representer Theorem, kernel SVM, generalisation bounds for kernel based methods
6. Boosting and Ensemble Methods,
7. Clustering: k-means, Lloyds algorithm, Ncut, Cheeger cut, spectral clustering.
8. Dimensionality Reduction: PCA, diffusion maps, Johnson - Lindenstrauss)
9. Neural Networks (Mostly shallow)

This is an applied math course. Therefore it will often touch on many different mathematical fields. Such as harmonic analysis, graph theory, random matrix theory, etc. students are not required to know about these issues beforehand. But a certain willingness to look up concepts from time to time is necessary.

Art der Leistungskontrolle und erlaubte Hilfsmittel

During this lecture, there will be 3-4 challenges. In which you will have to solve machine learning problems. You can use any programming language you like but Python is advised.
In these challenges you need to beat the base-line of an algorithm that I propose. All 3-4 challenges must be completed successfully to participate in the exam.

There will be an oral exam at the end of the lecture.

Mindestanforderungen und Beurteilungsmaßstab

Successful participation in all challenges. Basic understanding of all concepts introduced in the lecture.

Prüfungsstoff

Everything covered in the lecture.

Literatur

Lecture notes will be made available in moodle.

The lecture is based on the following books:

1. Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2018. \url{https://cs.nyu.edu/~mohri/mlbook/

2. Shalev-Shwartz, Shai, and Shai Ben-David. Understanding machine learning: From theory to algorithms. Cambridge university press, 2014. https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/

3. Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science \& Business Media, 2009 https://web.stanford.edu/~hastie/ElemStatLearn/

Zuordnung im Vorlesungsverzeichnis

MAMV;

Letzte Änderung: Do 24.02.2022 09:09