Aus ML2R wurde das Lamarr-Institut – alle aktuellen Informationen finden Sie hier!

Koordinatorin

Helena Kotthaus
Dr. Helena Kotthaus

Koordinatorin

Helena Kotthaus
Dr. Helena Kotthaus

Herausforderungen und offene Forschungsfragen

Mit der Heterogenität moderner Rechnerarchitekturen und der massiven Menge an Daten, die von Edge-Geräten generiert werden, steht die Forschung zum Maschinellen Lernen vor neuen Herausforderungen. Insbesondere in zeitkritischen oder ressourcenbeschränkten Einsatzbereichen ist eine gezielte Abstimmung von Modell und Ausführungsplattform unerlässlich. Insbesondere FPGAs (Field Programmable Gate Arrays) sind für IoT-Anwendungen gut geeignet, um Energie zu sparen. Gleichzeitig ist es notwendig, neue Implementierungen von bekannten ML-Algorithmen an die spezifischen Hardwareanforderungen anzupassen. Um eine zuverlässige Anwendung zu ermöglichen, müssen die Ressourcenanforderungen verschiedener Implementierungen für einen Algorithmus charakterisiert werden. Zum Beispiel bietet selbst der bekannte Algorithmus des Entscheidungsbaums noch neue Forschungsfragen: Welche Implementierung ist für welche Rechnerarchitektur und Anwendungsanforderung am besten geeignet?

Aktuelle Forschungsaktivitäten

Wir untersuchen Modelle des Maschinellen Lernens für verteilte und stark begrenzte Rechnerarchitekturen und evaluieren moderne Hardware hinsichtlich ihrer Eignung für Maschinelles Lernen. Lernverfahren werden untersucht und falls nötig angepasst, um ihre Lauffähigkeit auf stark ressourcenbeschränkten Geräten zu verbessern. Einige dieser Anpassungen gehen mit einer Approximation einher, die theoretisch begründet sein muss und Fehlerschranken aufweisen sollte. Die Ergebnisse werden direkt für die Kuratierung von Algorithmen verwendet, welche die Beschreibung von Grenzen der Anwendbarkeit sowie des Rechen- und Energiebedarfs beinhaltet. Unsere aktuelle Forschung zu ressourcenbewusstem ML umfasst die folgenden Aspekte:

Analyse des ML-Ressourcenbedarfs:

    • Kennzeichnung der Ressourcennutzung einschließlich Laufzeit-, Speicher- und Energieanforderungen von ML-Algorithmen
    • Ermöglichung des Zertifizierungsprozesses für ressourcenbeschränkte und sicherheitskritische ML-Anwendungen

Untersuchung von Hard- und Software für ressourcenbeschränkte Szenarien:

    • Ressourcenschonendes und verteiltes Lernen direkt auf dem Gerät (On-Device)
    • Dezentralisierte Datengenerierung auf Edge-Geräten
    • Ressourceneffiziente Implementierungen von Algorithmen zur Anomalieerkennung
    • Ende-zu-Ende-Lernen aus Bildströmen von Astroteilchen mit Deep Learning auf FPGAs
    • Bilderkennungsbasierte Verfolgung von logistischen Objekten
    • C Code-Generierung für schnelle Inferenz auf IoT-Systemen

Optimierung von Algorithmen:

    • Ressourcenbewusste Datenakquisition durch aktive Klassenauswahl
    • Ressourcenbewusste Optimierung von Hyperparametern für ML-Algorithmen

Leseempfehlungen und ausgewählte Publikationen

ML2R

P. Welke, F. Alkhoury, C. Bauckhage, S. Wrobel: Decision Snippet Features. ICPR, 2021. Mehr_

ML2R

M. Bunse, D. Weichert, A. Kister, K. Morik: Optimal Probabilistic Classification in Active Class Selection. ICDM, 2020. Video_

ML2R

S. Buschjäger, P.-J. Honysz, K. Morik: Randomized Outlier Detection with Trees. In: International Journal of Data Science and Analytics, 2020. Mehr_

ML2R

S. Buschjäger, L. Pfahler, J. Buss, K. Morik, W. Rhode: On-Site Gamma-Hadron Separation with Deep Learning on FPGAs. ECML PKDD, 2020. Zum_Dokument Video

ML2R

O. Urbann, S. Camphausen, A. Moos, I. Schwarz, S. Kerner, M. Otten: A C Code Generator for Fast Inference and Simple Deployment of Convolutional Neural Networks on Resource Constrained Systems. C4ML Workshop at CGO, 2020. Mehr_

Empfehlung

B. Li, S. Cen, Y. Chen, Y. Chi: Communication-Efficient Distributed Optimization in Networks with Gradient Tracking and Variance Reduction. In: JMLR 21(180), 2020. Mehr_

Empfehlung

H. Rakhshani, H. I. Fawaz, L. Idoumghar, G. Forestier, J. Lepagnot, J. Weber, M. Brévilliers, P. Muller: Neural Architecture Search for Time Series Classification. IJCNN, 2020. Mehr_

Empfehlung

P. Kairouz, et al.: Advances and Open Problems in Federated Learning. In: Foundations and Trends in Machine Learning 4(1), 2019. Mehr_

Empfehlung

C. C. Aggarwal: Outlier Analysis. Springer, 2016. Mehr_

Empfehlung

C. Bockermann, K. Brügge, J. Buss, A. Egorov, K. Morik, W. Rhode, T. Ruhe: Online Analysis of High-Volume Data Streams Astroparticle Physics. ECML-PKDD, 2015. Mehr_

Empfehlung

D. Sculley, G. Holt, D. Golovin, E. Davydov, T. Phillips, D. Ebner, V. Chaudhary, M. Young, J. Crespo, D. Dennison: Hidden technical debt in machine learning systems. NIPS, 2015. Mehr_