Waar ben je naar op zoek?

Onderzoek naar machine learning

We onderzoeken of machine learning traditionele high performance computing kan verbeteren. Ook onderzoeken we schaalbare manieren voor het trainen van neurale netwerken, onder meer op het gebied van beeldherkenning.

Onderdeel van SURF Open Innovation Lab
Cactus

HPC-applicaties verbeteren met deep learning

De belangrijkste workloads die op een supercomputer draaien bestaan doorgaans uit verschillende vormen van numerieke simulaties. Wetenschappers zijn nu begonnen met het toepassen van machine learning-technieken om traditionele rekenkundige simulaties, zoals weersvoorspellingen, te verbeteren. De eerste resultaten wijzen uit dat deze modellen, die machine learning en traditionele simulatie combineren, de nauwkeurigheid en snelheid mogelijk kunnen verbeteren.

In dit project onderzoeken we of en hoe machine learning en deep learning geschikt zijn om wetenschappelijke workloads, zoals numerieke simulaties, te verbeteren, versnellen of vervangen. De overtuiging is dat naarmate wetenschappers meer vertrouwd raken met deze nieuwe aanpak en naarmate de methodologieën robuuster worden, machine learning de potentie heeft om de standaard tooling te worden voor tal van wetenschappelijke domeinen.

Use cases

Om het potentieel van deze aanpak te testen, ondersteunen we een aantal use cases waarbij traditionele HPC-simulaties worden verbeterd met algoritmes voor machine learning. Dit doen we in nauwe samenwerking met wetenschappelijke onderzoeksgroepen. Er zijn vier onderzoeksvoorstellen geselecteerd in verschillende wetenschappelijke domeinen:

  • Chiel van Heerwaarden (WUR): Machine-Learned turbulence in next-generation weather models
  • Sascha Caron (Radboud Universiteit): The Quantum-Event-Creator: Generating physics events without an event generator
  • Alexandre Bonvin (Universiteit Utrecht): 3DeepFace: Distinguising biological interfaces from crystal artifacts in biomolecular complexes using deep learning
  • Simon Portegies Zwart (Universiteit Leiden): Machine learning for accelerating planetary dynamics in stellar clusters

Publicaties

Schaalbare highperformancetraining van diepe neurale netwerken

Caffe is een van de populairste deep-learningframeworks voor beeldherkenning. Intel heeft bijgedragen aan dit framework door de prestaties van Caffe op Intel Xeon processoren te verbeteren. Het doel van dit project is het verbeteren van de schaalbaarheid van Intel's Caffe-prestaties op supercomputingsystemen voor grootschalige neurale netwerk training.

Onze focus ligt op zeer schaalbare high performance training van diepe neurale netwerken, en de toepassing ervan op verschillende wetenschappelijke uitdagingen. Denk aan het diagnosticeren van longziekten, plantenclassificatie en hoge-energiefysica. Zo werken we bijvoorbeeld aan het porten van de large-batch Stochastic Gradient Descent (SGD)-trainingstechnieken naar het populaire Tensorflow-framework. Onze bijzondere aandacht gaat uit naar het zich snel ontwikkelende veld van medische beeldvorming. Vanwege de enorme hoeveelheden data heeft dit domein grote bandbreedte en capaciteit nodig voor berekeningen en geheugen.

We zijn er al in geslaagd om de time-to-train van verschillende diepe convolutionele neurale netwerken op state-of-the-art computer vision datasets zoals ImageNet en verder te minimaliseren. Enkele van de hoogtepunten van 2017 waren: minder dan 30 minuten trainingstijd op de populaire Imagenet-1K dataset, evenals state-of-the-art resultaten in termen van nauwkeurigheid op andere datasets, zoals het volledige ImageNet en Places-365.

Publicaties

Projectteam SURF

Valeriu Codreanu

Damian Podareanu

Caspar van Leeuwen