Nachdem derzeit fast jeder Gesichtspunkt unseres Lebens aus dem Blickwinkel des Klimaschutzes betrachtet wird, hab ich mal versucht, darüber nach zu denken, was das für das ebenfalls gerade sehr populäre Thema Machine Learning bedeutet. Machine Learning wird mit Computern durchgeführt und diese benötigen Strom, und tragen damit zur Klimabilanz bei. Kann man dass aber quantifizieren? Und kann man durch richtiges Verhalten etwas verbessern?
Ein aktuelles Paper (https://arxiv.org/pdf/1906.02243.pdf) zeigt hier interessante Daten auf. So berechnet es zum Beispiel die CO2-Emissionen, die beim Training eines “State of the Art” Sprachmodelles entstehen. Das von Google entwickelte Modell “BERT” (https://github.com/google-research/bert) hinterlässt dabei einen “Fußabdruck”, der ungefähr einem Transatlantikflug entspricht.
Solche Sprachmodelle werden für Anwendungen, wie automatisches Übersetzen oder Textklassifikation eingesetzt. Um für Anwendungen nicht unnötig Ressourcen zu verbrauchen, ist es aus ökologischer Sicht wichtig, nicht selbst zu versuchen die Modelle von Grund auf zu trainieren, sondern vortrainierte Modelle zu verwenden. Diese werden von den Modellentwicklern, hier Google, normalerweise zur Verfügung gestellt. Nun kann man diese mit den eigenen Daten nur einem Fine-Tuning unterwerfen, und dabei Rechnerkapazität sparen. Man spricht bei dieser Vorgangsweise von Transfer-Learning (https://en.wikipedia.org/wiki/Transfer_learning).
