Was ist ein Neuronales Netzwerk?

  • Ein Neuronales Netzwerk dient der Mustererkennung.
  • Es sollen anhand bekannter Daten (Trainingsdaten) Vorhersagen bzw. Erkenntnisse für künftige Daten getroffen werden.
  • Im Prinzip geht es darum, Entscheidungen zu treffen (und die wahrscheinlichste Lösung auszuwählen).

Entwurf eines einfachen Modells

  • Entscheidungen werden mathematisch "getroffen". Im einfachen Fall zum Beispiel mit einem Knoten und einer linearen Funktion (hier mit einem Parameter a und Bias b): y = ax + b
  • Parameter und Bias werden so gesucht, dass die wenigsten falschen Entscheidungen getroffen werden.
  • Hierfür lernt das Modell (finden der passenden Parameter/Bias). Um diese Parameter zu finden, wird das Modell trainiert (optimiert).

Berücksichtigung der komplexen Realität

  • Häufig bedarf es nicht-linearer Entscheidungsgrenzen, um die Realität besser abzubilden.
  • Deshalb werden mehrere Funktionen bzw. Knoten (Neurone) benötigt.
  • Diese können in Schichten ("Layer") hintereinander "geschaltet" werden.
  • Hat ein Neuronales Netz mehr als zwei Layer, dann spricht man von "Deep Learning".

Was ist TensorFlow?

TensorFlow ist ein flexibles Open-Source-Framework von Google für maschinelles Lernen und Deep Learning. Es ermöglicht, Neuronale Netze zu entwerfen, zu trainieren und zu implementieren.

Glossar: Was ist was?

Eine kurze Erläuterung der wichtigsten Begriffe beim Umgang mit Neuronalen Netzen:

  • Epochen: Trainingsdurchläufe
  • Activation: Aufbau eines Neurons
  • Regularization: Vermeiden von "Overfitting" (zu hoher Passung auf die Traingsdaten und damit einhergehend zu geringer Passung auf "echte" Daten

Was können Neuronale Netze leisten?

  • Die großen Modelle, welche natürliche Sprache verstehen können (LLMs, Large Language Models) bieten hilfreiche Funktionen und Möglichkeiten eigene Tätigkeiten zu vereinfachen bzw. zu automatisieren. Auch das Erkennen von Bild-, Text- und Videoinhalten sowie das Generieren entsprechender Medien sind möglich.
  • Für den Straßenverkehr bedeutet dies: Die Vorhersage von (möglichen) Ereignissen bei der Verkehrsteilnahme sowie das Erkennen (und Vermeiden) von Gefahren sind denkbare Anwendungsgebiete. Aufgrund der Überlegenheit Neuronaler Netze zu anderen Methoden ist hier ein Schwerpunkt in der Forschung und Entwicklung automatisierter und autonomer Fahrfunktionen.
  • Jedoch steigt der Trainingsaufwand quadratisch zur berücksichtigten Kontextlänge.
  • Es gibt Ansätze, die Rechenaufwände bei großen und generalisierten Modellen zu verringern (z. B. Mixture-of-Experts-Architektur).

Was können Neuronale Netzer (bisher) nicht leisten?

  • Das was die Psychologie unter Intelligenz versteht, wird nicht vollständig abgedeckt. Insbesondere "Reasoning" (schlussfolgerndes Denken) fehlt auch bei den größten Modellen. Diese sind aktuell eher "stochastische Papageien", welche Wahrscheinlichkeiten wiedergeben, ohne diese zu interpretieren bzw. zu verstehen. Allerdings reklamiert Open AI diese Fähigkeit mit seiner neuesten Version von ChatGPT für sich.
  • Die Bequemlickeit bei der Benutzung wird mit einem deutlich erhöhtem Ressourcenverbrauch erkauft (z. B. eine Anfrage bei ChatGPT hat einen zehnmal höheren Stromverbrauch als eine Google-Suche)
  • Es drohen neuartige Angriffsszenarien (z. B. "Adversial Attacks", "Prompt Injections").

"Lass mal das Innere eines Neuronalen Netzes ansehen!"

Annika Rüll gibt auf der der 37. Chaos Computer Convention (37C3) am 27.12.2023 einen Einblick, was Neuronale Netze sind und wie sie funktionieren. Ein sehenswerter Vortrag um die Grundlagen und Zusammenhänge bei Neuronalen Netzen zu verstehen.

TensorFlow

Es gibt für Maschinelles Lernen bzw. Neuronale Netze eine Vielzahl an Tools, Software und fertigen Modellen. Eines davon ist TensorFlow, welches den Vorteil einer im Browser nutzbaren Spielwiese bietet. Das Versprechen: Man kann dort nichts kaputt machen.

Machine Learning Glossary

Wer sich für Details interessiert, aber nicht alle Begrifflichkeiten sofort parat hat, kann z. B. auf das Machine Learning Glossary als "Cheat Sheet" zurückgreifen. Dort finden sich recht anschaulich Erklärungen und Erläuterungen zum Themenbereich "Maschinelles Lernen".