Feature (Maschinelles Lernen)
# Feature (Maschinelles Lernen)

Ein Feature ist beim maschinellen Lernen und bei der Mustererkennung ein Merkmal in Form einer individuell messbaren Eigenschaft oder Charakteristik eines beobachteten Phänomens. Der Vorgang der Festlegung von Features wird Feature Engineering (deutsch: Merkmalskonstruktion) genannt und erfolgt als Vorbereitung für die entsprechende Datenverarbeitung. Merkmalskonstruktion ist ein entscheidender Schritt zur Verbesserung der Modellleistung. Es beinhaltet die Auswahl und Transformation von Rohdaten in ein Format, das von Algorithmen effektiver genutzt werden kann.
Feature Extraction verarbeitet die Attribute, die durch eine Merkmalskonstruktion entstanden sind, und kreiert neue Merkmale daraus. Dabei zielt auch Feature Extraction auf die Reduktion der Rechenkomplexität ab und versucht, alle Information in eine Kombination von neuen Merkmalen zu transformieren.
Die Festlegung von Merkmalen für eine bestimmte Aufgabe kann durch Experten oder durch ein Modell während seines Lernvorgangs selbständig erfolgen.

## Merkmalsarten
### Direkt zahlenmäßig erfasste Merkmale

Numerische Merkmale, welche auf einer Skala definiert werden können, wie Alter, Körpergröße, das Einkommen von Personen oder Kennzahlen aus einem Geschäftsbericht.

### Kategorien als Merkmale

Strukturmerkmale, welche Eigenschaften einer Gruppe in Kategorien zusammenfassen, wie das Geschlecht von Personen, Postleitzahlen oder Buchstabenfolgen und Graphen als zueinander in Beziehung stehende Objekte. Für die meisten KI-Algorithmen müssen solche Kategorien vor der Verarbeitung in numerische Merkmale umgewandelt werden. Beispiel: Die sechs in Österreich gesetzlich zugelassenen Geschlechterdefinitionen könnten mit sechs Bits dargestellt werden.

## Auswahl von Merkmalen

Falls sehr viele Merkmale zur Lösung einer Aufgabe wie beispielsweise einer Bildanalyse bekannt sind, kann das Training eines Lernmodells auf eine Auswahl von Merkmalen beschränkt werden.

## Darstellung von Merkmalen

Ein numerisches Merkmal kann als Vektor in einem mehrdimensionalen Raum dargestellt werden. Zur Anwendung in Deep-Learning-Modellen werden solche Merkmalsvektoren mit entsprechenden Gewichten von Verbindungen zwischen Netzknoten (künstlichen Neuronen) nach der Methode der Linearen Vorhersage in Beziehung gesetzt.

## Interpretation vorhandener Merkmale

Bei bereits bestehenden komplexen KI-Modellen versucht man, vorgängig während des Lernprozesses autonom durch das Modell erzeugte Merkmale durch Interpretation nachträglich zu finden. Dazu werden in Deep-Learning-Modellen Datensubsets gesucht, welche bestimmte abstrakte Merkmale am besten repräsentieren (Mechanistic Interpretability). Solche Merkmale können in der Folge bei neuen Aufgabenstellungen (Prompts) mit ähnlichen Eigenschaften aktiviert werden. Bei einfachen Modellen wurde diese Technik schon 2023 angewandt. Beim komplexeren Large-Language-Model Claude-3 Sonnet von Anthropic wurden 2024 bereits Millionen solcher Merkmale detektiert.