Klassifikationsverfahren, auch Klassifizierungsverfahren, sind Methoden und Kriterien zur Einteilung (Klassierung) von Objekten oder Situationen in Klassen, das heißt zur Klassifizierung. Ein solches Verfahren wird auch als Klassifikator bezeichnet. Viele Verfahren lassen sich als Algorithmus implementieren; man spricht dabei auch von maschineller oder automatischer Klassifikation. Klassifikationsverfahren sind immer anwendungsbezogen, sodass viele verschiedene Methoden existieren.

Im engen Sinne stehen im Gegensatz zu den Klassifikationsverfahren die Klassierungsverfahren, die dem Einordnen von Objekten in bereits existierende Klassen dienen. Umgangssprachlich wird jedoch zwischen klassifizieren und klassieren kein Unterschied gemacht.^[1]

Klassifikationsverfahren spielen unter anderem bei der Mustererkennung, in der künstlichen Intelligenz, in der Dokumentationswissenschaft und im Information Retrieval eine Rolle. Zur Beurteilung eines Klassifikators können verschiedene Kenngrößen ermittelt werden.

Da eine streng hierarchische Einteilung von Klassifikationsverfahren kaum möglich ist, lassen sie sich am besten anhand verschiedener Eigenschaften einteilen:

• Manuelle und automatische Verfahren
• Numerische und nichtnumerische Verfahren
• Statistische und verteilungsfreie Verfahren
• Überwachte und nichtüberwachte Verfahren
• Fest dimensionierte und lernende Verfahren
• Parametrische und nichtparametrische Verfahren

Bei automatischen Verfahren findet die Klassifizierung mittels eines automatischen Prozesses durch Software statt. Der Prozess der maschinellen Klassifikation kann als formale Methode des Entscheidens in neuen Situationen aufgrund erlernter Strukturen bezeichnet werden. Die maschinelle Klassifikation ist ein Teilgebiet des maschinellen Lernens.

Genauer ist dies die Erzeugung eines Algorithmus (des lernenden Algorithmus), der – angewandt auf bekannte und schon klassifizierte Fälle (die Datenbasis) – Strukturen berechnet. Diese neu erlernten Strukturen ermöglichen es einem weiteren Algorithmus (dem auswertenden Algorithmus), einen neuen und bisher unbekannten Fall aufgrund der beobachteten Attribute und deren Ausprägungen einer der bekannten Zielklassen zuzuordnen.

Statistische Verfahren basieren auf Dichteberechnungen und Wahrscheinlichkeiten, während verteilungsfreie Verfahren klare Trennflächen zur Trennung der Klassen benutzen. Die Grenzen zwischen den einzelnen Klassen im Merkmalsraum können durch eine Diskriminanzfunktionen angegeben werden.

Beispiele für statistische Verfahren sind der Bayes-Klassifikator, der Fuzzy-Pattern-Klassifikator und der Kerndichteschätzer. Die Berechnung von Trennflächen ist durch sogenannte Support-Vector-Maschinen möglich.

Das Erzeugen von Strukturen aus vorhandenen Daten wird auch als Mustererkennung, Diskriminierung oder überwachtes Lernen bezeichnet. Dabei werden Klasseneinteilungen vorgegeben, was auch durch Stichproben geschehen kann. Im Gegensatz dazu existiert nichtüberwachtes Lernen, bei dem die Klassen der Daten nicht vorgegeben sind, sondern auch diese erlernt werden müssen. Dabei können allerdings beim bestärkenden Lernen (englisch reinforcement learning) Informationen darüber hinzukommen, ob eine Klasseneinteilung richtig oder falsch war. Ein Beispiel für unüberwachte Verfahren ist die Clusteranalyse.

Parametrische Verfahren beruhen auf parametrischen Wahrscheinlichkeitsdichten, während nichtparametrische Verfahren (z. B. Nächste-Nachbarn-Klassifikation) auf lokalen Dichteberechnungen basieren.

• Quader-Klassifikator
• Abstandsklassifikator
• Nächste-Nachbarn-Klassifikation
• Polynomklassifikator
• Clusterverfahren
• Künstliches neuronales Netz
• Latente Klassenanalyse
• Entscheidungsbaum

• Kostenmatrix
• Hauptkomponentenanalyse
• Mahalanobis-Abstand
• Sacherschließung
• Merkmalsvektor
• Musteranalyse

• O. Oberhauser: Automatisches Klassifizieren. Entwicklungsstand – Methodik – Anwendungsbereiche. Peter Lang, Frankfurt/Main u. a. 2005. ISBN 3-631-53684-4.
• Andrew R. Webb: Statistical Pattern Recognition. John Wiley & Sons, 2. Aufl., Juli 2002.
• Richard O. Duda, P. E. Hart, D. G. Stork: Pattern Classification. John Wiley & Sons, 2. Aufl., 2000.
• C. M. Bishop: Neural Networks for Pattern Recognition. Oxford University Press, 1996.
• D. Michie, D. J. Spiegelhalter, C. C. Taylor (Hrsg.): Machine Learning, neural and statistical Classification. Elis Horwood, 1994.

1. ↑ Hardwin Jungclaussen: Kausale Informatik. Einführung in die Lehre vom aktiven sprachlichen Modellieren durch Mensch und Computer. Springer Fachmedien Wiesbaden, 2013, ISBN 978-3-322-81220-9, S. 57.