Was ist Varianzanalyse (ANOVA)?

Varianzanalyse (ANOVA) ist eine statistische Formel, die zum Vergleich von Varianzen zwischen den Mitteln (oder dem Durchschnitt) verschiedener Gruppen verwendet wird. Eine Reihe von Szenarien verwendet die Formel, um festzustellen, ob es einen Unterschied zwischen den Mitteln verschiedener Gruppen gibt.

Beispielsweise, wenn Wissenschaftler die Wirksamkeit verschiedener Diabetes-Medikamente untersuchen, entwerfen und experimentieren sie, um die Beziehung zwischen der Art der Medizin und dem daraus resultierenden Blutzuckerspiegel zu erkunden. Die Stichprobe besteht aus einer Gruppe von Personen. Wir teilen die Bevölkerungsstichprobe in mehrere Gruppen ein, und jede Gruppe erhält ein bestimmtes Medikament für einen Testzeitraum. Am Ende des Testzeitraums werden die Blutzuckerwerte für jeden einzelnen Teilnehmer gemessen. Dann wird für jede Gruppe der mittlere Blutzuckerspiegel berechnet. ANOVA hilft dabei, diese Gruppe zu vergleichen, um herauszufinden, ob sie statistisch unterschiedlich sind oder ähnlich sind.

Das Ergebnis von ANOVA ist die „F-Statistik“. Dieses Verhältnis zeigt den Unterschied zwischen der Varianz innerhalb der Gruppe und der Varianz zwischen Gruppen an, was letztendlich eine Zahl ergibt, die eine Schlussfolgerung zur Folge hat, dass die Nullhypothese unterstützt oder zurückgewiesen wird. Wenn zwischen den Gruppen ein erheblicher Unterschied besteht, wird die Nullhypothese nicht unterstützt und das F-Verhältnis wird größer sein.

ANOVA-Terminologie

Abhängige Variable: Das ist das zu messende Element, von dem theoretisiert wird, dass es von den unabhängigen Variablen beeinflusst wird.

Unabhängige Variable: Das sind die zu messenden Elemente, die sich auf die abhängige Variable auswirken können.

Eine Nullhypothese (H0): Das ist der Fall, wenn es keinen Unterschied zwischen den Gruppen oder Mitteln gibt. Abhängig vom Ergebnis des ANOVA-Tests wird die Nullhypothese entweder akzeptiert oder zurückgewiesen.

Eine Alternativhypothese (H1): Wenn theoretisiert wird, dass es einen Unterschied zwischen Gruppen und Mitteln gibt.

Faktoren und Stufen: In der ANOVA-Terminologie wird eine unabhängige Variable als Faktor bezeichnet, der die abhängige Variable beeinflusst. Stufe bezeichnet die verschiedenen Werte der unabhängigen Variable, die in einem Experiment verwendet werden.

Modell mit festem Faktor: Einige Experimente verwenden nur einen diskreten Satz von Stufen für Faktoren. Zum Beispiel würde ein Festfaktor-Test drei verschiedene Dosierungen eines Arzneimittels testen und keine anderen Dosierungen untersuchen.

Zufallsfaktormodell: Dieses Modell zeichnet einen zufälligen Wert der Ebene aus allen möglichen Werten der unabhängigen Variable.

Was ist der Unterschied zwischen der einfaktoriellen und zweifaktoriellen ANOVA?

Es gibt zwei Arten von ANOVA.

Einweg-ANOVA

Die Einweg-Varianzanalyse wird auch als einfaktorielle ANOVA oder einfache ANOVA bezeichnet. Wie der Name schon sagt, eignet sich die einseitige ANOVA für Experimente mit nur einer unabhängigen Variable (Faktor) mit zwei oder mehr Ebenen. Zum Beispiel kann eine abhängige Variable der Monat des Jahres sein, in dem sich mehr Blumen im Garten befinden. Es wird zwölf Stufen geben. Eine einfache ANOVA geht von Folgendem aus:

• Unabhängigkeit: Der Wert der abhängigen Variable für eine Beobachtung ist unabhängig vom Wert aller anderen Beobachtungen.
• Normalität: Der Wert der abhängigen Variable ist normal verteilt
• Varianz: Die Varianz ist in verschiedenen Versuchsgruppen vergleichbar.
• Fortlaufend: Die abhängige Variable (Anzahl der Blumen) ist kontinuierlich und kann auf einer Skala gemessen werden, die unterteilt werden kann.

Vollfaktorielle ANOVA (auch als bidirektionale ANOVA bezeichnet)

Eine vollfaktorielle ANOVA wird verwendet, wenn es zwei oder mehr unabhängige Variablen gibt. Jeder dieser Faktoren kann über mehrere Stufen verfügen. Eine vollfaktorielle ANOVA kann nur bei einem vollfaktoriellen Experiment verwendet werden, bei dem jede mögliche Permutation von Faktoren und deren Ebenen genutzt wird. Dies könnte der Monat des Jahres sein, in dem mehr Blumen im Garten sind, und dann die Anzahl der Sonnenscheinstunden. Diese bidirektionale ANOVA misst nicht nur die unabhängige gegenüber der unabhängigen Variable, sondern auch, wenn sich die beiden Faktoren gegenseitig beeinflussen. Eine Zweiweg-ANOVA geht von Folgendem aus:

• Kontinuierlich: Wie bei einer einfachen ANOVA sollte die abhängige Variable kontinuierlich sein.
• Unabhängigkeit: Jede Stichprobe ist unabhängig von anderen Stichproben ohne Crossover.
• Varianz: Die Varianz der Daten zwischen den verschiedenen Gruppen ist gleich.
• Normalität: Die Stichproben sind repräsentativ für eine normale Bevölkerung.
• Kategorien: Die unabhängigen Variablen sollten in separaten Kategorien oder Gruppen vorliegen.

Warum funktioniert ANOVA?

Einige Leute stellen die Notwendigkeit einer ANOVA in Frage; schließlich können Mittelwerte nur durch Betrachten bewertet werden. Aber ANOVA tut mehr als nur Mittelwerte vergleichen.

Obwohl die Mittelwerte verschiedener Gruppen unterschiedlich zu sein scheinen, könnte dies eher auf einen Stichprobenfehler als auf die Auswirkung der unabhängigen Variable auf die abhängige Variable zurückzuführen sein. Wenn dies auf einen Stichprobenfehler zurückzuführen ist, ist der Unterschied zwischen den Mittelwerten der Gruppen bedeutungslos. ANOVA hilft dabei, herauszufinden, ob der Unterschied der Mittelwerte statistisch signifikant ist.

ANOVA zeigt auch indirekt, ob eine unabhängige Variable die abhängige Variable beeinflusst. Angenommen, dass ANOVA beispielsweise im obigen Blutzuckerspiegel-Experiment feststellt, dass Gruppenmittel statistisch nicht signifikant sind und der Unterschied zwischen Gruppenmitteln nur auf Probenahmefehler zurückzuführen ist. Dieses Ergebnis zeigt, dass die Art des Medikaments (unabhängige Variable) kein signifikanter Faktor ist, der den Blutzuckerspiegel beeinflusst.

Einschränkungen von ANOVA

ANOVA kann nur erkennen, ob es einen erheblichen Unterschied zwischen den Mittelwerten von mindestens zwei Gruppen gibt, aber es kann nicht erklären, welches Paar sich in ihren Mittelwerten unterscheidet. Wenn es eine Anforderung an granulare Daten gibt, hilft der Einsatz weiterer statistischer Folgeprozesse dabei, herauszufinden, welche Gruppen sich im Mittelwert unterscheiden. In der Regel wird ANOVA in Kombination mit anderen statistischen Methoden verwendet.

ANOVA nimmt auch an, dass der Datensatz einheitlich verteilt ist, da er nur den Mittelwert vergleicht. Wenn die Daten nicht über eine normale Kurve verteilt sind und es Ausreißer gibt, ist ANOVA nicht der richtige Prozess zur Interpretation der Daten.

In ähnlicher Weise geht ANOVA davon aus, dass die Standardabweichungen gruppenübergreifend gleich oder ähnlich sind. Wenn es einen großen Unterschied in den Standardabweichungen gibt, kann der Abschluss des Tests ungenau sein.

Wie wird ANOVA in Data Science verwendet?

Eine der größten Herausforderungen beim maschinellen Lernen ist die Auswahl der zuverlässigsten und nützlichsten Funktionen, die zur Schulung eines Modells verwendet werden. ANOVA hilft bei der Auswahl der besten Funktionen zur Schulung eines Modells. ANOVA minimiert die Anzahl der Eingabevariablen, um die Komplexität des Modells zu reduzieren. ANOVA hilft festzustellen, ob eine unabhängige Variable eine Zielvariable beeinflusst.

Ein Beispiel für die Verwendung von ANOVA in Data Science ist die E-Mail-Spam-Erkennung. Aufgrund der Vielzahl von E-Mails und E-Mail-Funktionen ist es sehr schwierig und ressourcenintensiv geworden, alle Spam-E-Mails zu identifizieren und abzulehnen. ANOVA und F-Tests werden eingesetzt, um Funktionen zu identifizieren, die zur richtigen Identifizierung wichtig waren, welche E-Mails Spam waren und welche nicht.

Fragen, bei deren Beantwortung ANOVA hilfreich ist

Obwohl ANOVA komplexe statistische Schritte umfasst, ist es eine vorteilhafte Technik für Unternehmen durch den Einsatz von KI. Organisationen verwenden ANOVA, um Entscheidungen darüber zu treffen, welche Alternative unter vielen möglichen Optionen gewählt werden soll. Zum Beispiel kann ANOVA dabei helfen:

• Den Ertrag zweier verschiedener Weizensorten unter drei verschiedenen Düngemittelmarken zu vergleichen.
• Die Effektivität verschiedener Social-Media-Werbungen bei den Verkäufen eines bestimmten Produkts zu vergleichen.
• Die Wirksamkeit verschiedener Schmierstoffe in verschiedenen Fahrzeugtypen zu vergleichen.