Methode der kleinsten Quadrate

Glossar
· Hauptseite · Zufälliger Artikel · Portal liste
Diskussion
· Diskussion : Methode der kleinsten Quadrate
Webkatalog
· Übersicht · Eigene Artikel · Seite vorschlagen
Aktuelles
· Seite der Woche · Newsletter · Today in History · Kreuzworträtsel
Weitere Inhalte
· Einkaufsmeile · Begriffslexikon · Multimedia
Suche
· Geschi.de · nach Jahren · Weltchronik.de · Geschichtsreferate
Interna
· Seitenneuigkeiten · Hilfe zur Seite · Impressum

Jahres-Sprung
Jahreszahl eingeben: >Chronik2000-Homepage<

Stichpunkte

Allgemein
	wirtschaftliche GrÃ¶ÃŸen usw. reprÃ¤sentieren kÃ¶nnen
	die physikalische Messwerte
	Die Methode der kleinsten Quadrate (auch: der kleinsten Fehlerquadrate; englisch: Least Squares Method) ist das mathematische Standardverfahren zur Ausgleichungsrechnung: Es ist eine Wolke aus Datenpunkten gegeben
	In diese Punktwolke soll eine mÃ¶glichst genau passende parameterabhÃ¤ngige Modellkurve gelegt werden
	Dazu bestimmt man die Parameter dieser Kurve numerisch
	indem die Summe der quadratischen Abweichungen der Kurve von den beobachteten Punkten minimiert wird. Bild nicht gefunden Anpassung von beobachteten y-Werten an eine logistische Funktion In der Grafik sind die <math>(t; y)<math>-Paare als Datenpunkte zu erkennen
	Es wurde hier eine logistische Funktion in die Punktwolke gelegt
	dass die Quadratsumme der senkrechten Abweichungen e der Beobachtungen y von der Kurve minimiert wird
	Die Parameter dieser Funktion werden so bestimmt
	spricht man von Regression und Regressionsanalyse
	Werden bei der Methode der kleinsten Quadrate stochastische Verfahren angewendet
	ebenso wie Ausgleichsrechnung
	Diese Begriffe werden
	hÃ¤ufig von den Anwendern synonym gebraucht
	wÃ¤hrend in der Physik der Begriff Fitting verwendet wird
	In der Mathematischen Statistik nennt man das Verfahren auch Kleinste-Quadrate-SchÃ¤tzung
	Die FÃ¼lle an Begriffen demonstriert die Bedeutung und Verbreitung der Methode
	"Verbergen") 1 Zum Einstieg 2 Das Verfahren 3 Lineare Modellfunktion 3.1 Beispiel fÃ¼r ein einfaches lineares Modell y = x0 + x1t 3.2 Der allgemeine lineare Fall 3.2.1 LÃ¶sung des Minimierungsproblems 3.3 Anforderungen an die Daten 3.3.1 MultikollinearitÃ¤t 3.3.2 AusreiÃŸer 4 Nichtlineare Modellfunktionen 4.1 Beispiel einer polynomialen Ausgleichskurve 4.2 Beispiel einer Ausgleichskurve als Quotient 4.3 Beispiel der Fourieranalyse 4.4 Beispiel aus der Enzymkinetik einer nicht linearisierbaren Modellfunktion 5 Literatur 6 Weblinks [Bearbeiten]
	Angewandt als Systemidentifikation ist die Methode der kleinsten Quadrate in Verbindung mit Modellversuchen fÃ¼r Ingenieure ein Ausweg aus der paradoxen Situation
	Modellparameter fÃ¼r unbekannte GesetzmÃ¤ÃŸgkeiten zu bestimmen. Inhaltsverzeichnis showTocToggle("Anzeigen"
Zum Einstieg
	Bild nicht gefunden Carl Friedrich GauÃŸ Am Neujahrstag des Jahres 1801 entdeckte der italienische Astronom Giuseppe Piazzi den Asteroiden Ceres
	dann verschwand Ceres hinter der Sonne
	40 Tage konnte er die Bahn verfolgen
	Im Laufe des Jahres versuchten viele Wissenschaftler anhand von Piazzis Beobachtungen die Bahn zu schÃ¤tzen (die LÃ¶sung der nichtlinearen Kepler-Gleichungen ist sehr schwierig)
	im darauffolgenden Dezember den Asteroiden wiederzufinden
	Die meisten Rechnungen waren unbrauchbar; als einzige war diejenige des 24jÃ¤hrigen Carl Friedrich GauÃŸ genau genug
	um dem deutschen Astronomen von Zach zu ermÃ¶glichen
	GauÃŸ erlangte dadurch Weltruhm
	die Methode der kleinsten Quadrate
	Sein Verfahren
	publizierte er erst 1809 im zweiten Band seines himmelsmechanischen Werkes Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium
	UnabhÃ¤ngig davon entwickelte der Franzose Adrien-Marie Legendre 1806 dieselbe Methode
	wieso sein Verfahren im Vergleich zu den anderen so erfolgreich war: Die Methode der kleinsten Quadrate ist in einer breiten Hinsicht optimal
	also besser als andere Methoden
	1829 konnte GauÃŸ eine BegrÃ¼ndung liefern
	Die genaue Aussage ist als der Satz von GauÃŸ-Markov bekannt. [Bearbeiten]
Das Verfahren
	deren Zustandekommen von einer vorgegebenen Variablen t oder auch von mehreren Variablen t1 bis tq abhÃ¤ngen kann
	HÃ¤ufig ist fÃ¼r ein gegebenes Problem keine formelhafte Beschreibung zur Hand: Man interessiert sich fÃ¼r eine abhÃ¤ngige Variable y
	Return on Investment oder Eigenkapital
	der Gewinn eines Unternehmens jedoch von mehreren Faktoren wie Umsatz
	So hÃ¤ngt die Dehnung einer Feder nur von der aufgebrachten Kraft ab
	Um Informationen Ã¼ber die Art des Zusammenhangs zu erhalten
	wird man eine Messreihe y durchfÃ¼hren: Es werden zu verschiedenen Werten der unabhÃ¤ngigen Variablen tj entsprechende y-Werte erhoben
	die y-Werte mittels einer Modellfunktion <math>y_m = f(t_1
	gut zu approximieren. FÃ¼r die Wahl dieser Modellfunktion geht man im Allgemeinen von einem vermuteten Funktionstyp aus (beispielsweise einer Parabel oder einer Exponentialfunktion)
	...
	x_p)<math>
	was im Fall einer unabhÃ¤ngigen Variablen t meistens unproblematisch ist
	die von den q Variablen sowie p zusÃ¤tzlichen Parametern abhÃ¤ngen soll
	t_q;x_1
	...
	Nun wird versucht
	Die Parameter <math>x<math> dienen zur Anpassung des gewÃ¤hlten Funktionstyps an den beobachteten Wert y
	So mÃ¼sste bei der gemessenen Dehnung einer Feder die gegebene Variable Kraft durch den Parameter Federkonstante relativiert werden
	Ziel ist es nun
	dass die Modellfunktion die Daten bestmÃ¶glich approximiert
	die Parameter so zu wÃ¤hlen
	wie man die GÃ¼te verschiedener Approximationen beurteilen soll
	Zu betonen ist hierbei
	daÃŸ es im Allgemeinen wesentlich mehr Datenpunkte gibt als Parameter. ZunÃ¤chst ist es nicht klar
	GauÃŸ und Legendre hatten die Idee
	Annahmen Ã¼ber die Messfehler zu machen
	Diese sollten im Durchschnitt Null sein; jeder Messfehler sollte die gleiche Varianz haben und von jedem anderen Messfehler stochastisch unabhÃ¤ngig sein
	dass in den Messfehlern keinerlei systematische Information mehr steckt
	Man verlangt damit
	sie sollen also rein zufÃ¤llig um Null schwanken
	dass AusreiÃŸer in y so gut wie ausgeschlossen sind
	AuÃŸerdem sollten die Messfehler normalverteilt sein
	was zum einen wahrscheinlichkeitstheoretische Vorteile hat und zum anderen garantiert
	die euklidische Norm des Differenzvektors zu minimieren: <math> min_{ vec{x} } \| vec{y}_{m} ( vec{x} ) - vec{y} \|_{2} .<math> Wie genau dieses Minimierungsproblem gelÃ¶st wird
	hÃ¤ngt von der Art der Modellfunktion ab
	bei denen die Summe der Quadrate der Abweichungen zwischen entsprechender Modellkurve und Daten (die Quadratsumme der Residuen) minimal wird im Vergleich zu anderen Wahlen der Parameter
	dass groÃŸe Abweichungen der Modellfunktion von den Daten viel stÃ¤rker bestraft werden als kleine. Letztendlich ergibt das folgende Vorschrift: Es sollen diejenigen Parameter ausgewÃ¤hlt werden
	Das Kriterium zur Bestimmung der Approximation sollte dieses also berÃ¼cksichtigen und so gewÃ¤hlt werden
	in Formelschreibweise <math> min_{vec{x}} { sum_{i=1}^{n}[y_i - y_m]^2} . <math> Es geht also darum
	HÃ¤ufig kann man mit Hilfe eines Streudiagramms zwischen tj und y schon RÃ¼ckschlÃ¼sse auf den Funktionstyp ziehen. [Bearbeiten]
Lineare Modellfunktion
	Ein Spezialfall der Modellfunktion ist die lineare Form
	Der einfachste lineare Ansatz ist <math>y_m = x_0 + x_1 t<math>
	Man erhÃ¤lt in Matrixschreibweise <math> min_{x_0
	x_1}left\|begin{pmatrix}1 & t_1 \ vdots & vdots \ 1 & t_n end{pmatrix} begin{pmatrix} x_0\ x_1end{pmatrix} - begin{pmatrix} y_1 \ vdots \ y_{n}end{pmatrix}right\|_{2} = min_x\|Ax-b\|_2. <math> FÃ¼r die resultierende Ausgleichsgerade dieses einfachen (aber durchaus relevanten) Beispiels lassen sich die LÃ¶sungen fÃ¼r die Parameter direkt angeben als <math>x_1 = frac{sum_{i=1}^n t_iy_i - n cdot bar t bar y}{sum_{i=1}^n t_i^2- n cdot (bar t)^2}<math> und <math>x_0 = bar y - x_1 bar t <math> mit <math>bar t = frac{1}{n} sum_{i=1}^n t_i<math> als arithmetischem Mittel der t-Werte
	<math>bar y <math> entsprechend. Die LÃ¶sung fÃ¼r x1 kann mit Hilfe des Verschiebungssatzes auch als <math>x_1 = frac{sum_{i=1}^n (t_i - bar t)(y_i - bar y)}{sum_{i=1}^n (t_i - bar t)^2}<math> angegeben werden. [Bearbeiten]
Beispiel fÃ¼r ein einfaches lineares Modell y = x₀ + x₁t
	Es wurden zufÃ¤llig 10 Kriegsschiffe ausgewÃ¤hlt und bezÃ¼glich mehrerer Merkmale darunter LÃ¤nge (m) und Breite (m) analysiert
	Es soll nun untersucht werden
	ob die Breite eines Kriegsschiffs mÃ¶glicherweise durch die LÃ¤nge erklÃ¤rt werden kann
	Das Streudiagramm zeigt
	dass zwischen LÃ¤nge und Breite eines Schiffs offensichtlich ein ausgeprÃ¤gter linearer Zusammenhang besteht
	Es soll nun nach der Methode der kleinsten Quadrate eine Ausgleichsgerade errechnet werden
	2 13
	0 23
	038 4070
	628 948
	1601 4 227 31
	04 64
	64 29
	24 0
	}41<math>. Damit bestimmt man x1 als <math>x_1 = frac{sum_{i=1}^n (t_i- bar {t})(y_i - bar y)}{sum_{i=1}^n (t_i- bar t)^2}<math> <math> = frac{3287{
	820 20391
	5081 5 137 13
	0 10
	948 3003
	8 -2
	8 -37
	1 0
	60 574
	1601 9 191 19
	41 166
	5 -15
	0 0
	3481 10 130 11
	mit jedem Meter LÃ¤nge wÃ¤chst ein Kriegsschiff im Durchschnitt etwa 16 Zentimeter in die Breite
	4 70
	61 249
	6   40
	}8<math> und entsprechend <math>bar y = 18{
	0 59
	8 -8
	8 -8
	59 745
	8 -5
	688 538
	04 10
	<math> so dass man sagen kÃ¶nnte
	2 0
	8 -6
	64 8
	04 195
	0 -30
	19 128
	}1612 ;
	In der folgenden Tabelle sind die Daten zusammen mit den Zwischenergebnissen aufgefÃ¼hrt. Nummer LÃ¤nge (m) Breite (m) ti - t yi - y       i ti yi ti* yi* ty tt yy 1 208 21
	6921 Σ 1678 184
	2 12
	2 0
	}60} = 0{
	7201 7 178 19
	64 158
	91 45
	978 249
	098 4928
	3481 8 104 10
	1761 2 152 15
	8490 Bild nicht gefunden Streudiagramm von LÃ¤nge und Breite 10 zufÃ¤llig ausgewÃ¤hlter Kriegsschiffe Man erhÃ¤lt nun analog zum oben angegebenen Fall zunÃ¤chst <math>bar t = frac {sum_{i=1}^n t_i}{n} = frac {1678}{10} = 167{
	04 0
	2681 6 238 32
	01 511
	858 1428
	}820} {20391{
	59 6
	99 982
	44 64
	2   3
	328 3504
	59 13
	238 1616
	4681 3 113 10
	01 438
	018 104
	4 -63
	4 -54
	00 3287
	84 43
	<math> wobei eine inhaltliche Interpretation aus stochastischen GrÃ¼nden unterbleiben sollte
	}6451 ;
	Das Absolutglied x0 erhalten wir aus <math>x_0 = bar y - x_1 bar t = 18{
	}1612 cdot 167{
	}41 - 0{
	}8 = -8{
	Die Anpassung der Punkte ist recht gut
	es werden etwa 92 Prozent der Information in Breite mit Hilfe des Merkmals LÃ¤nge erklÃ¤rt. [Bearbeiten]
Der allgemeine lineare Fall
	was das lineare Gleichungssystem <math> begin{matrix} x_0 + x_1 t_{11} + cdots + x_j t_{1j}+ cdots +x_q t_{1q} = y_1\ x_0 + x_1 t_{21} + cdots + x_j t_{2j}+ cdots +x_q t_{2q} = y_2\ vdots \ x_0 + x_1 t_{i1} + cdots + x_j t_{ij}+ cdots +x_q t_{iq}= y_i\ vdots\ x_0 + x_1 t_{n1} + cdots + x_j t_{nj}+ cdots +x_q t_{nq}= y_n end{matrix} <math> ergibt
	cdots
	x_1
	... t_q;x_0
	x_q )= x_0 + x_1 t_1 + cdots + x_q t_q <math>
	...
	erhÃ¤lt man eine lineare Funktion der Art <math>y_m(t_1
	t_q<math>
	Hat man mehrere unabhÃ¤ngige Modellvariablen <math>t_1
	Fasst man die tij zur Datenmatrix A
	kann man das lineare Gleichungssystem auch in der bekannten Weise darstellen als <math> begin{pmatrix} 1 & t_{11} & cdots & t_{1j} cdots & t_{1q}\ 1 & t_{21} & cdots & t_{2j} cdots & t_{2q}\ vdots \ 1 & t_{i1} & cdots & t_{ij} cdots & t_{iq}\ vdots\ 1 & t_{n1} & cdots & t_{nj} cdots & t_{nq} end{pmatrix} cdot begin{pmatrix} x_0\ x_1\ x_2\ vdots \ x_j\ vdots\ x_q end{pmatrix} = begin{pmatrix} y_1\ y_2\ vdots \ y_i\ vdots\ y_n end{pmatrix} <math> bzw. <math>Ax = b<math>
	die Parameter xj zum Parametervektor x und die Beobachtungen yi zum Vektor b zusammen
	Der kleinste-Quadrate-Ansatz fÃ¼hrt dann wieder wie oben auf ein lineares Ausgleichsproblem der Form <math>min_x\|Ax-b\|_2<math>. [Bearbeiten]
LÃ¶sung des Minimierungsproblems
	Dieses Minimierungsproblem hat immer eine LÃ¶sung
	so ist diese sogar eindeutig
	Hat die Matrix A vollen Rang
	<math> das bei RegularitÃ¤t der ((q+1)×(q+1))-Matrix auf der linken Seite eindeutig lÃ¶sbar ist
	Die partiellen Ableitungen bezÃ¼glich der xj und Nullsetzen derselben zum Bestimmen des Minimums ergeben ein lineares System von Normalgleichungen <math>A^TAx=A^Tb ;
	Ferner hat die Systemmatrix <math>A^TA<math> die Eigenschaft
	ihre Eigenwerte sind also alle positiv
	positiv definit zu sein
	Zusammen mit der Symmetrie von <math>A^TA<math> kann dies beim Einsatz von numerischen Verfahren zur LÃ¶sung ausgenutzt werden: beispielsweise mittels Cholesky-Zerlegung oder dem CG-Verfahren
	ist dies manchmal keine empfehlenswerte Herangehensweise: Ist schon A schlecht konditioniert
	so ist <math>A^TA<math> quadratisch schlecht konditioniert
	Da beide Methoden von der Kondition der Matrix stark beeinfluÃŸt werden
	Eine stabilere Alternative bietet die QR-Zerlegung mittels des Householder-Verfahrens
	ausgehend vom ursprÃ¼nglichen Minimierungsproblem und nicht den Normalgleichungen. Ferner lÃ¤ÃŸt sich das Minimierungsproblem mittels einer SingulÃ¤rwertzerlegung gut analysieren
	Diese motivierte auch den Ausdruck der Pseudoinversen
	einer Verallgemeinerung der normalen Inversen einer Matrix. In der statistischen Regressionsanalyse spricht man bei mehreren gegebenen Variablen tj von multipler Regression
	dem verallgemeinerten Regressionsmodell bei Residuen
	die von der Verteilungsannahme wie Unkorreliertheit und Homoskedastie abweichen
	im Gegensatz zu GLS (generalised least squares)
	Der Ansatz ist auch als OLS (ordinary least squares) bekannt
	n) r viele y-Werte vor
	...
	so dass statt eines Vektors eine (n×r)-Matrix Y vorliegt
	Dagegen liegen bei multivariater Regression fÃ¼r jede Beobachtung i (i=1
	Die linearen Regressionsmodelle sind in der Statistik wahrscheinlichkeitstheoretisch intensiv erforscht worden
	Besonders in der Ã–konometrie werden beispielsweise komplexe rekursiv definierte lineare Strukturgleichungen analysiert
	um volkswirtschaftliche Systeme zu modellieren. [Bearbeiten]
Anforderungen an die Daten
	Strenggenommen ist die Normalverteilungsannahme fÃ¼r die abhÃ¤ngige Variable y nicht zwingend notwendig
	Es sollen lediglich keine AusreiÃŸer vorliegen
	Diese verursachen numerische Probleme
	ebenso wie MultikollinearitÃ¤t. [Bearbeiten]
MultikollinearitÃ¤t
	wenn die Messreihen zweier gegebener Variablen ti und tj sehr hoch korreliert sind
	MultikollinearitÃ¤t entsteht
	also fast linear abhÃ¤ngig sind
	In diesem Fall wird die Determinante von <math>A^TA<math> sehr klein und die LÃ¶sungswerte werden unplausibel groÃŸ
	Die Norm der Inversen wird umgekehrt ebenfalls sehr groÃŸ
	die Kondition von <math>A^TA<math> ist stark beeintrÃ¤chtigt
	Die Normalgleichungen sind dann numerisch schwer zu lÃ¶sen
	HÃ¤ufig tritt MultikollinearitÃ¤t auf
	wenn das Regressionsmodell durch zu viele Regressoren Ã¼berbestimmt ist
	Neben numerischen Alternativen kÃ¶nnen auch mit Hilfe statistischer Tests die Variablen auf ihre ErklÃ¤rungswerte fÃ¼r das Modell hin Ã¼berprÃ¼ft werden und gegebenenfalls entfernt werden
	also etwa die Quadratsumme der Residuen minimiert
	der den grÃ¶ÃŸten Beitrag zur ErklÃ¤rung von y liefert
	Man kann bei sehr vielen in Frage kommenden Regressoren auch schrittweise eine Variablen-Selektion durchfÃ¼hren: Bei der vorwÃ¤rts gerichteten Regression (Forward Regression) wird zuerst der Regressor in das Modell aufgenommen
	usw
	dessen Beitrag zum bestehenden Modell maximal ist
	Dann wird unter den verbliebenen potentiellen Regressoren der Regressor ausgewÃ¤hlt
	Das Verfahren wird beendet
	wenn der zusÃ¤tzliche maximale Beitrag eines Regressors statistisch insignifikant wird
	Wird statt eines Tests eine kritische Genauigkeit verwendet
	kÃ¶nnte man auch sagen
	bis sich die Genauigkeit der Anpassung nicht mehr steigern lÃ¤sst
	Wenn das statistische Material nicht umfangreich genug ist kann es vorkommen
	sondern rauh gegen einen Grenzwert konvergiert - daraus ergeben sich weitere VerbesserungsmÃ¶glichkeiten des Verfahrens. Bei der rÃ¼ckwÃ¤rts gerichteten Regression (Backward Regression) werden zunÃ¤chst alle Regressoren in das Regressionsmodell aufgenommen
	dass die AbhÃ¤ngigkeit der Genauigkeit von der Anzahl der Ansatzfunktionen nicht glatt
	Es wird dann der Regressor aus dem Modell entfernt
	dessen Weglassen die Quadratsumme der Residuen am wenigsten reduziert
	Dann wird der nÃ¤chste Regressor entfernt usw
	weil die Kreuzproduktmatrix <math>A^TA<math> bei sehr vielen Regressoren hÃ¤ufig schon pathologisch ist und fÃ¼r die Eliminationsrechnung keine sinnvollen Ergebnisse liefert. Auch mit Ridge-Regression kann MultikollinearitÃ¤t abgeholfen werden. Typischerweise sind bei multikollinearen Kreuzproduktmatrizen <math>A^TA<math> die Hauptdiagonalelemente zu klein
	Das Verfahren stoppt
	bzw. bis die Genauigkeit einen festgelegten Schwellenwert unterschreitet. Im allgemeinen ist die VorwÃ¤rts-Elimination der RÃ¼ckwÃ¤rts-Elimination vorzuziehen
	wenn der Beitrag des nÃ¤chsten potentiellen Eliminationskandidaten zur ErklÃ¤rung von y signifikant hoch wird
	Man addiert hier iterativ kleine BetrÃ¤ge auf die Hauptdiagonale
	bis sich die Matrix stabilisiert hat
	Mit Hilfe eines Konditionierungskriteriums
	kann dieser Prozess kontrolliert werden
	etwa der Eigenwerte
	muss wohl fallweise untersucht werden. [Bearbeiten]
	Ob dieses Verfahren sinnvolle Ergebnisse liefert
AusreiÃŸer
	die "untypisch weit von der Masse der Daten entfernt sind"
	Als AusreiÃŸer sind Datenwerte definiert
	dass sich sogar die Vorzeichen von errechneten Parametern umdrehen
	Diese Werte beeinflussen die Berechnungen derart stark
	Es gibt hier alternative AusreiÃŸer-resistente Berechnungsverfahren wie gewichtete Regression oder das Drei-Gruppen-Verfahren
	was die UnterdrÃ¼ckung des AusreiÃŸers bedingt
	Bei der gewichteten Regression werden etwa die AusreiÃŸer der abhÃ¤ngigen Variablen y mit 0 und die unproblematischen Werte mit 1 gewichtet
	Dieser Algorithmus nach Mosteller und Tukey (1977) wird als "biweighting" bezeichnet
	Denkbar wÃ¤re auch
	die Gewichtung je nach StÃ¤rke des AusreiÃŸers abzustufen
	Im Ã¼brigen kÃ¶nnen auch AusreiÃŸer in den Regressoren die Ergebnisse der Ausgleichsrechnung stark beeintrÃ¤chtigen
	Man spricht hier von Werten mit groÃŸer Hebelkraft (High Leverage Value). Bild nicht gefunden Korrelierte Residuen: In den Residuen ist noch eine Schwingungskomponente
	die man ev. mit dem Ansatz y = x0 + x1t + x2sin(t) einbinden kÃ¶nnte
	Bild nicht gefunden Verschiedene Varianz der Residuen: Die linken Residuen schwanken schwÃ¤cher als die rechten
	Vermutlich sind zwei verschiedene Populationen gemischt worden
	Bild nicht gefunden AusreiÃŸer von y: Der Wert zieht die Gerade nach oben [Bearbeiten]
Nichtlineare Modellfunktionen
	Mit dem Aufkommen leistungsfÃ¤higer Rechner gewinnt insbesondere die nichtlineare Regression an Bedeutung
	Sie ermÃ¶glicht in Prinzip die Anpassung von Daten an jede Gleichung der Form <math>y = f(x)<math>
	werden die Begriffe nichtlineare Regression und "curve fitting" zumeist synonym gebraucht. Hier gibt es verschiedene Modelle und verschiedene LÃ¶sungsmÃ¶glichkeiten
	Da diese Gleichungen Kurven definieren
	Etwa nur multiplikativ wÃ¤re ein Modell der Art <math> y = x_0 cdot t^{x_1} cdot e ;
	<math> bei dem auch die Residuen e mit t variieren
	Hier kÃ¶nnte man mit Logarithmieren das System in eine additive Struktur Ã¼berfÃ¼hren und dann die Parameter errechnen
	Dieser Ansatz wird beispielsweise in der Wachstumstheorie angewendet
	HÃ¤ufig werden fÃ¼r die Approximation einer Funktion y auch Ausgleichspolynome der Art <math> y approx x_0 + x_1 t + x_2 t^2+ ...+ x_q t^q<math> eingesetzt
	ergibt sich wieder ein lineares Gleichungssystem
	das wie oben gelÃ¶st werden kann
	Werden fÃ¼r die Potenzen die Zahlenwerte verwendet
	Im allgemeinen ergibt sich bei nichtlinearen Modellfunktionen durch die partielle Differentiation ein System von Normalgleichungen
	das nicht mehr analytisch gelÃ¶st werden kann
	Eine numerische LÃ¶sung kann hier iterativ mittels des GauÃŸ-Newton-Verfahrens erfolgen
	dass die Konvergenz des Verfahrens nicht gesichert ist. Aktuelle Programme arbeiten hÃ¤ufig mit einer Variante: Dem Algorithmus nach Levenberg und Marquardt
	Jenes hat das Problem
	jedoch wird durch eine Regularisierungstechnik die Monotonie der NÃ¤herungsfolge garantiert und es ist bei grÃ¶ÃŸerer Abweichung der SchÃ¤tzwerte toleranter als die Ursprungsmethode
	Bei diesem Verfahren ist zwar die Konvergenz ebenfalls nicht gesichert ist
	in jedem Schritt verdoppelt sich also die Zahl der korrekten Nachkommastellen. [Bearbeiten]
	Beide Verfahren sind mit dem Newton-Verfahren verwandt und konvergieren meist quadratisch
Beispiel einer polynomialen Ausgleichskurve
	Wiesbaden 2004)
	Bild nicht gefunden Tabelle T1: Ergebnisse der Kleinst-Quadrate-SchÃ¤tzung mit 4 gegebenen Datenvariablen tj Als Ergebnisse der Mikrozensus-Befragung im Mai 2003 durch das statistische Bundesamt sind die durchschnittlichen Gewichte von MÃ¤nnern nach Altersklassen gegeben (Quelle:Â© Statistisches Bundesamt
	FÃ¼r die Analyse wurden die Altersklassen durch die Klassenmitten ersetzt (Die Zahlen sind im Artikel Streudiagramm aufgefÃ¼hrt)
	Es soll die AbhÃ¤ngigkeit der Variablen Gewicht (y) von der Variablen Alter (t) analysiert werden
	Das Streudiagramm lÃ¤sst auf eine annÃ¤hernd parabolische Beziehung zwischen t und y schlieÃŸen
	welche sich hÃ¤ufig gut durch ein Polynom annÃ¤hern lÃ¤sst
	Es wird ein polynomialer Ansatz der Form <math> y approx x_0 + x_1 t + x_2 t^2 + x_3 t^3 + x_4 t^4<math> Bild nicht gefunden Tabelle T2: Ergebnisse der Kleinst-Quadrate-SchÃ¤tzung mit 3 gegebenen Datenvariablen tj versucht
	Eine Anpassungsrechnung mit Hilfe des Statistik-Programms Minitab ergab die (ins Deutsch Ã¼bersetzte) Tabelle T1
	Es sind alle Parameter xj statistisch signifikant
	d.h. die Daten aller t j kÃ¶nnen einen deutlichen Beitrag zur ErklÃ¤rung von y leisten
	Das BestimmtheitsmaÃŸ (R^2) betrÃ¤gt 99
	8% der Information von y durch die Daten erklÃ¤rt werden
	dass 99
	man kÃ¶nnte also sagen
	8%
	Die Daten von t j sind allerdings hochkorreliert
	Es wurde daher t 3 und damit der Modellparameter x 3 aus dem Modell entfernt
	Die Ergebnisse einer Regression ohne t3 sind in der (ins Deutsch Ã¼bersetzten) Tabelle T2 aufgefÃ¼hrt
	3%
	also hat t3 nur einen zusÃ¤tzlichen Beitrag zur ErklÃ¤rung von y von 1
	6% gesunken
	Das BestimmtheitsmaÃŸ ist lediglich auf 98
	Wiesbaden 2004) Bild nicht gefunden Streudiagramm von y und geschÃ¤tztem y [Bearbeiten]
	dass die Anpassung gelungen ist. Bild nicht gefunden Streudiagramm: Durchschnittliches Gewicht von MÃ¤nnern nach Alter (Quelle der Daten:Â© Statistisches Bundesamt
	Das Streudiagramm mit den beobachteten und geschÃ¤tzten y-Werten zeigt
Beispiel einer Ausgleichskurve als Quotient
	Hier soll das Problem anhand eines einfachen Beispiels (multiplikative VerknÃ¼pfung: Geschwindigkeitsgleichung <math>v=s/t<math>) erlÃ¤utert werden
	Ein Objekt bewegt sich auf einer ebenen geraden Strecke mit konstanter Geschwindigkeit
	Gesucht ist die wahrscheinliche Geschwindigkeit <math>v=s/t<math> oder die wahrscheinliche Zeit pro Wegeinheit <math>t=s/v=Tcdot s<math> (mit <math>T=t/s<math>)
	Auch hier wird das nichtlineare System in ein lineares Ã¼berfÃ¼hrt
	99
	41 21
	94
	um das Minimum zu suchen
	1530
	9855
	die gleich Null gesetzt wird
	15
	110
	lautet: <math>dS_mathrm{sq}/dT = sum_{i=1}^{3}(-2 cdot t_{mi} cdot s_{mi}+2 cdot s_{mi}^{2} cdot T)=0<math>. Diese Gleichung wird nach T aufgelÃ¶st: <math>T = sum_{i=1}^{3}(2 cdot t_{mi} cdot s_{mi})/sum_{i=1}^{3}(2 cdot s_{mi}^{2})<math>. Man muss also die Summe der Produkte tm und sm durch die Summe der Quadrate der gemessenen Entfernungen teilen
	940225 Summen5
	Es werden die folgenden Werte gemessen: Formelzeichen <math>s_m<math><math>t_m<math><math>t_m cdot s_m<math><math>s_m^2<math> Messwertgemessene Entfernunggemessene ZeitEntfernung <math>cdot<math> ZeitEntfernungÂ² EinheitKilometer SekundenKilometer<math>cdot<math>SekundenKilometerÂ² 12
	960225 Die Summe der Fehlerquadrate <math>S_{rm sq}<math> ist dann: <math>S_mathrm{sq} = sum_{i=1}^{3} (t_{mi}-t_{i})^{2} = sum_{i=1}^{3} (t_{mi}-T cdot s_{mi})^{2}=sum_{i=1}^{3}(t_{mi}^{2}-2cdot t_{mi} cdot T cdot s_{mi}+(T*s_{mi})^{2}) <math>. Die erste Ableitung der obigen Gleichung nach <math>T<math>
	61 31
	1510
	2427511
	714
	22753
	313
	98515
	Das Ergebnis hat die Einheit Zeit/Weg (hier 2
	3955 Kilometer/Sekunde). [Bearbeiten]
	5286 Sekunden/Kilometer) bzw. der Kehrwert davon ist die gesuchte Geschwindigkeit v mit der Einheit Weg/Zeit (hier 0
Beispiel der Fourieranalyse
	Auch die Fourieranalyse ist eine Form der Linearisierung einer nichtlinearen Modellfunktion
	Die Ansatzfunktionen sind der Kosinus und Sinus der Grundfrequenz und ihrer Vielfachen
	t) + ldots quad - quad y(t) right)^2 = 0 <math> <math> frac{partial}{partial B_j} left( A_0 + A_1 cos(omega
	t) + B_1 sin(omega
	t) + B_2 sin(2omega
	t) + B_2 sin(2omega
	und dieser Ausdruck ist jeweils null: <math> frac{partial}{partial A_j} left( A_0 + A_1 cos(omega
	t) + B_2 sin(2omega
	t) + A_2cos(2omega
	Man setzt an <math> y(t) approx A_0 + A_1 cos(omega
	t) + A_2cos(2omega
	t) + ldots quad - quad y(t) right)^2 = 0 <math> Daraus ergeben sich die bekannten Definitionsgleichungen der Fourierkoeffizienten. [Bearbeiten]
	t) + B_1 sin(omega
	t) + ldots <math> Der mittlere quadratische Fehler wird nach jedem einzelnen Fourierkoeffizienten differenziert
	t) + A_2cos(2omega
	t) + B_1 sin(omega
Beispiel aus der Enzymkinetik einer nicht linearisierbaren Modellfunktion
	die in keiner Weise linearisierbar sind
	ist die Enzymkinetik. Hier ist allerdings zu fordern
	dass nur y (Reaktionsgeschwindigkeit) und nicht x (Substratkonzentration) einem Fehler unterliegt
	Ein Beispiel fÃ¼r Regressionsmodelle
	ihre Anwendung liefert aber nur korrekte Ergebnisse
	Die vertraute Lineweaver-Burk-Beziehung ist zwar eine algebraisch korrekte Umformung der Michaelis-Menten-Gleichung v = Vmax x [S] / (Km + [S])
	wenn die Messwerte fehlerfrei sind
	dass sich die RealitÃ¤t nur mit einer erweiterten Michaelis-Menten-Beziehung <math>nu_i = frac{Vmaxleft[S_iright]}{Km+left[S_iright]}(1+e_i) boldsymbol{nu}_i<math> mit ei als Fehlerparameter
	beschreiben lÃ¤sst
	Dies ergibt sich aus der Tatsache
	also muss hier die LÃ¶sung iterativ ermittelt werden
	Diese Gleichung lÃ¤sst sich nicht mehr linearisieren
	so dass jede nichtlineare Regressionsanalyse ein iteratives Verfahren darstellt
	Bei nichtlinearen GesetzmÃ¤ÃŸigkeiten ergibt sich eine Komplikation dadurch
	dass die zu optimierenden Parameter nicht direkt ermittelt werden kÃ¶nnen: alle Kalkulationen gehen zwangslÃ¤ufig von SchÃ¤tzwerten aus
	dass verschiedene AnfangsschÃ¤tzungen zum gleichen Endergebnis fÃ¼hren
	zeigt sich im nachhinein dadurch
	Ob diese SchÃ¤tzwerte vernÃ¼nftig waren
	Korrelationskoeffizient [Bearbeiten]
	Siehe auch: Konfidenzintervall
Literatur
	Wiley-Interscience
	SIAM
	Numerical Methods for Least Squares Problems
	Norman R. und Smith Harry: Applied Regression Analysis
	Philadelphia
	Numerische Mathematik fÃ¼r AnfÃ¤nger
	Ã…ke BjÃ¶rk
	1998 ISBN 0471170828 Gerhard Opfer
	1996 ISBN 0898713609 Draper
	Ingenieure und Informatiker
	Eine EinfÃ¼hrung fÃ¼r Mathematiker
	4A
	uflV
	1969 Zeidler E. (Hrsg.): Taschenbuch der Mathematik (bekannt als Bronstein und Semendjajew)
	Wiesbaden 2003 ISBN 3817120052 [Bearbeiten]
	Stuttgart
	Leipzig
	Braunschweig 2002 ISBN 3-528-37265-6 SchÃ¶nfeld
	Peter: Methoden der Ã–konometrie
	Berlin
	Frankfurt
	ieweg Verlag
Weblinks
	Frei verfÃ¼gbare (Public domain) Implementierungen des Levenberg-Marquardt-Algorithmus finden sich unter minpack::lmdif (http://www.netlib.org/minpack/) in Fortran sourceforge::lmfit (https://sourceforge.net/projects/lmfit/) in C Beurteilung: Dieser Artikel ist in die Liste exzellenter Artikel aufgenommen worden. en:Least squares fr:MÃ©thode des moindres carrÃ©s ja:æœ€å°?äºŒä¹—æ³• nl:Kleinste-kwadratenmethode pl:Metoda najmniejszych kwadratÃ³w su:Kuadrat leutik sv:Minsta kvadratmetoden

[X] Schliessen

Dieser Artikel basiert auf dem Artikel Methode der kleinsten Quadrate aus der freien Enzyklopädie wikipedia und steht unter der GNU Lizenz für freie Dokumentation. In der wikipedia ist eine Liste der Autoren verfügbar.

Porin Job-Enrichment Selig Liste berÃ¼hmter SÃ¤ngerinnen und SÃ¤nger der Klassischen Musik Neuere Deutsche Literatur United Nations Operation in Somalia II Hals-Nasen-Ohrenheilkunde Sog Petronas Towers

[Zurück ]

Inhalt Glossar:

Diese Seite einem Freund, Kollegen oder Bekannten weiterempfehlen? Hier klicken!

Allgemein

Zum Einstieg

Das Verfahren

Lineare Modellfunktion

Beispiel fÃ¼r ein einfaches lineares Modell y = x0 + x1t

Der allgemeine lineare Fall

LÃ¶sung des Minimierungsproblems

Anforderungen an die Daten

MultikollinearitÃ¤t

AusreiÃŸer

Nichtlineare Modellfunktionen

Beispiel einer polynomialen Ausgleichskurve

Beispiel einer Ausgleichskurve als Quotient

Beispiel der Fourieranalyse

Beispiel aus der Enzymkinetik einer nicht linearisierbaren Modellfunktion

Literatur

Weblinks

Beispiel fÃ¼r ein einfaches lineares Modell y = x₀ + x₁t