Construction de la droite optimale par la méthode des moindres carrés. Analyse de régression par paire linéaire

La méthode des moindres carrés (OLS) permet d'estimer diverses quantités en utilisant les résultats de nombreuses mesures contenant des erreurs aléatoires.

Caractéristiques des multinationales

L'idée principale de cette méthode est que la somme des erreurs quadratiques est considérée comme un critère de précision de la résolution du problème, qu'ils s'efforcent de minimiser. Lors de l'utilisation de cette méthode, des approches numériques et analytiques peuvent être utilisées.

En particulier, en tant qu'implémentation numérique, la méthode des moindres carrés consiste à prendre autant de mesures que possible d'une variable aléatoire inconnue. De plus, plus il y a de calculs, plus la solution sera précise. Sur la base de cet ensemble de calculs (données initiales), un autre ensemble de solutions estimées est obtenu, parmi lequel la meilleure est ensuite sélectionnée. Si l’ensemble des solutions est paramétré, alors la méthode des moindres carrés se résumera à trouver la valeur optimale des paramètres.

En tant qu'approche analytique de la mise en œuvre du LSM sur un ensemble de données initiales (mesures) et un ensemble attendu de solutions, une certaine (fonctionnelle) est déterminée, qui peut être exprimée par une formule obtenue comme une certaine hypothèse qui nécessite une confirmation. Dans ce cas, la méthode des moindres carrés revient à trouver le minimum de cette fonctionnelle sur l’ensemble des erreurs quadratiques des données originales.

Veuillez noter qu'il ne s'agit pas des erreurs elles-mêmes, mais des carrés des erreurs. Pourquoi? Le fait est que les écarts de mesures par rapport à la valeur exacte sont souvent positifs et négatifs. Lors de la détermination de la moyenne, une simple sommation peut conduire à une conclusion incorrecte sur la qualité de l'estimation, car l'annulation des valeurs positives et négatives réduira la puissance d'échantillonnage de plusieurs mesures. Et, par conséquent, l'exactitude de l'évaluation.

Pour éviter que cela ne se produise, les écarts au carré sont additionnés. De plus, afin d'égaliser la dimension de la valeur mesurée et l'estimation finale, la somme des erreurs quadratiques est extraite

Quelques applications multinationales

MNC est largement utilisé dans divers domaines. Par exemple, dans la théorie des probabilités et les statistiques mathématiques, la méthode est utilisée pour déterminer une caractéristique d'une variable aléatoire telle que l'écart type, qui détermine la largeur de la plage de valeurs de la variable aléatoire.

Méthode des moindres carrés

Dans la dernière leçon du sujet, nous nous familiariserons avec l'application la plus célèbre FNP, qui trouve l'application la plus large dans divers domaines scientifiques et activités pratiques. Cela peut être la physique, la chimie, la biologie, l’économie, la sociologie, la psychologie, etc. Par la volonté du destin, je dois souvent m'occuper de l'économie, et c'est pourquoi aujourd'hui je vais organiser pour vous un voyage dans un pays étonnant appelé Économétrie=) ...Comment peux-tu ne pas en vouloir ?! C'est très bien là-bas, il faut juste se décider ! ...Mais ce que vous voulez probablement, c'est apprendre à résoudre des problèmes méthode des moindres carrés. Et les lecteurs particulièrement assidus apprendront à les résoudre non seulement avec précision, mais aussi TRÈS RAPIDEMENT ;-) Mais d'abord énoncé général du problème+ exemple d'accompagnement :

Étudions les indicateurs dans un certain domaine qui ont une expression quantitative. En même temps, il y a tout lieu de croire que l'indicateur dépend de l'indicateur. Cette hypothèse peut être soit une hypothèse scientifique, soit être fondée sur le bon sens. Laissons cependant la science de côté et explorons des domaines plus appétissants, à savoir les épiceries. Notons par :

– surface commerciale d'une épicerie, m²,
– chiffre d'affaires annuel d'une épicerie, millions de roubles.

Il est tout à fait clair que plus la surface du magasin est grande, plus son chiffre d'affaires sera important dans la plupart des cas.

Supposons qu'après avoir effectué des observations/expériences/calculs/danses avec un tambourin nous disposions de données numériques :

Avec les épiceries, je pense que tout est clair : - c'est la superficie du 1er magasin, - son chiffre d'affaires annuel, - la superficie du 2ème magasin, - son chiffre d'affaires annuel, etc. À propos, il n'est pas du tout nécessaire d'avoir accès à des documents classifiés - une évaluation assez précise du chiffre d'affaires commercial peut être obtenue au moyen de statistiques mathématiques. Cependant ne nous laissons pas distraire, le cours d'espionnage commercial est déjà payant =)

Les données tabulaires peuvent également être écrites sous forme de points et représentées sous la forme familière Système cartésien .

Répondons à une question importante : Combien de points faut-il pour une étude qualitative ?

Le plus gros le meilleur. L'ensemble minimum acceptable se compose de 5 à 6 points. De plus, lorsque la quantité de données est faible, les résultats « anormaux » ne peuvent pas être inclus dans l’échantillon. Ainsi, par exemple, un petit magasin d'élite peut gagner des ordres de grandeur supérieurs à ceux de « ses collègues », faussant ainsi le modèle général que vous devez trouver !

Pour faire simple, nous devons sélectionner une fonction, calendrier qui passe au plus près des points . Cette fonction est appelée rapprochement (approximation - approximation) ou fonction théorique . D'une manière générale, un « concurrent » évident apparaît immédiatement ici : un polynôme de haut degré dont le graphique passe par TOUS les points. Mais cette option est compliquée et souvent tout simplement incorrecte. (puisque le graphique « bouclera » tout le temps et reflétera mal la tendance principale).

Ainsi, la fonction recherchée doit être assez simple et en même temps refléter adéquatement la dépendance. Comme vous pouvez le deviner, l'une des méthodes permettant de trouver de telles fonctions s'appelle méthode des moindres carrés. Tout d’abord, examinons son essence en termes généraux. Soit une fonction approximant les données expérimentales :


Comment évaluer la précision de cette approximation ? Calculons également les différences (écarts) entre les valeurs expérimentales et fonctionnelles (on étudie le dessin). La première pensée qui nous vient à l’esprit est d’estimer le montant de la somme, mais le problème est que les différences peuvent être négatives. (Par exemple, ) et les écarts résultant d’une telle sommation s’annuleront. Par conséquent, comme estimation de la précision de l’approximation, il convient de prendre la somme modulesécarts :

ou effondré : (au cas où quelqu'un ne le saurait pas : est l'icône de somme, et – une variable auxiliaire « compteur », qui prend des valeurs de 1 à ) .

En rapprochant des points expérimentaux avec différentes fonctions, nous obtiendrons des valeurs différentes, et évidemment, là où cette somme est plus petite, cette fonction est plus précise.

Une telle méthode existe et elle s'appelle méthode du moindre module. Cependant, dans la pratique, cette pratique est devenue beaucoup plus répandue. méthode des moindres carrés, dans lequel d'éventuelles valeurs négatives sont éliminées non pas par le module, mais en mettant au carré les écarts :

, après quoi les efforts visent à sélectionner une fonction telle que la somme des écarts au carré était aussi petit que possible. En fait, c’est de là que vient le nom de la méthode.

Et maintenant, nous revenons à un autre point important : comme indiqué ci-dessus, la fonction sélectionnée doit être assez simple - mais il existe également de nombreuses fonctions de ce type : linéaire , hyperbolique , exponentiel , logarithmique , quadratique etc. Et bien sûr, je voudrais ici immédiatement « réduire le champ d’activité ». Quelle classe de fonctions dois-je choisir pour la recherche ? Une technique primitive mais efficace :

– Le moyen le plus simple est de représenter des points sur le dessin et analyser leur emplacement. S'ils ont tendance à courir en ligne droite, vous devriez alors rechercher équation d'une droite avec des valeurs optimales et . En d'autres termes, la tâche consiste à trouver TELS coefficients afin que la somme des écarts carrés soit la plus petite.

Si les points sont situés, par exemple, le long hyperbole, alors il est évidemment clair que la fonction linéaire donnera une mauvaise approximation. Dans ce cas, nous recherchons les coefficients les plus « favorables » pour l'équation de l'hyperbole – ceux qui donnent la somme minimale des carrés .

Notez maintenant que dans les deux cas nous parlons de fonctions de deux variables, dont les arguments sont paramètres de dépendance recherchés:

Et essentiellement, nous devons résoudre un problème standard : trouver fonction minimale de deux variables.

Rappelons notre exemple : supposons que les points « magasins » aient tendance à être situés en ligne droite et il y a tout lieu de croire que dépendance linéaire chiffre d'affaires de l'espace de vente au détail. Trouvons TELS coefficients « a » et « be » tels que la somme des écarts au carré était le plus petit. Tout est comme d'habitude - d'abord Dérivées partielles du 1er ordre. Selon règle de linéarité Vous pouvez différencier juste sous l’icône somme :

Si vous souhaitez utiliser ces informations pour un essai ou une dissertation, je vous serai très reconnaissant pour le lien dans la liste des sources ; vous trouverez de tels calculs détaillés à quelques endroits :

Créons un système standard :

On réduit chaque équation par « deux » et, en plus, on « décompose » les sommes :

Note : analyser indépendamment pourquoi « a » et « être » peuvent être supprimés au-delà de l'icône de somme. Soit dit en passant, cela peut formellement être fait avec la somme

Réécrivons le système sous forme « appliquée » :

après quoi l'algorithme pour résoudre notre problème commence à émerger :

Connaissons-nous les coordonnées des points ? Nous savons. Les montants peut-on le trouver ? Facilement. Faisons le plus simple système de deux équations linéaires à deux inconnues(« un » et « être »). Nous résolvons le système, par exemple, La méthode de Cramer, grâce à quoi nous obtenons un point stationnaire. Vérification condition suffisante pour un extremum, on peut vérifier qu'à ce stade la fonction atteint exactement le minimum. Le contrôle implique des calculs supplémentaires et nous le laisserons donc en coulisses (si nécessaire, le cadre manquant peut être visualiséIci ) . Nous tirons la conclusion finale :

Fonction la meilleure façon (au moins par rapport à toute autre fonction linéaire) rapproche les points expérimentaux . Grosso modo, son graphique passe le plus près possible de ces points. Dans la tradition économétrie la fonction d'approximation résultante est également appelée équation de régression linéaire appariée .

Le problème à l'étude est d'une grande importance pratique. Dans notre exemple de situation, l’équation. vous permet de prédire quel chiffre d'affaires ("Igrec") le magasin aura à l'une ou l'autre valeur de la surface de vente (l’une ou l’autre signification de « x »). Oui, la prévision qui en résultera ne sera qu’une prévision, mais dans de nombreux cas, elle s’avérera assez précise.

Je n'analyserai qu'un seul problème avec des nombres « réels », car il ne présente aucune difficulté - tous les calculs sont au niveau du programme scolaire de la 7e à la 8e année. Dans 95 pour cent des cas, il vous sera demandé de trouver simplement une fonction linéaire, mais à la toute fin de l'article je montrerai qu'il n'est plus difficile de trouver les équations de l'hyperbole optimale, de l'exponentielle et de quelques autres fonctions.

En fait, il ne reste plus qu'à distribuer les cadeaux promis - afin que vous puissiez apprendre à résoudre de tels exemples non seulement avec précision, mais aussi rapidement. Nous étudions attentivement la norme :

Tâche

À la suite de l'étude de la relation entre deux indicateurs, les paires de nombres suivantes ont été obtenues :

À l’aide de la méthode des moindres carrés, trouvez la fonction linéaire qui se rapproche le mieux de la valeur empirique. (expérimenté) données. Faire un dessin sur lequel construire des points expérimentaux et un graphique de la fonction d'approximation dans un système de coordonnées rectangulaires cartésiennes . Trouvez la somme des carrés des écarts entre les valeurs empiriques et théoriques. Découvrez si la fonctionnalité serait meilleure (du point de vue de la méthode des moindres carrés) rapprocher les points expérimentaux.

Veuillez noter que les significations « x » sont naturelles, et cela a une signification significative caractéristique, dont je parlerai un peu plus tard ; mais ils peuvent bien sûr aussi être fractionnaires. De plus, selon le contenu d'une tâche particulière, les valeurs « X » et « jeu » peuvent être totalement ou partiellement négatives. Eh bien, on nous a confié une tâche « sans visage », et nous la commençons solution:

On trouve les coefficients de la fonction optimale comme solution du système :

Dans le but d'un enregistrement plus compact, la variable « compteur » peut être omise, car il est déjà clair que la sommation s'effectue de 1 à .

Il est plus pratique de calculer les montants requis sous forme de tableau :


Les calculs peuvent être effectués sur une microcalculatrice, mais il est bien préférable d'utiliser Excel - à la fois plus rapide et sans erreurs ; regardez une courte vidéo :

Ainsi, nous obtenons ce qui suit système:

Ici, vous pouvez multiplier la deuxième équation par 3 et soustraire la 2ème de la 1ère équation terme par terme. Mais c'est une chance - dans la pratique, les systèmes ne sont souvent pas un cadeau, et dans de tels cas, cela permet d'économiser La méthode de Cramer:
, ce qui signifie que le système a une solution unique.

Allons vérifier. Je comprends que vous ne le vouliez pas, mais pourquoi sauter les erreurs là où elles ne peuvent absolument pas être manquées ? Remplaçons la solution trouvée dans le côté gauche de chaque équation du système :

Les membres droits des équations correspondantes sont obtenus, ce qui signifie que le système est résolu correctement.

Ainsi, la fonction d’approximation recherchée : – de toutes les fonctions linéaires C'est elle qui se rapproche le mieux des données expérimentales.

Contrairement à droit dépendance du chiffre d'affaires du magasin à sa superficie, la dépendance trouvée est inverse (principe « plus, moins »), et ce fait est immédiatement révélé par le négatif pente. Fonction nous dit qu'avec une augmentation d'un certain indicateur de 1 unité, la valeur de l'indicateur dépendant diminue moyenne de 0,65 unité. Comme on dit, plus le prix du sarrasin est élevé, moins il est vendu.

Pour tracer le graphique de la fonction d'approximation, on retrouve ses deux valeurs :

et exécutez le dessin :

La droite construite s’appelle ligne de tendance (à savoir une ligne de tendance linéaire, c'est à dire que dans le cas général, une tendance n'est pas forcément une ligne droite). Tout le monde connaît l’expression « être à la mode » et je pense que ce terme n’a pas besoin de commentaires supplémentaires.

Calculons la somme des écarts au carré entre valeurs empiriques et théoriques. Géométriquement, c'est la somme des carrés des longueurs des segments « framboise » (dont deux sont si petits qu'ils ne sont même pas visibles).

Résumons les calculs dans un tableau :


Encore une fois, ils peuvent être effectués manuellement ; au cas où, je vais donner un exemple pour le 1er point :

mais il est bien plus efficace de le faire de la manière déjà connue :

Nous répétons encore une fois : Quelle est la signification du résultat obtenu ? Depuis toutes les fonctions linéaires fonction y l'indicateur est le plus petit, c'est-à-dire que dans sa famille c'est la meilleure approximation. Et ici, d'ailleurs, la dernière question du problème n'est pas fortuite : et si la fonction exponentielle proposée vaudrait-il mieux rapprocher les points expérimentaux ?

Trouvons la somme correspondante des écarts au carré - pour les distinguer, je les désignerai par la lettre « epsilon ». La technique est exactement la même :


Et encore, au cas où, les calculs pour le 1er point :

Dans Excel, nous utilisons la fonction standard EXP (la syntaxe peut être trouvée dans l'aide d'Excel).

Conclusion: , ce qui signifie que la fonction exponentielle se rapproche moins bien des points expérimentaux qu'une ligne droite .

Mais ici, il convient de noter que « pire » est ça ne veut pas dire encore, ce qui est faux. Maintenant, j'ai construit un graphique de cette fonction exponentielle - et elle passe également à proximité des points - à tel point que sans recherche analytique, il est difficile de dire quelle fonction est la plus précise.

Ceci conclut la solution, et je reviens à la question des valeurs naturelles de l'argument. Dans diverses études, généralement économiques ou sociologiques, les « X » naturels sont utilisés pour numéroter les mois, les années ou d’autres intervalles de temps égaux. Considérons, par exemple, le problème suivant :

Les données suivantes sont disponibles sur le chiffre d’affaires du magasin pour le premier semestre :

À l'aide de l'alignement analytique en ligne droite, déterminez le volume de chiffre d'affaires du mois de juillet.

Oui, pas de problème : nous numérotons les mois 1, 2, 3, 4, 5, 6 et utilisons l'algorithme habituel, ce qui nous permet d'obtenir une équation - la seule chose est que lorsqu'il s'agit de temps, ils utilisent généralement la lettre "te" (même si ce n'est pas critique). L'équation qui en résulte montre qu'au cours du premier semestre, le chiffre d'affaires commercial a augmenté en moyenne de 27,74 unités. par mois. Obtenons les prévisions pour juillet (mois n°7): d.e.

Et il existe d’innombrables tâches de ce type. Ceux qui le souhaitent peuvent utiliser un service supplémentaire, à savoir mon Calculatrice Excel (version de démonstration), lequel résout le problème analysé presque instantanément ! Une version de travail du programme est disponible en échange ou pour frais symbolique.

À la fin de la leçon, de brèves informations sur la recherche de dépendances de certains autres types. En fait, il n’y a pas grand chose à dire, puisque l’approche fondamentale et l’algorithme de solution restent les mêmes.

Supposons que la disposition des points expérimentaux ressemble à une hyperbole. Ensuite, pour trouver les coefficients de la meilleure hyperbole, il faut trouver le minimum de la fonction - n'importe qui peut faire des calculs détaillés et arriver à un système similaire :

D'un point de vue technique formel, il est obtenu à partir d'un système « linéaire » (notons-le par un astérisque) en remplaçant "x" par . Eh bien, qu'en est-il des montants ? calculer, après quoi les coefficients optimaux « a » et « be » à proximité.

S'il y a toutes les raisons de croire que les points sont situés le long d'une courbe logarithmique, puis pour trouver les valeurs optimales on trouve le minimum de la fonction . Formellement, dans le système (*) doit être remplacé par :

Lorsque vous effectuez des calculs dans Excel, utilisez la fonction LN. J'avoue qu'il ne me serait pas particulièrement difficile de créer des calculateurs pour chacun des cas considérés, mais ce serait quand même mieux si vous « programmiez » les calculs vous-même. Des vidéos de cours pour vous aider.

Avec une dépendance exponentielle, la situation est un peu plus compliquée. Pour réduire le problème au cas linéaire, prenons la fonction logarithme et utilisons propriétés du logarithme:

Maintenant, en comparant la fonction résultante avec la fonction linéaire, nous arrivons à la conclusion que dans le système (*) doit être remplacé par , et – par . Pour plus de commodité, notons :

Veuillez noter que le système est résolu par rapport à et, et donc, après avoir trouvé les racines, il ne faut pas oublier de trouver le coefficient lui-même.

Rapprocher les points expérimentaux parabole optimale , devrait être trouvé fonction minimale de trois variables . Après avoir effectué les actions standard, nous obtenons le « travail » suivant système:

Oui, bien sûr, il y a plus de montants ici, mais il n'y a aucune difficulté lorsque vous utilisez votre application préférée. Et enfin, je vais vous expliquer comment effectuer rapidement une vérification à l'aide d'Excel et construire la ligne de tendance souhaitée : créez un nuage de points, sélectionnez l'un des points avec la souris et faites un clic droit, sélectionnez l'option "Ajouter une ligne de tendance". Ensuite, sélectionnez le type de graphique et sur l'onglet "Options" activer l'option "Afficher l'équation sur le diagramme". D'ACCORD

Comme toujours, je veux terminer l'article avec une belle phrase, et j'ai presque tapé « Soyez à la mode ! » Mais il a changé d’avis avec le temps. Et pas parce que c’est stéréotypé. Je ne sais pas comment ça se passe pour personne, mais je n'ai pas vraiment envie de suivre la tendance américaine et surtout européenne promue =) Par conséquent, je souhaite à chacun de vous de s'en tenir à sa propre ligne !

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

La méthode des moindres carrés est l’une des plus courantes et des plus développées en raison de sa simplicité et efficacité des méthodes d'estimation des paramètres des modèles économétriques linéaires. Dans le même temps, lors de son utilisation, une certaine prudence doit être observée, car les modèles construits à l'aide de celui-ci peuvent ne pas satisfaire un certain nombre d'exigences concernant la qualité de leurs paramètres et, par conséquent, ne reflètent pas « bien » les modèles de développement des processus. assez.

Examinons plus en détail la procédure d'estimation des paramètres d'un modèle économétrique linéaire par la méthode des moindres carrés. Un tel modèle peut en général être représenté par l’équation (1.2) :

y t = une 0 + une 1 x 1t +...+ une n x nt + ε t.

Les données initiales lors de l'estimation des paramètres a 0 , a 1 ,..., a n sont un vecteur de valeurs de la variable dépendante oui= (y 1 , y 2 , ... , y T)" et la matrice des valeurs des variables indépendantes

dans laquelle la première colonne, composée de uns, correspond au coefficient du modèle.

La méthode des moindres carrés tire son nom du principe de base selon lequel les estimations des paramètres obtenues sur cette base doivent satisfaire : la somme des carrés de l'erreur du modèle doit être minime.

Exemples de résolution de problèmes par la méthode des moindres carrés

Exemple 2.1. L'entreprise commerciale dispose d'un réseau de 12 magasins dont les informations sur les activités sont présentées dans le tableau. 2.1.

La direction de l'entreprise aimerait savoir comment l'ampleur du chiffre d'affaires annuel dépend de la surface de vente au détail du magasin.

Tableau 2.1

Numéro de magasin	Chiffre d'affaires annuel, millions de roubles.	Surface commerciale, milliers de m2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Solution des moindres carrés. Notons le chiffre d'affaires annuel du ème magasin, en millions de roubles ; - surface commerciale du ème magasin, mille m2.

Figure 2.1. Nuage de points pour l'exemple 2.1

Pour déterminer la forme de la relation fonctionnelle entre les variables et nous construirons un diagramme de dispersion (Fig. 2.1).

Sur la base du diagramme de dispersion, nous pouvons conclure que le chiffre d'affaires annuel dépend positivement de l'espace de vente au détail (c'est-à-dire que y augmentera avec l'augmentation de ). La forme de connexion fonctionnelle la plus appropriée est linéaire.

Les informations pour d'autres calculs sont présentées dans le tableau. 2.2. En utilisant la méthode des moindres carrés, nous estimons les paramètres d'un modèle économétrique linéaire à un facteur

Tableau 2.2

t	yt	x 1 tonne	oui 2	x1t2	x 1t y t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Moyenne	68,29	0,89

Ainsi,

Par conséquent, avec une augmentation de la surface commerciale de 1 000 m2, toutes choses égales par ailleurs, le chiffre d'affaires annuel moyen augmente de 67,8871 millions de roubles.

Exemple 2.2. La direction de l'entreprise a remarqué que le chiffre d'affaires annuel dépend non seulement de la surface de vente du magasin (voir exemple 2.1), mais aussi du nombre moyen de visiteurs. Les informations pertinentes sont présentées dans le tableau. 2.3.

Tableau 2.3

Solution. Notons - le nombre moyen de visiteurs du ème magasin par jour, en milliers de personnes.

Pour déterminer la forme de la relation fonctionnelle entre les variables et nous construirons un diagramme de dispersion (Fig. 2.2).

Sur la base du nuage de points, nous pouvons conclure que le chiffre d'affaires annuel dépend positivement du nombre moyen de visiteurs par jour (c'est-à-dire que y augmentera avec l'augmentation de ). La forme de dépendance fonctionnelle est linéaire.

Riz. 2.2. Nuage de points pour l'exemple 2.2

Tableau 2.4

t	x2t	x2t2	y t x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Moyenne	10,65

De manière générale, il est nécessaire de déterminer les paramètres d'un modèle économétrique à deux facteurs

y t = une 0 + une 1 x 1t + une 2 x 2t + ε t

Les informations requises pour d'autres calculs sont présentées dans le tableau. 2.4.

Estimons les paramètres d'un modèle économétrique linéaire à deux facteurs par la méthode des moindres carrés.

Ainsi,

L'estimation du coefficient =61,6583 montre que, toutes choses égales par ailleurs, avec une augmentation de la surface commerciale de 1 000 m 2, le chiffre d'affaires annuel augmentera en moyenne de 61,6583 millions de roubles.

L'estimation du coefficient = 2,2748 montre que, toutes choses égales par ailleurs, avec une augmentation du nombre moyen de visiteurs pour 1 mille personnes. par jour, le chiffre d'affaires annuel augmentera en moyenne de 2,2748 millions de roubles.

Exemple 2.3. En utilisant les informations présentées dans le tableau. 2.2 et 2.4, estimer le paramètre du modèle économétrique à un facteur

où est la valeur centrée du chiffre d'affaires annuel du ème magasin, en millions de roubles ; - valeur centrée du nombre quotidien moyen de visiteurs du t-ème magasin, en milliers de personnes. (voir exemples 2.1-2.2).

Solution. Les informations supplémentaires requises pour les calculs sont présentées dans le tableau. 2.5.

Tableau 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Montant			48,4344	431,0566

En utilisant la formule (2.35), on obtient

Ainsi,

http://www.cleverstudents.ru/articles/mnk.html

Exemple.

Données expérimentales sur les valeurs des variables X Et à sont données dans le tableau.

Grâce à leur alignement, la fonction est obtenue

En utilisant méthode des moindres carrés, approximons ces données par une dépendance linéaire y=hache+b(trouver les paramètres UN Et b). Découvrez laquelle des deux droites (au sens de la méthode des moindres carrés) aligne le mieux les données expérimentales. Faites un dessin.

Solution.

Dans notre exemple n=5. Nous remplissons le tableau pour faciliter le calcul des montants inclus dans les formules des coefficients requis.

Les valeurs de la quatrième ligne du tableau sont obtenues en multipliant les valeurs de la 2ème ligne par les valeurs de la 3ème ligne pour chaque nombre je.

Les valeurs de la cinquième ligne du tableau sont obtenues en mettant au carré les valeurs de la 2ème ligne pour chaque nombre je.

Les valeurs de la dernière colonne du tableau sont les sommes des valeurs des lignes.

On utilise les formules de la méthode des moindres carrés pour trouver les coefficients UN Et b. Nous y substituons les valeurs correspondantes de la dernière colonne du tableau :

Ainsi, y = 0,165x+2,184- la droite de rapprochement souhaitée.

Reste à savoir laquelle des lignes y = 0,165x+2,184 ou se rapproche mieux des données originales, c'est-à-dire effectue une estimation en utilisant la méthode des moindres carrés.

Preuve.

Pour que lorsqu'on le trouve UN Et b fonction prend la plus petite valeur, il faut qu'à ce stade la matrice de la forme quadratique de la différentielle du second ordre pour la fonction était positif et définitif. Montrons-le.

La différentielle du second ordre a la forme :

C'est

Par conséquent, la matrice de forme quadratique a la forme

et les valeurs des éléments ne dépendent pas de UN Et b.

Montrons que la matrice est définie positive. Pour ce faire, les mineurs angulaires doivent être positifs.

Mineur angulaire du premier ordre . L'inégalité est stricte, puisque les points

Il est largement utilisé en économétrie sous la forme d’une interprétation économique claire de ses paramètres.

La régression linéaire revient à trouver une équation de la forme

ou

Équation de la forme autorise en fonction des valeurs de paramètres spécifiées X avoir des valeurs théoriques de la caractéristique résultante, en y remplaçant les valeurs réelles du facteur X.

La construction d'une régression linéaire revient à estimer ses paramètres - UN Et V. Les estimations des paramètres de régression linéaire peuvent être trouvées à l’aide de différentes méthodes.

L'approche classique pour estimer les paramètres de régression linéaire est basée sur méthode des moindres carrés(MNC).

La méthode des moindres carrés nous permet d'obtenir de telles estimations de paramètres UN Et V,à laquelle la somme des écarts carrés des valeurs réelles de la caractéristique résultante (o)à partir de calculé (théorique) le minimum:

Pour trouver le minimum d'une fonction, vous devez calculer les dérivées partielles pour chacun des paramètres UN Et b et mettez-les égaux à zéro.

Notons passant par S, alors :

En transformant la formule, nous obtenons le système d'équations normales suivant pour estimer les paramètres UN Et V:

En résolvant le système d'équations normales (3.5) soit par la méthode d'élimination séquentielle des variables, soit par la méthode des déterminants, on trouve les estimations requises des paramètres UN Et V.

Paramètre V appelé coefficient de régression. Sa valeur montre la variation moyenne du résultat avec une modification du facteur d'une unité.

L'équation de régression est toujours complétée par un indicateur de l'étroitesse de la connexion. Lors de l'utilisation de la régression linéaire, un tel indicateur est le coefficient de corrélation linéaire. Il existe différentes modifications de la formule du coefficient de corrélation linéaire. Certains d’entre eux sont donnés ci-dessous :

Comme on le sait, le coefficient de corrélation linéaire est dans les limites : -1 ≤ ≤ 1.

Pour évaluer la qualité de sélection d'une fonction linéaire, le carré est calculé

Coefficient de corrélation linéaire appelé coefficient de détermination. Le coefficient de détermination caractérise la proportion de variance de la caractéristique résultante oui, expliqué par régression, dans la variance totale du trait résultant :

Ainsi, la valeur 1 caractérise la part de variance oui, causée par l’influence d’autres facteurs non pris en compte dans le modèle.

Questions pour la maîtrise de soi

1. L'essence de la méthode des moindres carrés ?

2. Combien de variables la régression par paires fournit-elle ?

3. Quel coefficient détermine l'étroitesse du lien entre les changements ?

4. Dans quelles limites le coefficient de détermination est-il déterminé ?

5. Estimation du paramètre b dans l'analyse de corrélation-régression ?

1. Christophe Dougherty. Introduction à l'économétrie. - M. : INFRA - M, 2001 - 402 p.

2. S.A. Boroditch. Économétrie. Minsk LLC « Nouvelles connaissances » 2001.

3. R.U. Rakhmetova Cours abrégé d'économétrie. Didacticiel. Alma-Ata. 2004. -78p.

4. I.I. Eliseeva, Économétrie. - M. : « Finance et Statistiques », 2002

5. Magazine mensuel d'information et d'analyse.

Modèles économiques non linéaires. Modèles de régression non linéaire. Transformation de variables.

Modèles économiques non linéaires.

Transformation de variables.

Coefficient d'élasticité.

S'il existe des relations non linéaires entre les phénomènes économiques, alors elles sont exprimées à l'aide des fonctions non linéaires correspondantes : par exemple, une hyperbole équilatérale , paraboles du deuxième degré et etc.

Il existe deux classes de régressions non linéaires :

1. Régressions non linéaires par rapport aux variables explicatives incluses dans l'analyse, mais linéaires par rapport aux paramètres estimés, par exemple :

Polynômes de différents degrés - , ;

Hyperbole équilatérale - ;

Fonction semilogarithmique - .

2. Régressions non linéaires dans les paramètres estimés, par exemple :

Pouvoir - ;

Démonstratif - ;

Exponentiel - .

La somme totale des écarts au carré des valeurs individuelles de la caractéristique résultante à de la valeur moyenne est causée par l’influence de nombreuses raisons. Divisons conditionnellement l'ensemble des raisons en deux groupes : facteur étudié x Et autres facteurs.

Si le facteur n'influence pas le résultat, alors la droite de régression sur le graphique est parallèle à l'axe Oh Et

Ensuite, toute la variance de la caractéristique résultante est due à l'influence d'autres facteurs et la somme totale des écarts au carré coïncidera avec le résidu. Si d'autres facteurs n'influencent pas le résultat, alors tu es attaché Avec X fonctionnellement et la somme résiduelle des carrés est nulle. Dans ce cas, la somme des carrés des écarts expliqués par la régression est la même que la somme totale des carrés.

Étant donné que tous les points du champ de corrélation ne se trouvent pas sur la droite de régression, leur dispersion se produit toujours en raison de l'influence du facteur X, c'est-à-dire la régression à Par X, et causée par d’autres causes (variation inexpliquée). La pertinence d'une droite de régression pour la prévision dépend de la part de la variation totale du trait à explique la variation expliquée

Évidemment, si la somme des carrés des écarts dus à la régression est supérieure à la somme résiduelle des carrés, alors l'équation de régression est statistiquement significative et le facteur X a un impact significatif sur le résultat toi.

, c'est-à-dire avec le nombre de liberté de variation indépendante d'une caractéristique. Le nombre de degrés de liberté est lié au nombre d'unités de la population n et au nombre de constantes qui en sont déterminées. Par rapport au problème étudié, le nombre de degrés de liberté doit indiquer combien d'écarts indépendants par rapport à P.

L'évaluation de la signification de l'équation de régression dans son ensemble est donnée à l'aide de F-Critère de Fisher. Dans ce cas, une hypothèse nulle est émise selon laquelle le coefficient de régression est égal à zéro, c'est-à-dire b = 0, et donc le facteur X n'affecte pas le résultat toi.

Le calcul immédiat du test F est précédé d'une analyse de variance. La place centrale y est occupée par la décomposition de la somme totale des écarts carrés d'une variable à de la valeur moyenne à en deux parties - « expliqué » et « inexpliqué » :

- somme totale des carrés des écarts ;

- somme des carrés des écarts expliqués par régression ;

- somme résiduelle des carrés des écarts.

Toute somme des écarts au carré est liée au nombre de degrés de liberté , c'est-à-dire avec le nombre de liberté de variation indépendante d'une caractéristique. Le nombre de degrés de liberté est lié au nombre d'unités de population n et avec le nombre de constantes qui en sont déterminées. Par rapport au problème étudié, le nombre de degrés de liberté doit indiquer combien d'écarts indépendants par rapport à P. possible requis pour former une somme de carrés donnée.

Dispersion par degré de libertéD.

Rapports F (test F) :

Si l'hypothèse nulle est vraie, alors les variances factorielle et résiduelle ne diffèrent pas les unes des autres. Pour H 0, une réfutation est nécessaire pour que la dispersion factorielle dépasse plusieurs fois la dispersion résiduelle. Le statisticien anglais Snedekor a élaboré des tableaux de valeurs critiques F-relations à différents niveaux de significativité de l'hypothèse nulle et différents nombres de degrés de liberté. Valeur du tableau F-critère est la valeur maximale du rapport des variances pouvant survenir en cas de divergence aléatoire pour un niveau de probabilité donné de présence de l'hypothèse nulle. Valeur calculée F-les relations sont considérées comme fiables si o est supérieur au tableau.

Dans ce cas, l'hypothèse nulle d'absence de relation entre les signes est rejetée et une conclusion est tirée sur la signification de cette relation : F fait > F table H 0 est rejeté.

Si la valeur est inférieure à la valeur tabulée F fait ‹, F table, alors la probabilité de l'hypothèse nulle est supérieure à un niveau spécifié et ne peut être rejetée sans risque sérieux de tirer des conclusions erronées sur la présence d'une relation. Dans ce cas, l’équation de régression est considérée comme statistiquement non significative. Mais il ne s’en écarte pas.

Erreur type du coefficient de régression

Pour évaluer la signification du coefficient de régression, sa valeur est comparée à son erreur type, c'est-à-dire la valeur réelle est déterminée t-Test de l'étudiant : qui est ensuite comparée à la valeur du tableau à un certain niveau de signification et un certain nombre de degrés de liberté ( n- 2).

Erreur de paramètre standard UN:

La signification du coefficient de corrélation linéaire est vérifiée en fonction de l'ampleur de l'erreur Coefficient de corrélation t r :

Variance totale des traits X:

La régression linéaire multiple

Construction de maquettes

Régression multiple représente une régression d'une caractéristique effective avec deux facteurs ou plus, c'est-à-dire un modèle de la forme

La régression peut donner de bons résultats en modélisation si l'influence d'autres facteurs affectant l'objet d'étude peut être négligée. Le comportement des variables économiques individuelles ne peut pas être contrôlé, c'est-à-dire il n'est pas possible de garantir l'égalité de toutes les autres conditions pour évaluer l'influence d'un facteur étudié. Dans ce cas, vous devriez essayer d'identifier l'influence d'autres facteurs en les introduisant dans le modèle, c'est-à-dire en construisant une équation de régression multiple : y = a+b 1 x 1 +b 2 +…+b p x p + .

L'objectif principal de la régression multiple est de construire un modèle avec un grand nombre de facteurs, tout en déterminant l'influence de chacun d'eux séparément, ainsi que leur impact combiné sur l'indicateur modélisé. La spécification du modèle comprend deux séries de questions : la sélection des facteurs et le choix du type d'équation de régression.

Méthode des moindres carrés

Méthode des moindres carrés ( MCO, MCO, moindres carrés ordinaires) - l'une des méthodes de base d'analyse de régression pour estimer les paramètres inconnus des modèles de régression à l'aide d'échantillons de données. La méthode est basée sur la minimisation de la somme des carrés des résidus de régression.

Il convient de noter que la méthode des moindres carrés elle-même peut être appelée une méthode permettant de résoudre un problème dans n'importe quel domaine si la solution réside ou satisfait à un critère de minimisation de la somme des carrés de certaines fonctions des variables requises. Par conséquent, la méthode des moindres carrés peut également être utilisée pour une représentation approximative (approximation) d'une fonction donnée par d'autres fonctions (plus simples), lors de la recherche d'un ensemble de quantités qui satisfont des équations ou des contraintes, dont le nombre dépasse le nombre de ces quantités. , etc.

L’essence de la multinationale

Soit un modèle (paramétrique) d'une relation probabiliste (de régression) entre la variable (expliquée) oui et de nombreux facteurs (variables explicatives) X

où est le vecteur des paramètres de modèle inconnus

- erreur de modèle aléatoire.

Qu'il y ait également des exemples d'observations des valeurs de ces variables. Soit le numéro d'observation (). Viennent ensuite les valeurs des variables de la ème observation. Ensuite, pour des valeurs données des paramètres b, il est possible de calculer les valeurs théoriques (modèles) de la variable expliquée y :

La taille des résidus dépend des valeurs des paramètres b.

L'essence de la méthode des moindres carrés (ordinaire, classique) est de trouver des paramètres b pour lesquels la somme des carrés des résidus (eng. Somme résiduelle des carrés) sera minime :

Dans le cas général, ce problème peut être résolu par des méthodes d'optimisation (minimisation) numérique. Dans ce cas, ils parlent de moindres carrés non linéaires(NLS ou NLLS - anglais) Moindres carrés non linéaires). Dans de nombreux cas, il est possible d'obtenir une solution analytique. Pour résoudre le problème de minimisation, il faut trouver les points stationnaires de la fonction en la différenciant par rapport aux paramètres inconnus b, en assimilant les dérivées à zéro et en résolvant le système d'équations résultant :

Si les erreurs aléatoires du modèle sont normalement distribuées, ont la même variance et ne sont pas corrélées, les estimations des paramètres OLS sont identiques aux estimations du maximum de vraisemblance (MLM).

OLS dans le cas d'un modèle linéaire

Soit la dépendance de régression linéaire :

Laisser oui est un vecteur colonne d'observations de la variable expliquée, et est une matrice d'observations factorielles (les lignes de la matrice sont les vecteurs de valeurs de facteurs dans une observation donnée, les colonnes sont le vecteur de valeurs d'un facteur donné dans toutes les observations). La représentation matricielle du modèle linéaire est :

Alors le vecteur des estimations de la variable expliquée et le vecteur des résidus de régression seront égaux

En conséquence, la somme des carrés des résidus de régression sera égale à

En différenciant cette fonction par rapport au vecteur de paramètres et en assimilant les dérivées à zéro, on obtient un système d'équations (sous forme matricielle) :

.

La solution de ce système d'équations donne la formule générale des estimations des moindres carrés pour un modèle linéaire :

À des fins analytiques, cette dernière représentation de cette formule est utile. Si dans un modèle de régression les données centré, alors dans cette représentation la première matrice a la signification d'un échantillon de matrice de covariance de facteurs, et la seconde est un vecteur de covariances de facteurs avec la variable dépendante. Si en plus les données sont également normaliséà MSE (c'est-à-dire, en fin de compte standardisé), alors la première matrice a la signification d'une matrice de corrélation d'échantillons de facteurs, le deuxième vecteur - un vecteur de corrélations d'échantillons de facteurs avec la variable dépendante.

Une propriété importante des estimations MCO pour les modèles avec constante- la droite de la régression construite passe par le centre de gravité des données de l'échantillon, c'est-à-dire que l'égalité est satisfaite :

En particulier, dans le cas extrême, lorsque le seul régresseur est une constante, nous constatons que l'estimation MCO du seul paramètre (la constante elle-même) est égale à la valeur moyenne de la variable expliquée. C'est-à-dire que la moyenne arithmétique, connue pour ses bonnes propriétés issues des lois des grands nombres, est également une estimation des moindres carrés - elle satisfait au critère de la somme minimale des écarts carrés par rapport à celle-ci.

Exemple : régression la plus simple (par paires)

Dans le cas de la régression linéaire appariée, les formules de calcul sont simplifiées (on peut se passer de l'algèbre matricielle) :

Propriétés des estimateurs OLS

Tout d’abord, nous notons que pour les modèles linéaires, les estimations MCO sont des estimations linéaires, comme le découle de la formule ci-dessus. Pour les estimations MCO non biaisées, il est nécessaire et suffisant de remplir la condition la plus importante de l’analyse de régression : l’espérance mathématique d’une erreur aléatoire, conditionnelle aux facteurs, doit être égale à zéro. Cette condition est notamment remplie si

1. l'espérance mathématique des erreurs aléatoires est nulle, et
2. les facteurs et les erreurs aléatoires sont des variables aléatoires indépendantes.

La deuxième condition – la condition d’exogénéité des facteurs – est fondamentale. Si cette propriété n'est pas remplie, alors nous pouvons supposer que presque toutes les estimations seront extrêmement insatisfaisantes : elles ne seront même pas cohérentes (c'est-à-dire que même une très grande quantité de données ne nous permet pas d'obtenir des estimations de haute qualité dans ce cas ). Dans le cas classique, une hypothèse plus forte est faite sur le déterminisme des facteurs, par opposition à une erreur aléatoire, ce qui signifie automatiquement que la condition d'exogénéité est remplie. Dans le cas général, pour la cohérence des estimations, il suffit de satisfaire la condition d'exogénéité ainsi que la convergence de la matrice vers une matrice non singulière à mesure que la taille de l'échantillon augmente jusqu'à l'infini.

Pour qu'en plus de la cohérence et de l'impartialité, les estimations des moindres carrés (ordinaires) soient également efficaces (les meilleures de la classe des estimations linéaires sans biais), des propriétés supplémentaires d'erreur aléatoire doivent être remplies :

Ces hypothèses peuvent être formulées pour la matrice de covariance du vecteur d'erreur aléatoire

Un modèle linéaire qui satisfait à ces conditions est appelé classique. Les estimations MCO pour la régression linéaire classique sont impartiales, cohérentes et constituent les estimations les plus efficaces de la classe de toutes les estimations linéaires non biaisées (dans la littérature anglaise, l'abréviation est parfois utilisée BLEU (Meilleur estimateur linéaire sans évaluation) - la meilleure estimation linéaire sans biais ; dans la littérature russe, le théorème de Gauss-Markov est plus souvent cité). Comme il est facile de le montrer, la matrice de covariance du vecteur d'estimations de coefficients sera égale à :

MCO généralisé

La méthode des moindres carrés permet une large généralisation. Au lieu de minimiser la somme des carrés des résidus, on peut minimiser une forme quadratique définie positive du vecteur des résidus, où est une matrice de poids défini positif symétrique. Les moindres carrés conventionnels sont un cas particulier de cette approche, où la matrice de poids est proportionnelle à la matrice d'identité. Comme le montre la théorie des matrices symétriques (ou opérateurs), pour de telles matrices, il existe une décomposition. Par conséquent, la fonctionnelle spécifiée peut être représentée comme suit, c'est-à-dire que cette fonctionnelle peut être représentée comme la somme des carrés de certains « restes » transformés. Ainsi, on peut distinguer une classe de méthodes des moindres carrés - les méthodes LS (Least Squares).

Il a été prouvé (théorème d'Aitken) que pour un modèle de régression linéaire généralisée (dans lequel aucune restriction n'est imposée sur la matrice de covariance des erreurs aléatoires), les plus efficaces (dans la classe des estimations linéaires non biaisées) sont ce qu'on appelle les estimations. Moindres carrés généralisés (GLS - Moindres carrés généralisés)- Méthode LS avec une matrice de poids égale à la matrice de covariance inverse des erreurs aléatoires : .

On peut montrer que la formule pour les estimations GLS des paramètres d'un modèle linéaire a la forme

La matrice de covariance de ces estimations sera donc égale à

En fait, l’essence de l’OLS réside dans une certaine transformation (linéaire) (P) des données originales et dans l’application de l’OLS ordinaire aux données transformées. Le but de cette transformation est que pour les données transformées, les erreurs aléatoires satisfont déjà aux hypothèses classiques.

MCO pondéré

Dans le cas d'une matrice de poids diagonale (et donc d'une matrice de covariance d'erreurs aléatoires), nous avons ce que l'on appelle les moindres carrés pondérés (WLS). Dans ce cas, la somme des carrés pondérée des résidus du modèle est minimisée, c'est-à-dire que chaque observation reçoit un « poids » inversement proportionnel à la variance de l'erreur aléatoire dans cette observation : . En fait, les données sont transformées en pondérant les observations (en divisant par un montant proportionnel à l'écart type estimé des erreurs aléatoires), et l'OLS ordinaire est appliqué aux données pondérées.

Quelques cas particuliers d'utilisation de MNC en pratique

Approximation de la dépendance linéaire

Considérons le cas où, à la suite de l'étude de la dépendance d'une certaine quantité scalaire sur une certaine quantité scalaire (cela pourrait être, par exemple, la dépendance de la tension sur l'intensité du courant : , où est une valeur constante, la résistance de le conducteur), des mesures de ces grandeurs ont été effectuées, à la suite desquelles les valeurs et leurs valeurs correspondantes. Les données de mesure doivent être enregistrées dans un tableau.

Tableau. Résultats de mesure.

Numéro de mesure.
1
2
3
4
5
6

La question est : quelle valeur du coefficient peut-on choisir pour décrire au mieux la dépendance ? Selon la méthode des moindres carrés, cette valeur doit être telle que la somme des carrés des écarts des valeurs par rapport aux valeurs

était minime

La somme des écarts au carré a un extremum - un minimum, ce qui nous permet d'utiliser cette formule. Retrouvons à partir de cette formule la valeur du coefficient. Pour ce faire, on transforme son côté gauche comme suit :

La dernière formule nous permet de trouver la valeur du coefficient, ce qui était requis dans le problème.

Histoire

Jusqu'au début du 19ème siècle. les scientifiques n'avaient pas certaines règles pour résoudre un système d'équations dans lequel le nombre d'inconnues est inférieur au nombre d'équations ; Jusqu'à cette époque, on utilisait des techniques privées qui dépendaient du type d'équations et de l'esprit des calculateurs, et donc différents calculateurs, basés sur les mêmes données d'observation, arrivaient à des conclusions différentes. Gauss (1795) fut le premier à utiliser la méthode, et Legendre (1805) la découvrit et la publia indépendamment sous son nom moderne (français. Méthode des moindres carrés ) . Laplace a lié la méthode à la théorie des probabilités, et le mathématicien américain Adrain (1808) a examiné ses applications en théorie des probabilités. La méthode a été largement répandue et améliorée grâce à des recherches ultérieures menées par Encke, Bessel, Hansen et d'autres.

Utilisations alternatives de l'OLS

L'idée de la méthode des moindres carrés peut également être utilisée dans d'autres cas non directement liés à l'analyse de régression. Le fait est que la somme des carrés est l’une des mesures de proximité les plus courantes pour les vecteurs (métrique euclidienne dans les espaces de dimension finie).

Une application est la « solution » de systèmes d’équations linéaires dans lesquels le nombre d’équations est supérieur au nombre de variables.

où la matrice n'est pas carrée, mais rectangulaire de taille .

Un tel système d’équations, dans le cas général, n’a pas de solution (si le rang est effectivement supérieur au nombre de variables). Par conséquent, ce système ne peut être « résolu » que dans le sens de choisir un tel vecteur pour minimiser la « distance » entre les vecteurs et . Pour ce faire, vous pouvez appliquer le critère de minimisation de la somme des carrés des différences entre les côtés gauche et droit des équations système, c'est-à-dire. Il est facile de montrer que la résolution de ce problème de minimisation conduit à résoudre le système d’équations suivant

Après nivellement, on obtient une fonction de la forme suivante : g (x) = x + 1 3 + 1 .

Nous pouvons approximer ces données en utilisant la relation linéaire y = a x + b en calculant les paramètres correspondants. Pour ce faire, nous devrons appliquer la méthode dite des moindres carrés. Vous devrez également faire un dessin pour vérifier quelle ligne alignera le mieux les données expérimentales.

Yandex.RTB R-A-339285-1

Qu'est-ce que l'OLS exactement (méthode des moindres carrés)

La principale chose que nous devons faire est de trouver de tels coefficients de dépendance linéaire auxquels la valeur de la fonction de deux variables F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sera la le plus petit. En d'autres termes, pour certaines valeurs de a et b, la somme des carrés des écarts des données présentées par rapport à la droite résultante aura une valeur minimale. C’est le sens de la méthode des moindres carrés. Tout ce que nous devons faire pour résoudre l’exemple est de trouver l’extremum de la fonction de deux variables.

Comment dériver des formules pour calculer les coefficients

Afin de dériver des formules de calcul des coefficients, vous devez créer et résoudre un système d'équations à deux variables. Pour ce faire, nous calculons les dérivées partielles de l'expression F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 par rapport à a et b et les assimilons à 0.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Pour résoudre un système d'équations, vous pouvez utiliser n'importe quelle méthode, par exemple la substitution ou la méthode de Cramer. En conséquence, nous devrions disposer de formules permettant de calculer des coefficients en utilisant la méthode des moindres carrés.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Nous avons calculé les valeurs des variables auxquelles la fonction
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 prendra la valeur minimale. Dans le troisième paragraphe, nous prouverons pourquoi il en est exactement ainsi.

Il s’agit de l’application pratique de la méthode des moindres carrés. Sa formule, qui permet de trouver le paramètre a, comprend ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, ainsi que le paramètre
n – il désigne la quantité de données expérimentales. Nous vous conseillons de calculer chaque montant séparément. La valeur du coefficient b est calculée immédiatement après a.

Revenons à l'exemple original.

Exemple 1

Ici, nous avons n égal à cinq. Pour faciliter le calcul des montants requis inclus dans les formules de coefficients, remplissons le tableau.

	je = 1	je = 2	je = 3	je = 4	je = 5	∑ je = 1 5
x je	0	1	2	4	5	12
et je	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x je y je	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x je 2	0	1	4	16	25	46

Solution

La quatrième ligne comprend les données obtenues en multipliant les valeurs de la deuxième ligne par les valeurs de la troisième pour chaque individu i. La cinquième ligne contient les données de la deuxième, au carré. La dernière colonne affiche les sommes des valeurs des lignes individuelles.

Utilisons la méthode des moindres carrés pour calculer les coefficients a et b dont nous avons besoin. Pour ce faire, remplacez les valeurs requises de la dernière colonne et calculez les montants :

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - une 12 5 ⇒ une ≈ 0, 165 b ≈ 2, 184

Il s'avère que la ligne droite d'approximation requise ressemblera à y = 0, 165 x + 2, 184. Nous devons maintenant déterminer quelle ligne se rapprochera le mieux des données - g (x) = x + 1 3 + 1 ou 0, 165 x + 2, 184. Estimons en utilisant la méthode des moindres carrés.

Pour calculer l'erreur, nous devons trouver la somme des écarts carrés des données par rapport aux droites σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 et σ 2 = ∑ i = 1 n (y i - g (x i)) 2, la valeur minimale correspondra à une ligne plus adaptée.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096

Répondre: puisque σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

La méthode des moindres carrés est clairement illustrée dans l’illustration graphique. La ligne rouge marque la droite g (x) = x + 1 3 + 1, la ligne bleue marque y = 0, 165 x + 2, 184. Les données originales sont indiquées par des points roses.

Expliquons pourquoi exactement des approximations de ce type sont nécessaires.

Ils peuvent être utilisés dans des tâches nécessitant un lissage des données, ainsi que dans celles où les données doivent être interpolées ou extrapolées. Par exemple, dans le problème discuté ci-dessus, on pourrait trouver la valeur de la quantité observée y à x = 3 ou à x = 6. Nous avons consacré un article séparé à de tels exemples.

Preuve de la méthode OLS

Pour que la fonction prenne une valeur minimale lors du calcul de a et b, il faut qu'en un point donné la matrice de la forme quadratique du différentiel de la fonction de la forme F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 est défini positif. Montrons à quoi cela devrait ressembler.

Exemple 2

On a une différentielle du second ordre de la forme suivante :

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b

Solution

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x je δ b = 2 ∑ je = 1 n x je δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ je = 1 n (1) = 2 n

En d'autres termes, nous pouvons l'écrire ainsi : d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Nous avons obtenu une matrice de forme quadratique M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

Dans ce cas, les valeurs des éléments individuels ne changeront pas en fonction de a et b . Cette matrice est-elle positive définie ? Pour répondre à cette question, vérifions si ses mineurs angulaires sont positifs.

On calcule le mineur angulaire du premier ordre : 2 ∑ i = 1 n (x i) 2 > 0 . Puisque les points x i ne coïncident pas, l'inégalité est stricte. Nous garderons cela à l’esprit dans les calculs ultérieurs.

On calcule le mineur angulaire du deuxième ordre :

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Après cela, nous prouvons l'inégalité n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 en utilisant l'induction mathématique.

1. Vérifions si cette inégalité est valable pour un n arbitraire. Prenons 2 et calculons :

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x1 + x2 2 > 0

Nous avons obtenu une égalité correcte (si les valeurs x 1 et x 2 ne coïncident pas).

1. Faisons l'hypothèse que cette inégalité sera vraie pour n, c'est-à-dire n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – vrai.
2. Nous allons maintenant prouver la validité pour n + 1, c'est-à-dire que (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, si n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

On calcule :

(n + 1) ∑ je = 1 n + 1 (x je) 2 - ∑ je = 1 n + 1 x je 2 = = (n + 1) ∑ je = 1 n (x je) 2 + x n + 1 2 - ∑ je = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

L'expression entre accolades sera supérieure à 0 (d'après ce que nous avons supposé à l'étape 2), et les termes restants seront supérieurs à 0, car ce sont tous des carrés de nombres. Nous avons prouvé l'inégalité.

Répondre: les a et b trouvés correspondront à la plus petite valeur de la fonction F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, ce qui signifie qu'ils sont les paramètres requis de la méthode des moindres carrés (LSM).

Si vous remarquez une erreur dans le texte, veuillez la surligner et appuyer sur Ctrl+Entrée