20

Pour deux caractères quantitatifs [latex]X[/latex] et [latex]Y[/latex], décrivant le même ensemble d’unités, on dit qu’il existe une relation entre [latex]X[/latex] et [latex]Y[/latex] si l’attribution des modalités de [latex]X[/latex] et de [latex]Y[/latex] ne se fait pas au hasard, c’est à dire si les valeurs de [latex]Y[/latex] dépendent des valeurs de [latex]X[/latex] ou vice versa.

L’intensité de la relation peut varier. Une relation est forte si les unités ayant des valeurs voisines sur [latex]X[/latex] ont également des valeurs voisines sur [latex]Y[/latex], c’est à dire que le nuage de point prend alors la forme d’une ligne ou d’une courbe dont les points s’écartent peu. Une relation est faible si les unités ayant des valeurs voisines sur [latex]X[/latex] peuvent avoir des valeurs éloignées sur [latex]Y[/latex], donc si deux valeurs proches de [latex]X[/latex] peuvent correspondre à deux valeurs très différentes de [latex]Y[/latex], c’est à dire que le nuage de point n’a pas la forme d’une ligne ou d’une courbe, ou seulement de façon approximative. Une relation est nulle si les valeurs de [latex]X[/latex] ne permettent en aucun cas de prédire les valeurs de [latex]Y[/latex], c’est à dire que le nuage de point a la forme d’un carré ou d’un cercle sans véritables lignes directrices.

Prenons le cas le plus simple de la régression linéaire. Une relation est linéaire si on peut trouver une relation entre [latex]X[/latex] et [latex]Y[/latex] de la forme [latex]Y =aX + b[/latex], c’est à dire si le nuage de point peut s’ajuster correctement à une droite. Une relation est non-linéaire si la relation entre [latex]X[/latex] et [latex]Y[/latex] n’est pas de la forme [latex]Y =aX + b[/latex], mais de type différent comme une parabole, une hyperbole, une sinusoïde, etc… De nombreuses séries statistiques [latex]\left( x_i, y_i \right)[/latex] sont reliées par des conditions du type [latex]y_i = ax_i + b + \epsilon_i[/latex]. On dit que [latex]y_i[/latex] est la variable aléatoire réelle à expliquer ou variable endogène, [latex]x_i[/latex] est la la variable explicative ou variable exogène, [latex]a[/latex] est le paramètre de pente de la régression, [latex]b[/latex] est le paramètre d’ordonnée à l’origine de la régression et que [latex]\epsilon_i[/latex] est l’erreur d’ajustement représentée par la valeur résiduelle, c’est-à-dire par l’écart entre la valeur observée et la valeur théorique calculée de la variable à expliquer. En général, ne serait-ce qu’en raison des erreurs de mesure, les points [latex]\left( x_i, y_i \right)[/latex] sont presque sur une même droite, mais pas parfaitement alignés. Il faut alors choisir [latex]a[/latex] et [latex]b[/latex] de sorte que la droite soit la plus parfaite possible en étant la plus proche de tous les points.

Il faut choisir une mesure de l’écart entre une droite [latex]Y = aX + b[/latex] et le nuage des points expérimentaux [latex]\left( x_i, y_i \right)[/latex] avec [latex]1 \le i \le n[/latex]. On choisit, en général, le carré de la différence entre le point théorique et le point expérimental, c’est-à-dire [latex]\left( y_i - \left( ax_i + b \right) \right)^2[/latex].

Effectuer une régression linéaire, avec la méthode des moindres carrés, c’est trouver la droite qui minimise l’écart précédent, c’est-à-dire la somme des carrés des différences [latex]J\left( a, b \right) = \sum\limits_{i=1}^n \left( y_i - ax_i - b \right)^2[/latex] et on parle de droite des moindres carrés dont le paramètre de pente de la régression et le paramètre d’ordonnée à l’origine de la régression s’obtiennent avec le système d’équations ci-dessous.

[latex]\begin{cases} a = \frac{\sum\limits_{i=1}^n \left( x_i - \bar{x} \right) \left( y_i - \bar{y} \right) }{\sum\limits_{i=1}^n \left( x_i - \bar{x} \right) ^2} \\ b = \bar{y} - a \bar{x} \end{cases}[/latex]

Cependant, toutes les situations n’aboutissent pas à des conditions linéaires. Il est possible d’y revenir si l’évolution est exponentielle en prenant le logarithme, ou si l’évolution est logarithmique en prenant l’exponentielle, mais ce n’est pas toujours possible. Lorsque la dépendance entre [latex]X[/latex] et [latex]Y[/latex] est régie par une fonction [latex]f[/latex] dépendante de certains paramètres, la méthode des moindres carrés consiste à trouver les paramètres pour minimiser [latex]J = \sum\limits_{i=1}^n \left( y_i - f \left( x_i \right) \right)^2[/latex], [latex]\left( x_i, y_i \right)[/latex] étant les points expérimentaux.