Covarianza: Mide la fortaleza de la relación entre dos variables aleatorias
Coeficiente de correlación: Mide la dirección y cercanía de la relación lineal entre dos variables.
TEOREMA 1. Si (x,y) distribuyen conjuntamente normal y su Cov (x,y) es igual a cero, entonces (x,y) son estadísticamente independientes. (A la inversa: Si Cov (x,y) es cero, no necesariamente (x,y) son estadísticamente independientes).
NOTA: si dos variables distribuyen conjuntamente normal, todas las distribuciones marginales son normales (su varianza es idéntica). La probabilidad de caer encima de la recta es CERO, ya que el área de una recta es CERO.
TEOREMA 2: La p(y|x) es también normal si la p (x,y) distribuye normal.
Continuación del teorema 2: si el par de (x,y) distribuye conjuntamente normal, el E(y|x) se escribe como una relación lineal: y= α + βx + U (Ecuación de la recta de regresión poblacional)
Hipótesis: E(u) = 0 Var (u) = σˆ2 es una constante. U - variable aleatoria
Homocedasticidad: se da en una población, si las probabilidades marginales no varían (supone la misma volatilidad) y tienen el mismo ancho o este es constante (que es la varianza poblacional de los errores) var (y|x) = σ2y (1-ρ2) es una constante, no depende de la variable x
Ecuación de la recta de regresión para una muestra: y = a+bXi+εi (estimadores insesgados cuyos valores se aproximan a los valores poblacionales α y β de la ecuación de regresión poblacional). Esta es la recta que minimiza la suma de los cuadrados de los errores.
Método de mínimos cuadrados es el único método que minimiza los cuadrados de los errores de los coeficientes de regresión. Encontrar a y b de manera que todos los εi sean simultaneamente lo menor posible
NOTA: Sumatoria de los errores muestrales debe ser igual a cero y por lo tanto, su media o valor esperado también es CERO. Los Grados de libertad que tienen los errores muestrales son: n-2 (n-1 se usa cuando es una muestra por el sesgo/inexactitud, se le debe restar otro grado de libertad adicional). b = Σwiyi donde b es un estimador lineal. Decimos que un estimador es lineal si puede escribirse como: b = ∑WiUi. b = β + Σwiui Las fluctuaciones de “b” alrededor de β son debidas a los errores poblacionales de los individuos del muestreo. b es insesgado y var mín

Para que un muestreo sea representativo de la población, se busca que la varianza sea lo más chica posible, lo que mejora la calidad de los estimadores poblacionales (a y b). Var { a } = σ2 [ 1/n + (ẋ2/ Σ(xi-ẋ)2] Var { b } = σ2 / Σ(xi-ẋ)2
Var a = σ2/n + var(b)*ẋ2

NOTA: la varianza de “a” siempre es más grande que la varianza de “b”, por ende, el valor de “b” es más cercano al parámetro poblacional β.
Interpretación R2: es el porcentaje de la varianza (fluctuaciones alrededor del parámetro poblacional) de la variable dependiente que el modelo explica. Cuando el valor es cercano a 1, las variables están muy correlacionadas; cuando es cercano a 0, las variables son estadísticamente independientes.
La suma total de cuadrados de la variable dependiente se compone por la suma explicada de cuadrados más la suma residual de cuadrados o la parte de la sumatoria total que no se puede explicar de la variable dependiente. SEC/STC = R2 Σ (yi - ẏ)2 = R2 Σ ( yi - ẏ)2 + Σεi2
STC = SEC + SRC
Significancia: es la probabilidad de que el valor obtenido para los coeficientes (a,b) se haya obtenido al azar, por lo tanto, 1-Significancia es el nivel de confiabilidad del coeficiente obtenido.
Histograma SPSS: es la distribución de los errores muestrales, los cuales se espera que tengan una distribución normal; de lo contrario, se puede deber al tamaño inapropiado de la muestra.
Conclusión en las pruebas de hipótesis: las fluctuaciones del coeficiente (a o b) en un 95%, se deben a las variaciones de los errores poblacionales del coeficiente (a o b), los cuales no son lo suficientemente significativos para rechazar H0. (*dependiendo del caso).
Otras fórmulas:
Σ(xi-ẋ)2 σ2 / Sb2 media cuadrática residual / (error tip de b)2

1 / Σ(xi-ẋ)2 Sb2 / S2 (error tip de b)2 / media cuadrática residual

1/n + (ẋ2/ Σ(xi-ẋ)2 Sa2 / S2 (error tip de a)2 / media cuadrática residual

Intervalos de confianza: α € (a ± zα/2 σ √(1/n + ẋ2/ Σ(xi-ẋ)2) β € (b ± zα/2 (σ/Σ(xi-ẋ)2)