Mejor respuesta
El residual es la distancia vertical entre un ajuste de regresión y los datos reales.
Si la línea cian es nuestro mejor ajuste, la distancia vertical entre esta línea y los datos son los residuales. Cuando nuestro ajuste subestima los datos, el residuo es positivo y viceversa. Cuando minimizamos la suma total de los residuos al cuadrado, estamos minimizando el área total cubierta por pequeños cuadrados dibujados con los lados de la longitud del residuo. Tenga en cuenta que esta sería un área diferente (más pequeña) si, en cambio, tomáramos el residual como la línea ortogonal al ajuste. Recomiendo esta página en Khan Academy de donde se tomó esta imagen: