Melhor resposta
O residual é a distância vertical entre um ajuste de regressão e os dados reais.
Se a linha ciano for nosso melhor ajuste, a distância vertical entre esta linha e os dados são o residual. Quando nosso ajuste subestima os dados, o residual é positivo e vice-versa. Quando minimizamos a soma total dos resíduos quadrados, estamos minimizando a área total coberta por pequenos quadrados desenhados com os lados do comprimento do resíduo. Observe que esta seria uma área diferente (menor) se, em vez disso, considerássemos o residual como a linha ortogonal ao ajuste. Recomendo esta página da Khan Academy de onde esta imagem foi tirada: