Почему моя линия подгонки линейной регрессии выглядит неправильно?

Question

Я построил 2-D гистограмму таким образом, чтобы я мог добавить к графику линии, точки и т. Д. Теперь я пытаюсь применить линейное регрессионное соответствие в области плотных точек, однако моя линия линейной регрессии кажется совершенно не там, где она должно быть? Чтобы продемонстрировать это, мой график слева как с подгонкой по регрессии, так и с линейной подгонкой.

lines(lowess(na.omit(a),na.omit(b),iter=10),col='gray',lwd=3)

abline(lm(b[cc]~a[cc]),lwd=3)

Здесь a и b - мои значения, а cc - точки в самых плотных частях (т.е. большинство точек лежат там), красный + желтый + синий.

Почему моя линия регрессии не выглядит больше как справа (нарисованная вручную)? Если бы я планировал линию наилучшего соответствия, она была бы там?

У меня есть многочисленные сюжеты, похожие на это, но все же я получаю те же результаты....

Существуют ли альтернативные варианты линейной регрессии, которые могут оказаться для меня лучше?

Answer 1

Линейная регрессия - это метод подгонки линейной функции к набору точек (наблюдений), сводящий к минимуму ошибку наименьших квадратов.

Теперь представьте вашу тепловую карту, указывающую форму, в которой вы бы лучше всего подходили для вертикальной линии. Просто поверните свою тепловую карту на 10 градусов против часовой стрелки, и она у вас есть.

Теперь, как должна быть определена линейная функция, которая является вертикальной? Точно, это невозможно.

Результатом этого небольшого мысленного эксперимента является то, что вы путаете цель линейной регрессии и то, что вам, скорее всего, нужно - как уже указывал Гэвин Симпсон - первый главный компонентный вектор.