2022-08-17 09:27:19
Когда-то мне совершенно не был понятен смысл линейной зависимости и линейной независимости векторов. Ну, формулы, там, понятно. Типа, если мы возьмем векторы и сможем к ним подобрать такие коэффициенты, и при этом чтобы хотя бы один из этих коэффициентов был отличным от нуля, чтобы сумма этих векторов с такими коэффициентами была равна нулевому вектору, то такая комбинация векторов будет линейнозависимой. У меня мозг взрывался от этого определения. А как понять сможем ли мы коэффициенты подобрать, а что это вообще значит линейная зависимость и чем она нам может помешать? Короче, не доходило.
И самое забавное, что практически все видео на ютубе как попугаи талдычат одно и то же: если есть такие нетривиальные коэффициенты... А потом теоремы всякие, их доказательства. А значит то это что? Если векторы линейно зависимы, то что это нам дает. А если линейно независимы?
Но я не сдавался и пытался "вкурить" этот неподъемный вышмат. Все оказалось просто, когда я понял геометрический смысл линейной зависимости и независимости. Давно хотел написать пост по этому поводу, но что-то все казалось, что это только я такой несообразительный, а остальные все прекрасно понимают. Но оказалось, что не у меня одного проблемы и я, таки, решил написать свое понимание. Вдруг, пригодится кому.
Короче, представьте, что у нас есть плоскость и несколько векторов. Коэффициентами к этим векторам мы можем менять размеры этих векторов, а направление каждого вектора можем поменять только на строго противоположное, умножая на отрицательный коэффициент. То есть, на какой бы коэффициент, отличный от нулевого, мы бы не домножали вектор - он будет лежать на той же прямой, что и первоначальный. Впрочем, и нулевой будет лежать на той же прямой, но суть не в этом. Если мы поставим все векторы так, чтобы из конца первого начинался второй, а за ним третий и так далее (то есть друг за другом), то ЕСЛИ МЫ СМОЖЕМ, играясь с размерами этих векторов, превратить их сумму в нулевой вектор, значит, вектора будут ЛИНЕЙНО ЗАВИСИМЫМИ. А такое возможно, например, если они лежат на одной или параллельных прямых, т.е. коллинеарны. В этом случае мы всегда сможем подобрать к ним такие коэффициенты, чтобы, рисуя вектора друг за другом, концом последнего вектора мы попадали в начало первого. По другому - сумма таких векторов будет равна нулевому вектору.
А, соответственно, любые два вектора на плоскости, угол между которыми отличен от 0 или 180 градусов будут ЛИНЕЙНО НЕЗАВИСИМЫМИ.
Если векторов на одной плоскости больше, чем два, то мы всегда сможем подобрать такие коэффициенты, чтобы они, расположенные друг за другом, возвращались в начало первого вектора. А если векторы лежат в разных плоскостях, то уже не сможем.
Отсюда, например, следует такая штука, что линейно-независимыми могут быть только векторы, количество которых не больше размерности пространства, в котором они находятся. На плоскости только 2 вектора могут быть линейно независимыми. Как только добавляется третий и более - все. Такая комбинация автоматически становится линейно зависимой. Для трехмерного пространства также - три вектора могут быть линейно независимы, но четыре уже нет. И так далее.
А знаете при чем здесь машинное обучение? Вектора в ML - это наборы признаков и хорошо бы, чтобы каждый признак находился в своем измерении, чтобы не было линейного или близкого к линейному влияния признаков друг на друга, т.к. это порождает избыточность и усложнение модели. Там и всякие другие побочки лезут, типа, переобучения, неинтерпретируемости и т.д.
1.1K views06:27
С
