Linear Algebra: Subspace Projection Matrix Example

假设已知某个子空间V

这是常用的子空间的记号

它是由R4中的两个向量张成的空间

假设第一个向量是[1,0,0,1]

第二个向量是[0,1,0,1]

这是子空间V

我们知道这两个矢量就是一组基

它们是线性无关的

这两个矢量是――

这个集合中的两个向量是线性无关的

它们是子空间的一组基 它们张成了子空间

它们是线性无关的

这个矢量的这个分量1

它不可能通过

这个矢量的线性组合表出

而这个矢量在这里有分量1

它也不可能通过

这个矢量的线性组合表出

所以说它们是线性无关的

也可以称之为V的一组基

由此 我们看看是否可以求出

任意向矢量在这个子空间上的投影的

变换矩阵

假设x―― 我们在R4中考虑问题

假设x属于R4

我要求出x在V中的投影的

变换矩阵

在上次课中

我们给出了求出它的一般方法

如果A是一个变换矩阵―― 抱歉

如果A是一个矩阵

它的列向量构成子空间的一组基

假设A=[1,0,0,1;0,1,0,1]'

从而A的列矢量

就是子空间的一组基

于是x在V中的投影就等于――

这有些困难

你第一眼看到它时

就会感到头疼

但这有一种固定的模式或者说方法――

它等于A乘以

中间是一些项

然后乘以A' 再乘以矢量x

我的记忆方法是

中间的部分就是这两个项的交换

即A'A

然后取它的逆

也许你在今后的五到十年中

都不会用到这个公式

你记不住也没关系

但我还是希望你暂时把它记住

因为这对于

处理投影方面的问题有帮助

如果我们要求出

关于这个变换的一般矩阵

我们只需要确定

这个矩阵等于多少

这只需做一些矩阵的运算

这是矩阵A

那么A'是多少？

A'等于

所有的行变成列

就是说第一列变成第一行

于是有第一行是1,0,0,1

第二列变成第二行 即0,1,0,1

这就是A'

那么A'A是多少？

为了求出它

我要求出A'A是多少

我用A'乘以A

我再把A写在这里

即[1,0,0,1;0,1,0,1]’

这是一个关于

矩阵之间乘积的很好的练习

它等于多少？

首先 它是一个2×4矩阵

我将它乘以一个4×2矩阵

所以结果就是一个2×2矩阵

所以第一项就是

这一行与这一列的点积

就是1<i>1+0</i>0

加上0<i>0+1</i>1

所以这一项的

结果是2

然后取

这一项与这一项的点积

就是1*0 等于0

加上0*1 它等于0

加上0*0 它等于0

加上1*1 等于1

现在用这个向量点乘这个列向量

有0<i>1+0</i>0

加上0<i>0+1</i>1 结果是1

最后

用这一行点乘第二个列向量

第二行 第二列

有0<i>0+1</i>1+0*0

加上1*1

从而得1<i>1+1</i>1

结果是2

结果等于2

这一项就是A'A

这还没结束

我们需要求出

A'A的逆

这项是A'A

我们需要求出A'A的逆

它的逆是多少呢？

我写在这

A'A的逆

等于多少？

它就是1除以这个矩阵的行列式

它的行列式是多少？

这是1除以它的行列式

行列式就是2*2，等于4

减去1*1

就是4-1 结果是3

于是有1除以行列式乘以这一项

其中我将这两项调换 将1调换――

抱歉 应该将2调换

这个2调到这里

而这个橘黄色的2调到这里

然后对这些1取负值

这就变成了-1 这也变成了-1

我们学过

这就是2×2矩阵的逆的一般解

我在十多节课之前讲过

你也可能在代数II中学过

现在已经知道了

我们得出了A'A的逆

也就是得到了这一项

这项就等于这个矩阵

我可以把1/3乘进去

但我不必这么做

我们来求出这整个的矩阵

即矩阵A乘以这一项

即A'A的逆 再乘以A'

我这么写

从而x在子空间V中的投影

就等于A

即1,0,0,1―― 我写得大一些

就是矩阵[1,0,0,1;0,1,0,1]'乘以A'A的逆

A乘以A'A的逆

就是这一项

我们把1/3放在外面

因为它只是个标量

我把1/3放在前面 乘以这一项

这个A'A的逆

等于1/3乘以[2,-1;-1,2]

然后将它乘以A'

然后整个这项乘以向量x

A'在这

它是[1,0,0,1;0,1,0,1]

这个这一项再乘以向量x

前面的系数

是矩阵的乘积的形式

我们计算一下

首先我们计算这两个矩阵相乘

我想没有什么简单的方法

这是一个2×2矩阵 这是一个2×2矩阵

当将二者相乘的时候

得到的结果是一个2×4矩阵

我把这个2×4矩阵写在这里

我可以把这个矩阵写在这

即[1,0,0,1;0,1,0,1]'

然后是源于A'A的逆的

系数1/3

我把这个标量放在前面

这个这个式子

等于x在V中的投影

我们来计算这个乘积

第一项等于

2<i>1加上-1</i>0

结果就是2

然后有

2<i>0加上(-1)</i>1

这等于-1

然后是2<i>0+(-1)</i>0

结果是0

然后有

2<i>1加上(-1)</i>1

就是2-1

就等于1

即2<i>1+(-1)</i>1

很好

我们下面处理第二行

(-1)<i>1+2</i>0 结果就是-1

这等于2

(-1)<i>0加上2</i>0

结果是0

(-1)<i>1加上2</i>1

就是-1+2 结果是1

都算出来了

最后再乘以x

这就是我们的变换

而这个是变换矩阵

我们还要进行计算

我希望没有犯什么错误

在计算乘积的时候不能够犯错

这有些小复杂

因为这是4×2的矩阵乘以2×4的矩阵

得到的结果是一个4×4的矩阵

我需要留好足够的空间

因为结果将是一个

4×4的矩阵

我会得到什么？

第一项是

1<i>2加上0</i>(-1)

结果是2

下一项是 1乘以――

这一行乘以这一列

就得到第一项

因为这里消去了

从而1<i>2+0</i>(-1)=2

1<i>(-1)+0</i>2等于-1

1<i>0+0</i>0等于0

当你取这一行

将它分别乘以这些列时

得到的分别是新矩阵的第一行元素

现在用这一行乘以这些列

这是个0

从而有

0乘以所有列向量的第一个分量

然后是1乘以所有第二个分量

从而0<i>2+1</i>(-1)=1

0<i>(-1)+1</i>2等于2

我们现在是在求第二行

得到2 0 1

这实际上是有意义的

因为如果观察矩阵的这个部分

它是2×2单位矩阵

这是一个小提示

为什们这两个部分很相似

我们做的是

矩阵的乘积

将这项乘以――

我换一种颜色

用这一项乘以每一列

这一项乘以它等于0

因为这一项就是0向量

从而得到的全是0

最后 对于最后一行

等于1乘以第一个分量

加上1乘以第二个分量

从而这就是2+(-1)=1

-1+2等于1

0+0等于0

1+1等于2

所有这些乘以x

就得到结果

这太令人激动了！

x在V中的投影等于

整个这个矩阵乘以x

就是这个式子

我可以把1/3乘进去

但这没有必要

这只会使得形式更乱

这一项就是变换矩阵

正如你所见 既然我们在变换――

注意 这个V中的投影

它是一个从R4到R4的线性变换

若已知一个R4中的向量

通过变换就能得到另一个R4中的向量

它就是在子空间中的投影

这是一个4×4矩阵

就在这里

希望你能从这个实例中

感受到它的用处

R4是一个抽象的空间

这与三维空间中的例子有所不同

我们处理的是一个更抽象的数据集

我们所求的是它的投影