快速矩阵乘法：Strassen 演算法

Intro

Matrix multiplication 是最基本的线性代数操作之一。标准矩阵乘法 $ C_{i,j} = \sum_k A_{i,k} B_{k,j} $ 复杂度为 $ O(n^3) $ 并不是矩阵乘法的最优解。实践中常常对大矩阵使用 strassen 算法，小矩阵采用标准矩阵乘法。Strassen 算法由 Volker Strassen 提出。

Algo

对于问题 $ C = AB \(，\)A\(、\)B$ 已知，求解 \(C\)。

通过 zero-padding，将 A、B 填充为以 2 的幂为 size 的 square-matrix。将 ABC 等分为四个 block：



计算如下矩阵 M：















计算 C：

Conclu

标准矩阵乘法复杂度为 $ O( n^{ log_2(7) } ) = O( n^3 )$，算法复杂度为 $ O( n^{ log_2(7) } ) $。理论上存在更快的算法 Coppersmith–Winograd algorithm，但是这个算法在当代硬件下显得不切实际。

Ref

Wikipedia Strassen algorithm

Wikipedia Coppersmith–Winograd algorithm