神经网络和泰勒展开或者傅里叶变换本质上都是拟合。泰勒展开式是用多项式来拟合函数(要能够在展开点任意阶可导)。傅立叶级数是用正弦和余弦函数拟合周期函数。神经网络本质也是去拟合函数。
只要层数够多，神经网络可以拟合出几乎任意的函数。神经网络的本质是函数，这个函数可以接受任意数量的变量，可以拥有任意数量的参数。但脱离不了函数的本质。函数能解决的问题，神经网络理论上就能解决，而函数不能解决的问题，神经网络理论上就是无解的。
神经网络就是用很多线性关系和简单有解析式的非线性关系去拟合复杂的非线性关系。泰勒展开和傅里叶变换有解析展开式，计算成本低，但不是所有函数都能解析展开。神经网络的输入输出没有解析式，完全靠大数据训练，训练成本高，但适用很多场景。若输入输出关系稳定，一旦训练好，神经网络计算出结果很快。简单说，神经网络就是一种非线性回归。
