神经网络

神经网络被发明后，最初的动机是能够编写软件、能够模拟人的大脑或生物的大脑学习和思考的方式。人类的一切思想起源于大脑的神经元，神经元发送电脉冲，有时会与其他的神经元形成新的连接。一个神经元使用树突接受输入，轴突用于输出。在某些数据庞大的应用领域，使用神经网络可以极大地提高运算效率。

一、神经网络是如何工作的

首先，举一个简单的例子，例如我们准备预测衣服的销量如何。我们收集到了衣服的价格、种类以及哪些是畅销的等信息。在这个例子中，衣服的价格是输入，使用逻辑回归后的预测结果作为输出。在逻辑回归中，使用a表示输出，它的意思是“激活”，这是神经科学中的术语，指的是一个神经元向下游的其他神经元发送高输出值或许多电脉冲的程度。这个逻辑回归模型就相当于一个简化的神经元，输入特征“价格”，经过计算输出商品畅销的概率，

事实上逻辑回归算法比真正的神经元简化的多，但是人工神经网络在深度学习中是非常有用的。我们已经了解了单个神经元的工作，接下来用更复杂的例子了解神经网络的工作流程。

我们将使用四个特征来预测衣服的是否畅销，这些特征包括价格、运输成本、营销能力以及面料的质量。我们可以想到，一件衣服是否畅销取决于几个因素，一是可负担性，二是知名度，三是对质量的感知。创造几个人工神经元来估计畅销的概率：

1.可负担性是关于价格和运输成本的函数，输入价格和运输成本，使用一个逻辑回归单元预测是否能负担；

2.创造一个神经元评估知名度，这里主要指营销能力；

3.再创建一个神经元来评估人们是否认为衣服质量好，这一般与价格和面料的质量有关。

将这三个神经元组合在一起成为一层称作隐藏层，因为我们可知数据集样本为（x,y) ,可观察到输入x和输出y，而中间的被隐藏起来了。输入的特征作为一层称为输入层，输出也作为一层称为输出层。可负担性、知名度、质量感知等特征作为隐藏层的激活值。

在这个模型中，选择价格和成本两个特征作为可负担性这个神经元的输入，但如果在大型神经网络中，由我们手动选择哪些特征作为哪些神经元的输入，这是十分麻烦的，于是需要简化模型。神经网络中，每个神经元都处于某一层，每一个神经元都可以访问从上层到输入层的每一个值。通过适当的设置参数，使得神经网络只关注需要作为输入的特征。将输入的几个特征变成特征向量x，输入到隐藏层层，得到几个激活值，这又变成一个激活向量a，将它输入到输出层得到这件衣服畅销的概率。

有意思的是，当我们不看输入层，隐藏层部分到输入层部分实际上是一个逻辑回归模型，使用可负担性、知名度、感知质量作为输入，使用逻辑回归预测畅销的概率。在线性回归模型中，我们手动设计了特征，比如将长和宽的积“面积”作为新的特征。但神经网络所做的是，不需要手动设计特征，它会自动学习特征，这个特点使神经网络成为世界上最强大的学习算法之一。