第3章 神经网络的架构

3.1 神经网络与神经元

神经网络中进行信息处理的基本单元是神经元，是对人类大脑中神经细胞的抽象模拟。图3-1所示为单个神经元的模型结构，神经元接收多个输入信号x₁,x₂,…,x_n,各个神经元之间以权值w₁,w₂,…,w_n相连接，权值的大小代表了各个节点之间的相关性，b为神经元的偏置，f(·)为神经元的激活函数，通过不同的权值与激活函数可以得到不同的输出结果y。

图3-1 单个神经元的模型结构

则第j个神经元的输入输出关系可以表示为

式中，w_ij为输入信号x_i与神经元j的连接权重;b_j为神经元的偏置;f(·)为神经元的激活函数;y_j为神经元的输出。图3-2给出了单层神经网络的基本结构示意图。

从图3-2中可以看出左侧为神经网络输入层，输入层中神经元的个数由输入数据维度确定。中间是神经网络隐含层，隐含层是通过输入层来接收信息的，执行计算后将信息传递给输出层，隐含层的层数以及神经元的个数不是固定的，在不同的分类需要中会根据任务的不同进行设置。最右边是输出层，它的功能是将来自隐含层的信息进行输出，得出最后的分类结果，输出层的神经元个数由分类类别的数量来决定。

图3-2 单层神经网络的基本结构示意图