技术定义
由相互连接的人工计算单元组成,用连接结构与参数表示输入到输出的变换。
1943年的McCulloch–Pitts模型说明神经元式单元可以进行逻辑计算。后来的可训练网络加入参数学习;早期逻辑模型与现代深层网络不能混为同一成熟结构。
网络架构和学习算法是不同维度。感知机、卷积网络和Transformer属于不同结构路线,反向传播则是常用的梯度计算方法。
原理与影响
解决的问题
- 用组合计算单元表示较复杂的函数和模式。
核心原理
- 计算单元通过连接传递信息,网络结构和参数共同决定输出。
相对前代的改进
暂无记录
技术意义
- 为多层表征与现代神经学习提供基本建模形式。
历史与应用
人物
Warren S. McCulloch、Walter Pitts
组织
暂无记录
事件
暂无记录
典型应用
模式识别、函数近似
留下的局限
- 模型可表达的能力、训练可达的结果与实际泛化表现并不相同。
上下游关系
上游
下游
证据:A Fast Learning Algorithm for Deep Belief NetsImageNet Classification with Deep Convolutional Neural Networks
证据:A Logical Calculus of the Ideas Immanent in Nervous ActivityLearning Representations by Back-propagating Errors
证据:The Perceptron: A Probabilistic Model for Information Storage and Organization in the BrainLearning Representations by Back-propagating Errors