我感觉经营一个团队和神经网络架构有很多相似的地方。
我感觉经营一个团队和神经网络架构有很多相似的地方。比如：
1）深度神经网络有一个提高泛化能力的技巧非常简单，叫做Dropout（随机失活），即在训练时随机让一些神经元“翘课”。这逼迫剩下的神经元不能依赖某个特定的“学霸”，必须学会独立思考，提高团队鲁棒性。 否则特定学霸会获得过渡训练，而其他神经元训练不足。
2）大模型神经元选择分区激活的方式（MoE），不同内容激活不同的神经元，使得不同神经元群在不同问题上具有不同的专业性，就好像一个公司一个组织也不能让每个人都平庸的解决问题，而是让不同的人在不同的专业岗位上发挥特长一样。
3）残差连接与扁平化沟通，在深层网络中，信息在传递过程中容易丢失或扭曲（梯度消失）。残差连接（ResNet）通过一条直通路让原始信息直接跳过几层传递到后面。让后面的既能看到原始的模样，也可以看到处理后的，保持高度透明，避免离真相越走越远。
4）注意力机制也是一样，一个句子中，越是关键的词汇，越是抱团，越是彼此加强，普通词汇（背景噪音）之间没有很强的联系，彼此无法加强，最终在计算中被分配到极低的权重，被系统“过滤”掉。团队也是一样，越是强人越能彼此认可，普人不努力很可能会掉队，要让自己不断专业化，当然一个团队也需要普通人，那就把普通的事情做好，比如组织一个流畅的句子，非关键词的词汇也是有价值的。
类似的情况还有很多，感觉就象张一鸣说的那样，经营一个企业就做一个产品一样。。
页:
[1]