Harel Shouval博士

Research Information

Our ability to survive depends on our ability to predict the future and make appropriate decisions based on these predictions. The world though is ever changing and it is not feasible to make such predictions on the basis of a genetically encoded algorithm. Therefore, the ability of Brains to learn is their central design principle. In my lab we study how brains are able to learn. Our approach is mechanistic and closely linked to experimental observations. We study this question at different levels from the molecular and up to systems level. Our projects include:

突触可塑性的机械模型

首先提出突触可塑性作为理论上的学习和记忆的基础，但此后获得了大量的实验支持。我们知道，突触可塑性是双向的，包括长期增强（LTP）和长期抑郁（LTD）。我们还知道，在学习过程中，突触效率会发生变化，并且抑制突触可塑性会抑制学习。此外，我们现在对突触可塑性的细胞和分子基础有广泛的了解。当今使用的大多数突触可塑性的理论模型都没有考虑到基于相关性或简单尖峰时序依赖性内核的现象学模型。我们的实验室领导了生物物理突触可塑性规则的发展（Castellani等，2001； Shouval等，2002）。我们制定了基于实际的蜂窝生物物理学的规则，这些规则简化了它们，以获取可追踪且通常是直觉的规则，但与实验现实保持联系。这样的规则能够说明许多实验观察和归纳方案（请参阅：Shouval，Wand和Wittenberg，2008年，有关审查）。这种简单的规则通常不能说明细胞水平上的所有实验观察结果，但是添加其他生物物理特征通常可以说明其他实验观察结果（Shouval和Kalantzis，2005； Cai等，2007）。我们的目的是使用此类规则来解释更高级别的现象，例如接受场的发展（Yeung等，2004）或场地可塑性（Yu等，2008）。

Mechanistic Models of Reinforcement Learning

突触可塑性的计算模型通常是无监督学习的模型。这是可塑性仅取决于输入而不取决于奖励，惩罚或表现的模型。在细胞和分子水平上，关于增强学习的知之甚少，我们所知道的大多数与多巴胺能神经元的反应有关，多巴胺能神经元是一种与某些形式的增强学习形式有关的神经调节剂。最近的实验结果表明，加强信号会导致网络动态变化，我们的实验室对建模这些结果感兴趣。增强学习的模型已经存在数十年了。但是，这种模型通常是高度抽象的模型，与突触可塑性的生物物理模型不容易相关。强化学习的模型面临两个基本问题。首先 - 如何将刺激与延迟奖励联系起来，这称为“时间信用分配问题”。第二 - 一旦达到目标，如何停止学习。我们已经开发了两种强化学习模式。 Both of these models solve the temporal credit assignment problem using synaptic eligibility traces – an idea proposed many years ago. Both of our models are embedded in a recurrent network that learns the temporal dynamics of expected rewards (see section below). In one model we assume that the network that learns to predict reward inhibits the actual reward once it is active enough during reward (Gavornik et al 2009). Our other model assumes that there are two distinct eligibility traces in each synapse one for LTP and one for LTD. These two traces temporally compete with each other to reach a stable steady state. Elements of this two-trace model have been confirmed experimentally (He et al 2015).

Learning Network Dynamics from the Environment

Predicting means that given the current state of the world, one can predict what is likely to happen and when its likely to occur. Our hypothesis is that a major function of the brain is to serve as a dynamical system that emulates the world in order to predict likely outcomes. In this context learning means adjusting the parameters of this dynamical systems so that it as closely as possible matches reality. Our approach is not to solve this grand challenge on this very abstract level, but instead to address concrete experimental examples. The first example that we have extensively addressed is based on the experimental results of Shuler and Bear (2006). Shuler and Bear showed that neurons in primary visual cortex of a rodent learn new dynamics as a result of a visual stimulus paired with a delayed reward, and that the dynamics of such cells can be used to predict the expected reward time. We have developed models that couple recurrent spiking network models with novel reinforcement leaning algorithms (see above). Our theoretical work on this subject (Gavornik et al 2009,2011, Huertas et al 2015) is coupled with ongoing experiments (Chubykin et al 2013, Namboodiri et al 2015, Liu et al 2015) which in turn are used to modify and refine our theory. We intend keep on using to use different specific experiments, for example Gavornik and Bear (2014) showed that animals that passively observe temporal sequences of stimuli and their cortical responses reflect their experience.

Maintenance of Synaptic Plasticity

人们认为，持续一生的记忆至少部分被认为是作为特定突触效力的持续增强的。这些持续变化的突触机制，即长期增强（L-LTP），取决于特定突触蛋白的状态和数量。突触蛋白由于分子更新和扩散而导致停留时间有限，导致一个基本问题：这种瞬时分子机械存储的记忆如何持续一生？我们的实验室研究了几种解决这个问题的理论方法。目前，我们的方法是基于这样的假设：突触可塑性的长期维持是基于每个突触中的双稳定开关。开关的底物是翻译级别的正反馈回路（Aslam等，2009）。目前我们正在关注PKMz，蛋白激酶C的非典型亚型，作为该开关的底物（Jalill等，2015）。有大量的实验证据表明，PKMZ确实在维护中起着基本作用。我们的模型可以解释L-LTP的许多特性，包括其蛋白质合成抑制剂的依赖性和能力PKMz消除记忆的抑制剂。

The Contribution of Synaptic Plasticity to Receptive Field Development

视觉皮层以及其他皮质区域中接受场的许多特性都是依赖经验的。我们先前在由自然图像组成的视觉环境中使用了更传统的基于速率的突触可塑性模型来考虑此类属性。我们以前已经解决了具有生物物理模型的接收场的形成（Yeung等，2004），但不使用简化的视觉环境。目前，我们正在研究钙依赖模型或其他具有尖峰细胞的生物物理现实模型也可以解释接受场的发展。

On the origin and Scaling of Sensory Errors

当我们估计感觉变量，例如物体的重量，图像的亮度，条的亮度，条的方向或声音的时间持续时间，我们会犯错误，并且我们的错误通常与刺激的幅度线性扩展（Webers法律）。自19世纪以来，这些错误一直是系统地衡量的，但是这些错误的生理起源尚不清楚。我们已经开发了一种将行为误差与生理底物的统计数据和感觉神经元的调整曲线联系起来的理论（Shouval等人，2013年）。我们已经展示了如何计算鉴于编码神经元的统计数据和行为误差的缩放，如何计算分析人口调整曲线。我们还表明，错误的线性缩放仅是自然世界非常特定的统计数据的最佳选择。从我们的理论框架中，我们找到了一种方法，可以找出什么是感知错误的起源的生理底物的统计数据。我们假设这些统计数据将类似于感觉神经元的统计数据。也就是说，他们会像泊松一样。我们进行了心理物理实验以测试“感觉”噪声的统计数据，令人惊讶的是，我们发现我们的实验结果与恒定的噪声模型一致。 These results indicate that perceptual errors do not arise from the variability of sensory neurons and are more likely to arise from a downstream process such as decision making.

出版物

发布信息

选定的出版物

• Rittenhouse, CD, Shouval HZ, Paradiso MA, Bear MF. (1999) Monocular deprivation induces homosynaptic long-term depression in visual cortex.自然，397（6717）：p。347-50。
• Blais，Brian S.，Harel Z. Shouval和Leon N. Cooper。“突触前活性在单眼剥夺中的作用：同伴和异突触机制的比较。”美国国家科学院论文集96.3 (1999): 1083-1087.
• Castellani，GC，Quinlan，EM，Cooper，LN，Shouval，HZ。（2001）双向突触可塑性的生物物理模型：对AMPA和NMDA受体的依赖。Proc Natl Acad Sci USA. 98(22): p. 12772-7.
• Shouval, HZ, Bear, MF, Cooper, LN. (2002) A unified model of NMDA receptor-dependent bidirectional synaptic plasticity.Proc Natl Acad Sci USA，99（16）：p。10831-6。
• Shouval, Harel Z., and Georgios Kalantzis. “Stochastic properties of synaptic transmission affect the shape of spike time–dependent plasticity curves.”Journal of neurophysiology（2005）：1069-1073。
• Gavornik，Jeffrey P.等。“通过奖励依赖的突触可塑性表达奖励皮层中的奖励时机。”美国国家科学院论文集16（2009）：6826-6831。
• Aslam，Naveed等。“用于长期维护突触可塑性的翻译开关。”Molecular systems biology1（2009）：284。
• Shouval，Harel Z.，Samuel S-H。Wang和Gayle M. Wittenberg。“尖峰计时依赖性可塑性：更基本学习规则的结果。”计算神经科学领域4（2010）。
• Gavornik，Jeffrey P.和Harel Z. Shouval。“可以代表间隔时间的尖峰神经元网络：平均场分析。”计算神经科学杂志2（2011）：501-513。
• Shouval，Harel Z.，Animesh Agarwal和Jeffrey P. Gavornik。“知觉误差的缩放可以预测神经调节曲线的形状。”物理评论信110.16 (2013): 168102.
• He, Kaiwen, et al. “Distinct eligibility traces for LTP and LTD in cortical synapses.”Neuron3 (2015): 528-538. PDF
• Jalil，Sajiya J.，Todd Charlton Sacktor和Harel Z. Shouval。“内存维护中的非典型PKC：反馈和冗余的作用。”学习与记忆7（2015）：344-353。
• Tsokas，Panayiotis等。“在突变小鼠中长期增强和长期记忆中的PKMζ的补偿。”Elife5 (2016): e14846.