统一物理、生物和心理学 -(全文)- 用统计物理学和信息论的结果解开上述论点

The path integral formulation

A particular partition and variational free energy

A typology of particular kinds

Inert particles and Bayesian filtering

Conservative particles and expected free energy

Strange particles and generalised free energy

Simulating sentience

Epilogue: on the nature of strangeness

翻译：志愿者春暖花开（仅供概览）

关键词:自组织，变分推理，贝叶斯，马尔科夫毯，活性物质，路径积分

Abstract摘要

本文描述了自由能原理的路径积分公式。随后的叙述表达了一个粒子随时间演化所采取的路径或轨迹。主要结果是一种方法或最小作用原理，可用于模拟粒子与其外部环境进行开放交换的行为。粒子是由一种特殊的划分来定义的，在这种划分中，内部状态通过活动的和感觉的覆盖状态与外部状态区分开来。手边的变分原理可以让我们将某些粒子的内部动力学解释为推断隐藏在毯态背后的外部状态。我们考虑不同种类的粒子，以及它们在多大程度上可以被灌输一种推理或感知的基本形式。具体来说，我们考虑耗散粒子和保守粒子，惰性粒子和活性粒子之间的区别，最后，普通粒子和奇怪粒子。奇异粒子可以被描述为推断它们自己的行为，赋予它们明显的自主性或代理性。简而言之——在特定分区提供的粒子种类中——奇怪的种类可能更适合描述有知觉的行为。

Introduction 介绍

自由能原理(FEP)描述了一个随机动力系统的动力学之间的简单关系，并描述了其参与推理的行为。FEP起源于神经科学，试图描述大脑的功能和行为(Friston et al. 2006 ),后来扩展到描述生物和物理领域的几种事物(Friston 2013Friston et al. 2021)通过一种特殊的力学——贝叶斯力学——与量子、统计和经典力学共享相同的基础(Friston 2019弗里斯顿等人2022)。本文是一系列技术论文的一部分，这些技术论文以越来越简单、越来越合格的术语描述了FEP(frist on，2013；弗里斯顿，2019；弗里斯顿等人，2022)。

A path integral formulation 路径积分公式

本文着重讨论FEP的路径积分公式。路径积分公式依赖于通过拉格朗日函数对随机动力系统的动力学进行编码(Graham，1977b塞弗特，2012)。拉格朗日函数扮演了自我信息或惊奇的角色，记录了通过状态空间的路径的不可思议性。换句话说，我们将处理路径或轨迹上的概率密度，而不是状态上的密度，后者涉及了许多关于FEP的近期文献(Ramstead等人，2022)。

从基于状态的公式到基于路径的公式的转变反映了FEP的教导性描述到其操作基础的转变，以路径上的概率密度来表示(Friston，2010；弗里斯顿，2012；Ramstead等人，2022年)。最近关于FEP的大部分工作都关注于用状态的概率密度来描述系统的动力学；即表达某些状态或事件发生的概率。在这里，我们将关注系统在状态空间中沿某一轨迹运动的概率。

路径积分公式提供的简化依赖于路径上密度的工作(与状态相反)。特别是，与FEP的基于状态的公式相反，我们对非平衡稳态的存在和功能形式不做任何假设(Friston等人，2022；弗里斯顿等人，2021)。

Generalised coordinates of motion 运动的广义坐标

从技术上讲，我们将在运动的广义坐标下工作(Balaji和Friston，2011；达科斯塔等人，2021aPavliotis，2014):我们用表示状态运动的n阶时间导数的额外自由度来扩充系统的传统状态空间。即位置、速度、加速度等。，被明确地表示为不同的(广义的)状态。这通过用一系列时间导数(即广义状态)代替状态(即路径)的时间序列简化了推导。在这种情况下，拉格朗日函数扮演一个动作的角色，其中最小动作的路径使广义状态的拉格朗日函数最小化。通常情况下，行动和拉格朗日被区别对待，因为拉格朗日是广义状态的函数，而行动是路径的函数，通常被定义为拉格朗日的路径积分(Seifert，2012)。这些观念在运动的广义坐标，因为路径相当于运动的广义坐标中的一个点(即广义状态)。

Particles and particular partitions 粒子和特定分区

FEP关注的是自我组织，它呼吁将“自我”从非我中个性化出来。我们考虑(广义)态的一种特殊划分，这种划分是把一个物体(即一个粒子)的 内部态和外部态分开 所必需的。这种划分是根据 外部、感觉、活动和内部状态之间的稀疏耦合 来定义的。然后，根据变分自由能引理来解开这种特定划分的含义，变分自由能引理说，最可能的自主(即，活动和内部)路径 最小化关于外部路径的贝叶斯信念的自由能泛函 。重要的是，具有保守动力学的粒子总是追求最小作用的路径，因此最小化变化的自由能。随后的最小作用原理或方法被认为是根据描述具有活动状态的活动粒子的 贝叶斯力学。这类粒子的自主路径有一个拉格朗日量，称为期望自由能，可以分解为对应于期望成本和期望信息增益的项 。在这种情况下，成本是感觉路径的拉格朗日或惊奇，它定义了粒子的特征轨迹。这意味着保守粒子符合贝叶斯决策理论的对偶最优性原则(Berger，2011；Wald，1947)和贝叶斯最优设计(Lindley，1956；麦凯，1992)。对感官惊奇的另一种解读是根据贝叶斯模型证据(也称为边际可能性)，将自组织描述为自证(Hohwy，2016)。

Particular kinds 特定种类

随后的公式自然导致粒子种类的类型学，或“特殊种类”。我们首先考虑活性粒子和惰性粒子的区别，它们分别有和没有活性态。然后我们考虑耗散粒子和保守粒子之间的区别，它们分别服从和不服从随机涨落。最后，我们转向普通粒子和奇异粒子之间的区别，它们的活动状态分别影响和不影响内部状态。这种区别意味着奇怪粒子持有的贝叶斯信念涵盖了它们的行为(的后果)。换句话说，奇异粒子的活动状态隐藏在内部状态之外，成为被推断出来的感觉状态的潜在原因。这导致了某种(奇怪的)粒子(看起来好像是)认为自己是保守粒子。因此，它通过信息和偏好寻求行为主动最小化预期自由能(巴尔托等人，2013；孙等，2011)。这种感知行为或主动推理可以表示为最小化广义自由能泛函，这可以被视为智能体设计或建模中的通用目标函数(Parr和Friston，2019)。这种行为推理(Ramstead et al .，2020)可以被解读为广义的计划推理(Attias，2003；伯特温尼克和图桑，2012；Lanillos等人，2021年)。

The free energy principle自由能原理

FEP是对自组织的简单描述，它与量子力学、统计力学和经典力学有着相同的基础，并导致了一种特殊的力学——贝叶斯力学——我们可以用它来描述某些“事物”在推理中的动力学(Fields等人，2021a弗里斯顿，2019；Ramstead等人，2022年)。FEP是通过仔细关注“事物”被定义的方式，从而关注它们与其他一切事物的分离和结合的方式而得出的。在制定FEP的路径积分公式之前，我们以叙述的形式总结一下步骤:

• The FEP addresses the following question: if something exists, in the sense of possessing characteristic states or dynamics, what properties must it possess? To answer this question, it is necessary to define a thing or particle.

• A particle is constituted by internal and blanket states. The blanket states constitute the boundary between the states internal and external to the particle. Mathematically, this means that internal paths are conditionally independent of external paths, given blanket paths.

• This conditional independence means that, for every blanket path, there exists a most likely internal path and a (posterior) probability density over external paths.

• The ensuing synchronisation map from the most likely internal path to the conditional density over external paths can be read as inference, in the sense that the most likely internal path encodes a Bayesian belief about external paths.

• This Bayesian interpretation can be made explicit by associating the Lagrangian with a variational free energy; namely, a free energy functional of Bayesian beliefs about external states, given blanket states.

• The internal paths of sufficiently large (i.e., conservative) particles are always the most likely paths; namely, paths of least action, where action is the path integral of a Lagrangian (a.k.a., self-information or surprisal) in the usual way.

• The Lagrangian of the active paths (i.e., blanket paths that can be influenced by internal paths) of conservative particles reduces to variational free energy. This means the autonomous (i.e., active and internal) states of such particles will appear to pursue paths of least action that minimise variational free energy.

• In this case, the Lagrangian of autonomous paths can be decomposed into the expected Lagrangian (i.e. implausibility or cost) of sensory paths minus expected information gain; namely, the reduction of uncertainty about external paths.

• This has the interesting interpretation that autonomous paths will appear to minimise expected cost—where cost is read as the Lagrangian of sensory paths that characterises the particle in question—while maximising expected information gain. This is 5 consistent with the principles of Bayesian decision theory—e.g., expected utility theory (Von Neumann and Morgenstern, 1944)—and optimal Bayesian design (Lindley, 1956), respectively.

• The combination of expected information gain and expected cost has the functional form of an expected free energy.

• Finally, we turn to strange particles: conservative particles whose active paths only influence internal paths vicariously, via sensory paths. Strange particles can be read as inferring their own actions—in addition to the external world—endowing them with apparent autonomy or agency.

· FEP提出了以下问题:如果某物存在，在拥有特征状态或动力的意义上，它必须拥有什么性质？要回答这个问题，有必要定义一个事物或粒子。

· 一个粒子由内部态和blanket states组成。blanket states构成了粒子内部和外部状态的边界。从数学上来说，这意味着在给定一揽子路径的情况下，内部路径有条件地独立于外部路径。

· 这种条件独立性意味着，对于每个覆盖路径，都存在一个最可能的内部路径和外部路径上的(后验)概率密度。

· 从最可能的内部路径到外部路径上的条件密度的随后的同步映射可以被解读为推理，在这个意义上，最可能的内部路径编码了关于外部路径的贝叶斯信念。

· 通过将拉格朗日函数与变分自由能联系起来，这种贝叶斯解释可以变得显式；也就是说，一个关于外部状态的贝叶斯信念的自由能泛函，给定毯态。

·足够大(即保守)粒子的内部路径总是最可能的路径；即最少作用的路径，其中作用通常是拉格朗日函数(也称为自我信息或意外信息)的路径积分。

·保守粒子的活动路径(即，可能受内部路径影响的毯式路径)的拉格朗日量减少到变化的自由能。这意味着这种粒子的自治(即，活性和内部)状态似乎会遵循最小化变化自由能的最小作用路径。

· 在这种情况下，自主路径的拉格朗日可以分解为感知路径的期望拉格朗日(即不可实现性或成本)减去期望信息增益；即减少外部路径的不确定性。

· 这有一个有趣的解释，即自主路径似乎将最小化预期成本——其中成本被解读为表征问题粒子的感觉路径的拉格朗日函数——同时最大化预期信息增益。这是分别与贝叶斯决策理论的原则一致，例如，期望效用理论(冯诺依曼和摩根斯坦，1944年)和最优贝叶斯设计(林德利，1956年)。

·预期信息增益和预期成本的组合具有预期自由能的函数形式。

·最后，我们转向奇怪的粒子:保守粒子，它们的活动路径只通过感觉路径间接影响内部路径。奇怪的粒子可以被解读为推断它们自己的行为——除了外部世界——赋予它们明显的自主性或能动性。

总之，从事物的定义开始——用马尔可夫链来说——最后是(某些种类的)事物的贝叶斯力学。内部路径看起来好像是在推断外部路径——通过最小化变化的自由能。主动路径看起来似乎符合最优贝叶斯设计(Lindley，1956)和决策理论(Berger，2011)的原则——分别通过最大化预期信息增益和最小化预期成本。在这里描述的特殊种类中，奇怪的东西可能适合于描述代理的感知行为。

由此产生的FEP可以解读为最小作用量的变分原理，一种规范理论(Friston等人，2022；Sakthivadivel，2022cSengupta等人，2016)，Jaynes最大熵或最大口径原理的对偶(Sakthivadivel，2022aSakthivadivel，2022b)或——在其量子理论公式中——渐近等价于幺正原理(Fields等人，2021a)。

从这个角度来看，FEP是一个第一原理方法，可以应用于任何“事物”或“粒子”，以某种方式消除了物理学、生物学和心理学之间的界限。这种应用认可了许多关于感知行为和自组织的规范性解释。从控制论到协同学(敖，2004；阿什比，1979年；哈肯，1983；凯尔索，2021)；从强化学习到人工好奇心(巴尔托等人，2013；施密德胡伯，1991；萨顿和巴尔托，1981年；Tsividis等人，2021年)；从预测处理到通用计算(Clark，2013bHohwy，2016；赫特，2006)；从模型预测控制到empowerment(Hafner等人，2020；Klyubin等人，2005)，等等。我们现在用统计物理学和信息论的标准结果来解开上面叙述的论点。

The path integral formulation路径积分公式

“We do not find obvious evidence of life or mind in so-called inert matter; but if the scientific point of view is correct, we shall ultimately find them, at least in rudimentary form, all through the universe.” (Haldane, 1932)

我们从描述设置开始。我们假设系统的状态——我们稍后将把它分解成一个粒子和它的外部环境——演化成一个随机的动力系统，可以用朗之万方程来描述，

注释：1 从(1)到(2)对应于求解随机实现问题 Da Costa，l .，Friston，k .，Heins，c .，Pavliotis，G.A .，2021a。平稳过程的贝叶斯力学。诉讼程序。数学、物理和工程科学477，20210518，Mitter，s .，Picci，g .，Lindquist，a .，1981。迈向非线性随机实现的理论。)，线性和非线性系统的反馈和综合。德国比勒菲尔德斯普林格出版社和意大利罗马。;例如，参见 Pavliotis，G.A .，2014 年第 8 章。随机过程和应用:扩散过程，福克-普朗克和朗之万方程。纽约斯普林格。和 Jakš ić 诉 Pillet 案，c-a，1998 年。经典耗散系统的遍历性质 I .数学学报 181，245–282。

第一个等式类似于第一类拉格朗日方程，它确保广义运动的状态是广义运动的状态。或者，它可以被理解为在移动参考系中拉格朗日函数上的梯度下降(第二等式)。当拉格朗日函数是凸的时，拉格朗日函数(第三等式)上的广义梯度下降的解必然收敛到最小作用的路径。拉格朗日函数的凸性保证了收敛性，它继承了高斯关于随机波动的假设。在广义贝叶斯过滤器的精神下，当恢复最少动作的路径时，等式(6)将是有用的(Friston 等人，2010b)。

路径上的不确定性源自随机波动，随机波动可以用预期的拉格朗日(即，差分熵)来表示:从(2)和(4):‘7’（7注释

当随机波动的振幅趋于零时，不存在不确定性，路径总是作用最小的路径。这相当于保守的——但可能是混乱的——动力学。上述微分熵可以用连续熵来表示，使用与不变测度相关的 N 个离散点的极限密度(Jaynes，1957)，上述微分熵可以用连续熵表示

换句话说，如果一个状态子集的随机涨落消失，给定它们的父态，它们的微分熵将接近一个连续熵为零的下限。我们的设置到此结束。我们现在转向定义“事物”的特定状态划分，并考虑不同种类的事物如何表现。

A particular partition and variational free energy

一种特殊的配分和变分自由能

“How can the events in space and time which take place within the spatial boundary of a living

organism be accounted for by physics and chemistry?” (Schrödinger, 1944).

特定状态被划分为具有特定流依赖性的感觉、活动和内部状态；即外部状态只能影响自身和感官状态，而内部状态只能影响自身和活动状态。从(4)中，这些耦合约束意味着当以毯式路径为条件时，外部和内部路径是独立的。

等式(13)可以理解为，对于任何给定的覆盖路径，最小作用的内部路径参数化了外部路径上的变化密度。这允许以下定义:

虽然基于相同的假设，但自由能原理可以被视为通过仔细关注外部和内部动力学的分离，用贝叶斯力学来补充量子力学、统计力学和经典力学(Friston，2019)。这种分离是通过(12)中的条件独立性实现的。通过构造，这赋予了粒子自主性，即主动和内部(即自主)路径，

虽然基于相同的假设，但自由能原理可以被视为用贝叶斯力学补充量子力学、统计力学和经典力学，方法是仔细关注外部和内部动力学的分离（Friston，2019年）。这种分离是通过（12）中的条件独立性实现的。通过构造，这赋予了粒子自主性，即主动和内部（即自主）路径，不依赖外部路径。自由能原理与自然有关这种自主的动力。

这个变化的自由能可以用几种方法重新排列。首先，它可以表示为一个能量约束减去一个熵，这许可的名称自由能(费曼，1972)。在…里

在能量最小化的约束下，最小化变化自由能的这种分解对应于最大熵原理(Jaynes，1957；拉索塔和麦基，1994 年；Sakthivadivel，2022b)。能量约束是外部和特定路径上的边际密度的函数，其起到生成模型的作用；即原因(即外部路径)及其结果(即特定路径)的联合密度。在(14)中，生成模型已经根据似然性和先验拉格朗日表示，其可以被解读为在原因(即，外部状态)或结果(即，特定状态)的空间中指定特征或优选轨迹。

第二——在统计读数上——变分自由能可以分解为特定路径的(负)对数似然性(即准确性)和外部路径上后验和先验密度之间的 Kullback Leibler (KL)散度(即复杂性)。最后，它可以写成负对数证据加上变分密度和条件密度(即后验密度)之间的 KL 散度。在变分贝叶斯推理 “10”（注释：10当活动状态集为空且粒子为惰性时。） (Beal ， 2003) 中，负自由能被称为证据下限或 ELBO(Bishop，2006；温和毕晓普，2005 年)。之所以称之为界，是因为 KL 散度从不小于零。

证明:回想一下，拉格朗日是一个惊奇，两个密度之间的 KL 散度是它们的惊奇的预期差。变分自由能的各种分解是从这一观察中得出的。通过构造，证明是简单的:将(13)中的变分密度的定义代入(14)中的最终等式，表明特定路径的拉格朗日自由能和变分自由能共享相同的最小值:

用变化的自由能代替(12)中的拉格朗日量得到(14)

推论:如果自主路径和外部路径是条件独立的，给定感觉路径，那么最小作用的自主路径也可以被投射为变化自由能上的梯度流

证明: 上面的条件独立性意味着最小动作的自主路径是a 特定状态的拉格朗日函数上的梯度流；

其中最小作用的自主路径的运动遵循(5 ),并且特定状态的拉格朗日量是最小作用的内部路径的变分自由能(15)

备注:变分自由能的函数形式许可内部动力学的代表性解释:最小作用的内部路径扮演关于外部动力学的贝叶斯信念的充分统计或参数的角色。在这个观点上，变化自由能上的梯度流对应于最小化关于外部状态的贝叶斯信念的复杂性，同时提供对粒子的感觉(和自主)状态的动力学的精确预测。最小化复杂性意味着最小动作的内部路径编码了关于外部路径的贝叶斯信念，该信念尽可能接近先前的信念。最小作用路径可以用经典力学(见下文)解释为粒子的行为，其中随机波动可以忽略不计。相反，它们可以被认为是同一动态的多次实现的平均响应，是各种领域中与事件相关的平均所要求的那种响应；如(利卡塔和基亚蒂，2019；Singh 等人，2002 年)。在这种情况下，我们可以认为最少动作的路径表达了系统的平均(例如，总体)行为。

变分自由能引理说最小作用的内部路径使变分自由能泛函最小。那么，变分自由能的最小化是对内部动力学的一种解释或者描述吗？这个问题本身就很能说明问题。这是一个关于内部动力学的问题。然而，内部动态是不可知的(不可测量的)。只有毯态是可观测的(可测量的)。这意味着人们只能说，在某些条件下，内部动力学似乎在推断外部路径:存在一个变化的密度。

A typology of particular kinds

我们现在开始解开特殊类型的分类。首先，我们区分活性粒子和惰性粒子，它们有和没有活性态。然后我们将区分保守粒子和耗散粒子，对于它们，随机涨落可以忽略，也不能忽略。在最后几节中，我们将区分普通粒子和奇异粒子，它们的活动状态会或不会直接影响内部状态。参见图 2。

图 2 –特定种类。该示意图说明了正文中考虑的特定类型的明确特征。上图分别显示惰性和活性粒子，无活性状态和有活性状态。当活性粒子的特定状态遵循最小作用路径时，我们就有保守粒子。当保守粒子的活动状态对内部状态隐藏（即不直接影响）时，我们就有了奇怪的粒子。奇怪的粒子似乎会通过其行为来推断自己的行为，就好像它们的内部动力学编码了感觉的隐藏原因的变分密度（即贝叶斯信念）；即外部路径和活动路径。

只有当内部动态影响毯流时，内部状态的推理过程才能向外部世界显现，而从构造上来说，毯流需要主动状态（注意内部状态不能影响感觉状态）。这涉及两种具有和不具有活性状态的粒子：分别是活性粒子和惰性粒子。

在应用自由能原理时，这个定义排除了任何形式的泛心论，因为任何本体或思维主张只能涉及活性粒子或活性物质（Ramaswamy，2010）。简而言之，我们永远无法直接观察内部动态，因为它们隐藏在马尔可夫毯子后面。最小作用的内部路径是否参数化关于外部路径的信念并因此最小化变分自由能只能通过活动状态体现；也就是说，在活性粒子中。由于这些在惰性粒子中不存在，因此无法观察给定的惰性粒子是否最小化变分自由能（例如，黑洞的内部）。在讨论活性粒子的行为之前，我们通过推理的角度来考虑惰性粒子。

Inert particles and Bayesian filtering惰性粒子和贝叶斯过滤

尽管内部动力学隐藏在马尔可夫毯子后面，但我们可以通过积分以下广义运动方程，将（14）插入（10）来模拟或模仿惰性粒子（最可能的行为）：

在这里，内部动力学表示为变分自由能的广义梯度流，而外部和感觉路径则用运动方程和随机波动的统计数据指定。在统计学中，这些构成了状态空间模型。变分自由能的函数形式可以在拉普拉斯近似下解包（Friston 等人，2007 年；Ramstead 等人，2022 年）。例如，if 是从内部路径到外部路径的映射最最少的行动，我们有"11"< 注释：11 为清楚起见，省略常数项> 这种函数形式使（18）中的内部动力学等效于广义贝叶斯滤波器（Friston et al., 2010b）；即扩展卡尔曼‑布西滤波器的推广（Loeliger，2002；Schiff 和 Sauer，2008）到高阶运动。在这种情况下，内部状态参数化外部状态的高斯后验又名变分拉普拉斯（Friston et al., 2007）。

Conservative particles and expected free energy守恒粒子和预期自由能

“ It is implied that, in some sense, a rudimentary consciousness is present even at the level of particle physics ” (Bohm, 2008).

现在我们转向微观粒子和宏观粒子之间的区别，其中（Loeliger，2002；Schiff 和 Sauer，2008）到高阶运动。在这种情况下，内部状态参数化外部状态的高斯后验又名变分拉普拉斯（Friston et al., 2007）。宏观粒子具有经典力学，其中随机波动（几乎）被平均掉16，并且特定状态的轨迹（几乎）是最小作用路径。这引入了下一个关键区别；即耗散粒子和保守粒子之间其特定动态分别受到和不受到随机波动的影响。

保守（或经典）粒子特别有趣，因为它们根据随机的事实对外部影响做出确定性和系统性的响应它们动力学的波动（几乎）消失了。可以说所有宏观的粒子是保守的，只是因为它们的随机波动被平均掉了（弗里斯顿，2019年）。这意味着他们的动态是建立在混乱的巡回保险之上的通过非线性耦合、详细平衡的破坏和相关的不平衡（Friston et艾尔。, 2021;拉索塔和麦基，1994）。

消除特定路径的不确定性具有重要的后果。因为有自主路径没有不确定性，给定感官路径，没有进一步的信息关于自治路径提供的外部路径，使它们有条件地独立。这可以使用绑定参数以预期拉格朗日量来表达。来自（9）：

换句话说，虽然主动状态会影响外部状态，但这种影响是决定性的。完全通过感觉路径，它提供了一个马尔可夫毯子将外部和外部分开自治国家。请参见图 3 的示意图。

至关重要的是，这种条件独立性意味着保守粒子满足（16），即允许将活跃状态包含在 (18) 中：
这些运动方程允许人们将保守粒子的行为模拟为变分自由能自主状态的（广义）梯度流。由此产生的动力学可以被解读为广义的稳态（参见恒温器或噪声消除方案的行为），或者在控制理论中，控制作为推论（Baltieri 和 Buckley，2019；Kappen，2005；Todorov，2008）。简而言之，活跃状态看起来就像是在试图最小化（19）中的感官预测误差。更一般地，保守粒子的活动路径看起来好像它们试图最大化变分自由能的准确性部分，从而实现由内部动力学编码的预测（因为复杂性部分不依赖于活动路径）。这种解释提供了主动感知或推理的基本但富有表现力的表述（Friston 等人，2010a）。

我们能对随后的自主行为说更明确的话吗？我们将看到保守粒子的自主动力学获得了一个有目的的方面这个目的可以通过以下引理通过信息和偏好寻求行为来阐明（Barp 等人，2022 年；Friston 等人，2022 年）：

引理（预期自由能）：保守粒子自主路径的拉格朗日可以表示为需要最优贝叶斯设计和决策的自由能函数：

变分（14）和预期自由能（22）的函数形式表明预期（负面的）准确性变成了模糊性，而预期的复杂性变成了风险。同样的，预期（负）偏差成为预期信息增益。如果我们阅读拉格朗日作为感官结果的成本函数，最有可能的自主路径保守粒子看起来好像在最大化预期的信息增益，而最小化预期成本。这些预期支持了最优贝叶斯的原则设计和决策理论。

证明:当特定状态运动的随机波动消失时,不存在父母对他们人生道路的不确定性。这意味着没有不确定性给定外部路径的特定路径；给定感官,自主路径没有不确定性给定外部和自主路径,路径和感觉路径没有不确定性。表达根据连续熵和微分熵,这意味着从（9）:

这些约束使我们能够将自主路径的拉格朗日量表示为预期的自由能。从（23）我们有：

这些等式基于以下事实：预期信息增益的 KL 散度相同；即，在给定自主路径的情况下，外部路径和感知路径之间的互信息[p。 273（Batina 等人，2011 年）]。

备注：各项对期望自由能的贡献之间的关系可以从它们的期望方面清楚地看出；即熵。来自（22）：

在保守粒子的情况下，给定自主路径，感知路径的条件不确定性是感知路径提供的关于外部路径的信息增益：

图 3 为那些发现用信息图表更容易思考的人们展示了这些分解。

图3：耗散粒子和保守粒子。这些信息图描述了外部、感知和自主路径的熵，其中交叉点对应于共享或相互信息。条件熵对应于其所依赖的变量外部的区域。左图显示了一般（耗散）情况，其中路径的不确定性源自随机波动。当特定状态运动的随机波动消失时，我们就有了保守粒子，在给定感觉路径的情况下，自主路径（几乎）没有不确定性，在给定外部路径的情况下，特定路径没有不确定性（正确的信息图）。这说明了表达自主路径熵（上方程）或给定自主路径的感觉路径熵（下方程）的各种方式就条件熵而言。请参阅正文以获得更完整的描述。

综上所述，自治路径的拉格朗日可以表示为散度；即，有和没有自主路径的感觉（或外部）路径上的密度之间的差异。这可以看作是工程中用于优化模型预测控制中控制变量轨迹的目标函数（Schwenzer et al., 2021）。知觉控制理论提供了等效的神经生物学观点，其中感觉状态通过行动的后果保持在首选值附近（Mansell，2011）。根据这种观点，风险是给定自主路径的感觉路径与感觉路径上的边际密度之间的分歧。这种边际密度编码了偏好，因为它们构成了生成模型的先验，而不是行动的感官后果（Parr 和 Friston，2019）。直观上，这些路径可以被解读为粒子期望遇到的“结果”、“事件”或“叙述”。

预期的免费能源补充风险含糊不清；即，给定自主路径时预期的不准确性或负面感觉可能性。显然，作为对保守粒子的描述是多余的，根据定义，保守粒子具有最小的歧义（因为不存在随机的感觉波动）。然而，在FEP的应用中，模糊性保留术语以确保粒子或代理寻找明确的状态空间制度；从而证明了保守粒子的行为。

在离散状态空间公式中，模糊度通常表示为期望条件感官状态的不确定性（即熵），通过假设条件给出外部状态感觉状态和外部状态之间的独立性。在这种假设下，我们从（20）得到:

这就是为什么预期的不准确被称为模糊性。简而言之，预期自由能引理表明，保守粒子可以被描述为最大限度地减少发生与先验偏好不同的外部轨迹的风险，同时避免模棱两可的事态。

(22) 中的最后一项提供了预期自由能的贝叶斯解释。这是在给定自主路径、有或没有感觉路径的情况下，关于外部路径的后验信念之间的预期分歧。换句话说，它对不确定性的解决进行评分，或者感官结果提供的预期信息增益12 <注释:12预期的信息增益可以用多种方式表示。（23）中的表达式可能是最直观的，显示了一旦我们采取感官的外部路径的条件密度变化的程度考虑路径（即，在给定感官路径的情况下，我们在多大程度上更新了对外部路径的信念）。它也可以是表示为一个相互信息，它对感觉和感觉之间的条件依赖程度进行评分外部路径，或两个熵之间的差异:。

这一公式为决定信念更新程度的因素提供了一种直觉。如果熵的感觉路径（给定自主路径）非常大，这意味着高度的不确定性，如果解决了这种不确定性，导致我们对外部道路的信念发生重大变化。这种不确定性可解决的程度取决于给定外部和自主路径的感觉路径的条件熵。换句话说，如果在外部和感觉路径之间有一个精确的关系，我们对感觉路径是不确定的必须是对外部路径的不确定性，这种不确定性可以通过观察感觉路径来解决。

对于保守粒子，预期的信息增益降低到给定自主的感觉路径的熵路径。因此，保守粒子假设似乎使预期的信息增益变得微不足道。然而，值得注意的是，表达非保守粒子的动力学是可能的（即，具有感觉波动）作为保守粒子，简单地通过将感觉波动视为（快速）外部的各州。在这种情况下，预期的信息增益和感觉路径的熵之间的相等，给定自主路径，一般成立。>

这是最优贝叶斯设计和主动学习中的目标函数（Lindley，1956；Mackay，1992）。从这个意义上说，它有时被称为内在价值或认知可供性（Friston et al., 2017c）。这剩余项是预期的拉格朗日量，它对粒子出现的概率进行评分样本偏好的感官轨迹。在贝叶斯决策理论的背景下，这最小化了预期成本（Berger，2011）。从这个意义上说，它有时被称为外在价值或实用可供性（Friston 等人，2017a；Schwartenbeck 等人，2015）。请注意，预计

自由能解决了探索‑利用困境（Cohen et al., 2007），因为存在一种独特的过程或路径（至少）行动，其中包含探索、信息寻求和利用、偏好寻求的必要条件。请参见图 4 的示意图，该示意图通过预期自由能将这些行为规范说明联系起来并置于上下文中。对此这个公式提供了关于决定信念更新程度的因素的直觉。如果感觉路径（给定自主路径）的熵非常大，则意味着高度的不确定性，如果解决的话，会导致我们对外部路径的信念发生重大变化。这种不确定性的可解决程度取决于给定外部和自主路径的感觉路径的条件熵。换句话说，如果外部路径和感觉路径之间存在精确的关系，并且我们对感觉路径不确定，那么外部路径一定存在不确定性，而这种不确定性可以通过观察感觉路径来解决。

总之，保守粒子看起来好像有目的的行为；从某种意义上说他们积极寻找偏好的感觉，同时试图解决原因的不确定性那些感觉。至关重要的是，感觉中枢（即外部和感觉通路）不会表现出这种行为。这是因为在一个耗散世界中，保守粒子会破碎内部和外部动态之间的统计对称性。

不同种类事物之间的下一个区别在于内在的循环因果关系在支持“事物性”的耦合中。如下所述，这种因果结构取决于在主动路径（即行动）上，这取决于编码感官的内部信念行动的后果。这种隐式递归——参见奇怪的循环（霍夫施塔特，2007年）——迫使我们考虑行动的内部表示，它不同于实现这些信念。在最后一节中，我们考虑适用于以下情况的最小操作原则某些粒子表现出更强的感知行为；即规划 .

causes of data. This is the maximum entropy principle, proposed as a method of inference by Jaynes (Jaynes, 1957; Lasota and Mackey, 1994). When conditioned on action, this corresponds to a form of empowerment (Klyubin et al., 2005); namely, keeping options open.

Strange particles and generalised free energy

奇异粒子和广义自由能

“我所说的“奇怪的循环”是指循环⋯⋯从一个抽象层次（或结构）到另一个抽象层次，这感觉就像层次结构中的向上运动，但不知何故，连续的“向上”转变结果给出了上升至闭环。也就是说，尽管一个人感觉自己离自己的起源越来越远，但令人震惊的是，他最终还是回到了自己最初的起点。” （霍夫施塔特，2007 年）第 101 页

到目前为止，我们已经考虑了保守（即经典）粒子的动力学可能如何阅读贝叶斯推理的基本形式（即贝叶斯力学）。我们现在转向允许粒子中有粒子的粒子。换句话说，粒子的内部状态具有特定的分区（Palacios等人，2020年），为粒子配备分层或深度生成模型。这意味着存在一些不受活动影响的内部状态各州。

我们将考虑这种稀疏耦合的最简单实例, 其中保守粒子的活动状态对内部状态隐藏。换句话说, 内部状态仅受感觉状态的影响。在这种粒子中, 活性状态对内部状态的影响必须通过外部(或感觉) 状态间接介导。图 2 说明了随后的因果架构, 其中生成模型和隐式变分密度获得层次深度。

如果内部路径仅直接受到感觉路径的影响, 感觉路径提供了一个马尔可夫毯子, 使内部状态有条件地独立于外部和活动状态, 这可以用预期拉格朗日量表示如下, 如公式(20)

这意味着最少操作的内部路径现在变为：

因为奇异粒子的内部路径只取决于感觉路径，我们可以推测出（确定性的和内射的）映射从每个感觉路径到相应的内部最小动作路径—以及外部和活动路径上的条件密度。这意味着变化的密度可以被规定地定义为对外部和主动的贝叶斯信念状态。‍

正如在变分自由能引理中一样，我们现在构造一个广义自由能，其最小值与最小作用的内部路径一致：

引理（广义自由能）：奇怪粒子的内部路径最小化自由能贝叶斯信念关于感觉路径隐藏原因的功能；即外部和活跃路径，

广义自由能表达了感觉和内部动力学的生成模型就其原因而言，其中包括主动路径。选择最小化的内部路径广义自由能最大化了感官为生成模型提供的证据路径。这被认为是不证自明的（Hohwy，2016）。启发式地，一个奇怪的粒子看起来好像正在为其生成模型收集证据，其中它的生成模型模型需要先验信念，即它的行为就像保守粒子（因为它确实是）。

证明：根据(31)中的定义，拉格朗日能和广义自由能相同最小作用内部路径的最小值，其中梯度消失：

这意味着我们可以用广义自由能代替（30）中的拉格朗日梯度梯度给出 (32）备注：对于奇异粒子，作为实现变量的活动路径之间存在区别以及（32）中的活动路径作为推断的随机变量。这意味着行动主体的信念与基于预期自由能的行动信念不同。当生成模型补充这些先验时，随后的函数对应于感官结果的拉格朗日或惊奇（上限）。简而言之，感觉惊喜是关于隐藏事物的贝叶斯信念（即变分密度）的函数感觉的原因；即外部动力和主动动力。内部动态最大限度地减少这种情况令人惊讶的是，虽然活跃的路径（看起来好像）他们意识到了推断行动的感官后果。实际上，特工根据先前对她行为方式的信念来创造她的感觉。

请注意，只有内部路径使广义自由能最小。从活动路径的角度来看，什么都没有改变，活动路径可以转换为变分自由的梯度流能量。然而，从观察者的角度来看，行为似乎满足了预期自由能提供的认知和语用规则。根据统计从这个角度来看，这相当于从控制作为推理（Tschantz等人，2022年）到作为推理的规划（阿提亚斯，2003；博特维尼克和图桑，2012年；Mirza等人，2016年）。从从生物学角度来看，这相当于从体内平衡（Cannon，1929）到异体移植（阿什比，1947；Corcoran等人，2020年；拉姆齐和伍兹，2014；塞斯和弗里斯顿，2016;斯特林和耶尔，1988年）。显然，这些区别取决于进行路径积分的时间。

我们故意对时间尺度（或广义运动的顺序）含糊其辞期望自由能适用于此。这种模糊性（玛奇纳，1976年）允许一系列的保守粒子的时间范围:有些可能有一个短视的生成模型隐含地考虑短时间内的路径积分，以响应外部波动以一种很大程度上反射性的、自我平衡的方式（例如趋化性）。其他人可能会有很深的时间眼界开阔，表现出更具适应性的异态行为（如好奇心）。这些行为是通常与以时间尺度分离为特征的深度生成模型相关联:对于有关计算机模拟示例，请参见（Friston等人，2017d乔治和霍金斯，2009年）。

Simulating sentience模拟感知

图 5 提供了一个示例，其中预期自由能被指定直接用拉格朗日在自主路径上，根据一些运动方程，c.f.，中央模式发生器。当指定这样的生成模型时，拉格朗日自主路径通常被指定为优先于干预的外生原因外部动力。直观上——模型不知道——行动满足了预测一些关于外部动力外生原因的先前信念。换句话说，即使粒子引起了它的感觉，它只是“认为”它有正确的先验信念关于外生动力。

正如这些模拟中常见的那样，外生动力学规定了系统中的流动行为奇异吸引子的形式。方程（34）已被用来模拟多种感知行为，范围从形态发生（Friston et al., 2015）到动作观察（Friston 等人，2011）到鸟鸣（Isomura 等人，2019）。

图 5 – 有感知的行为和行动观察。该图说明了主动推理（这里是写作）的模拟，根据关于世界隐藏状态的条件期望，随后的预测感觉输入和随后的行动。支撑这种行为的动力取决于先前的期望遵循 Lotka-Volterra 动力学的外生原因：这些是左上插图中的六条（任意）彩色线。在这个生成模型中，每个状态都与欧几里得空间中吸引代理手指的位置相关联。实际上，（广义的）内部状态提供了对（广义的）感官的预测。各州应登记代理人的信念是否属实。活动状态通过实现感测角速度的预期变化、通过对代理的关节（未显示）。手臂随后的运动在左下面板中描绘出来。这条轨迹是在移动的参考系中绘制的，因此它看起来像手写体（例如，连续的“j”和“a”字母）。左下面板显示“动作”和“动作观察”下第四个隐藏状态的活动。在行动期间，感觉状态记录运动的视觉和本体感觉结果，而在行动观察下，只有视觉感觉可用——就好像一个智能体正在观看另一个智能体一样。红点对应于该状态超过任意阈值的时间。这里需要注意的关键一点是，当且仅当电机轨迹产生向下冲程时，这种内部状态才会优先响应，但是不再是向上的行程——显示出神经元反应的一个基本特征，即方向选择性。此外，在动作和动作观察期间，这种内部状态会稍微延迟地做出响应。从神经生物学的角度来看，这很有趣，因为它涉及一种称为镜像神经元活动的经验现象（Gallese 和 Goldman，1998；Kilner 等人，2007；Rizzolatti 和 Craighero，2004）。请参见（Friston 等人，2011）了解更多详细信息。

图 5 中的手写示例说明了一种简单的主动推理，在拉格朗日关于自主（即外生）原因的术语。模拟好奇像我们这样的奇怪粒子的行为，人们可以明确地评估预期的自由能，实际上，这使得能够用拉格朗日量来规范自主动力学（即，运动方程）产生信息和偏好寻求。实际上，了解预期自由能的函数形式可以让人们模拟或重现根据首选结果指定的有感知的行为。所需的自由能泛函是：

上面的预期自由能是对隐藏原因的预测密度下的预期和感官后果，基于对外部状态的信念，由变分提供密度。直观地说，基于对当前事态的信念，预期的自由能源提供了最有可能的“行进方向”或通向未来的路径。本次施工根据预期结果指定最可能的行为，其中预期自由能量给行为带来信念依赖或认知方面的影响；即好奇心（弗里斯顿等人，2017b；施米德胡贝尔，2006；斯蒂尔和 Precup，2012）。

这为预期的自由能提供了补充意义；从某种意义上说，它是未来（和过去）的预期。这种隐含的预测（和后预测）意味着通往未来（和过去）的感官路径是随机变量。简而言之，奇怪的粒子或介质（看起来好像是它们）认为它们是保守粒子，并采取相应的行动。图 6 中的示例抑制先验偏好，以揭示纯粹的信息寻求或认知行为（在视觉搜索和场景构建的环境中一系列视觉触诊）。此示例指定了到固定点的一系列活动轨迹，指定为外生原因。这些视觉固定点最大限度地减少了预期的自由能；即最大化预期信息增益。

总而言之，奇怪的粒子看起来好像有代理作用，从某种意义上说，它们的行为实现了贝叶斯信念的预测。这导致了对随后的行为，其中活动状态对动作的内部表示隐藏。

直观地说，这意味着关于世界应该如何发展的信念是由活跃国家反射性地实现的。从某人观察代理（例如鱼）的角度来看，鱼看起来好像在寻找食物颗粒。然而，从鱼的角度来看，它相信自己在水中以一种偶然和仁慈的方式被推动，将食物颗粒送到它的嘴里。换句话说，鱼并不知道自己是其行动的代理人，它只是相信这就是世界的运作方式——通过行动实现的信念：参见观念运动和知觉控制理论（Mansell，2011；Pfister 等人） .，2014 年；赛斯，2015 年；维泽，2017 年）。

这涉及更特殊的类型，具有更深入的生成模型，（看起来好像它们）认识到行动是由代理机构承保的。或者说，他们确实是自己行为的作者。这些类型的代理可以通过状态相关的随机波动的生成模型来区分，该模型引入了进一步的层次深度；即，以不确定性或精确性的信念形式存在的信念“13”(注释：即（19）中的逆协方差）（Clark，2013a；Limanowski，2017；Limanowski和布兰肯堡，2013 年；赛斯，2013）

图6–认知觅食。该图显示了一个模拟的结果，其中一张脸被呈现给一个代理人，代理人的反应通过选择使跟随眼睛的预期自由能最小化的动作来模拟运动。代理人对她可能采样的刺激有三种内部信念或假设（正面脸、反面脸和旋转脸）。代理人面无表情，带着她对未来的期望在16个（12毫秒）时间区间内进行评估，直到发出下一次迅速扫视。这重复了八次迅速扫视。随后的注视点在上排显示为红点。相应的眼球运动顺序显示在左上角的插图中，其中红色圆圈大致对应于视觉图像采样的比例。这些迅速扫视是由基于显著性的关于下一注视点的预测信念驱动的地图在第二行。这些显著性图是（负的）预期自由能与作用的函数关系；也就是说，下一步去哪里找。请注意，随着对隐藏原因的后验信念变得更加自信，这些地图会随着连续的迅速扫视而变化。还要注意，在前一次扫视中被注视的位置的显著性被耗尽，因为这些位置不再具有认知启示性（即，减少不确定性或预期信息增益的能力）。从经验上来说，这就是所谓的回归抑制。动眼反应如所示第三行是对应于垂直和水平眼球运动的两种隐藏的眼球运动状态。第四行示出了采样图像的相关部分（在每次迅速扫视结束时）。最后两行显示了伴随的后验信念，即后验期望和90%贝叶斯可信间隔。这说明了在对数据进行采样以消除假设之间的歧义时主动推理的性质最能解释感官证据的感知。详情请见（Friston等人，2012年）。

Epilogue: on the nature of strangeness

“Now, here, you see, it takes all the running you can do, to keep in the same place”, the Red Queen to Alice in Lewis Carroll's Through the Looking-Glass

显然，我们已经获得了一些诗意的许可，将奇怪粒子的动力学与奇怪的循环联系起来（Hofstadter，2007）。然而，对于保守动力学存在一种互补的观点，它通过奇怪的吸引子将我们带回到奇怪的循环。红皇后动力（Ao，2005；Zhang et al.，2012）很好地说明了这一点，它可以理解为必须向前移动才能停留在同一个地方：换句话说，“令人震惊的是，一个人结束了，完全一个人开始的地方”。红皇后动力学是保守的、无散度的或螺线管流的众多表述之一，它支持非平衡稳态以及生命系统特征的详细平衡的隐含破坏（Ao，2008；Haken，1983；Nicolis 和 Prigogine，1977）。

为了了解为什么这种动力学是保守粒子的特征，我们转向由亥姆霍兹分解提供的流动的补充分解（Ao，2004；Barp 等人，2021；Da Costa 等人，2021a；Eyink 等人） ., 1996; Graham, 1977a; Ma 等人, 2015; Pavliotis, 2014; Shi 等人, 2012)。这将状态流分解为保守的螺线管分量和取决于随机波动幅度的耗散梯度流

这里，中密度动力学的（非平衡稳态）解下的自信息或意外。感觉运动环路（注释：通过感觉运动环路，我们的意思是感觉状态影响内部状态，进而影响活动状态，反之则不然。） ——隐含在我们的粒子的定义——确保螺线管流的存在，这打破了时间反转对称性（Jiang et al., 2004）。

当随机波动较小时，螺线管贡献占主导地位，导致混沌巡回、湍流或螺线管混合（Friston 等人，2021；Namikawa，2005；Parret 等人，2020；Pavlos 等人，2012；Takens，1980；Tsuda 和藤井，2004）。螺线管流动是保守的，因为它通过在拉格朗日水平集上循环来排除耗散动力学。在确定性极限下，我们有一组吸引人的状态，路径被限制在其中。换句话说，轨迹总是会将系统性国家带回先前占领国家的附近；也就是说，结束于“一个人开始的地方”。

有趣的是，上面提到的大多数仿生模拟都是基于拉格朗日（即生成模型），其运动方程有一个奇怪的吸引子——一个具有分数维的吸引集 （Ma et al., 2014）；例如，（弗里斯顿和弗里斯，2015）。这些吸引子具有通过庞加莱截面的循环循环（Bramburger 和 Kutz，2020），这可能是某种奇怪的循环。

Discussion 讨论

“Was it utterly absurd to seek behind the ordering structures of this world a ‘consciousness’ whose ‘intentions’ were these very structures?” (Heisenberg, 1971)

自由能原理涉及许多问题。我们借此机会简要考虑四个。

第一个是与控制论中自组织的早期表述的联系；即阿什比的必要多样性定律（Ashby，1979）支撑了良好调节定理（Conant 和 Ashby，1970），后来被阐明为控制理论的内部模型原理（Francis 和 Wonham，1976）。必要多样性法则涉及主体内部模型的自由度。简而言之，有机体（即活性粒子）必须具有至少等于环境波动数量（即外部状态）的状态库。正如人们经常引用的那样：“只有多样性才能吸收[破坏]多样性”。在目前的情况下，这指的是广义内部状态的数量，与重要的广义外部状态的数量相关。物质的外部状态是慢速（动态不稳定）状态，可以与快速（动态稳定）波动区分开来（Carr，1981；Frank，2004；Haken，1983；小出，2017）。必要多样性法则是在上述形式主义下出现的，其要求是广义内部状态的数量必须大于广义外部状态的数量（这一点很重要）。这是因为内部状态在广义外部状态上发挥了变分密度的充分统计的作用，其中一个或多个每个外部状态的统计数据。必要多样性法则的这个例子说明了自由能原理描述的有感知行为的模糊本质。

在这里，感知被理解为基于推理的行为属性。即，随着内部状态的演变，统计流形上的运动。该（统计）流形上的运动对应于信念更新，从而对应于具有明确定义的信息几何的基本感知或意义构建（Caticha，2015；Ikeda 等，2004；Kim，2018）。话虽如此，有感觉的行为可能是如此基本以至于微不足道。例如，一个从具有更具表现力的恒温器及其外部状态模型的粒子（例如你和我）的角度来看，具有一个自由度来作用并代表其外部环境的恒温器只能表现出一种微弱的感知行为。

这涉及到我们的第二个问题；也就是说，关于自由能原理的任何哲学主张，与有感知的行为有关：简而言之，自由能原理是一种描述某些种类的粒子行为的方法，这些粒子可能具有强或弱的感知能力，具体取决于其方式其中一个粒子（例如，你或我）可以理解另一个粒子（例如，恒温器）。

当一个粒子的外部世界是由其他粒子构成时，我们就进入了集体行为和粒子相互作用的领域。从活性物质的角度来看，FEP 提供的关键视角是马尔可夫毯，它将粒子的内部自由度与其他粒子分开。它意味着主体隐含地对其他主体有信念——也就是说，生成模型需要他人的感觉，也许还有自我的感觉。主体之间的互动是通过毯子在主动推理过程中发生的——不仅仅是机械力——在交互中引入了感知的方面。各种特定种类之间的区别可能特别容易解释不同种类的活性物质（从最有知觉的到最有知觉的），正如在整个生命科学中不同程度地遇到的那样。分析越来越多的集成的程度将会很有趣。与各种研究的集体现象（例如模式形成、聚集和相变）相关，有感知的粒子具有代理之间更丰富的相互作用（例如通信）。在机器学习中，相互作用的粒子通常用于比单个粒子更快地实现目标（Borovykh 等人，2021），引入更多有感知（即超越惰性）的粒子也可能导致更丰富的相互作用和更“智能”行为：从生物智能到分布式认知（Levin，2019）。‍

第三，从统计的角度来看 ，自由能原理和完全类定理的应用之间存在有趣的相似之处（Brown，1981；Wald，1947）。完整的类定理断言，对于任何一对行为和偏好，都有一些先验使行为贝叶斯最优。在自由能原理的背景下，这转化为存在一些内部动力学的断言，这些内部动力学编码了关于外部动力学的先验信念，从而使自主动力学贝叶斯最优。这种对自主行为的描述是否是对内部动态本身的恰当描述是一个无法回答的问题。这是因为内部状态在构造上是不可访问的——它们对于所讨论的粒子来说是私有的。这就使得人们陷入了根据感觉和活动轨迹推断内部动态的游戏，这是对大多数生命科学的公平描述；特别是神经科学：例如（Zeki 和 Shipp，1988）。例如，许多现代神经科学试图利用神经影像学和电生理学来透视大脑的马尔可夫毯。或者，通过使用尸检研究和侵入性程序，突破马尔可夫毯子来观察内部状态。有趣的是，很多计算神经科学可以被定义为寻找最能解释受试者的选择和反应的生成模型（Parr et al., 2018）。

最后， 值得注意的是，在对自由能原理的简要说明中，许多事情尚未得到解决。例如，我们忽略了赋予动力学函数形式的状态；即定义拉格朗日的运动方程的参数。从流算子的参数相对于状态缓慢变化的意义上来说，这些参数必然引入时间尺度的分离。有趣的是，这分别引入了快时间尺度和慢时间尺度上的推理和学习之间的区别。在这个分析层面上，存在许多悬而未决的问题（Fields et al., 2021b）。例如，推理如何保证学习？自创生（Maturana 和 Varela，1980）可以用缓慢时间尺度的毯子建造来理解吗？是否存在从尺度到更保守（和奇怪）机制的自然进展（Jeffery 等人，2019）？颗粒如何粒子行为（Heins et al., 2022；Kuchling et al., 2020；Levin, 2019；Palacios et al., 2020）等等…