热点资讯
物联网软件开发价格 最近的一篇数学论文引起了震荡，专揽神经采集发现发现新的物理！
发布日期：2024-07-18 15:49 点击次数：193
图片
第一届“欧洲基础物理东谈主工智能会议”(EuCAIFCon)于2024年4月30日至5月3日在阿姆斯特丹举行。会议上许多究诘齐蚁合在基础模子上，探讨是否不错专揽东谈主工智能发现潜在的新物理定律。令东谈主惊诧的是，最近一篇名为KAN的论文在arXiv上发布，探讨了专揽神经采集发现或再行发现物理和数学模子的可能性。
图片
接下来咱们将真切探讨构建KANs的数学公式和办法。以了解为什么这个采辘集引起如斯大的震荡！
KA暗示定理
KAN或Kolmogorov-Arnold采集基于有名数学家Kolmogorov和Arnold的暗示定理。率先，让咱们先退几步来集合这个定理。
KA定理是由这些数学家提议的，用于料理希尔伯特的第13个问题：是否系数七次方程的解齐不错用两个变量的代数函数来抒发？这是什么深嗜呢？
假定有如下的七次多项式：
图片
方程1
希尔伯特问，其解x，被觉得是三个变量a，b，c的函数，是否不错暗示为有限数量的二元函数的组合：
图片
KA暗示定理指出，关于任何连气儿函数
图片
存在一元连气儿函数g_q, ψ_{p,q}，使得：
图片
方程2：KA暗示定理
这意味着（2d+1)(d+1)个一元函数g_q, ψ_{p,q}足以精准暗示一个d变量函数。这里的过失点是，独一的信得过多变量函数是加法，因为其他系数函数齐不错使用一元函数和乞降来暗示。
咱们需要记着，g_q, ψ_{p,q}齐是一元函数。因此，任何多变量的连气儿函数齐不错暗示为一元函数的组合。哇！我之前不知谈。太酷了！
念念考KA定理和多层感知器（MLPs）
论文的作家指出，这些一维函数（之前界说的）可能是不光滑致使是分形的，因此在推行中可能无法学习。为了构建KANs，作家们极度了KA暗示定理的界说，但率先咱们来念念考MLPs。
多层感知器（MLPs）基于通用贴近定理，该定理指出任何连气儿函数f:[0, 1]ᵈ → [0, 1]齐不错通过至少包含一个隐敝层的神经采集（权重、偏差和非线性激活函数）来纵情精准地贴近。在反向传播历程中，采集学习优化权重和偏差以充任函数贴近器，而激活函数保握不变。
现时，咱们能否凭证上述KA暗示定理构建一个基于神经采集的架构？
要是筹商一个监督学习问题，给定{x_i, y_i}对，咱们想找到一个函数使得y_i ≈ f(x_i)，那么KA暗示定理告诉咱们，需要找到方程2中的一元函数（g_q, ψ_{p,q）。
图片
图1：念念考和构建KAN，摘自论文
在这里，作家们觉得，由于咱们只需要学习一元函数，咱们不错将每个一维函数参数化为B样条弧线（见下文），其局部B样条基函数的系数是可学习的。这导致了KAN的原型，并在图1（b）中进行了阐发，输入维度n=2发达为一个两层神经采集，激活函数遗弃在边上而不是节点上（在节点上进行简便的乞降），中间层的宽度为2n+1。采集的构造，即激活数、节点数等，将很快澄澈。鉴于方程2中的界说，原始KA暗示定理不错被视为深度为2，每层包含（2d+1）项。
B样条：咱们不错将B样条函数集合为由多个戒指点戒指的无邪带组成，用于创建平滑弧线。从数学角度更严格的界说是，p+1阶的B样条是由变量t中p阶的分段多项式函数B_{i, p}组成的蚁合。分段多项式连续处的t值被称为结点。
再次阐发，B样条由分段多项式（基函数）构建，其阶数比其基多项式的度数多一。举例，二次B样条的多项式度数为2，阶数为3。这恰是KAN论文中展示和使用的内容。
构建KAN层
仍是提到，代表原始KA暗示定理的两层采集太简便，无法纵情精准地贴近任何函数。咱们若何让KAN更宽、更深呢？
这里，作家提议了KAN和MLPs之间的绝佳类比以便更真切探讨。率先，咱们需要了解什么是KAN层以及若何将它们堆叠起来构建深度神经采集。
率先，不错将KA暗示以矩阵神气抒发：
图片
方程3：以矩阵神气念念考方程2
具有n_{in}维输入和n_{out}维输出的KAN层不错界说为一维函数的矩阵：
图片
方程4：莳植矩阵的维度
在Kolmogov-Arnold定理（方程2）中，里面函数组成一个n_{in}=n和n_{out}=2n+1的KAN层，外部函数组成一个n_{in}=2n+1和n_{out}=1的KAN层。此时，咱们不错将KA暗示视为两个KAN层的组合。让咱们尝试风气于堆叠更多KAN层时的秀美。
咱们不错使用作家提供的示例图来究诘采集维度等内容：
图片
图2：念念考KAN层：摘自论文
作家将n_i暗示为KAN中第i层的节点数，第l层的第i个神经元由(l, i)暗示，其中该神经元的激活由x_{l, i}给出。咱们觉得激活函数是位于采集图边际的可学习函数，节点暗示乞降运算。因此，在第1层（0层）和第2层（1层）之间，咱们看到有10个激活函数，分裂由ϕ_{0,1,1}, ϕ_{0,1,2}等暗示。激活函数的数量由0层和1层的节点数决定。
这里咱们不错澄澈地看到MLPs与KANs的区别。KANs的激活函数位于边际，而MLPs的激活函数位于节点上。
在第0层，咱们有两个节点x_{0,1}, x_{0,2}，在第一层，有5个，是以激活函数的数量将是n_l × n_{l+1}。
n_l和n_{l+1}是凭证方程4中界说的里面函数的输入和输出维度笃定的。因此咱们从两个输入n_{in}=2运转，是以n_{out}必须为2n+1=5。这反过来决定了隐敝层中激活函数的数量。
要是咱们不竭以节点数n_1=5和n_2=1(n_{out})，在该层有5个激活函数是合理的。这将是外部函数。重申一遍，KA暗示由两个KAN层组成。
KAN层的矩阵神气
现时咱们不错运转编写激活函数。让咱们望望：勾搭第l层和l+1层两个节点的激活函数由ϕ_{l, j, i}暗示，其中{j, i}分裂代表那两层中的第j和第i个神经元。
因此，在第l层和l+1层之间的可学习激活函数：
图片
方程5：KAN边际的可学习激活函数
咱们不错再次检讨图2，
图片
通过与图2比拟来集合节点数量。
咱们将ϕ_{l, j, i}的输入前激活暗示为x_{l, i}；然后在激活后有：
图片
激活前后的秀美
第(l+1, j)神经元的激活值简便地是系数传入激活后的乞降。
专揽这些，咱们不错界说激活的可学习变换矩阵：
图片
方程6：KAN不同层的完竣可学习激活函数集
专揽这个咱们也不错编写变换规则：
图片
方程7：完竣变换规则：给定激活矩阵的预激活和激活后。
再次检讨咱们的集合，因此与图2比拟：
图片
方程8：鉴于图2，检讨咱们是否能集合变换矩阵的维度！
如实有5个输出x_{1,1}, x_{1,2}, x_{1,3}, x_{1,4}, x_{1,5}。
一朝咱们准备好了变换矩阵，河北省物联网软件开发咱们不错简便地将它们组合（堆叠层）以便更真切地探讨，如下所示：
图片
方程9：通过堆叠些许KAN层来组成一个KAN
整场比赛，中国队一攻失误17次，而马刺队只有7次。其中杨瀚森和程帅澎分别失误4次，廖三宁和贺希宁各有3次失误。
今年年初，阿兰加盟了中超升班马青岛西海岸。本赛季，他已代表青岛西海岸出场16次，其中13次首发，贡献6个进球和2次助攻。
此时咱们也不错坚定到，系数运算齐是可微分的（假定1D函数亦然），梯度不错通过采集流动，即咱们不错进行反向传播！
咱们还不错将KAN与MLP层进行比拟，在MLP层中有权重矩阵（线性变换）和激活函数（非线性）分开：
图片
方程10：将KAN与MLP比拟；权重（线性）和激活（非线性）。
权重矩阵中的值会更新，但一朝界说，MLP中的激活函数便是固定的。这是KAN与MLP层之间的过失区别，咱们的激活函数是可学习的。
由于关于KAN来说，现时一切齐归结为激活函数，作家界说了若何构建这些函数。
可学习的激活函数
为了构建激活函数ϕ(x)，作家提议使用基函数(b(⋅))和样条函数，并将它们组合如下：
图片
方程11：将基函数和样条函数当作线性组合的可学习激活函数。
作家遴荐的基函数为SiLU：
图片
方程12：基函数b(⋅)的遴荐
关于样条函数，它是B样条的线性类似：
图片
方程13：样条函数当作B样条的线性组合。
要是纪念第二张图，咱们看到它是k=3的B样条的线性组合，即阶数为3，是以B样条中的多项式的度数为2。像这么界说样条的一个上风是，通过增多弧线的数量不错使其纵情平滑。这也在图2中泄露，作家增多了咱们勾搭不同多项式的区间数量，从7增多到12。
B样条的权重，即c_i，是可磨练的，作家觉得方程11中的因子w的独一用途是更好地戒指激活函数的总体大小。
MLP与KAN的参数数量
作家还究诘了频繁情况下，KAN比MLP运行较慢。为了集合这少量，咱们不错简便地通过假定采集深度为L，每层齐有调换数量的节点n_i=N，每个样条的阶数为k（频繁为3）在G个区间上，来筹算参数数量：
图片
KAN与MLP的参数数量对比
但是，KAN所需的宽度即N比MLP中的小，且KAN是可阐述的，咱们将看到作家提议的一个例子。作家强调磨练KAN比MLP慢的另一个原因是，由于激活函数是可学习的，弗成能专揽“批处理筹算”，即大批数据通过调换的函数。这在MLP中不是问题，因为在磨练和测试时辰内激活是固定的。
结语
这篇论文中还有许多复杂的细节，但对我个东谈主而言最凸起的是KAN的可阐述性。作家展示了KAN不错“发现”爽气单的除法法例到结表面中的超卓俗干系。这可能会进一步鼓舞KAN在AI与科学的基础模子中的应用。
作家建议，KAN可能比秀美回来更具“劝诱力”；作家给出了一个例子，通过KAN学习相当逶迤的20阶贝塞尔函数(J_{20}(x))，这通过秀美回来在莫得任何干于阿谁特殊函数（本例中为贝塞尔函数）的先验学问的情况下是弗成能的。
通过KAN的“发现”示例
在作家提议的许多示例中，我可爱一个相对简便但悠悠忘返的“自动可发现”特点的KAN。咱们老是可爱这类物理示例；比如，咱们从相对论速率加法公式运转：
图片
两个相对论速率的加法
咱们不错筹商KAN的深度，将每一层KAN视为发现一个数学运算；因此，望望上头的公式，率先咱们筹商乘法；作家泄露，学习的激活函数将是线性和二次的，是以：
图片
使用KAN学习乘法，将其视为线性和二次函数的组合
对(1+v_1 * v_2)的求逆将使用一层，而(v_1 + v_2)与(1/(1+v_1 * v_2))的乘法将需要另外两层；所有5层。
但接洽东谈主员发现，“自动发现”的KAN唯有2层深，这不错通过速率手段来阐述。
app在相对论中，咱们不错通过速率手段简化变换规则；不错界说速率为：
图片
咱们不错使用双曲正切加法公式：
图片
使用这个，不错看到：
图片
现时唯有两层统统有道理。要是咱们不知谈速率手段，试图集合这个2层的自动发现KAN可能会携带咱们发现这个手段。咱们不错像这个例子中那样使用KAN来发现/再行发现一些基本的物理定律吗？
加载和运行KAN
让咱们仔细望望上头的例子，作家在论文中也提到了这个例子，况且不错在GitHub上找到。咱们将在Colab上运行它。
咱们将运转土产货装配并加载必要的库。
!pip install pykanfrom kan import KAN, create_dataset
import torch
咱们创建了包含两组速率的数据集，这些速率在磨练和测试蚁合分开，况且有相应的回来值，即标签(f(v_1, v_2))。为了保障起见，咱们不错使用matplotlib检讨输入速渡过甚相应加成相对速率的漫衍。
f = lambda x: (x[:,[0]]+x[:,[1]])/(1+x[:,[0]]*x[:,[1]]) # dataset creation where x[:, [0]] represents v1, x[:, [1]]: v2dataset = create_dataset(f, n_var=2, ranges=[-0.9,0.9])#plot the distribution import matplotlib.pyplot as plt### check train and test input distributionfig = plt.figure(figsize=(10, 5))fig.add_subplot(131)plt.hist(dataset['train_input'][:, 0], bins=20, alpha=0.7, label=r'$v_1$-train', color='orange')plt.hist(dataset['train_input'][:, 1], bins=20, alpha=0.7, label=r'$v_2$-train', histtype='step')plt.legend(fontsize=12)fig.add_subplot(132)plt.hist(dataset['test_input'][:, 0], bins=20, alpha=0.7, label=r'$v_1$-test', color='orange')plt.hist(dataset['test_input'][:, 1], bins=20, alpha=0.7, label=r'$v_2$-test', histtype='step')plt.legend(fontsize=12)fig.add_subplot(133)plt.hist(dataset['train_label'].numpy(), bins=20, alpha=0.7, label=r'$\frac{v_1+v_2}{1+v_1\, v_2}$-train', color='orange')plt.hist(dataset['test_label'].numpy(), bins=20, alpha=0.7, label=r'$\frac{v_1+v_2}{1+v_1\, v_2}$-test', histtype='step')plt.legend(fontsize=12)plt.tight_layout()plt.show()咱们得到了数据和标签的这些直方图。
图片
图3：在[-1, 1]之间迅速漫衍的速渡过甚相应的（相对论性）加和值。
图片
图4：具有学习到的激活函数的两层KAN
第一层的激活函数仍是看起来像arctanh，第二层的激活函数看起来像tanh。这确切很酷！
尝试从模子中获得第一层激活函数的秀美函数暗示的建议，揭示了咱们骨子看到的内容：
model.suggest_symbolic(0, 1, 0)>>> function , r2arctanh , 0.9986623525619507tan , 0.9961022138595581arcsin , 0.968244731426239
第二层也雷同：
model.suggest_symbolic(1, 0, 0)>>> function , r2tanh , 0.9995558857917786arctan , 0.995667040348053gaussian , 0.9793974757194519
咱们如实得到tanh当作秀美函数的最好建议。
我相当抖擞地看到基础AI、物理学和数学的接洽者将若何归并KAN和MLP物联网软件开发价格，大意修改KAN使其更快、更好、可能更具阐述性（要是这是可能的）；此外，发现/再行发现物理定律的可能性，可能在天体物理学、寰球学边界，应该是使用KAN需要探索的另一个方面。
本站仅提供存储奇迹，系数内容均由用户发布，如发现存害或侵权内容，请点击举报。