860fu传奇手游传奇手游sf发布网860fu

防不胜防 2024-08-21 04:36:52 传奇手游 1246 ℃

正文

机器之心报导

做者860fu传奇手游：维度、陈萍、小舟

ICLR 2021 距正式召开还有一个月的时间860fu传奇手游，今日公布了八篇出色论文860fu传奇手游，主题涵盖复杂查询应答、图收集网格模仿以及基于随机微分方程的分数生成式建模等。此外，那八篇出色论文中也有多位华人学者的参与。

机器进修顶会 ICLR 2021 将于本地时间 5 月 3 日至 7 日线上举行。1 月份，ICLR 2021 放出了本届会议的论文领受成果860fu传奇手游：在 2997 篇有效投稿中，共有 860 篇论文被领受，此中 53 篇 Oral，114 篇 Spotlight，其余为 Poster。

本届 ICLR 会议的领受率为 29%，相较 2020 年的 26.5% 有所提拔。别的，值得存眷的是，差别于 2020 年的 30 余篇满分论文，本届会议只要 15 篇论文获得了均匀 8 分及以上的分数，也没呈现「满分论文」。

今日，ICLR 2021 官方从 860 篇领受论文中挑选出了八篇出色论文，研究主题涵盖操纵神经链接预测器的复杂查询应答、通过图收集进修网格模仿、将主成分阐发视做纳什平衡问题以及基于随机微分方程（SDE）的分数生成式建模等。

此外，在八篇出色论文中，有多位华人学者的参与，此中一篇《Rethinking Architecture Selection in Differentiable NAS》的一做 Ruochen Wang 曾就读于上海财经大学，另一篇《Score-Based Generative Modeling through Stochastic Differential Equations 》的一做宋飏（Yang Song）本科结业于清华大学，还曾是清华计算机科学系墨军传授的学生。

ICLR 2021 八篇出色论文

论文 1860fu传奇手游：Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters

做者：Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu

机构：AWS AI、Google Research 等

论文链接：https://openreview.net/pdf?id=rcQdycl0zyk

摘要：近来一些研究显示出超复杂空间中表征进修的胜利。详细来说：带有四元数的全毗连层（四元数是指 4D 超复数），此中用四元数的汉密尔顿积取代了全毗连层中的实值矩阵乘法，那种办法节省了参数，只要 1/4 的可进修参数，在各类应用中实现了可与之前的办法媲美的性能。但是，那种超复杂空间只以几种预定义维度（4D、8D 和 16D)存在。那限造了操纵超复杂乘法的模子的灵敏性。为此，该研究提出了一种对超参数乘法停止参数化的办法，使得模子可以从数据中进修乘律例则，而无需考虑此类规则能否预先定义。成果，该办法不只包罗汉密尔顿积，并且还学会了在肆意 nD 的超复杂空间上运行。与全毗连层的对应对象比拟，利用肆意 1/n 可进修参数能够供给给更大的架构灵敏性。在天然语言推理、机器翻译、文本款式迁徙和主谓词一致方面临 LSTM 和 transformer 模子停止应用的尝试验证了该办法的架构灵敏性和有效性。

一做 Aston Zhang 为《脱手学深度进修》的做者之一，博士结业于 UIUC，现为亚马逊高级科学家。

论文 2：Complex Query Answering with Neural Link Predictors

做者：Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez

机构：伦敦大学等

论文链接：https://openreview.net/pdf?id=Mos9F9kDwkz

摘要：神经链接预测器关于识别大规模常识图谱中的缺失边十分有用。但是关于答复多个域中呈现的更复杂查询，若何利用那些模子尚不清晰，例如利用逻辑合取 (∧)、析取 (∨) 、存在(∃) 的查询，同时还要考虑缺失的边。该研究提出了一种框架，能够有效地答复不完好的常识图谱上的复杂查询。该办法将每个查询转换为端到端可微目的，此中每个原子的实值由预训练的神经链接预测器计算。研究者进一步阐发了优化问题的两种处理计划，包罗基于梯度的搜刮和组合搜刮。该研究的尝试表白，该办法比 SOTA 办法的准确率更高，并且无需在大型复杂查询集上训练。利用少了几个数量级的训练数据，该研究在包罗现实信息的几种常识图谱中将 Hits@3 从 8% 提拔到 40%。最初，该研究解释了该模子用于每个复杂查询原子的中间处理计划所得的成果都是可解释的。

论文 3：EigenGame: PCA as a Nash Equilibrium

做者：Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel

机构：DeepMind

论文链接：https://openreview.net/pdf?id=NzTU59SYbNq

摘要：该研究提出了一种新颖的概念，将主成分阐发（principal component analysis, PCA）看做合作性游戏，此中每个近似本征向量由一个玩家控造，其目标是更大化效用函数。研究者阐发了 PCA 游戏的特征以及基于梯度更新的行为，并提出了一种将 Oja 规则中的元素与泛化 Gram－Schmidt 正交化连系起来的算法，该算法通过动静传递实现了分离化与并行化。最初，该算法的可扩展性在大型图像数据集和神经收集激活的尝试中获得了验证。

分离式算法 1 和 2。

论文 4：Learning Mesh-Based Simulation with Graph Networks

做者：Tobias Pfaff、Meire Fortunato、Alvaro Sanchez-Gonzalez、Peter W. Battaglia

机构：DeepMind

论文链接：https://openreview.net/pdf?id=roNqYL0_XP

摘要：该研究提出了一个利用图神经收集来进修网格模仿的模子 MeshGraphNets。通过训练，该模子能够在网格图上传递信息，并在前向模仿过程中适应网格离散化。尝试表白，该模子能够准确地预测各类物理系统的动力学，包罗有空气动力学、构造动力学等。该模子的自适应性使其能够进修与分辩率无关的动力学，并能在测试时扩展至更复杂的形态空间。该研究提出的办法扩展了神经收集模仿器能够处理的问题范畴，并有望提拔复杂科学建模使命的效率。

MeshGraphNets 在球体动力学（SphereDymanic）中的运行演示图。

论文 5：Neural Synthesis of Binaural Speech from Mono Audio

做者：Alexander Richard、Dejan Markovic、Israel D. Gebru、 Steven Krenn、 Gladstone Alexander Butler、 Fernando Torre、 Yaser Sheikh

机构：Facebook Reality Labs 、Pittsburgh

论文链接：https://openreview.net/forum?id=uAX8q61EVRu

摘要：该研究提出了一种用于双声道声音（binaural sound）合成的神经衬着办法，该办法能够实时产生传神且空间准确的双声道声音。该收集以单通道音频源做为输入停止合成，按照听者相关于声源的相对位置和标的目的，合成两通道双声道声音做为输出。研究人员在理论上研究了 l2-loss 对原始波形的影响，并引入了一种改良的丧失，克制了那些限造。在经历评估中，证明该研究提出的办法是首个产生空间准确的波形输出（由实在记录丈量），无论在定量和感知研究中，优于现有的办法。

论文 6：Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

做者：Atsushi Nitanda、 Taiji Suzuki

机构：东京大学信息科学与手艺研究生院等

论文链接：https://openreview.net/pdf?id=PULSD5qI2N1

摘要：该研究阐发了用于回归问题的超参数两层神经收集的均匀随机梯度下降的收敛性。研究发现，神经正切核 (NTK)在基于梯度办法的全局收敛性方面起着重要感化。然而，在 NTK 机造下，仍有收敛速度阐发的空间。该研究证了然通过操纵目的函数和与 NTK 相关的 RKHS 的复杂性，均匀随机梯度下降能够到达 minimax 更优收敛速度，而且具有全局收敛包管。

此外，该研究还证了然在必然前提下，通过对 ReLU 收集的光滑迫近，能够以更优的收敛速度进修由 ReLU 收集的 NTK 指定的目的函数。

论文 7：Rethinking Architecture Selection in Differentiable NAS

做者：Ruochen Wang、 Minhao Cheng、 Xiangning Chen、 Xiaocheng Tang、Cho-Jui Hsieh

机构：加州大学洛杉矶分校计算机科学系、DiDi AI 尝试室

论文链接：https://openreview.net/pdf?id=PKubaeJkw3

摘要：可微神经架构搜刮（ (NAS)）是目前更流行的神经架构搜刮办法之一，具有搜刮效率高、搜刮简单等长处，那种办法通过基于梯度的算法在权重共享的 supernet 中结合优化模子权重和架构参数来实现。固然关于 supernet 优化的讨论良多，但架构选择过程却很少遭到存眷。该研究按照尝试和理论阐发表白，架构参数的几其实不代表对 supernet 性能的奉献。

该研究提出了一种基于扰动的架构选择的替代计划，它能够间接丈量每个操做对 supernet 的影响。该研究用提出的架构选择从头评估了几种可微 NAS 办法，并发现它可以从底层 supernet 中持续提取显著改良的架构。此外，研究发现，该研究所提出的选择办法能够大大改善 DART 的几种失效形式，那表白 DART 中察看到的泛化才能差的大部门原因是基于量级的架构选择失败，而不是 supernet 的完全优化问题。

论文一做 Ruochen Wang 曾就读于上海财经大学，现为 UCLA 计算机科学硕士。

论文 8：Score-Based Generative Modeling through Stochastic Differential Equations

做者：Yang Song、Jascha Sohl-Dickstein、Diederik P. Kingma、Abhishek Kumar、Stefano Ermon、Ben Poole

机构：斯坦福大学、谷歌大脑

论文链接：https://openreview.net/pdf?id=PxTIG12RRHS

摘要：该研究次要介绍了基于随机微分方程（SDE）的分数生成式建模。详细地，研究者提出了一个通过迟缓注入噪声来光滑地将复杂数据散布转化为已知先验散布的随机微分方程，以及通过迟缓地去除噪声来将先验散布转化回数据散布的逆时 SDE。十分重要的一点是，逆时 SDE 只依赖于扰动数据散布随时间变革的梯度场。通过操纵分数生成式建模的停顿，该办法能够准确地通过神经收集估量分数，并利用数值 SDE 求解器来生成样本。此外，研究者引入了预测器 - 纠正器框架来纠正离散逆时 SDE 演化中呈现的误差，推导出了从与 SDE 不异的散布中采样的等价神经常微分方程（ODE），从而使得切确的似然计算成为可能，并提拔了采样效率。