两栖机器龟登上Nature封面；深度去模糊综述论文入选IJCV

目录：

1. Quantum Algorithms for Sampling Log-Concave Distributions and Estimating Normalizing Constants
2. Multi-environment Robotic Transitions through Adaptive Morphogenesis
3. Sancus: Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Graph Neural Networks
4. Soft Diffusion: Score Matching for General Corruptions
5. On Distillation of Guided Diffusion Models
6. Deep Image Deblurring: A Survey
7. Dispersion-free highly accurate color recognition using excitonic 2D materials and machine learning
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Quantum Algorithms for Sampling Log-Concave Distributions and Estimating Normalizing Constants

• 作者：Andrew M. Childs 等
• 论文地址：https://arxiv.org/pdf/2210.06539.pdf

摘要：对数凹采样（log-concave sampling）在机器学习、物理、统计等领域有着诸多应用。本文基于朗之万扩散（Langevin diffusion）设计了新的量子算法，用于采样对数凹分布和估计归一化常数，相比最好的经典算法对于精度（ε），维度（d），条件数（κ）等参数达到了多项式级加速。

推荐：NeurIPS 2022 | 马里兰、北大等机构提出量子算法用于采样对数凹分布和估计归一化常数。
论文 2：Multi-environment Robotic Transitions through Adaptive Morphogenesis

• 作者：Robert Baines 等
• 论文地址：https://www.nature.com/articles/s41586-022-05188-w

摘要：近日，来自耶鲁大学的研究人员发明了一种两栖机器人，其灵感来自于海龟和陆龟，该机器人通过一种被称为「自适应形态发生，adaptive morphogenesis」的过程完成。他们还为这款机器人取了一个特别贴切的名字，英文叫 ART（Amphibious Robotic Turtle），中文为「两栖机器龟」。该研究于 10 月 12 日登上《Nature》封面。

推荐：耶鲁两栖机器龟登 Nature 封面，一种部件搞定水上、陆地行动。
论文 3：Sancus: Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Graph Neural Networks

• 作者：Jingshu Peng 等
• 论文地址：https://www.vldb.org/pvldb/vol15/p1937-peng.pdf

摘要：近年来，图神经网络（GNN）在社交媒体、电子商务、知识图谱、推荐系统、生命科学等领域得到了广泛应用。随着图数据规模的快速增长，亟需发展分布式大规模图神经网络高效训练技术。现有的方法主要采用中心化的参数服务器（PS）架构，计算节点间的大量网络通信成为了训练的性能瓶颈。
为了克服这一挑战，本文提出一种陈旧性感知且通信回避的去中心化全图 GNN 训练框架 SANCUS，实现了高效地分布式图神经网络训练。SANCUS 通过利用历史嵌入，主动创造异步性，避免大量通信；设计了跳过广播（skip-broadcast）机制，训练时动态重塑通信拓扑，实现了嵌入的灵活传输。为了自适应地维护历史嵌入，提出了嵌入有界陈旧性指标，并从理论上证明了陈旧性感知训练框架的收敛性。
实验结果表明，与 SOTA 方法相比，在不损失精度的前提下，SANCUS 可以节约高达 74% 的网络通信，平均吞吐量提升至少 1.86 倍。SANCUS 将传统分布式机器学习中的有界梯度陈旧性泛化到去中心化分布式 GNN 中的历史嵌入上，理论上新指标可以推广至其他分布式 GNN 训练架构。

推荐：VLDB 2022 最佳研究论文：克服通信挑战，新框架 SANCUS 实现 GNN 高效训练。
论文 4：Soft Diffusion: Score Matching for General Corruptions

• 作者：Giannis Daras 等
• 论文地址：https://arxiv.org/pdf/2209.05442.pdf

摘要：近日，在谷歌研究院和 UT-Austin 合作的一篇 arXiv 论文中，几位研究者认为扩散模型仍有一个重要的步骤：损坏（corrupt）。一般来说，损坏是一个添加不同幅度噪声的过程，对于 DDMP 还需要重缩放。虽然有人尝试使用不同的分布来进行扩散，但仍缺乏一个通用的框架。因此，研究者提出了一个用于更通用损坏过程的扩散模型设计框架。
具体地，他们提出了一个名为 Soft Score Matching 的新训练目标和一种新颖的采样方法 Momentum Sampler。理论结果表明，对于满足正则条件的损坏过程，Soft Score MatchIng 能够学习它们的分数（即似然梯度），扩散必须将任何图像转换为具有非零似然的任何图像。

推荐：Soft Diffusion：谷歌新框架从通用扩散过程中正确调度、学习和采样。
论文 5：On Distillation of Guided Diffusion Models

• 作者：Chenlin Meng 等
• 论文地址：https://arxiv.org/pdf/2210.03142.pdf

摘要：去噪扩散概率模型（DDPM）在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器（classifier-free）指导进一步提升了扩散模型的样本质量，并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模扩散模型框架中。
然而，无分类器指导的一大关键局限是它的采样效率低下，需要对两个扩散模型评估数百次才能生成一个样本。这一局限阻碍了无分类指导模型在真实世界设置中的应用。尽管已经针对扩散模型提出了蒸馏方法，但目前这些方法不适用无分类器指导扩散模型。
为了解决这一问题，近日斯坦福大学和谷歌大脑的研究者在论文中提出使用两步蒸馏方法来提升无分类器指导的采样效率。在第一步中，他们引入单一学生模型来匹配两个教师扩散模型的组合输出；在第二步中，他们利用提出的方法逐渐地将从第一步学得的模型蒸馏为更少步骤的模型。利用提出的方法，单个蒸馏模型能够处理各种不同的指导强度，从而高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样，研究者考虑了文献中已有的确定性采样器，并进一步提出了随机采样过程。

推荐：采样提速 256 倍，蒸馏扩散模型生成图像质量媲美教师模型，只需 4 步。
论文 6：Deep Image Deblurring: A Survey

• 作者：Kaihao Zhang 等
• 论文地址：https://link.springer.com/article/10.1007/s11263-022-01633-5

摘要：本文提出了一个图像去模糊方向的综述，澳大利亚国立大学、中山大学、美国加州大学 Merced 分校、日本乐天研究所的研究者回顾了基于深度学习的图像去模糊技术研究进展，回顾了图像去模糊的研究历史，总结了当前的研究进展，并进行了展望。该综述被计算机视觉旗舰期刊 International Journal of Computer Vision 接收。

推荐：IJCV 收录！深度去模糊综述论文来了。
论文 7：Dispersion-free highly accurate color recognition using excitonic 2D materials and machine learning

• 作者：DavoudHejazi 等
• 论文地址：https://www.sciencedirect.com/science/article/abs/pii/S1369702122002255

摘要：人的眼睛可以看见数百万种颜色，现在人工智能也可以。近日，来自美国东北大学的一个跨学科研究团队使用新的人工智能技术构建了一种可以识别数百万种颜色的新设备 A-Eye，这让机器视觉领域迈出了一大步，将被广泛应用于自动驾驶汽车、农业分拣和远程卫星成像等一系列技术。研究论文发表在了《Materials Today》上。

  推荐：借助独特 2D 材料和机器学习，CV 像人一样「看见」数百万种颜色。
ArXiv Weekly Radiostation机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

  本周 10 篇 NLP 精选论文是：
1. Longtonotes: OntoNotes with Longer Coreference Chains.  (from Andrew McCallum)

2. Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling.  (from Andrew McCallum)

3. Continual Training of Language Models for Few-Shot Learning.  (from Bing Liu)

4. Improving Sharpness-Aware Minimization with Fisher Mask for Better Generalization on Language Models.  (from Dacheng Tao

5. HUE: Pretrained Model and Dataset for Understanding Hanja Documents of Ancient Korea.  (from Kyunghyun Cho)

6. Language Models of Code are Few-Shot Commonsense Learners.  (from Yiming Yang)

7. IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces.  (from Philipp Koehn)

8. Multilingual Representation Distillation with Contrastive Learning.  (from Holger Schwenk, Philipp Koehn)

9. Are All Steps Equally Important? Benchmarking Essentiality Detection of Events.  (from Hongming Zhang, Dan Roth)

10. SubeventWriter: Iterative Sub-event Sequence Generation with Coherence Controller.  (from Hongming Zhang)  

  本周 10 篇 CV 精选论文是：
1. Sparse in Space and Time: Audio-visual Synchronisation with Trainable Selectors.  (from Andrew Zisserman)

2. QDTrack: Quasi-Dense Similarity Learning for Appearance-Only Multiple Object Tracking.  (from Trevor Darrell)

3. Retrospectives on the Embodied AI Workshop.  (from Ali Farhadi, Li Fei-Fei, Kristen Grauman, Silvio Savarese, Joshua B. Tenenbaum)

4. Multi-Modal Human Authentication Using Silhouettes, Gait and RGB.  (from Rama Chellappa)

5. AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression.  (from Shuicheng Yan)

6. Contact-aware Human Motion Forecasting.  (from Richard Hartley)

7. CLAD: A realistic Continual Learning benchmark for Autonomous Driving.  (from Tinne Tuytelaars)

8. Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking.  (from Jiri Matas)

9. DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action Recognition.  (from Kai Chen)

10. IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty.  (from Roberto Cipolla)  

本周 10 篇 ML 精选论文是：
1. Probabilistic Inverse Modeling: An Application in Hydrology.  (from Vipin Kumar)

2. SlenderGNN: Accurate, Robust, and Interpretable GNN, and the Reasons for its Success.  (from Christos Faloutsos)

3. Learning to Optimize Quasi-Newton Methods.  (from Marin Soljačić)

4. Q-LSTM Language Model -- Decentralized Quantum Multilingual Pre-Trained Language Model for Privacy Protection.  (from Xiangyu Zhang)

5. Efficient Offline Policy Optimization with a Learned Model.  (from Wee Sun Lee, Shuicheng Yan)

6. Few-shot Relational Reasoning via Connection Subgraph Pretraining.  (from Jure Leskovec)

7. Learning Physical Dynamics with Subequivariant Graph Neural Networks.  (from Joshua B. Tenenbaum)

8. Learnware: Small Models Do Big.  (from Zhi-Hua Zhou)

9. Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach.  (from Dacheng Tao)

10. PropertyDAG: Multi-objective Bayesian optimization of partially ordered, mixed-variable properties for biological sequence design.  (from Kyunghyun Cho)

© THE END