"> "> Yufei Luo's Blog - But I was so much older then, I am younger than that now.

引言

本文的主要内容是关于等变图神经网络的一些研究进展,简单介绍了几种用来实现等变的方法,以及在分子性质预测任务中的一些代表性网络结构的简介。注意本文的内容具有一定的时效性,主要介绍的是本文更新日期之前的工作。

阅读全文 »

得分函数

定义

假设\(\{\boldsymbol x_i\in \mathbb{R}^D\}_{i=1}^N\)是从未知的数据分布\(p_{\text{data}}(\boldsymbol x)\)中采集到的一组独立同分布的数据集,定义得分函数(score function)\(\boldsymbol s (\boldsymbol x)=\nabla_{\boldsymbol x}\log p(\boldsymbol x)\),即概率密度的对数函数在数据点\(\boldsymbol x\)处的梯度。也就是说,得分函数对应于一个向量场,它指出了概率密度增长最大的方向。

得分函数通常表示为\(\boldsymbol s_{\boldsymbol \theta} (\boldsymbol x)=\nabla_{\boldsymbol x}\log p(\boldsymbol x)\)的形式,也就是用一个神经网络来对得分函数进行近似,其中\(\boldsymbol \theta\)表示神经网络的参数。

阅读全文 »

Preface

Recently, more and more works are published talking about pre-training strategies on molecular data, which lead to better performance on downstream tasks of molecules. However, the relationship between molecular representation and pre-training methods still remains a mystery. This blog is a brief note about two works taking about the evaluation of pre-training tasks on molecular data.

Note that the two works only talk about pre-training on 2D molecular data. For 3D molecular data, there might be different results with 2D data.

阅读全文 »

引言

在分子性质预测任务中,有标签的数据通常十分宝贵。因此,目前有一些工作使用大规模无标签(或弱标签)数据集对模型做预训练,然后在下游任务上进行微调,从而提高在下游任务上的表现,下文将介绍其中的一些工作。本文具有一定的时效性,此外本文的内容以3D(即除了拓扑结构之外还包含有原子坐标信息)的分子为主。

阅读全文 »

简介

扩散模型是受非平衡热力学的启发提出的一种生成模型,最早出现于2015年的文章Deep Unsupervised Learning using Nonequilibrium Thermodynamics。它定义了一个扩散步骤的马尔可夫链,逐渐向数据添加随机噪声,然后学习逆扩散过程,从噪声中构建所需的数据样本。

目前所使用的扩散模型大都是基于2020年的去噪扩散概率模型(Denoising Diffusion Probabilistic Model,DDPM)这一工作,它对之前的扩散模型进行了简化,并通过变分推断来进行建模。本文主要内容为DDPM的相关知识,不涉及在此基础上的改进工作。

阅读全文 »

引言

自监督学习指的是构造辅助任务(pretext task),从大规模的无标签数据中构造出自身的监督信息,并使用其对模型进行训练。通过辅助任务所构造的监督信息,可以使得模型从中学习到对下游任务有价值的表征。

相比于监督学习,自监督学习的学习目标来自于人为定义;而相比于无监督学习,自监督学习中模型的训练方式采用的是更接近监督学习的方法。目前,自监督学习更被倾向于归类到无监督学习的范畴中去。

一些学者将图数据的自监督学习方法分为三大类:

阅读全文 »

常用离散分布

二点分布

二点分布又称0-1分布,或者伯努利分布,其分布列为: \[ P(X=x)=p^x(1-p)^{1-x}~~x=0,1 \] 它用于描述一次伯努利实验中成功的次数。

二项分布

\(X\)\(n\)重伯努利实验中成功的次数,\(p\)为每次伯努利实验中成功的概率,则\(X\)服从二项分布,记作\(X\sim b(n,p)\)。它的分布列为: \[ P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}~~k=0,1\dots,n \] 二项分布的期望和方差分别为: \[ \begin{aligned} &E(X)=np \\ &\text{Var}(X)=np(1-p) \end{aligned} \]

阅读全文 »

随机事件与概率

随机事件及其运算

随机现象

在一定的条件下,并不总是出现相同结果的现象被称为随机现象,例如投掷一枚骰子出现的点数。随机现象的结果不止一个,且人们事先无法知道哪一个结果出现。对相同条件下可以重复的随机现象的观察、记录、实验称为随机试验。

样本空间

随机现象的一切可能基本结果组成的集合称为样本空间,记为\(\Omega=\{\omega\}\),其中\(\omega\)表示基本结果,又被称为样本点。

样本空间具有以下特点:

  1. 样本空间中的元素可以是数也可以不是数。例如抛一枚硬币的样本空间为\(\Omega=\{\omega_1,\omega_2\}\),其中\(\omega_1,\omega_2\)分别代表正面朝上和反面朝上。
  2. 随机现象的样本空间至少有两个样本点。
  3. 从样本空间含有样本点的个数来区分,样本空间可以分为有限和无限两类。有限个或者可列的样本空间通常称为离散样本空间,而样本点的个数为不可列无限个的情况称为连续样本空间。
阅读全文 »

基本概念

区间估计

\(\{\mathscr{X},\mathscr{B},\mathscr{P}\}\)为一参数统计结构,其中\(\mathscr{P}=\{P_\theta:\theta\in \Theta\subseteq R\}\)。假设统计量\(\hat{\theta}_L(X)\)\(\hat{\theta}_U(X)\)满足条件\(\hat{\theta}_L(X)\le \hat{\theta}_U(X)\),则称区间\([\hat{\theta}_L(X), \hat{\theta}_U(X)]\)为参数\(\theta\)的一个区间估计。

阅读全文 »

基本概念

假设

\((\mathscr{X},\mathscr{B},\mathscr{P})\)为一统计结构,则\(\mathscr{P}\)的非空子集称为假设,在\(\mathscr{P}\)为参数分布族\(\mathscr{P}=\{P_\theta;\theta\in \Theta\}\)的情况下,\(\Theta\)的非空子集称为假设。

在一个假设检验问题中,通常涉及两个假设:所要检验的假设被称为原假设,记作\(H_0\);而与\(H_0\)不相容的假设被称为备择假设,记为\(H_1\)。关于统计结构\((\mathscr{X},\mathscr{B},\mathscr{P})\)的原假设和备择假设分分别记为: \[ H_0:P\in \mathscr{P}_0,~~H_1:P\in \mathscr{P}_1 \] \(\mathscr{P}_0\)\(\mathscr{P}_1\)\(\mathscr{P}\)的两个互不相交的非空子集。而

对于参数分布族的场合,原假设和备择假设又可分别写为: \[ H_0:\theta \in \Theta_0,~~H_1:\theta \in \Theta_1 \] 其中\(\Theta_0\)\(\Theta_1\)\(\Theta\)的两个互不相交的非空子集。

如果一个假设中只含有一个元素,则称该假设为简单假设,否则被称为复合假设。

阅读全文 »