非参数统计结构的检验

$U$ 统计量检验

$U$ 统计量

设有样本 $X=(X_1,\dots ,X_n)$，并设 $\varphi$ 为 $X_1,\dots ,X_m(m\le n)$ 的对称函数，令： $$U=U(X_1,\dots ,X_n)={(\genfrac{}{}{0ex}{}{n}{m})}^{-1}\cdot \sum \varphi (X_{i_1},\dots ,X_{i_m})$$ 其中 $1\le i_1<\cdots <i_m\le n$，$\sum$ 代表对所有的组合 $(i_1,\dots ,i_m)$ 求和。则 $U$ 是以 $\varphi (X_1,\dots ,X_m)$ 为核的 $U$ 统计量。

定义

定义在统计结构分布族 $\mathcal{P}=\{P_{\theta },\theta \in \mathrm{\Theta }\}$ 上的一个实值泛函 $g(P)$ 称为参数，而统计结构 $(\mathcal{X},\mathcal{B},\mathcal{P})$ 上的用来估计 $g(P)$ 的实值统计量称为 $g(P)$ 的点估计量，简称估计。为简单起见，常用 $\theta$ 表示参数，以 $\hat{\theta }=\hat{\theta }(X)$ 表示其点估计。

一般来说，任何定义在 $\mathrm{\Theta }$ 上的实值函数都可以称为参数，例如均值、方差等特征数。

统计结构

设 $(\mathcal{X},\mathcal{B})$ 为可测空间，$\mathcal{P}$ 为其上的一个概率分布族，则称三元组 $(\mathcal{X},\mathcal{B},\mathcal{P})$ 为统计结构，或称为统计模型。假如分布族 $\mathcal{P}$ 仅依赖于某个参数（或者参数向量）$\theta$，即 $\mathcal{P}=\{P_{\theta }:\theta \in \mathrm{\Theta }\}$，其中 $\mathrm{\Theta }$ 为参数空间，则称此结构为参数（统计）结构，或成为参数模型；否则被称为非参数模型。

由简单统计结构可以派生出乘积结构。设 $(\mathcal{X},\mathcal{B},\mathcal{P})$ 和 $({\mathcal{X}}^{\prime },{\mathcal{B}}^{\prime },{\mathcal{P}}^{\prime })$ 为两个统计结构，则称 $(\mathcal{X}\times {\mathcal{X}}^{\prime },\mathcal{B}\otimes {\mathcal{B}}^{\prime },\mathcal{P}\otimes {\mathcal{P}}^{\prime })$ 为二者的乘积结构，并记为 $(\mathcal{X},\mathcal{B},\mathcal{P})\otimes ({\mathcal{X}}^{\prime },{\mathcal{B}}^{\prime },{\mathcal{P}}^{\prime })$，其中 $$\mathcal{P}\otimes {\mathcal{P}}^{\prime }=\{P\otimes P^{\prime }:P\in \mathcal{P},P^{\prime }\in {\mathcal{P}}^{\prime }\}$$ 特别地，$n$ 个相同统计结构乘积结构被称为重复抽样结构，记为 $(\mathcal{X},\mathcal{B},\mathcal{P}{)}^n$。

概述

条件随机场（Conditional Random Field，CRF）是给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。本文主要讨论线性链条件随机场，这一方法在标注问题中被广泛使用，例如自然语言处理中的词性标注等。

基本概念

隐马尔科夫模型（Hidden Markov Model，HMM）是可以用于标注问题的统计学习模型，描述由隐藏的马尔科夫随机链随机生成观测序列的过程。HMM 属于生成模型，在语音识别、自然语言处理、生物信息等领域有着广泛的应用。

概述

对抗样本指的是在数据集中故意地加入细微的干扰（有时人眼无法识别这样的干扰）所形成的输入样本，这样的样本会导致模型以高置信度给出一个错误的输出。以分类问题为例，对抗样本用数学语言可以描述为，给定输入数据 $x$ 和分类器 $f$，对应的分类结果为 $f(x)$，假设存在一个非常小的扰动 $ϵ$，使得 $f(x+ϵ)!=f(x)$，那么 $f+ϵ$ 便为一个对抗样本。

下图为对抗样本的一个示例图：

0cefd3e81fbcfb41b6e83b3a55d474e6

按照攻击后的效果，对抗样本分为 Targeted Attack 和 Non-Targeted Attack。前者在攻击之前会预先设定好攻击的目标，例如把红球识别为绿球，也就是说攻击之后的结果是确定的；而后者指的是攻击之前不设定攻击目标，只要攻击之后识别结果发生改变即可。

按照攻击成本，对抗样本分为白盒攻击、黑盒攻击和物理攻击。白盒攻击的难度最低，要求能够完整地获取模型的结构，包括模型的组成以及参数，并且可以完全地控制模型的输入。这一前置条件比较苛刻，通常用作学术研究或者是黑盒攻击和物理攻击的研究基础；黑盒攻击的难度相较于白盒攻击有了很大提高，它完全把要攻击的模型当作一个黑盒，对其结构没有任何了解，只能控制模型的输入。通过对比输入和输出的反馈来进行下一步攻击；物理攻击的难度最大，除了不了解模型的结构，对于模型输入的控制也很弱。以攻击图像分类模型为例，攻击样本要通过相机或者摄像头采集，然后经过一系列预处理之后再送入模型。

本文以计算机视觉相关的深度学习模型为例，对几种白盒攻击算法和黑盒攻击算法，以及常用的防御算法进行简单介绍。

简介

本文汇总了 Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations和 Physics-informed machine learning这两篇文章中的主要思想。

在物理学、工程学等领域，经常会遇到数据难以获取的或者获取成本过高的情况，但是前沿的机器学习算法，尤其是神经网络，又无法保证小样本条件下的鲁棒性。考虑到一些实际问题通常需要满足某种物理规律或者经验公式，因此一个可行的办法是将这些模型引入到神经网络的训练过程中，作为网络的正则化项，从而将神经网络的输出限制到某个比较小的取值空间内，使用少量的数据也可以训练出一个预测较为准确的神经网络。而反过来说，将这些结构化的信息输入到模型中也相当于是对原始数据的信息增益，这样便使得模型可以接收到更多的信息，从而加速模型的收敛过程。

简介

卡尔曼滤波是一种根据线性系统状态方程，通过使用系统的输入输出与观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰影响，所以最优估计也可以看做是滤波过程。简单地说，卡尔曼滤波要解决的是如何从多个满足高斯分布的不确定性信号中提取相对精确的信号。

举一个简单的例子，考虑平面轨道上面的一个小车，我们要估计它在每个时间步的位置。现在有一个模型，可以通过 $t$ 时刻的位置来计算出 $t+1$​​时刻的位置，但是模型的计算结果仅仅是理论值，实际会受到各种因素的影响；同时有一个传感器，可以用于测量小车在 $t+1$ 时刻的位置，但是传感器也存在一定的误差。使用卡尔曼滤波，就可以把 $t+1$ 时刻模型的计算值与传感器的测量值按照一定的权重进行合并，得到一个新的估计值，而这个值又可以用于 $t+2$​时刻的迭代过程。这一过程可以表示为下图：

image-20210815115931666

简介

图神经网络在结点和图的分类任务上可以取得 SOTA 的效果，但是人们对于它的表征能力和限制仍然了解不多。在 How Powerfol are Graph Neural Networks这一工作中，作者提出了一个分析图神经网络表达能力的理论框架，并基于此证明了一些网络结构如 GCN、GraphSAGE 并不能区分出一些简单的图结构。同时作者也提出了 GIN 这一图神经网络变体，它可以完成 Weisfeiler-Lehman 图同构测试，并且在一些任务上能够取得新的 SOTA。

前言

在一些目前应用较广的目标检测网络中，如 YOLOv3 等，目标框的尺寸需要基于 Anchor 进行计算，而且最终要使用 NMS 去掉多余的检测框。但是由于目标检测的效果依赖于 Anchor 的尺寸选取，因此对于不同的目标检测任务，就需要对 Anchor 的尺寸进行调整。而在推理过程中，如果实际的目标尺寸与 Anchor 吻合地较差，则也会影响目标检测的效果。此外，NMS 的后处理过程也增加了额外的计算开销，而且这样也使得网络无法进行 End-to-end 方式的训练。

因此，目前出现了一些关于 Anchor-free 和 NMS-free 的相关研究，下文将介绍一些相关的工作。注意本文的实效性仅限于 2021 年。