Pearson and Spearman 计算
Pearson 相关系数 r 和 p 值总结
一、核心概念
| 指标 | 作用 | 含义 |
|---|---|---|
| r | 衡量相关性强度和方向 | 两个变量的线性相关程度 |
| p | 判断统计显著性 | 假设总体不相关，出现当前或更极端结果的概率 |
简单理解：r 看相关性有多强，p 看这种相关性是否有足够的统计证据支持。
二、Pearson r 的计算
- r\in[-1,1]
- r>0：正相关
- r<0：负相关
- r=0：无线性相关
- |r| 越接近 1，线性相关越强
三、p 值的计算（重点）
假设有 12 对数据，计算得到：
第一步：计算 t 统计量
代入：
第二步：计算自由度
减去 2，是因为对应的简单线性回归需要估计截距和斜率两个参数。
第三步：通过 t 分布计算 p 值
在原假设 H_0:\rho=0 成立，且满足相应的分布假设时，统计量服从自由度为 10 的 t 分布。
双侧检验：
即计算 t 分布曲线左右两端的面积之和：
含义： 如果总体真实相关系数为 0，那么在检验假设成立时，随机抽样出现至少如此极端相关性的概率约为 3.9%。
四、r 和 p 应该怎样解读？
| 结果 | 解读 |
|---|---|
| r = 0.8，p = 0.001 | 强正相关，有显著统计证据 |
| r = −0.7，p = 0.01 | 较强负相关，有显著统计证据 |
| r = 0.2，p = 0.001 | 弱正相关，但统计显著 |
| r = 0.8，p = 0.10 | 样本相关性强，但统计证据不足 |
| r ≈ 0，p > 0.05 | 未发现显著线性相关 |
注意：p>0.05 不等于证明两个变量不相关，p<0.05 也不等于相关性很强。
五、记住这三个公式
① 相关系数 r
② 将 r 转成 t，计算自由度
③ 通过 t 分布计算双侧 p 值
计算过程：
原始数据 → r → t 和 df → t 分布 → p
六、需要记住的 4 点
- r 决定线性相关性的方向和强度。
- p 衡量数据反对“总体无线性相关”假设的证据。
- p 由 r 和样本量 n 决定（常规双侧 Pearson 检验）；样本量越大，同样的非零 r 通常对应越小的 p。
- 以上 t 检验的精确推导需要独立观测、双变量正态等统计假设；相关不代表因果。
如果涉及大量 Pearson 检验，还需要对多个 p 值进行 FDR 校正，得到通常所说的 q 值。
Spearman 相关系数 ρ 和 p 值总结
一、核心概念
| 指标 | 作用 | 含义 |
|---|---|---|
| ρ（rho） | 衡量相关性强度和方向 | 两个变量的单调相关程度 |
| p | 判断统计显著性 | 在零假设成立时，出现当前或更极端相关性的概率 |
简单理解：ρ 看相关性有多强，p 看这种相关性是否具有统计学证据。
Spearman 与 Pearson 的主要区别：
- Pearson r：衡量线性相关性，使用原始数值。
- Spearman ρ：衡量单调相关性，使用数值的排名。
二、Spearman ρ 的计算
Spearman 的核心思想是：将原始数据转换成排名，再计算排名之间的 Pearson 相关系数。
当没有并列排名时，可以使用：
其中：
- d_i：第 i 个样本在两个变量中的排名差。
- n：样本数量。
例如，5 个样本：
| 样本 | X 排名 | Y 排名 | 排名差 d |
|---|---|---|---|
| A | 1 | 2 | −1 |
| B | 2 | 1 | 1 |
| C | 3 | 3 | 0 |
| D | 4 | 5 | −1 |
| E | 5 | 4 | 1 |
因此：
表示较强的正单调相关。
ρ 的取值范围为 [-1,1]：
- \rho=1：完全单调递增。
- \rho=-1：完全单调递减。
- \rho=0：无秩相关。
- |\rho| 越接近 1，单调相关程度越强。
注意：存在并列排名时，应使用平均排名并计算其 Pearson 相关系数。
三、Spearman p 值的计算
Spearman 可以使用近似 t 检验或置换检验。对于小样本，通常优先考虑精确置换检验。
方法一：近似 t 检验
计算统计量：
自由度：
计算双侧 p 值：
该方法属于近似检验，尤其在样本量很小时可能不够准确。
方法二：置换检验（重点）
核心原理：假设 X 和 Y 没有真实关联，随机打乱两者的对应关系，观察能否得到与原始数据一样强的相关性。
计算步骤：
- 使用原始数据计算 \rho_{\mathrm{obs}}。
- 保持 X 不变，随机打乱 Y 的顺序。
- 重新计算 \rho_{\mathrm{perm}}。
- 重复随机置换 B 次。
- 统计满足 |\rho_{\mathrm{perm}}|\geq|\rho_{\mathrm{obs}}| 的次数 b。
- 计算双侧 p 值。
随机置换检验的常用公式：
其中：
- B：随机置换次数。
- b：置换后相关系数绝对值不小于原始相关系数的次数。
- +1：将原始观测结果计入计算，同时避免出现 p=0。
置换检验的有效性要求数据在零假设下具有可交换性。
四、为什么选择 19,999 次置换？
设：
则：
例如，19,999 次随机置换中，有 199 次得到同样或更极端的相关系数：
不同置换次数对应的最小可报告 p 值：
| 置换次数 B | 最小 p 值 |
|---|---|
| 999 | 0.001 |
| 9,999 | 0.0001 |
| 19,999 | 0.00005 |
| 99,999 | 0.00001 |
选择 19,999 次主要有三个原因：
- 加上原始观测，总数恰好为 20,000，计算方便。
- p 值分辨率达到 0.00005。
- 计算成本适中，常规显著性分析通常具有较好的稳定性。
但置换次数越多，主要提升的是 Monte Carlo 估计的精度，并不会改变原始 Spearman ρ。
五、小样本为什么可以使用精确置换检验？
当样本量为 n，且所有观测可以自由交换时，共有：
种排列方式。
例如，只有 5 个样本：
可以穷举全部 120 种排列。
此时，精确置换 p 值为：
其中 b 是全部排列中满足以下条件的数量：
由于枚举了全部排列，包括原始排列，因此不需要额外加 1。
对于 47 个样本：
无法穷举，因此可以采用随机置换估计 p 值。
六、Pearson 与 Spearman 的区别
| 项目 | Pearson | Spearman |
|---|---|---|
| 相关系数 | r | ρ |
| 相关关系 | 线性相关 | 单调相关 |
| 计算基础 | 原始数值 | 数值排名 |
| 对极端值敏感性 | 通常较高 | 通常较低 |
| p 值计算 | 常用 t 检验 | 近似检验或置换检验 |
| 小样本 | 依赖相应分布假设 | 可使用精确置换检验 |
七、核心公式与计算流程
① Spearman 相关系数
无并列排名时：
② 随机置换 p 值
③ 穷举置换 p 值
④ FDR 校正后的 q 值
如果进行了多次相关性检验，可以使用 Benjamini–Hochberg（BH）方法对 p 值进行校正：
其中：
- m：同时进行的检验总数。
- p_{(j)}：从小到大排序后的第 j 个 p 值。
- q_{(i)}：第 i 个检验经 BH 校正后的 p 值。
八、完整计算流程
原始数据 → 排名 → Spearman ρ → 置换检验 → p 值 → FDR 校正 → q 值
最后记住 5 点：
- ρ 衡量单调相关性的方向和强度，不要求线性关系。
- p 衡量统计显著性，不是相关性真实存在的概率。
- 置换检验通过打乱样本对应关系，构建零假设下的相关系数分布，并统计原始结果有多极端。
- 19,999 次用于随机估计 p 值；5 个样本可以穷举 120 种排列，得到精确置换 p 值。
- q 是多个 p 值进行 FDR 校正后的结果，用于控制多重检验中的错误发现率。