文章目录
- 6 第二个讲座：Deep Learning in Gene Expression Analysis
-
- 6.1 Introduction
- 6.2 D-GEX
-
- 6.2.1 Connectivity map project
- 6.2.2 Predicting gene expression from landmark genes
- 6.3 Deep generative models for genomics
-
- 6.3.1 Manifold hypothesis
- 6.3.2 Autoencoders
- 6.3.3 Generative models and variational autoencoders
- 6.4 SAILER
-
- 6.4.1 scATAC-seq
- 6.4.2 SAILER
- 6.4.3 Conditional VAE
- 6.5 Multimodal DL for Single Cell Multimodal Omics
来自Manolis Kellis教授（MIT计算生物学主任）的课
YouTube：(Gene Expression Prediction - Lecture 09 - Deep Learning in Life Sciences (Spring 2021)
Slides: slides
本节课分为四个部分，本篇笔记是第三部分。
主要是Xie Lab的一个讲座，讨论其组里的一些工作。在基因表达分析中应用深度学习。从介绍D-GEX开始，用于从关键基因预测基因表达的模型。接下来，将深度生成模型在基因组学中的应用，包括流形假设、自编码器，以及变分自编码器。此外，还介绍SAILER，这是一种基于单细胞ATAC-seq数据的模型，以及VAE。最后探索了多模态深度学习在单细胞多组学中的应用。
6 第二个讲座：Deep Learning in Gene Expression Analysis
6.1 Introduction
高通量测序技术的发展，越来越多的生物数据
- 基因组学/表观基因组学：WGS、WES、ChIP-seq、DNase-seq、ATAC-seq
- 主要分析DNA序列和调控的
- 转录组
- RNA-seq、smRNAseq、IncRNA-seq
- 研究RNA表达与功能
- 代谢组
- 蛋白质组
数据来自不同的生物学方面，进行整合和处理输入到模型中
- 需求与挑战
- 需求：需要能够可视化、整合和解释数据的方法，以推动生物学发现。
- 挑战：
- 维度的诅咒（Curse of dimension）：数据特征数量远多于样本数量，可能导致分析模型过拟合。
- 噪声（Noise）：数据收集过程中的随机误差或变异。
- 稀疏/缺失值（Sparse/missing values）：不完整的数据可以导致分析困难。
- single cell genomics容易出现
- 偏见，实验工件（Bias, experimental artifacts）：数据可能包含非生物学信号的偏差，如实验操作不当产生的工件。
开发基于多模态的，整合多个技术，来进行潜在生物学分析的方法论非常关键
- 多模态单细胞组学
- 基因表达：scRNA-seq（单细胞RNA测序）
- 染色质可及性：通过测序技术如ATAC-seq来测量。
- DNA甲基化：通过单细胞甲基化测序（scM&T-seq）来测量。
- 染色体构象：通过Hi-C技术来测量。
- 核小体占据：通过单细胞ChIP测序等技术来测量。
这些技术在单细胞水平上为我们提供了一个全面的生物学图景，使我们能够理解在单个细胞内基因是如何被调控的
- 多模态深度生成模型（四种）
- 潜在因子分解
- 联合生成
- 交叉生成
- 协同
- 简单介绍了一下他们实验室的模型
- DANQ：identify非编码区的DNA序列功能
- D-GEX：预测基因表达
- FactorNet：预测转录因子在全基因组中的结合
- 通过大量ChIP-seq analysis的数据，训练，来预测特定细胞类型方式中的转录因子集合类型
- scFAN
- 单细胞上的转录因子结合
- 感兴趣的是单个细胞上单个转录因子的结合方式
- uFold
- RNA二级结构预测
- SAILER
- 生成模型，ATAC-seq数据，表达和染色质数据都是高维数据，包含成千上万个基因/基因组位置的测量值。
- 这里使用生成模型来学习数据的压缩表示，来揭示基因表达模式背后的隐藏因素（在染色质分析中，它可能有助于理解基因调控元件之间的关系，如增强子和沉默子如何影响基因的表达。）
- 先介绍一下D-GEX
- 概述一下VAE如何应用在基因组学的研究
- 使用生成模型对ATAC-seq分析进行扩展，思考如何从数据集中消除试验性的混杂因素，学习反应生物表征，而不是实验制品。涉及一些新方法
- 多模态
6.2 D-GEX
6.2.1 Connectivity map project
时间不够了，很快的进行展示
2006年就发起的项目，C-Map，包含了不同小分子药物对培养的人类细胞处理后的基因表达数据
疾病、基因、药物之间的关系。研究人员可以查询某种药物引起的特定基因表达模式，看它是否与某种疾病状态的基因表达模式相匹配，进而发现可能的药物再利用（drug repurposing）机会或新的药物靶点。
后来人们想要将这种方法扩展到大型化学库、不同的基因型、多个细胞系。但是面临基因表达分析十分昂贵的问题
于是提出了**“The 1000-Gene Solution”**，只测量1000个基因（有代表性的）的表达，这可以以高通量和低成本进行，而不是整个基因组中的20000个基因都测。剩余基因的表达模式是推断出来的。
主要思想是，很多基因表达高度相关，所以可以通过小部分，来推测出全基因组的表达模式。
我们通过PCA进行降维，发现少量的主成分，可以解释绝大部分的方差。这样子的方式激发了他们去进行**“The 1000-Gene Solution”**方法的开发
6.2.2 Predicting gene expression from landmark genes
基于cmap
后续他们就开发了深度学习方法，通过已经测量的978个基因，来预测剩余的21000个基因的表达水平
6.3 Deep generative models for genomics
6.3.1 Manifold hypothesis
处理高维数据的技术——流形假设
-
虽然数据（如生物数据）可能存在于多维空间中，但“真实”的可变性可以在更少的维度中捕获。
- 发现数据的低维表示，这些表示被称为平滑流形。这通过在更少的维度空间中表示数据，同时仍保留原始数据集的内在属性，来简化数据的复杂结构。
-
流形学习——发现高维数据中低维结构的无监督学习
- 理解大型生物医学数据集更有帮助
-
NDR（非线性降维）/流形学习的转换
- 其中高维聚类中的数据点被投影到保留某些结构（标记为A和B的簇）的低维空间中。
6.3.2 Autoencoders
生成模型（自编码器、VAE、GAN）
6.3.3 Generative models and variational autoencoders
主要是介绍了VAE，我就不记录了，李宏毅那自己学
一些相关模型，主要功能是填补缺失值、去噪（如测序错误），学习潜在的细胞表达水平的概率分布等等
-
scRNA-seq往往是离散的数据集，不是连续的，而且有很多0值，所以人们使用**零膨胀负二项分布（ZINB）**来对其进行建模
-
跟自编码器的区别就是不是基于高斯分布的，是基于这个ZINB的
-
除了去噪外，还有处理dropout事件（比如基因有表达但是没测到）
- 处理dropout：通过ZINB分布来建模数据，自编码器不仅能够捕获基因表达的平均水平和变异性，还能专门对dropout事件进行建模。
还有一项类似的工作，不详细介绍
6.4 SAILER
6.4.1 scATAC-seq
scATAC-seq（单细胞ATAC测序）是一种技术，它可以在单个细胞的水平上评估染色体DNA上区域的可及性。
该技术生成的数据是高维的，并且通常难以解释。
数据分析的第一步通常包括降维和聚类，其目标是学习a representation informative on biological variations，同时对混杂因素保持不变。
6.4.2 SAILER
-
SAILER方法旨在
- 从多个批次的scATAC-seq数据中提取一个潜在表示（latent representation）
- 同时处理混杂因素
- 批次效应（Batch information）：不同批次的数据展现出不一致的模式
- 测序深度（read depth）：不同细胞的测序深度
-
混杂因素与细胞数据concat，并一同输入到decoder中。
-
目标是学习一个在混杂因素变化时保持不变的潜在表示，并在训练过程中尽量减少潜在变量和混杂因素之间的互信息
6.4.3 Conditional VAE
这块CVAE具体的数学原理我自己还需要学习，还有如何贴合SAILER这个模型解决的问题（去噪）
VAE的潜在空间的某个维度与已知生物标志物的关联，我们可以验证与特定通路之间的关系。
- 条件变分自编码器（CVAE）
通过学习输入数据的潜在表示来重构输入数据，同时能够编码与混杂因素（如实验批次或测序深度）无关的信息
- 该编码器被训练为忽略与混杂因素相关的信息，只编码与生物学变异有关的信息
- condition那个部分，一般是指某个特定的实验条件
- 目标函数：在保留与混杂因素无关的数据表示的同时，最大化条件对数似然（即数据的概率，给定潜在表示和混杂因素）。这通常涉及最小化潜在变量和混杂因素之间的互信息。
变分损失（Variational loss）:
- 描述了CVAE的训练过程中需要最小化的损失函数，包括重构误差和潜在空间的正则化项（例如KL散度）。这有助于模型学习如何生成数据的潜在因素，同时忽略不相关的噪声或混杂因素。
-
展示了SAILER方法如何用于学习在各种混杂因素存在时的稳健的潜在细胞表征。
- 细胞类型的数量和批次效应。
- 使用降维方法，展示了不同方法（LSI, SCALE, SAILER）对潜在空间的可视化，尝试展示在控制混杂因素如批次效应和测序深度的同时，如何聚集相同类型的细胞。
- 一个表格展示了不同方法之间潜在表征和混杂因素之间的互信息（Mutual Information），互信息越低表示方法越能有效地分离生物变异和混杂因素。
-
进一步讨论了SAILER如何处理真实的鼠标图谱数据以及如何合并两个不同的鼠脑数据集。
- 在这里，SAILER的性能与其他方法（例如SCALE和SnapATAC）进行了比较。
- 还有可视化图表，显示了在不同数据处理方法下细胞如何分布，以及如何用SAILER来减轻混杂因素的影响。
6.5 Multimodal DL for Single Cell Multimodal Omics
