交叉熵、熵和KL散度之间的关系是什么？

设\(P\)代表实际数据的分布，\(Q\)是模型预测的分布，那么，

熵的定义： \[ H (P) = -\sum_x P(x) \log P(x) \] 交叉熵： \[ H_\text{CE}(P, Q) = -\sum_x P(x) \log {Q(x)} \]

KL散度的定义： \[ D_\text{KL}(P, Q) = \sum_x P(x) \log {P(x) \over Q(x)} \]

\[ H_\text{CE}(P, Q) = D_\text{KL}(P, Q) + H(P) \]

什么时候优化KL散度等于优化交叉熵？

如前所述，如果数据分布\(H(P)\)为常数（即不随优化过程改变），那么优化KL散度等价于优化交叉熵。

反过来，如果\(P\)随著优化过程变化，那么两个优化目标就不能等价了。

你知道softmax函数的上溢和下溢问题吗？如何解决这个问题。

进行softmax操作之前，输入数据减除自身的最大值，可以消除上溢和下溢出。

具体可以阅读这篇文章了解更多。

手写K-Means

TODO

如果特征维度很大而样本又少，应该怎么办？

TODO

MSE和MAE分别作为损失函数会带来什么区别？

特征存在共线性问题会有什么影响？应当如何应对。

TODO

在训练模型的过程中，我们经常遇到过拟合。有哪些常见的应对过拟合的方法？

1. 数据层面：增加数据量、数据增强；
2. 模型设计层面：Dropout、DropBlock、weight decay；
3. 训练策略：迁移学习、部分参数微调、early stop、辅助任务、不确定性估计；
4. 推理策略：test-time augmentation；

数据去重为什么重要？有哪些数据去重的方法？

• 提升训练效率：重复数据让模型浪费算力做无用功，拖慢收敛速度。
• 防止过拟合与记忆：模型会“背下”重复样本，而不是学习泛化规律，导致测试效果差，甚至引发隐私泄露。
• 缓解长尾问题：高频数据重复会加剧数据不平衡，让模型忽视低频但重要的知识。

常用的去重方法：

• 精确去重：直接比对字符串或字节，移除完全相同的样本。常用哈希指纹（如MD5）来加速。
• 近似去重（模糊去重）：用于发现内容高度相似但不完全相同的文本。经典算法是MinHash + LSH。对于小规模数据，可以使用编辑距离去重。

偏好对齐方法为什么需要准备成对的训练数据？能不能只给正面数据，不提供负面数据？

我们从以下几点分析这个问题。
1. 数据集中能不能只包含正面数据或负面数据？如果只给正面数据，那么偏好对齐任务便退化为SFT任务。Jiwoo Hong等人(Hong, Lee, and Thorne 2024)指出，随著SFT过程的进行，虽然模型产生训练文本的概率会上升，但被拒绝文本的概率也随之上升。这表明只给出正面数据（只做SFT）是无法作偏好微调的。类似的，可以推测如果只降低负面数据的出现概率，那正面文本的出现概率也会下降。
2. 为什么PPO使用的是成对的正负样本，而不是为每一个回复给出一个准确的分值？ - 标注噪声：从标注规范制定的角度看，个例的打分结果会带有噪声，而同时进行成对的数据标注，有助于减少标注噪声。 - 从reward model学习的角度看，reward model学习目标是正确地评估不同回复之间的相对优劣，而不是模型回复的绝对评分，因此标注过程中分数不是必要的。 - 评分的粒度问题：例如，有两个模型回复都打了3分（5分制），那这两个回复间就不能再分出优劣了吗？即使两个回复都打了同样的分数，它们之间的差异也可能提供有价值的信息。 以上讨论说明了为什么PPO为什么采用了成对正负样本进行训练。但是在项目实践中，我也经历过需要标注员标注具体分数的情况。在任务规范清晰、打分标准容易制定的前提下，规定具体的评分标准有好处：

1. 详细、严谨的规范有助于减少数据中的噪声；
2. 分值间的相对差异大小可以为训练过程提供细化的指导。例如，可参考LLaMa 2(Touvron et al., n.d.)在reward model的损失中加入一个margin component，要求正负样本相似时reward model的打分可以不用差距太大，反之则要求二者的打分要有显著差异。
3. 最后，即使是在标注员已经提供了具体分值的情况下，我们仍要求标注员对所有回复进行排序，即使有些模型回复的分值是相同的。不同标注员的排序一致性是评价数据质量的一个重要指标。

3. 训练成本。 从训练成本的角度来看，成对的偏好训练数据更容易大规模收集（例如可以在用户点踩的时候立即给出另一个备选回复），标注成本也更低。

LoRA训练的时候，如何选择冻结的层？

LoRA本身只插入低秩适配器（Adapter）矩阵，原始权重是冻结的，因此问题的关键不在于「冻结哪些层」，而在于「对哪些层应用LoRA适配器」。常见的选择策略如下：

1. 只对Attention的Q和V矩阵应用LoRA：这是LoRA原始论文的做法，在参数量和效果之间取得平衡。Q和V的调整对模型行为影响较大，足以适应下游任务。
2. 对所有Attention层（Q/K/V/O）应用LoRA：当下游任务与预训练分布差异较大时（如代码生成、数学推理），对所有Attention投影矩阵都应用LoRA可以提升适配能力。
3. 对FFN层也应用LoRA：FFN层存储了大量知识，在需要注入新知识或改变模型行为模式时（如长CoT训练），对FFN层也应用LoRA有帮助。
4. 根据层深度选择：底层（靠近输入）捕获通用语法/句法特征，高层（靠近输出）更偏向语义和任务相关特征。因此：
   • 若任务与原始领域差异不大，可只对高层应用LoRA；
   • 若任务需要大幅改变模型行为，建议对所有层均应用LoRA。
5. 根据参数重要性选择：可计算各层权重的Fisher Information或梯度幅值，选择重要性高的层应用LoRA，减少冗余参数。

实践中，最常见的配置是对所有Attention的Q和V矩阵应用LoRA（rank=8~64），再根据任务复杂度决定是否扩展到其他层。

PPO的critic model是做什么的，为什么需要critic model？

Critic model（也称value model）在PPO中负责估计状态价值函数 \(V(s)\)，即给定当前状态（已生成的token序列），预测从该状态出发能获得的期望累积奖励。

为什么需要critic model？

1. 降低梯度方差（Variance Reduction）：PPO使用advantage函数 \(A(s,a) = Q(s,a) - V(s)\) 来衡量某个动作相对于平均水平的优势。直接使用reward作为信号，梯度方差极大，训练不稳定。减去baseline \(V(s)\) 后，方差显著降低。
2. 提供逐位置的学习信号：reward model只在完整序列结束时给出一个奖励（稀疏奖励），而critic model可以在每个token位置估计未来回报，使得actor model在每个生成步骤都能获得学习信号。
3. GAE（Generalized Advantage Estimation）的依赖：PPO通常使用GAE来计算advantage，GAE需要在每个时间步都有value预测，以平衡bias和variance的trade-off。

为什么不能直接用reward model代替critic model？

Reward model给出的是完整序列的奖励评分，而critic model给出的是当前状态的期望回报。二者角色不同：reward model是环境提供的评分信号，critic model是对该评分信号的拟合，用于降低方差。如果去掉critic model，PPO就退化为REINFORCE算法，方差会大幅增加，训练难以收敛。

为什么GRPO可以成功去除PPO的critic model？

核心改进在于用group内的相对优势替代critic model的value估计。

具体来说：

1. Group-based advantage估计：GRPO对同一个prompt采样多个回复（一个group），然后用group内各回复的reward相对于group均值的标准化分数作为advantage： \[A_i = \frac{r_i - \text{mean}(r_1,\dots,r_G)}{\text{std}(r_1,\dots,r_G)}\] 这本质上是用group内的其他样本作为baseline，替代了critic model的value估计。

2. 为什么可以去掉critic model？

   • Critic model的作用是提供baseline以降低方差。GRPO利用同一prompt下多个采样结果的reward分布来构造baseline，同样能达到降低方差的效果。
   • 省去critic model意味著减少了约一半的训练参数（value model通常与policy model规模相当），显著降低了显存和计算开销。
   • 避免了critic model训练不稳定或拟合不准确带来的额外噪声。

3. GRPO的局限：GRPO依赖于group内样本的多样性。如果group内所有回复的reward相近（方差小），则advantage信号微弱，训练效率降低。这也是后续DAPO提出Dynamic Sampling（丢弃reward方差为0的group）的原因。

GRPO方法在后续其它的工作中得到哪些改进？

DAPO：

1. Clip higher：DAPO观察到训练过程中，actor model的entropy在不断降低，导致reward趋同且探索不足，故提出修改PPO-Clip策略，允许clip的下界和上界设置不同的值。通过提高上界，可以鼓励探索。
2. 移除KL散度。DAPO认为在长CoT训练的过程中，模型参数显著偏离原模型是寻常的，而且移除KL散度项不会严重影响效果；
3. Dynamic Sampling：GRPO需要group内有reward差异，否则当前组内数据就不会产生梯度。如果一组rollout没有reward variance，DAPO会直接将其丢弃。
4. Token-Level Loss：原GRPO会进行sequence-level的loss平均，这会导致长回复的sample中，每个token的权重变小。DAPO采取token级别的平均，有利于长思维链学习。
5. Overlong Reward Shaping：GRPO通常采用truncation和简单的超长惩罚。DAPO提出length-aware penaly，在超长时给予线性的惩罚（从0线性降低到-1）。

GSPO：

1. 序列级重要性采样：GRPO逐token算重要性权重，长序列方差高，噪声累积；GSPO用整个序列的联合概率比（几何平均），所有token等权重；
2. 序列级裁剪与奖励：裁剪和奖励分配都改为全序列级别；

详细介绍Clip higher这个技巧。

DAPO采用的目标函数具备这样的形式： \[ \begin{aligned} \mathcal J(\mathbf \theta) &= \mathbb E \left[ \frac{1}{\sum_{i=1}^G|o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, clip( r_{i, t}(\mathbf \theta), 1 - \epsilon_\text{low}, 1 + \epsilon_\text{high} )\hat A_{i, t} ) \right]\\ \end{aligned} \] 我们分情况讨论$ (r_{i, t}() A_{i, t}, clip( r_{i, t}(), 1 - , 1 + )A_{i, t} )$这个核心算式：

1. 如果\(r_{i, t}(\theta)\)处于上下截断界限之间，公式简化为\(r_{i, t}(\mathbf \theta)\hat A_{i, t}\)这样的简单情形，我们不做更多讨论；
2. 如果\(r_{i, t}(\theta)\)被截断为\(1 - \epsilon_\text{low}\)，此时policy model比reference model更不偏好使用当前action。公式变成\(\min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, (1 - \epsilon_\text{low})\hat A_{i, t})\)，此时如果\(\hat A_{i, t}<0\)，\(\theta\)的梯度就被截断，阻止policy model进一步降低当前action的输出概率；
3. 如果\(r_{i, t}(\theta)\)被截断为\(1 + \epsilon_\text{high}\)，此时policy model比reference model更偏好使用当前action。公式变成\(\min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, (1 + \epsilon_\text{high})\hat A_{i, t})\)，此时如果\(\hat A_{i, t} > 0\)，\(\theta\)的梯度就消失，阻止policy model进一步增大对当前action的偏好；

DAPO将\(\epsilon_\text{low}\)和\(\epsilon_\text{high}\)设置为不同的值，并适当提高\(\epsilon_\text{high}\)，从而允许模型在\(\hat A_{i, t}\)为正的时候，减少对提高“exploitation token”概率的限制，从而鼓励exploitation。

有时关闭DAPO的dynamic sampling，效果反而更好。为什么？

因为DAPO的重新采样改变了数据分布。例如模型已经高概率答对了某个问题，但dynamic sampling会重新采样，直到出现负例，导致模型过度训练。

为什么要做偏好对齐？只做SFT不行吗？

只做SFT不做偏好对齐经常会导致一些问题。
1. 从训练目标来看：预训练、SFT任务本质上都是要求模型预测下一个token，而这与具体业务场景的目标——例如”以安全和有益的方式遵循人类指令”——是不一致的(Ouyang et al. 2022)。这种训练目标的不对齐导致模型容易产生不安全、不忠实或有害的信息。 2. 曝光偏差问题：在预训练、SFT阶段，模型只是在训练数据的分布上进行下一个token的预测。一些基于强化学习的偏好对齐任务提供了一种在模型自身预测分布上进行训练的方法(Ranzato et al. 2015)，缓解了曝光偏差问题。

为什么SFT后的大模型会有幻觉？

模型的幻觉是指模型误认为自己能感知到一些实际感知不到的东西，或者以非常肯定的态度给出错误信息。例如，问”现在是几点钟？“，模型在不接入外部插件的情况下回答”现在是下午三点”，这便属于模型幻觉。

预训练、SFT任务本质上都是要求模型预测下一个token，而这与AI应用的目标——“以安全和有益的方式遵循人类指令”是不一致的(Ouyang et al. 2022)。这种训练目标的不对齐导致模型容易产生不安全、不忠实或有害的信息，例如导致模型幻觉。

什么是对齐税？如何减少对齐税？

在经过偏好对齐后，模型的通用能力可能下降，比如可能出现更多地生成不适当的”拒绝回答”现象，这一问题被称为”对齐税”。 那么，我们要如何减少”对齐税”，让经过RLHF的模型尽量保持RLHF之前的能力呢？

1. 训练时不要偏离reference太多：在PPO算法中，除了reward model、policy model，还有一个reference model（同样由SFT后的模型初始化得到）。PPO算法会限制policy model不过分偏离reference model。这可以视为一种限制policy model能力偏移的机制。（尽管reference model的作用不止于此。）InstructGPT(Ouyang et al. 2022)指出通过在PPO更新步骤中混入增加预训练分布的对数似然可以大幅降低模型的能力衰退。
2. 强化学习/偏好对齐不一定带来对齐税：尽管多数研究未能消除偏好对齐对模型性能的损害，但也存在证据表明负对齐税是可能实现的。OpenAI对大模型数学答题能力的一项研究(Lightman et al. 2023)显示以合适的reward model设计为前提，模型的数学回答正确率能够提升。尽管这项工作是针对数学任务进行的，但这一结论有可能可以推广到一般的文本生成任务。

SFT过程中会出现灾难性遗忘吗？如何应对灾难性遗忘？

一般我们在项目中会通过SFT来获得一个面向专门领域和特定任务的模型，例如心理诊疗模型、法律咨询模型、医疗建议模型、论文修改模型。SFT的过程中大模型很容易忘记对象任务以外的知识，损失一部分通用能力。就目前的技术来看，灾难性遗忘问题是不可避免的，但可以通过以下方法缓解：
限制偏离基模的程度：使用基模作为教师模型，引入KL散度约束，使模型的token分布不要过于偏离预训练模型。 数据重放：一种直接的做法是在SFT阶段随机地采样一部分预训练数据。（经验上看，预训练数据的采样比例在SFT阶段会起到比较大的影响。）
部分参数微调：与全量微调不同，可考虑采用LoRA、Soft Prompt等方法，通过调控参与训练的参数量来控制SFT的拟合程度。（个人实践中还是全量微调比较多。）
其它训练参数的调整：可以尝试调整学习率、epoch数等参数，使用early stop等技巧减少过拟合和遗忘现象。一般训练1_{3个epoch、损失降到0.5}0.3以下就好。训练太多，训练集拟合得太厉害也不是好事。
除了在训练阶段尽量缓解灾难性遗忘问题，去弥补训练后已经发生的遗忘也是一种可取思路。以下是一些工程上可以选择的方法：
外部知识库/知识图谱/检索增强：实际上指望大模型记住各种各样琐碎的知识是十分困难的。相比之下，赋予大模型随时调用外部知识库是一种弥补知识缺陷的有效方法。
一些相关的学术工作：LoRAMoE(Dou et al. 2024)通过冻结主干网络，迫使LoRA利用一部分世界知识来缓解灾难性遗忘。

当前RLHF的流程有什么值得优化的地方？

这是一个开放性问题。言之有理地回答即可。

个人认为可以讨论的点：

1. 更细粒度的reward：如Let’s Verify Step by Step(Lightman et al. 2023)一文指出的那样，偏好对齐可有更细粒度的标注，给出更准确的reward反馈。现在普遍常见的偏好数据只针对完整的回答给出标注，而不是针对每一个句子给出标注。相比于标注整个回答的偏好，仅标注出第一个有问题的句子/步骤不会增加更多的标注代价，但能够提升reward信号的精细程度。这样的细粒度偏好数据是目前比较少见的，有待建设；
2. BT模型的优化和精细化：大多数偏好对齐方法采用了BT模型。BT模型要求reward model拉开正负样本的得分差距，但并没有考虑到正负样本间差异以及偏好程度差异的强弱问题。直觉上，对于回复相似，偏好差异不明显的情况，应该给与比较低的权重；对于回复差异大，偏好对比明显的情况，应该给与比较高的权重。一些工作(Touvron et al., n.d.; Meng, Xia, and Chen 2024)尝试了人为设置规则或调整超参来调整BT model的margin，但也许还有自适应地调整BT model的margin且取得更好对齐效果的方法存在。

旋转位置编码相对于原本的绝对位置编码有何改进？

TODO

手写Multi-Head Attention。

本题答案可参考：

• 《手写Multi-Head Attention：从公式到代码实现》

你知道PreNorm和PostNorm的区别吗？

推荐阅读：

• 为什么Pre Norm的效果不如Post Norm？

为什么Transformer模型要使用LayerNorm而不是BatchNorm。

TODO

介绍RMSNorm。

观察到LayerNorm的成功在于缩放的稳定性，而中心化操作是可有可无的。故RMSNorm选择只进行缩放，去除了中心化操作，减少了计算开销；

import torch
import torch.nn as nn

class RMSNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps = eps
        # 可学习的缩放参数 Gamma，初始化为全 1
        self.weight = nn.Parameter(torch.ones(dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x 的形状通常是 (batch_size, seq_len, hidden_size)
        # 1. 计算平方后的平均值，保留最后一个维度 (keepdim=True)
        variance = x.pow(2).mean(-1, keepdim=True)
        
        # 2. 计算 1 / RMS(x)
        # 使用 torch.rsqrt(t) 相当于 1 / torch.sqrt(t)，计算速度更快
        rsqrt = torch.rsqrt(variance + self.eps)
        
        # 3. 归一化并乘上可学习参数
        return x * rsqrt * self.weight

请介绍几种你熟悉的tokenization方法。

TODO

Encoder-Decoder结构、Prefix LM和Causal LM有什么不同？

T5论文的Figure 4很好地展示了三者的不同。 Encoder-Decoder结构下，Encoder的输入token间是两两互相可见的，Decoder的attention mask则是单向可见的。

Prefix LM和Causal LM的结构相近，区别是Prefix LM中，前缀文本内的token是两两互相可见的，前缀文本后的token是单向可见的；而Causal LM中所有token都是单向可见的。

Prefix LM和Encoder-Decoder相比是类似的，都允许一部分token之间两两完全可见，但Prefix LM好比是实现了Encoder和Decoder的参数共享，减少了参数量。

当下Causal LM是被大模型广泛采用的架构。虽然Encoder-Decoder和Prefix LM的双向注意力理论上有优势，但仍然被大模型领域所”淘汰”。这就引出了另一个问题，“为什么大模型都采用Causal LM结构”

为什么大模型都采用Causal LM结构？

1. KV-Cache优化：Encoder-Decoder和Prefix LM都不易采用KV-Cache优化，而支持KV-Cache的Causal LM对推理加速更友好；
2. 训练效率：Encoder-Decoder架构模型的Pipeline Parallel难以优化。即使模型架构能带来理论上的性能优势，但是却带来昂贵的训练代价的话，那么这种模型结构就会输给那些更能充分利用算力的模型；
3. 轨迹依赖：OpenAI使用Causal LM成功实现了GPT系列大模型，这使得后来者都更倾向于采用相近的配置进行实验。

Qwen 3.5有哪些重要的优化点？

1. 混合注意力机制：Gated Delta Network + 标准注意力。其中75%的层采用了混合注意力；
2. 极致稀疏的MoE架构，极低的激活比。397B激活17B，35B激活3B；
3. 原生多模态+early fusion，使用视觉token，而不是文本模型+外挂视觉；
4. 原生多token预测支持

讲讲MOE的原理，为什么MOE的参数量大但计算量不大？

核心思想是将FFN层替换为N个专家网络+门控路由器，每个token只路由到Top-k个专家（通常K=1或者2），这就实现了控制计算量，但增大参数量。

路由的计算： \[ g(x) = \text{softmax}(W_g \cdot x) \] 根据上式的结果选择Top-K个专家，加权混合。

（DeepSeek-V3引入共享专家，共享专家一定会被激活，负责通用知识，路由专家由Top-K决定是否激活，负责领域知识。）

MOE的负载均衡怎么做？

为了避免训练时路由器总是把token分给少数专家，引入Aux Loss： \[ L_\text{aux} = \alpha \cdot N \cdot \sum_{i=1}^N f_i \cdot p_i \] 其中\(f_i\)是专家\(i\)被选中的token比例，\(p_i\)是专家的门控概率。

专家被均匀分配时，上式取得最小值，最小值为\(1\)。

为什么不是\(p_i * p_i\)，而是\(f_i * p_i\)呢？ 因为MOE使用Top-K选择专家，因此存在\(p_i\)比较小（只是略大于没有选中的专家），但是\(f_i\)很大的情况。因此需要结合实际频率\(f_i\)和预测的权重\(p_i\).

至于\(f_i * f_i\)肯定是不行的，因为\(f_i\)不可导。

为什么MOE使用Top-K而不是随机采样呢？

1. 随机采样可能会导致专家“同质化”，因为每个专家都有概率在不应该被路由的时候被路由，不得不学习一些通用知识；
2. 随机性会给并行化的训练工程带来一些麻烦。

MOE路由是batch维度的还是token维度的？

• Batch维度：同一batch内所有token走同一个专家，引入了batch内的互相干扰，不合理。
• Token维度：合理，但是实现复杂，需要All-to-All通信。例如，先将(batch_size, seq_len, hidden_dim)的矩阵展平为(batch_size * seq_len, hidden_dim)，即不考虑batch的概念，然后分别计算每个token的去向，将输入送到对应的计算设备上。

你能列举几个常见的从视觉编码器的图像特征映射到大模型文本特征的方法吗？

各种多模态融合模块的优缺点？ （注意）Q-Former容易破坏visual token之间的空间关系。

如果让你从头开始训练一个多模态大模型，你会如何设计模型结构、训练流程和项目流程？

对于多模态大模型，提高图像的分辨率是十分重要的。为什么现在的大模型往往使用如256x256这类低分辨率的图像，无法做到高分辨率呢？

你观察到GPT4-V有哪些问题？为什么会存在这些问题？

为什么要对图像做预处理？

1. 预处理将数据变换到统一的格式，方便模型学习；
2. 通过提前提取有用的特征，裁剪出感兴趣区域来加快计算；

ViT模型中是如何对位置信息进行编码的？

TODO

请比较Transformer和CNN

TODO

在个人技术成长方面，你有什么规划？

一般可以列出自己最近感兴趣的论文和想做的方向，与团队业务相结合就好。

如何平衡团队的业务目标与个人的技术成长？

面试官问出这个问题的时候，基本意味著这个团队是业务导向的，技术上不太强。

ε=(´ο｀*)))

回答“优先完成团队目标，业余也会保持对技术的关注”即可。

为什么想要离职/看新机会？

1. 仅仅是解释前东家的缺点是不够的。每个公司有每个公司的缺点，不能保证下一家没有相同的问题。一般可以将问题解释为当前公司平台无法提供更好的发展，而现在在看的机会能补充这方面的不足。最好不要表现出自己是当前工作上遇到困难而离职的，而应尽量表现出自己的事业当前处于上升期，但由于某些原因（工作地点、待遇、发展方向、职业规划）而不得不离开。这时可以顺带说说自己有多么适合这个新岗位。重要的是表现出自己与新公司是一个互相成就的关系。
2. 说清楚想去哪里，比说为什么离开更重要。

请介绍一下过往最困难的一个项目。

你当前采用的项目方案的亮点是什么？你对项目最重要的贡献是？

是什么使你在项目中具有不可替代性？或者是什么使你具备比他人更高的价值？