交叉熵、熵和KL散度之間的關係是什麼？

設\(P\)代表實際數據的分佈，\(Q\)是模型預測的分佈，那麼，

熵的定義： \[ H (P) = -\sum_x P(x) \log P(x) \] 交叉熵： \[ H_\text{CE}(P, Q) = -\sum_x P(x) \log {Q(x)} \]

KL散度的定義： \[ D_\text{KL}(P, Q) = \sum_x P(x) \log {P(x) \over Q(x)} \]

\[ H_\text{CE}(P, Q) = D_\text{KL}(P, Q) + H(P) \]

什麼時候優化KL散度等於優化交叉熵？

如前所述，如果數據分佈\(H(P)\)為常數（即不隨優化過程改變），那麼優化KL散度等價於優化交叉熵。

反過來，如果\(P\)隨著優化過程變化，那麼兩個優化目標就不能等價了。

你知道softmax函數的上溢和下溢問題嗎？如何解決這個問題。

進行softmax操作之前，輸入數據減除自身的最大值，可以消除上溢和下溢出。

具體可以閱讀這篇文章了解更多。

手寫K-Means

TODO

如果特徵維度很大而樣本又少，應該怎麽辦？

TODO

MSE和MAE分別作爲損失函數會帶來什麽區別？

特徵存在共綫性問題會有什麽影響？應當如何應對。

TODO

在訓練模型的過程中，我們經常遇到過擬合。有哪些常見的應對過擬合的方法？

1. 數據層面：增加數據量、數據增強；
2. 模型設計層面：Dropout、DropBlock、weight decay；
3. 訓練策略：遷移學習、部分參數微調、early stop、輔助任務、不確定性估計；
4. 推理策略：test-time augmentation；

数据去重为什么重要？有哪些数据去重的方法？

• 提升训练效率：重复数据让模型浪费算力做无用功，拖慢收敛速度。
• 防止过拟合与记忆：模型会“背下”重复样本，而不是学习泛化规律，导致测试效果差，甚至引发隐私泄露。
• 缓解长尾问题：高频数据重复会加剧数据不平衡，让模型忽视低频但重要的知识。

常用的去重方法：

• 精确去重：直接比对字符串或字节，移除完全相同的样本。常用哈希指纹（如MD5）来加速。
• 近似去重（模糊去重）：用于发现内容高度相似但不完全相同的文本。经典算法是MinHash + LSH。對於小規模數據，可以使用編輯距離去重。

偏好對齊方法為什麼需要准备成對的訓練數據？能不能只給正面數據，不提供負面數據？

我們從以下幾點分析這個問題。
1. 數據集中能不能只包含正面數據或負面數據？如果只給正面數據，那麼偏好對齊任務便退化為SFT任務。Jiwoo Hong等人(Hong, Lee, and Thorne 2024)指出，隨著SFT過程的進行，雖然模型產生訓練文本的概率會上升，但被拒絕文本的概率也隨之上升。這表明只給出正面數據（只做SFT）是無法作偏好微調的。類似的，可以推測如果只降低負面數據的出現概率，那正面文本的出現概率也會下降。
2. 為什麼PPO使用的是成對的正負樣本，而不是為每一個回復給出一個準確的分值？ - 標註噪聲：從標註規範制定的角度看，個例的打分結果會帶有噪聲，而同時進行成對的數據標註，有助於減少標註噪聲。 - 從reward model學習的角度看，reward model學習目標是正確地評估不同回復之間的相對優劣，而不是模型回復的絕對評分，因此標註過程中分數不是必要的。 - 評分的粒度問題：例如，有兩個模型回復都打了3分（5分制），那這兩個回復間就不能再分出優劣了嗎？即使兩個回復都打了同樣的分數，它們之間的差異也可能提供有價值的信息。 以上討論說明了為什麼PPO為什麼採用了成對正負樣本進行訓練。但是在項目實踐中，我也經歷過需要標註員標註具體分數的情況。在任務規範清晰、打分標準容易制定的前提下，規定具體的評分標準有好處：

1. 詳細、嚴謹的規範有助於減少數據中的噪聲；
2. 分值間的相對差異大小可以為訓練過程提供細化的指導。例如，可參考LLaMa 2(Touvron et al., n.d.)在reward model的損失中加入一個margin component，要求正負樣本相似時reward model的打分可以不用差距太大，反之則要求二者的打分要有顯著差異。
3. 最後，即使是在標註員已經提供了具體分值的情況下，我們仍要求標註員對所有回復進行排序，即使有些模型回復的分值是相同的。不同標註員的排序一致性是評價數據質量的一個重要指標。

3. 訓練成本。 從訓練成本的角度來看，成對的偏好訓練數據更容易大規模收集（例如可以在用戶點踩的時候立即給出另一個備選回復），標註成本也更低。

LoRA訓練的時候，如何選擇凍結的層？

LoRA本身只插入低秩適配器（Adapter）矩陣，原始權重是凍結的，因此問題的關鍵不在於「凍結哪些層」，而在於「對哪些層應用LoRA適配器」。常見的選擇策略如下：

1. 只對Attention的Q和V矩陣應用LoRA：這是LoRA原始論文的做法，在參數量和效果之間取得平衡。Q和V的調整對模型行為影響較大，足以適應下游任務。
2. 對所有Attention層（Q/K/V/O）應用LoRA：當下游任務與預訓練分佈差異較大時（如代碼生成、數學推理），對所有Attention投影矩陣都應用LoRA可以提升適配能力。
3. 對FFN層也應用LoRA：FFN層存儲了大量知識，在需要注入新知識或改變模型行為模式時（如長CoT訓練），對FFN層也應用LoRA有幫助。
4. 根據層深度選擇：底層（靠近輸入）捕獲通用語法/句法特徵，高層（靠近輸出）更偏向語義和任務相關特徵。因此：
   • 若任務與原始領域差異不大，可只對高層應用LoRA；
   • 若任務需要大幅改變模型行為，建議對所有層均應用LoRA。
5. 根據參數重要性選擇：可計算各層權重的Fisher Information或梯度幅值，選擇重要性高的層應用LoRA，減少冗餘參數。

實踐中，最常見的配置是對所有Attention的Q和V矩陣應用LoRA（rank=8~64），再根據任務複雜度決定是否擴展到其他層。

PPO的critic model是做什麼的，為什麼需要critic model？

Critic model（也稱value model）在PPO中負責估計狀態價值函數 \(V(s)\)，即給定當前狀態（已生成的token序列），預測從該狀態出發能獲得的期望累積獎勵。

為什麼需要critic model？

1. 降低梯度方差（Variance Reduction）：PPO使用advantage函數 \(A(s,a) = Q(s,a) - V(s)\) 來衡量某個動作相對於平均水平的優勢。直接使用reward作為信號，梯度方差極大，訓練不穩定。減去baseline \(V(s)\) 後，方差顯著降低。
2. 提供逐位置的學習信號：reward model只在完整序列結束時給出一個獎勵（稀疏獎勵），而critic model可以在每個token位置估計未來回報，使得actor model在每個生成步驟都能獲得學習信號。
3. GAE（Generalized Advantage Estimation）的依賴：PPO通常使用GAE來計算advantage，GAE需要在每個時間步都有value預測，以平衡bias和variance的trade-off。

為什麼不能直接用reward model代替critic model？

Reward model給出的是完整序列的獎勵評分，而critic model給出的是當前狀態的期望回報。二者角色不同：reward model是環境提供的評分信號，critic model是對該評分信號的擬合，用於降低方差。如果去掉critic model，PPO就退化為REINFORCE算法，方差會大幅增加，訓練難以收斂。

為什麼GRPO可以成功去除PPO的critic model？

核心改進在於用group內的相對優勢替代critic model的value估計。

具體來說：

1. Group-based advantage估計：GRPO對同一個prompt採樣多個回復（一個group），然後用group內各回復的reward相對於group均值的標準化分數作為advantage： \[A_i = \frac{r_i - \text{mean}(r_1,\dots,r_G)}{\text{std}(r_1,\dots,r_G)}\] 這本質上是用group內的其他樣本作為baseline，替代了critic model的value估計。

2. 為什麼可以去掉critic model？

   • Critic model的作用是提供baseline以降低方差。GRPO利用同一prompt下多個採樣結果的reward分佈來構造baseline，同樣能達到降低方差的效果。
   • 省去critic model意味著減少了約一半的訓練參數（value model通常與policy model規模相當），顯著降低了顯存和計算開銷。
   • 避免了critic model訓練不穩定或擬合不準確帶來的額外噪聲。

3. GRPO的侷限：GRPO依賴於group內樣本的多樣性。如果group內所有回復的reward相近（方差小），則advantage信號微弱，訓練效率降低。這也是後續DAPO提出Dynamic Sampling（丟棄reward方差為0的group）的原因。

GRPO方法在后续其它的工作中得到哪些改进？

DAPO：

1. Clip higher：DAPO观察到训练过程中，actor model的entropy在不断降低，导致reward趋同且探索不足，故提出修改PPO-Clip策略，允許clip的下界和上界設置不同的值。通過提高上界，可以鼓勵探索。
2. 移除KL散度。DAPO认为在长CoT训练的过程中，模型参数显著偏离原模型是寻常的，而且移除KL散度项不会严重影响效果；
3. Dynamic Sampling：GRPO需要group內有reward差異，否則當前組內數據就不會產生梯度。如果一組rollout沒有reward variance，DAPO會直接將其丟棄。
4. Token-Level Loss：原GRPO會進行sequence-level的loss平均，這會導致長回復的sample中，每個token的權重變小。DAPO採取token級別的平均，有利於長思維鏈學習。
5. Overlong Reward Shaping：GRPO通常採用truncation和簡單的超長懲罰。DAPO提出length-aware penaly，在超長時給予線性的懲罰（從0線性降低到-1）。

GSPO：

1. 序列級重要性採樣：GRPO逐token算重要性權重，長序列方差高，噪聲累積；GSPO用整個序列的聯合概率比（幾何平均），所有token等權重；
2. 序列級裁剪與獎勵：裁剪和獎勵分配都改為全序列級別；

詳細介紹Clip higher這個技巧。

DAPO采用的目標函數具備這樣的形式： \[ \begin{aligned} \mathcal J(\mathbf \theta) &= \mathbb E \left[ \frac{1}{\sum_{i=1}^G|o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, clip( r_{i, t}(\mathbf \theta), 1 - \epsilon_\text{low}, 1 + \epsilon_\text{high} )\hat A_{i, t} ) \right]\\ \end{aligned} \] 我們分情況討論\(\min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, clip( r_{i, t}(\mathbf \theta), 1 - \epsilon_\text{low}, 1 + \epsilon_\text{high} )\hat A_{i, t} )\)這個核心算式：

1. 如果\(r_{i, t}(\theta)\)處於上下截斷界限之間，公式簡化為\(r_{i, t}(\mathbf \theta)\hat A_{i, t}\)這樣的簡單情形，我們不做更多討論；
2. 如果\(r_{i, t}(\theta)\)被截斷為\(1 - \epsilon_\text{low}\)，代表此時policy model比reference model更排斥使用當前action，而且程度相差過大。公式變成\(\min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, (1 - \epsilon_\text{low})\hat A_{i, t})\)，此時如果\(\hat A_{i, t}<0\)，\(\theta\)的梯度就被截斷，阻止policy model進一步降低當前action的輸出概率；
3. 如果\(r_{i, t}(\theta)\)被截斷為\(1 + \epsilon_\text{high}\)，代表此時policy model比reference model更偏好使用當前action，且程度相差過大。公式變成\(\min(r_{i, t}(\mathbf \theta) \hat A_{i, t}, (1 + \epsilon_\text{high})\hat A_{i, t})\)，此時如果\(\hat A_{i, t} > 0\)，\(\theta\)的梯度就消失，阻止policy model進一步增大對當前action的偏好；

DAPO將\(\epsilon_\text{low}\)和\(\epsilon_\text{high}\)設置為不同的值，並適當提高\(\epsilon_\text{high}\)，從而允許模型在\(\hat A_{i, t}\)為正的時候，減少對提高“exploitation token”概率的限制，從而鼓勵exploitation。

有時關閉DAPO的dynamic sampling，效果反而更好。為什麼？

因為DAPO的重新採樣改變了數據分佈。例如模型已經高概率答對了某個問題，但dynamic sampling會重新採樣，直到出現負例，導致模型過度訓練。

為什麼要做偏好對齊？只做SFT不行嗎？

只做SFT不做偏好對齊經常會導致一些問題。
1. 從訓練目標來看：預訓練、SFT任務本質上都是要求模型預測下一個token，而這與具体业务场景的目標——例如”以安全和有益的方式遵循人類指令”——是不一致的(Ouyang et al. 2022)。這種訓練目標的不對齊導致模型容易產生不安全、不忠實或有害的信息。 2. 曝光偏差問題：在預訓練、SFT階段，模型只是在訓練數據的分佈上進行下一個token的預測。一些基於強化學習的偏好對齊任務提供了一種在模型自身預測分佈上進行訓練的方法(Ranzato et al. 2015)，緩解了曝光偏差問題。

為什麼SFT後的大模型會有幻覺？

模型的幻覺是指模型誤認為自己能感知到一些實際感知不到的東西，或者以非常肯定的態度給出錯誤信息。例如，問”現在是幾點鐘？“，模型在不接入外部插件的情況下回答”現在是下午三點”，這便屬於模型幻覺。

預訓練、SFT任務本質上都是要求模型預測下一個token，而這與AI應用的目標——“以安全和有益的方式遵循人類指令”是不一致的(Ouyang et al. 2022)。這種訓練目標的不對齊導致模型容易產生不安全、不忠實或有害的信息，例如導致模型幻覺。

什麼是對齊稅？如何減少對齊稅？

在經過偏好對齊後，模型的通用能力可能下降，比如可能出現更多地生成不適當的”拒絕回答”現象，這一問題被稱為”對齊稅”。 那麼，我們要如何減少”對齊稅”，讓經過RLHF的模型盡量保持RLHF之前的能力呢？

1. 訓練時不要偏離reference太多：在PPO算法中，除了reward model、policy model，還有一個reference model（同樣由SFT後的模型初始化得到）。PPO算法會限制policy model不過分偏離reference model。這可以視為一種限制policy model能力偏移的機制。（儘管reference model的作用不止於此。）InstructGPT(Ouyang et al. 2022)指出通過在PPO更新步驟中混入增加預訓練分佈的對數似然可以大幅降低模型的能力衰退。
2. 強化學習/偏好對齊不一定帶來對齊稅：儘管多數研究未能消除偏好對齊對模型性能的損害，但也存在證據表明負對齊稅是可能實現的。OpenAI對大模型數學答題能力的一項研究(Lightman et al. 2023)顯示以合適的reward model設計為前提，模型的數學回答正確率能夠提升。儘管這項工作是針對數學任務進行的，但這一結論有可能可以推廣到一般的文本生成任務。

SFT過程中會出現災難性遺忘嗎？如何應對災難性遺忘？

一般我們在項目中會通過SFT來獲得一個面向專門領域和特定任務的模型，例如心理診療模型、法律咨詢模型、醫療建議模型、論文修改模型。SFT的過程中大模型很容易忘記對象任務以外的知識，損失一部分通用能力。就目前的技術來看，災難性遺忘問題是不可避免的，但可以通過以下方法緩解：

• 限制偏離基模的程度：使用基模作為教師模型，引入KL散度約束，使模型的token分佈不要過於偏離預訓練模型。
• 數據重放：一種直接的做法是在SFT階段隨機地採樣一部分預訓練數據。（經驗上看，預訓練數據的採樣比例在SFT階段會起到比較大的影響。）
  
• 部分參數微調：與全量微調不同，可考慮採用LoRA、Soft Prompt等方法，通過調控參與訓練的參數量來控制SFT的擬合程度。（個人實踐中還是全量微調比較多。）
  
• 其它訓練參數的調整：可以嘗試調整學習率、epoch數等參數，使用early stop等技巧減少過擬合和遺忘現象。一般訓練1到3個epoch、損失降到0.5~0.3以下就好。訓練太多，訓練集擬合得太厲害也不是好事。

除了在訓練階段盡量緩解災難性遺忘問題，去彌補訓練後已經發生的遺忘也是一種可取思路。以下是一些工程上可以選擇的方法：

• 外部知識庫/知識圖譜/檢索增強：實際上指望大模型記住各種各樣瑣碎的知識是十分困難的。相比之下，賦予大模型隨時調用外部知識庫是一種彌補知識缺陷的有效方法。
  
• 一些相關的學術工作：LoRAMoE(Dou et al. 2024)通過凍結主幹網絡，迫使LoRA利用一部分世界知識來緩解災難性遺忘。
  

當前RLHF的流程有什麼值得優化的地方？

這是一個開放性問題。言之有理地回答即可。

個人認為可以討論的點：

1. 更細粒度的reward：如Let’s Verify Step by Step(Lightman et al. 2023)一文指出的那樣，偏好對齊可有更細粒度的標註，給出更準確的reward反饋。現在普遍常見的偏好數據只針對完整的回答給出標註，而不是針對每一個句子給出標註。相比於標註整個回答的偏好，僅標註出第一個有問題的句子/步驟不會增加更多的標註代價，但能夠提升reward信號的精細程度。這樣的細粒度偏好數據是目前比較少見的，有待建設；
2. BT模型的優化和精細化：大多數偏好對齊方法採用了BT模型。BT模型要求reward model拉開正負樣本的得分差距，但並沒有考慮到正負樣本間差異以及偏好程度差異的強弱問題。直覺上，對於回復相似，偏好差異不明顯的情況，應該給與比較低的權重；對於回復差異大，偏好對比明顯的情況，應該給與比較高的權重。一些工作(Touvron et al., n.d.; Meng, Xia, and Chen 2024)嘗試了人為設置規則或調整超參來調整BT model的margin，但也許還有自適應地調整BT model的margin且取得更好對齊效果的方法存在。

旋轉位置編碼相對於原本的絕對位置編碼有何改進？

TODO

手写Multi-Head Attention。

本題答案可參考：

• 《手写Multi-Head Attention：从公式到代码实现》

你知道PreNorm和PostNorm的區別嗎？

推薦閲讀：

• 为什么Pre Norm的效果不如Post Norm？

爲什麽Transformer模型要使用LayerNorm而不是BatchNorm。

TODO

介紹RMSNorm。

觀察到LayerNorm的成功在於縮放的穩定性，而中心化操作是可有可無的。故RMSNorm選擇只進行縮放，去除了中心化操作，減少了計算開銷；

class RMSNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps = eps
        # 可學習的縮放參數 Gamma，初始化為全 1
        self.weight = nn.Parameter(torch.ones(dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x 的形狀通常是 (batch_size, seq_len, hidden_size)
        # 1. 計算平方後的平均值，保留最後一個維度 (keepdim=True)
        variance = x.pow(2).mean(-1, keepdim=True)
        
        # 2. 計算 1 / RMS(x)
        # 使用 torch.rsqrt(t) 相當於 1 / torch.sqrt(t)，計算速度更快
        rsqrt = torch.rsqrt(variance + self.eps)
        
        # 3. 歸一化並乘上可學習參數
        return x * rsqrt * self.weight

請介紹幾種你熟悉的tokenization方法。

TODO

Encoder-Decoder結構、Prefix LM和Causal LM有什麼不同？

T5論文的Figure 4很好地展示了三者的不同。 Encoder-Decoder結構下，Encoder的輸入token間是兩兩互相可見的，Decoder的attention mask則是單向可見的。

Prefix LM和Causal LM的結構相近，區別是Prefix LM中，前綴文本內的token是兩兩互相可見的，前綴文本後的token是單向可見的；而Causal LM中所有token都是單向可見的。

Prefix LM和Encoder-Decoder相比是類似的，都允許一部分token之間兩兩完全可見，但Prefix LM好比是實現了Encoder和Decoder的參數共享，減少了參數量。

當下Causal LM是被大模型廣泛採用的架構。雖然Encoder-Decoder和Prefix LM的雙向注意力理論上有優勢，但仍然被大模型領域所”淘汰”。這就引出了另一個問題，“為什麼大模型都採用Causal LM結構”

為什麼大模型都採用Causal LM結構？

1. KV-Cache優化：Encoder-Decoder和Prefix LM都不易採用KV-Cache優化，而支持KV-Cache的Causal LM對推理加速更友好；
2. 訓練效率：Encoder-Decoder架構模型的Pipeline Parallel難以優化。即使模型架構能帶來理論上的性能優勢，但是卻帶來昂貴的訓練代價的話，那麼這種模型結構就會輸給那些更能充分利用算力的模型；
3. 軌跡依賴：OpenAI使用Causal LM成功實現了GPT系列大模型，這使得後來者都更傾向於採用相近的配置進行實驗。

Qwen 3.5有哪些重要的優化點？

1. 混合注意力機制：Gated Delta Network + 標準注意力。其中75%的層採用了混合注意力；
2. 極致稀疏的MoE架構，極低的激活比。397B激活17B，35B激活3B；
3. 原生多模態+early fusion，使用視覺token，而不是文本模型+外掛視覺；
4. 原生多token預測支持

講講MOE的原理，爲什麽MOE的參數量大但計算量不大？

核心思想是將FFN層替換爲N個專家網絡+門控路由器，每個token只路由到Top-k個專家（通常K=1或者2），這就實現了控制計算量，但增大參數量。

路由的計算： \[ g(x) = \text{softmax}(W_g \cdot x) \] 根據上式的結果選擇Top-K個專家，加權混合。

（DeepSeek-V3引入共享專家，共享專家一定會被激活，負責通用知識，路由專家由Top-K決定是否激活，負責領域知識。）

MOE的負載均衡怎麽做？

爲了避免訓練時路由器總是把token分給少數專家，引入Aux Loss： \[ L_\text{aux} = \alpha \cdot N \cdot \sum_{i=1}^N f_i \cdot p_i \] 其中\(f_i\)是專家\(i\)被選中的token比例，\(p_i\)是專家的門控概率。

專家被均匀分配時，上式取得最小值，最小值為\(1\)。

爲什麽不是\(p_i * p_i\)，而是\(f_i * p_i\)呢？ 因爲MOE使用Top-K選擇專家，因此存在\(p_i\)比較小（只是略大於沒有選中的專家），但是\(f_i\)很大的情況。因此需要結合實際頻率\(f_i\)和預測的權重\(p_i\).

至於\(f_i * f_i\)肯定是不行的，因爲\(f_i\)不可導。

爲什麽MOE使用Top-K而不是隨機采樣呢？

1. 隨機采樣可能會導致專家“同質化”，因爲每個專家都有概率在不應該被路由的時候被路由，不得不學習一些通用知識；
2. 隨機性會給并行化的訓練工程帶來一些麻煩。

MOE路由是batch維度的還是token維度的？

• Batch維度：同一batch内所有token走同一個專家，引入了batch内的互相干擾，不合理。
• Token維度：合理，但是實現複雜，需要All-to-All通信。例如，先將(batch_size, seq_len, hidden_dim)的矩陣展平為(batch_size * seq_len, hidden_dim)，即不考慮batch的概念，然後分別計算每個token的去向，將輸入送到對應的計算設備上。

OPD (On-Policy Distillation)中，KL散度如何設計？

正向KL： \[ D_\text{KL}(P_\text{base}\Vert P_\theta) = \sum_x P_\text{base}(x)\log \frac{P_\text{base}(x)}{P_\theta(x)} \]

• 特性：如果教師在某個token上的概率很高，那麼學生必須在這個token上分配概率，否則KL散度會爆炸，導致懲罰極大
• 導向：學生會試圖“包住”教師的行為
• 缺點：小模型很難“包住”或者模仿大模型，導致訓練質量差。

逆向KL： \[ D_\text{KL} (P_\theta \Vert P_\text{base}) = \sum_x P_\theta(x) \log\frac{ P_\theta(x) }{ P_\text{base}(x) } \] 這是OPD最常採用的預設。

• 特性：如果教師分佈在某處為0，那麼學生在這個點的概率也需要趨近。相反，如果教師有若干個候選行為，學生只需要學會其中的一個模式；
• 導向：學生模型會表現得保守但精準，只說自己有把握，教師認可的話；
• 缺點：多樣性崩塌，同質化，Pass@k下滑；

目前前沿方法會採用自適應散度，在高熵、高不確定的情況下切到正向KL，鼓勵探索；在教師確定性強的情況下使用逆向KL收斂精度。

SFT和RL對基座大模型的作用和影響有什麼區別？

1. SFT：

• 作用：通過提供特定格式、特定任務的數據，使其適應下游任務
• 影響：SFT傾向於讓模型記憶訓練數據，模型難以泛化到分佈外的數據；但是SFT的訓練有助於穩定模型的輸出格式，使得後續的RL可以穩定進行

2. RL：

• 作用：對齊特定的人類偏好，或者通過最大化設計的reward來解決某些類型的任務；
• 影響：展現出較強的泛化能力；在多模態任務中也能提升模型潛在的視覺識別能力；

類 Transformer 模型計算量（FLOPs）精準推導

在評估 Transformer 模型的計算複雜度時，通常以 FLOPs（Floating Point Operations，浮點運算次數） 作為衡量指標。將矩陣乘法中的一次「乘加操作（Multiply-Accumulate）」計為 2 個 FLOPs（1 次乘法 + 1 次加法）。

以下為單個 Transformer Block（層）在一次前向傳播（Forward Pass）中，處理長度為 \(n\) 的序列時的計算量推導。推導使用如下符號：

• \(n\)：序列長度（Sequence Length / Token 數）
• \(d\)：模型隱藏層維度（Hidden Size / \(d_{model}\)）
• \(m\)：FFN（前饋網路）的中間層維度（Intermediate Size）
• \(L\)：模型的總層數（Layers）

一個標準的 Transformer 層主要由兩部分組成：自注意力機制（Self-Attention） 與 前饋網路（FFN）。

自注意力的計算可以拆解為以下四個主要矩陣運算步驟：

1. Q, K, V 投影矩陣（Projection）
   • 將輸入的張量 \([n, d]\) 分別乘以 \(W_Q, W_K, W_V\)（三個權重矩陣大小皆為 \([d, d]\)）。
   • 計算量：\(3 \times (2 \times n \times d \times d) = 6nd^2\)
2. 注意力分數計算（\(QK^T\)）
   • 矩陣乘法：\([n, d] \times [d, n] \rightarrow [n, n]\)。
   • 計算量：\(2 \times n \times d \times n = 2n^2d\)
3. 權重與 V 相乘（Attention Value）
   • 矩陣乘法：\([n, n] \times [n, d] \rightarrow [n, d]\)（此處忽略 Softmax 的少量計算）。
   • 計算量：\(2 \times n \times n \times d = 2n^2d\)
4. 輸出投影矩陣（Output Projection）
   • 將結果乘以 \(W_O\) 矩陣（大小為 \([d, d]\)）。
   • 計算量：\(2 \times n \times d \times d = 2nd^2\)

Attention 小計：\((6nd^2 + 2nd^2) + (2n^2d + 2n^2d) = 8nd^2 + 4n^2d\)

根據架構不同，FFN 的計算量有所差異：

採用兩層線性映射，中間夾一個激活函數（如 ReLU 或 GELU）： 1. 第一層升維：\([n, d] \times [d, m] \rightarrow [n, m]\)，計算量為 \(2ndm\) 2. 第二層降維：\([n, m] \times [m, d] \rightarrow [n, d]\)，計算量為 \(2ndm\)

傳統 FFN 小計：\(4ndm\)

現代 LLM（如 LLaMA、Mistral）採用 SwiGLU 激活函數，需要三個權重矩陣（Gate、Up、Down）： 1. Gate 與 Up 矩陣（升維）：\(2 \times ([n, d] \times [d, m]) \rightarrow 2 \times 2ndm = 4ndm\) 2. Down 矩陣（降維）：\([n, m] \times [m, d] \rightarrow [n, d]\)，計算量為 \(2ndm\)

現代 FFN 小計：\(6ndm\)

將上述各部分加總，並乘上總層數 \(L\)：

標準 Transformer 總計算量 \[ \text{Total FLOPs (Standard)} = L \times (8nd^2 + 4n^2d + 4ndm) \]

現代 SwiGLU Transformer 總計算量 \[ \text{Total FLOPs (SwiGLU)} = L \times (8nd^2 + 4n^2d + 6ndm) \]

在現代大語言模型（LLM）中，通常隱藏層維度遠大於序列長度（\(d \gg n\)），此時 \(4n^2d\) 的佔比極小，可近似忽略。

若以傳統 FFN 常見的 \(m = 4d\) 代入，前向傳播每層的計算量約為： \[ 8nd^2 + 4nd(4d) = 24nd^2 \]

這與模型參數量（密集參數主要集中在這些矩陣中）形成了固定的比例關係。因此業界常使用以下簡化公式來快速估算單個 Token 的計算量：

• 前向傳播（Forward Pass）：\(\approx 2N\) FLOPs / Token
• 反向傳播（Backward Pass）：\(\approx 4N\) FLOPs / Token（計算梯度與權重更新，工作量為前向的 2 倍）
• 完整訓練（Training）：\(\approx 6N\) FLOPs / Token

訓練總計算量估算公式： \[ \text{Training FLOPs} \approx 6 \times \text{模型參數量}(N) \times \text{訓練總 Token 數} \]

介紹幾種包括Megatron等框架的大模型的並行訓練的方式。

下表歸納羅列了幾種主要的並行方法的特性：

簡單介紹Context Parallel。

Context Parallel作用於模型的Attention步驟，對query進行切分，但是每個rank都需要看到完整的key和value的副本。

key和value可以在計算時，在rank間交換傳輸，使每個query可以看到完整的key和value。

簡單介紹Ulysses並行

Ulysses來自Deepspeed生態。Ulysses 的核心思路是：在不同的训练阶段，灵活切换数据的切分维度。

进入 Attention 前：将文本的序列长度（Sequence Dimension）均匀切分到各个 GPU 上。

计算 Attention 时：通过通信，把数据转换为按注意力头（Head Dimension）切分，让每个 GPU 拥有“局部完整的序列，但只负责一部分 Head”。

簡單介紹Ring Attention

Ring Attention 把傳統 Context Parallel 中“一次性 All-Gather 收集齐全部 KV”的方式，改成了在环状通信拓扑中边传输、边计算的流水线模式。Ring Attention是Context Parallel的一種實現。

你能列舉幾個常見的從視覺編碼器的圖像特征映射到大模型文本特征的方法嗎？

各種多模態融合模塊的優缺點？ （注意）Q-Former容易破壞visual token之間的空間關係。

在 BLIP-2 或者 Qwen-VL 中，Learnable Query 的作用是什么，为什么在后续版本中，比如 BLIP-3 和 Qwen2-VL 中都不使用了

Learnable Query（可学习查询）在BLIP-2和Qwen-VL中扮演了一个高效的”信息筛选官”角色，将海量的图像特征压缩成大语言模型更容易处理的少量语义标记。而后续模型（如BLIP-3和Qwen2-VL）之所以不再使用它，主要是因为基础模型的能力大幅提升，能够处理更长的上下文，更多的token，使得更简单、更直接的设计成为了新主流。

如果讓你從頭開始訓練一個多模態大模型，你會如何設計模型結構、訓練流程和項目流程？

對於多模態大模型，提高圖像的分辨率是十分重要的。為什麼現在的大模型往往使用如256x256這類低分辨率的圖像，無法做到高分辨率呢？

你觀察到GPT4-V有哪些問題？為什麼會存在這些問題？

爲什麽要對圖像做預處理？

1. 預處理將數據變換到統一的格式，方便模型學習；
2. 通過提前提取有用的特徵，裁剪出感興趣區域來加快計算；

ViT模型中是如何對位置信息進行編碼的？

TODO

請比較Transformer和CNN

TODO

在個人技術成長方面，你有什麼規劃？

一般可以列出自己最近感興趣的論文和想做的方向，與團隊業務相結合就好。

如何平衡團隊的業務目標與個人的技術成長？

面試官問出這個問題的時候，基本意味著這個團隊是業務導向的，技術上不太強。

ε=(´ο｀*)))

回答“優先完成團隊目標，業餘也會保持對技術的關注”即可。

為什麼想要離職/看新機會？

1. 僅僅是解釋前東家的缺點是不夠的。每個公司有每個公司的缺點，不能保證下一家沒有相同的問題。一般可以將問題解釋為當前公司平臺無法提供更好的發展，而現在在看的機會能補充這方面的不足。最好不要表現出自己是當前工作上遇到困難而離職的，而應盡量表現出自己的事業當前處於上升期，但由於某些原因（工作地點、待遇、發展方向、職業規劃）而不得不離開。這時可以順帶説説自己有多麽適合這個新崗位。重要的是表現出自己與新公司是一個互相成就的關係。
2. 說清楚想去哪裡，比說為什麼離開更重要。

請介紹一下過往最困難的一個項目。

你當前採用的項目方案的亮點是什麼？你對項目最重要的貢獻是？

是什麼使你在項目中具有不可替代性？或者是什麼使你具備比他人更高的價值？