近期，谷歌DeepMind團隊推出了一項名為“可微緩存增強”的創新技術，這項技術旨在提升大型語言模型（LLMs）的推理性能，而無需大幅增加計算成本。
在語言和推理領域，大型語言模型發揮著越來越重要的作用。它們能夠處理復雜問題，生成準確的上下文相關響應。然而，隨著這些模型的復雜性增加，如何在有限的計算資源下保持高性能成為了一個挑戰。特別是，許多LLMs在跨任務推理或執行超出預訓練范圍的計算時表現不佳。
現有的提升模型性能的方法通常涉及在任務處理過程中生成中間步驟，但這種方法會增加延遲并降低計算效率。這限制了LLMs執行復雜推理任務的能力，尤其是那些需要長依賴關系或高預測準確性的任務。為了解決這個問題，DeepMind團隊開發了一種新方法。
“可微緩存增強”通過引入一個訓練過的協處理器來增強LLM的鍵值（kv）緩存。這個協處理器使用潛在嵌入來豐富模型的內部記憶。關鍵在于，基礎LLM保持凍結狀態，而協處理器則異步運行。這種方法不僅保持了模型的穩定性，還提高了性能。
整個工作流程分為三個階段。首先，凍結的LLM從輸入序列生成kv緩存。然后，協處理器使用可訓練的軟令牌處理這個緩存，并生成潛在嵌入。最后，增強的kv緩存被反饋回LLM，以生成更豐富、更準確的輸出。
DeepMind團隊在Gemma-2 2B模型上測試了這項技術，并獲得了顯著成果。例如，在GSM8K數據集上，準確率提高了10.05%；在MMLU基準測試上，性能提升了4.70%。該技術還降低了模型在多個標記位置的困惑度，進一步證明了其有效性。
這項研究為增強LLMs的推理能力提供了新的視角。通過引入外部協處理器來增強kv緩存，DeepMind團隊在保持計算效率的同時，顯著提高了模型性能。這為LLMs處理更復雜、更具挑戰性的任務提供了可能，也為未來的研究和應用開辟了新的道路。
