從零構建大型語言模型

關於本書

你可曾好奇大型語言模型的神祕運作機制，想親手揭開 LLM 的注意力機制與 GPT 風格 Transformer 的奧秘嗎？暢銷書作者 Sebastian Raschka 在《從零開始打造大型語言模型》一書中，將帶你一步步親手打造專屬自己的 LLM。書中以清晰的文字、圖表與實例，逐階段解說完整流程：從最初的設計架構、程式實作，到通用語料庫上的預訓練，再進一步針對特定任務微調，全過程循序漸進、層次分明。 讀完整本書，你將掌握規劃並撰寫 LLM 所有核心元件的能力、學會準備適用於 LLM 訓練的資料集、掌握針對文本分類任務與自有資料進行微調的方法、理解如何藉助人類回饋機制確保 LLM 正確遵循指令，以及學會將預訓練權重載入 LLM。 《從零開始打造大型語言模型》將為你揭開生成式 AI 的黑盒子，引領你動手拆解驅動這項技術的底層系統。隨著你逐步完成建構 LLM 的每個關鍵階段，不僅能深入理解 LLM 的運作原理、侷限與各種客製化方法，最棒的是，你只需要一台普通筆記型電腦，就能開發出專屬自己的個人化 AI 助理。 物理學家理查・費曼（Richard P. Feynman）曾說：「凡是我無法親手打造的東西，我就不算真正理解。」本書正是秉持這項強而有力的原則，由暢銷書作者 Sebastian Raschka 帶你從無到有打造一個能在自己筆電上運行的 GPT 風格 LLM。這本引人入勝的著作完整涵蓋從規劃、編碼、訓練到微調的每一個環節。 《從零開始打造大型語言模型》是一段實作導向、令人倍感成就的探索之旅，帶你直探生成式 AI 的根基。全書不依賴任何現成的 LLM 函式庫，將從零開始帶你撰寫基礎模型，再逐步將其演進為文本分類器，最終打造出能聽懂你對話指令的聊天機器人。最重要的是——因為所有環節都由你親手完成，你將真正理解它的每一個細節。 本書內容完整涵蓋規劃並編寫可媲美 GPT-2 的 LLM、載入預訓練權重、建構完整訓練流程等所有關鍵步驟。