Costruisci un modello di linguaggio di grandi dimensioni (da zero)

Su questo libro

Volete capire come funzionano davvero i meccanismi di attenzione degli LLM e i transformer in stile GPT? In «Costruire un Large Language Model da Zero», l'autore bestseller Sebastian Raschka vi accompagna passo dopo passo nella creazione del vostro modello linguistico. Ogni fase viene illustrata con testi chiari, diagrammi ed esempi pratici: si parte dalla progettazione e dalla codifica iniziale, si prosegue con il pretraining su un corpus generale e si arriva infine al fine-tuning per compiti specifici. Il libro vi insegnerà a pianificare e codificare ogni parte di un LLM, a preparare un dataset adatto al suo addestramento, a fare il fine-tuning per la classificazione del testo usando i vostri dati, a sfruttare il feedback umano perché il modello impari a seguire le istruzioni, e a caricare pesi pre-addestrati. Passo dopo passo, vi porterà dentro la scatola nera dell'IA, svelandovi i meccanismi interni che alimentano l'intelligenza artificiale generativa. Affrontando ogni tappa fondamentale della creazione di un LLM, arriverete a capirne a fondo il funzionamento, i limiti e le possibilità di personalizzazione. E la cosa forse più sorprendente: vi basterà un normale laptop per trasformare il vostro LLM in un assistente personale. C'è un aneddoto, attribuito al fisico Richard P. Feynman, secondo cui «non si capisce davvero nulla di ciò che non si riesce a costruire». È proprio da questo principio che parte Sebastian Raschka per guidarvi, sempre passo dopo passo, nella costruzione di un LLM in stile GPT eseguibile sul vostro laptop. Ne risulta un libro coinvolgente, che copre ogni fase del processo — dalla pianificazione e dalla codifica all'addestramento e al fine-tuning — restituendo al lettore il piacere raro di capire mentre costruisce. «Costruire un Large Language Model da Zero» è un percorso pratico e profondamente appagante dentro le fondamenta dell'IA generativa. Senza affidarsi a librerie LLM già pronte, scriverete il codice di un modello di base, lo farete evolvere in un classificatore di testo e, infine, creerete un chatbot capace di seguire le vostre istruzioni conversazionali. Lo capirete davvero, perché lo avrete costruito voi. In concreto, il volume vi porterà a pianificare e codificare un LLM paragonabile a GPT-2, a caricare pesi pre-addestrati e a costruire una pipeline di addestramento completa.