Build a Large Language Model from Scratch

Crea, addestra e personalizza modelli linguistici di grandi dimensioni (LLM) costruendone uno da zero!

In Build a Large Language Model (from Scratch), l'autore di bestseller Sebastian Raschka ti guida passo dopo passo nella creazione del tuo LLM. Ogni fase è spiegata con testi chiari, diagrammi ed esempi. Partirai dalla progettazione e creazione iniziali, al pre-addestramento su un corpus generale, fino alla messa a punto per attività specifiche.

Cosa imparerai:

• Pianificare e codificare tutte le parti di un LLM
• Preparare un set di dati adatto per l'addestramento LLM
• Mettere a punto gli LLM per la classificazione del testo e con i tuoi dati
• Utilizzare il feedback umano per garantire che il tuo LLM segua le istruzioni
• Caricare pesi pre-addestrati in un LLM

Build a Large Language Model (from Scratch) ti porta all'interno della black box dell'IA per armeggiare con i sistemi interni che alimentano l'IA generativa. Mentre lavori attraverso ogni fase chiave della creazione di LLM, svilupperai una comprensione approfondita di come funzionano gli LLM, dei loro limiti e dei loro metodi di personalizzazione. Il tuo LLM può essere sviluppato su un normale laptop e utilizzato come tuo assistente personale.

Questo libro è una guida pratica e coinvolgente per comprendere e costruire modelli linguistici di grandi dimensioni (LLM). Scritto da Sebastian Raschka, esperto nel campo dell'intelligenza artificiale, il libro offre un approccio passo dopo passo per creare il proprio LLM da zero. Imparerai a progettare, addestrare e personalizzare questi modelli, acquisendo una comprensione approfondita del loro funzionamento interno, dei limiti e delle tecniche di personalizzazione.

Caratteristiche principali:

• Approccio pratico: Costruisci il tuo LLM seguendo le istruzioni passo dopo passo.
• Spiegazioni chiare: Ogni fase è spiegata con testi, diagrammi ed esempi.
• Personalizzazione: Impara a mettere a punto il tuo LLM per attività specifiche e con i tuoi dati.
• Feedback umano: Scopri come utilizzare il feedback umano per migliorare le prestazioni del tuo LLM.

Acquista la versione cartacea del libro e ricevi gratuitamente l'eBook in formato PDF e ePub da Manning Publications.

Indice dei contenuti:

1. Understanding large language models
2. Working with text data
3. Coding attention mechanisms
4. Implementing a GPT model from scratch to generate text
5. Pretraining on unlabeled data
6. Fine-tuning for classification
7. Fine-tuning to follow instructions
8. Introduction to PyTorch
9. References and further reading
10. Exercise solutions
11. Adding bells and whistles to the training loop
12. Parameter-efficient fine-tuning with LoRA