DébutantCas Pratiques
10 min de lecture26 vues

Token Trainer

Prédisez comment un tokenizer découpe les phrases en tokens ! Cliquez entre les caractères pour placer vos séparations et découvrez les règles de tokenization.

Token Trainer

Prédisez comment un tokenizer (type GPT/BPE) va découper une phrase en tokens. Placez vos séparations entre les caractères, puis découvrez la vraie tokenization avec des explications sur les règles.

Specialiste IA — Master Intelligence Artificielle

Diplome d'un Master en Intelligence Artificielle, je travaille au quotidien sur des projets IA en entreprise. J'ai cree IwanttolearnAI pour rendre l'apprentissage de l'IA accessible a tous, gratuitement.