GPT em nível de caractere
Um modelo de linguagem do tipo GPT implementado do zero, que escreve um caractere por vez, para entender a arquitetura transformer por dentro.
- Tipo
- Modelo
- Período
- 2026–
- Status
- Em andamento
Ferramentas
- Python
A pergunta
Como um transformer aprende a escrever? Em vez de usar um modelo pronto, implementei a arquitetura a partir do zero para entender cada peça: os embeddings, a atenção, as camadas e o laço de treino.
O método
O modelo trabalha em nível de caractere. O vocabulário é o conjunto de letras e símbolos do texto de treino, e a tarefa é sempre a mesma: prever o próximo caractere. Treinei os modelos numa GPU local.
O que vem a seguir
Uma demo nesta página para gerar texto com o modelo treinado, com controle de temperatura.