Academia Simpia · o laboratório da casa
Uma LLM por dentro, em seis máquinas pequenas
Nenhuma destas máquinas é uma LLM. São pequenas o bastante para você ver cada número mudar, e é por isso que servem: dão olhos para saber, quando alguém lhe vender uma IA, o que ela é e o que não é.
Tudo corre nesta página, sem rede e sem conta. Nenhum dado sai daqui. Cada botão que quebra alguma coisa tem ao lado um botão que a conserta.
falhas desta página: 0 · toda falha conta
Como ler os números (a régua, uma vez só)
Perda é a média, letra a letra, de −ln(p), em que p é a probabilidade que o modelo deu à letra que veio de fato. A unidade é nats por letra. Quanto menor, menos o modelo se surpreendeu.
A perda do acaso é ln(V), com V letras possíveis: é a de quem escolhe sem saber nada. Um modelo que fica acima dela é pior do que não saber.
Só se comparam números da mesma régua: o mesmo texto, a mesma função e a mesma suavização. Os números do laboratório 2 e do laboratório 4 vêm de textos e réguas diferentes, e não se comparam entre si.
Laboratório 1 · o contador
Uma palavra de cada vez
Uma LLM escreve assim: olha o que já foi escrito, calcula uma distribuição de probabilidades para o próximo pedaço, sorteia um, acrescenta e repete. Esta máquina faz o mesmo gesto da forma mais simples que existe. Ela conta, num texto curto, que palavra veio depois de cada palavra.
Escolher a próxima palavra
a distribuição que vai decidir a próxima
sorteio nº 0 · semente: nenhuma ainda
A temperatura 0 escolhe sempre a mais provável. A 2 achata a distribuição e deixa as raras saírem. Cada sorteio mostra a semente: com a mesma semente, sai a mesma palavra.
O que isto NÃO prova: que uma LLM guarde uma tabela de contagens. Ela não conta nada. Aprende números (pesos) pelo erro, e é o laboratório 2 que mostra isso. Aqui só se vê o gesto de sortear a partir de uma distribuição.
Laboratório 2 · o gradiente
Contar não é aprender
Este é um modelo de verdade, ainda que pequeno. Tem uma tabela de números, um para cada par de letras, que começa sorteada. Ninguém conta nada para ele. A cada passo ele adivinha a letra seguinte (transforma os números em probabilidades, pela função softmax), mede quanto errou, calcula quanto cada número contribuiu para o erro (o gradiente) e empurra cada um um pouquinho no sentido contrário.
Ver a perda descer
o que ele escreve agora
amostra nº 0 · semente: nenhuma ainda
o que ele acha que vem depois de…
Medido nesta página, com a mesma régua: a perda começa em 3,317 nats por letra, um pouco acima da do acaso (3,258): números sorteados são piores do que não saber nada, porque apostam com confiança no que não sabem. Cai para 2,468 aos 50 passos, 2,102 aos 200 e 1,923 aos 1500, e nunca passa do chão, 1,896. Repare na letra «q»: depois de algumas centenas de passos, ele aprende sozinho que em seguida vem quase sempre «u».
O que isto NÃO prova: que o modelo entenda alguma coisa. Ele só ficou menos surpreso com o texto que viu, e a perda é medida no próprio texto de treino. Também não prova que mais passos sempre melhorem: aqui a forma do modelo tem um chão, e passar dele é impossível.
Por que a perda para de descer
Este modelo só vê uma letra para trás. Depois de «e», tanto pode vir um espaço como um «s» ou um «m», e sem mais contexto não há como saber. Para descer mais, o modelo precisa ver mais para trás. A atenção, o coração do Transformer desde 2017, é a forma de deixar cada pedaço olhar para todos os anteriores e escolher quais importam.
| Este laboratório | Uma LLM grande | |
|---|---|---|
| O que vê para trás | 1 letra | dezenas a centenas de milhares de tokens (a janela de contexto) |
| Números que aprende | 676 | bilhões a trilhões (o tamanho exato dos modelos fechados não é público: ⬛) |
| Texto de treino | 834 letras | da ordem de trilhões de tokens (o Llama 3 declarou cerca de 15 trilhões) |
| O gesto de aprender | o mesmo: adivinhar, medir o erro, empurrar os números pelo gradiente | |
O que esta comparação NÃO prova: que uma LLM seja «a mesma coisa, só que maior». Com a escala mudam coisas que aqui não existem: a atenção, as camadas, o ajuste com preferências humanas e capacidades que ninguém previu a partir do modelo pequeno. Só o gesto do treino é o mesmo.
Laboratório 3 · o tokenizador
Ver o vocabulário nascer, peça a peça
Uma LLM não lê letras nem palavras: lê tokens. Um tokenizador real (o BPE) parte o texto em letras e depois junta, passo a passo, o par de peças vizinhas que aparece mais vezes. Cada junção vira um token novo.
Juntar o par mais frequente
passo 0 · tokens no texto: 0 · tokens diferentes: 0 · última junção: —
O texto começa com 270 tokens (uma letra cada). Depois de 12 junções pela frequência, sobram 188. O modo torto junta pares por ordem alfabética, e nascem peças que a língua nunca junta, enquanto as frequentes ficam partidas ao meio: o algoritmo decide o que o modelo vai poder ver.
O que isto NÃO prova: quantos tokens custa o português num tokenizador real. A ideia (um vocabulário feito sobre mais inglês cobra mais tokens por palavra em português) vem das fontes, e não foi medida aqui: ⬛.
Laboratório 4 · o contexto
Ver mais para trás ajuda… no texto que o modelo já viu
Dois modelos que contam: o bigrama vê 1 letra para trás, o trigrama vê 2. As duas barras de cada par são medidas pela mesma função (perda(n)), no mesmo texto e com a mesma suavização (soma 0,1 a cada contagem, para nenhuma letra ter probabilidade zero).
Treinar os dois e medir
texto em uso: original
no texto que o modelo viu (perda em nats por letra, suavização 0,1, medida no próprio texto de treino)
num pedaço que o modelo não viu (treina nos primeiros 80% do texto e mede nos últimos 20%; mesma régua)
Medido nesta página: no texto que viu, a perda do trigrama desce, em nats por letra, de 1,827 para 1,248. No pedaço que não viu, inverte: o bigrama fica em 2,259 e o trigrama sobe para 2,379. Com 270 letras de treino, ver mais para trás faz o modelo decorar mais, e não prever melhor. Embaralhe o texto (as mesmas letras, fora de ordem) e o bigrama sobe para 2,157 no texto que viu: matar a estrutura da língua custa caro.
O que isto NÃO prova: que mais contexto seja sempre melhor, nem sempre pior. Com pouco texto, o contexto maior decora; uma LLM precisa de trilhões de tokens justamente para que ver mais para trás vire previsão, e não memória. Este achado nasceu ao refazer as medidas da página de origem, no dia em que ela entrou na casa.
Laboratório 5 · os erros provocados
Três ataques, cada um com a cura ao lado
Uma garantia só existe no dia em que alguém a ataca e ela continua de pé. Estes três botões atacam o laboratório 4 de propósito.
① Envenenar o treino
Troca cerca de um quarto das letras por letras raras (z, x, q, k), com semente fixa. Nada quebra, nada muda de tamanho, e o treino continua a rodar. Medido nesta página: o bigrama vai de 1,827 para 2,006 nats por letra, no texto que viu.
O que isto NÃO prova: quanto veneno uma LLM aguenta. Aqui o veneno é um quarto do texto. Num treino real pode ser uma fração mínima e, mesmo assim, ensinar uma coisa falsa. Em produção não existe botão «repor o treino».
② A régua que espia o futuro
A régua com espiada olha a letra certa antes de medir, e por isso «acerta» sempre: a perda dá 0,000 nats por letra.
Um zero só é legítimo se o modelo não viu a resposta. Repare que a régua honesta do laboratório 4 também espia um pouco: medida no texto de treino, ela já viu as respostas. É por isso que a medida no pedaço que o modelo não viu vem logo abaixo.
③ O try que engole a régua
O que isto NÃO prova: que um verde seja falso. Prova que um verde sem o porquê não diz nada. Por isso, nesta página, toda falha é contada no topo, e nenhuma é engolida.
Laboratório 6 · o idioleto
O campo que conhece a sua língua
A mesma máquina dos laboratórios 2 e 4, posta para trabalhar num campo de verdade: o nome da seguradora. O campo tem um dono, um registo com o nome de cada seguradora e as grafias que se aceitam para ela. Aqui o registo é inventado: sete seguradoras que não existem, com 14 grafias.
O modelo aprende as letras só com o dono, e não com o que chega ao campo. Para cada entrada nova, mede a surpresa de cada letra e olha a maior. Se alguma letra surpreende mais do que o acaso (ln(V), a régua do topo), o campo acende: «isto não costuma vir aqui». Ele não recusa nem corrige. Pergunta.
Perguntar ao campo
o dono (o registo inventado, a fonte da língua do campo)
a ordem do modelo, escolhida pelo dono (quantas letras para trás ele vê)
A ordem não se escolhe por hábito. Para cada ordem, o dono tira uma grafia de cada vez e pergunta se ela, sem estar no treino, fica escura, e sorteia (semente 20261010) uma troca de letra e um anagrama de cada grafia, que têm de acender. Ganha a ordem 3: 11 de 14 grafias escuras fora do treino, e 28 de 28 nãos sorteados acesos. Os casos do Ka não entram nesta escolha: eles são a prova, e não a régua.
Medido nesta página, com o limiar do acaso em 3,091 nats por letra: a gralha «Exemplo Alfi Seguros» acende com 3,738 nats por letra na letra mais surpreendente, e uma seguradora nova e legítima, «Exemplo Delta Resseguros», acende com 5,024. A surpresa das duas é do mesmo tamanho, e o campo não decide entre elas. O que muda é a distância ao dono: a gralha está a uma edição de um nome conhecido, e a legítima está longe de todos. «Edição» mede-se por Damerau-Levenshtein no texto cru: trocar duas letras vizinhas («Afla» por «Alfa», o deslize mais comum do teclado) conta UMA edição, não duas — é a régua do I1, declarada, e a surpresa mede-se no registo do dono, a língua deste campo, não em texto geral (I5). Com uma letra só (n = 1), «Exemplo Alfa Seguros» e o anagrama «Oxmpeleo Fala Ursoges» dão a mesma surpresa, 4,966 e 4,966 nats por letra: quem só conta letras não vê a ordem delas.
⬛ O que esta máquina não vê: o pedaço de um nome. «Seguros», sozinho na linha (o nome partido em duas), fica escuro: a letra mais surpreendente dá 2,043 nats por letra, abaixo do limiar, porque cada pedaço de «seguros» é da língua do campo. Uma ordem maior o acenderia, mas a ordem escolhida pelo dono é esta. O Ka tinha-o posto entre os nãos, e tirou-o ao ver esta medida: o que denuncia um pedaço é a estrutura (um valor incompleto num campo de nomes inteiros), e isso é trabalho da camada que junta as linhas, que ainda não existe. O dono, esse, não o conhece e conta-o em «fora».
⬛ E também não vê o esquema (o IRMÃO do I2). O idioleto é do par (campo, valor): «São Paulo» é banal como cidade e suspeita como seguradora. Se o CRM mudar o nome da coluna e a gralha entrar no campo errado, tudo é «banal» e o campo cala — o não do schema drift pede a camada do contrato de coluna, que ainda não existe. Fica declarado, não escondido como verde.
A legítima que cheira a gralha (o I4 invertido, palavra do Alê). A mudança de denominação chega a UMA edição de um nome conhecido, com comunicado: a forma diz gralha, a proveniência diz legítima, e é o caso mais perigoso de todos. A pergunta mostra as duas leituras e grava a discordância — fundi-las num score médio é proibido, porque uma média desliza sempre para o lado que dá jeito a quem a lê. Confirme «Exemplo Alfi Seguros S.A.» como nome novo e veja-a na pergunta a seguir.
O invisível: «Exemplo Alfa Seguros» com um espaço de largura zero no meio parece igual ao olho. O dono normaliza como o do sistema (a trava confere com o código real), apaga o invisível e resolve sem dizer nada. O campo vê a letra crua, que nunca viu, e acende. O dono é a fechadura, e o idioleto é o alarme. A luz segue a surpresa da língua, e não o veredito do dono: o dono aceita ou recusa, e conta os recusados em «fora»; o campo acende o que a língua estranha, aceite ou recusado. E o que a fechadura aceita em silêncio, só o alarme o diz.
E o fluxo não ensina o campo: com 40 gralhas em 100 entradas, a gralha acende 40 de 40 vezes. Ela só apaga quando um humano a confirma, e depois disso acende 0 vezes. A maioria não manda no dono — e toda a deliberação sobe a versão, com o nº ao lado na tela: o que muda o dono fica datado e com a mão (I7).
O canário-isca (I8): o não do harness. «Canário Exemplo Seguros» não é do dono e tem de acender 1 vez em cada arranque da máquina — pelo mesmo caminho que um dado real pergunta, senão era teatro. O silêncio dele é o alarme do alarme: se um dia o idioleto correr desligado, o canário não acende, e esta linha é a primeira a gritar. Na máquina real, o invisível interno que o dono passa (o I6 grave) não entra no dono sem decisão humana: para na fila de revisão, e o lote não para — um só não paralisa mil, senão a trava vira o obstáculo que se contorna.
O que isto NÃO prova: que a ordem 3 sirva para outro campo, ou para este com outro dono; que o modelo saiba o que é uma seguradora (ele só conhece as letras do registo); nem que acender seja errar. A surpresa só diz de onde vem a pergunta, e quem responde é o humano. Os nomes são inventados para esta página, e qualquer parecença com uma seguradora real é acaso.
Laboratório 7 · a atenção
O Transformer pequeno: aprender onde olhar
Este texto é um brinquedo com uma regra escondida: em cada bloco de quatro letras, a quarta copia a primeira («a m r a»: a última «a» repete a primeira). A letra de trás é enchimento e não diz nada; a letra que resolve está três para trás, fora do alcance do bigrama. Uma cabeça de atenção faz a cada letra anterior a mesma pergunta aprendida — «quanto tu me ajudas a adivinhar a próxima?» — e a resposta depende da letra (o conteúdo) e de onde ela está (a posição). Aprende esses números pelo erro, como o laboratório 2. E a régua aqui é cirúrgica: mede-se a perda na posição que copia, porque a média do texto inteiro esconderia o gesto no meio do enchimento imprevisível. Se o que ela aprende é o gesto de copiar, tem de funcionar até com letras que o treino nunca viu.
Treinar a cabeça e ver onde ela olha
bloco nº 0 · semente: nenhuma ainda
onde a atenção olha, ao prever a última letra de um bloco
Medido nesta página, com a mesma unidade (a média de −ln p, em nats por letra), sempre na posição que copia: a perda começa em 2,072, perto do acaso (2,485), e aos 600 passos desce para 0,000 no treino — e um zero no treino não prova nada, porque o modelo já viu as respostas: a prova é o que ela faz onde nunca esteve. Em blocos cujo inicial o treino nunca viu, o bigrama despenca para 6,020 (a letra nova sai-lhe à fora da suavização) e a atenção continua a copiar, com perda 0,876; no treino, o bigrama ficava em 1,733. O peso da atenção pousa na posição que copia: 0,907 do peso total; troque a resposta de lugar e o peso não muda (0,907) — ela não espia o futuro. Baralhe as letras do texto e a perda na posição que copia dispara para 5,933, pior do que o acaso: a cabeça aprendeu a apostar com confiança, e num texto sem estrutura a confiança fica cega.
O que isto NÃO prova: que a atenção de uma LLM seja «isto com mais letras». Aqui há UMA cabeça, sem camadas, num texto de brinquedo, e ela aprende UM gesto (copiar). Uma LLM tem dezenas de camadas e milhões de cabeças, e o que emerge da escala não se deduz desta página — como o laboratório 2 já dizia, só o gesto do treino é o mesmo.
O que fica
Olhos, não produção
Você viu o gesto de sortear (1), o modelo aprendendo pelo erro até um chão (2), o vocabulário nascer (3), o contexto ajudar só no que já foi visto (4), três ataques, cada um com a sua cura (5), um campo que aprende a língua do seu dono, acende quando algo destoa e pergunta em vez de decidir (6), e a atenção a aprender sozinha onde olhar (7). Nenhuma destas máquinas cria uma IA. Criam a pergunta certa para fazer a quem vende uma: medido em quê, com que régua, num texto que o modelo não viu?