# Harpya

> Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial. Só entram caminhos com equação, custo e teste refutável.

Pesquisa aberta em português mantida por Carlos Frederico Domínguez. Cada caminho de pesquisa traz mecanismo em equação, custo, teste refutável, regra de parada e arte prévia. Conteúdo sob CC BY 4.0: cite com o título da página, o autor e o link. Cada página HTML tem uma versão em markdown no mesmo endereço terminado em .md. Texto completo em https://www.harpya.org/llms-full.txt.

## Comece por aqui

- [Harpya](https://www.harpya.org/index.md): Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial. Só entram caminhos com equação, custo e teste refutável.
- [Começando](https://www.harpya.org/comecando.md): Para quem está começando: a série "Como uma máquina aprende a falar", que explica como funciona um LLM do token ao espaço vetorial, sem pré-requisito.
- [O truque é um só: adivinhar a próxima palavra](https://www.harpya.org/comecando/proxima-palavra.md): Como um modelo de linguagem aprende prevendo o próximo token, por que isso parece conhecimento e de onde vem a resposta confiantemente errada.
- [Tokens: o modelo não lê palavras](https://www.harpya.org/comecando/tokens.md): Como o BPE corta o texto em tokens, por que o português custa cerca de 30% mais que o inglês e de onde vêm os erros de contar letras.
- [Corpus: a única fonte de verdade](https://www.harpya.org/comecando/corpus.md): De onde vem o que um modelo sabe: como o corpus é filtrado, deduplicado e misturado, e por que isso decide o que ele acerta e erra.
- [Significado vira espaço](https://www.harpya.org/comecando/significado-vira-espaco.md): Como significado vira posição num espaço de milhares de dimensões, do word2vec ao transformer, e o que a distância entre vetores não mede.
- [Estudos](https://www.harpya.org/estudos.md): Os caminhos válidos de eficiência em embeddings, tokens e busca vetorial.
- [Sobre o Harpya](https://www.harpya.org/sobre.md): Autoria, método, licença e como contribuir com o Harpya.

## Análises

- [Análises](https://www.harpya.org/analises.md): Análises assinadas por Carlos Frederico Domínguez sobre resultados recentes em IA e computação, com as fontes de cada afirmação.
- [O gargalo dos estados mágicos e o resultado do Google](https://www.harpya.org/analises/computacao-quantica-util-parte-1.md): O Google cultivou no chip Willow estados mágicos cerca de 40 vezes menos errados. Por que essas peças pesam tanto no custo de um computador quântico útil.

## Caminhos de pesquisa

- [Certificado inteiro com leitura progressiva em bits](https://www.harpya.org/estudos/caminhos/certificado-inteiro.md): Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes.
- [Escala diagonal da tabela](https://www.harpya.org/estudos/caminhos/escala-diagonal.md): Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui.
- [Raio probabilístico por concentração](https://www.harpya.org/estudos/caminhos/raio-probabilistico.md): Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita.
- [Certificado único sobre bits e dimensões](https://www.harpya.org/estudos/caminhos/certificado-bits-dimensoes.md): Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler.
- [Reticulados E8 e Leech para o vetor armazenado](https://www.harpya.org/estudos/caminhos/reticulados-e8-leech.md): Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice.
- [Bits por coluna segundo a sensibilidade](https://www.harpya.org/estudos/caminhos/bits-por-coluna.md): Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada.
- [Controle como problema de Bellman](https://www.harpya.org/estudos/caminhos/controle-bellman.md): A hipótese central do programa escrita como problema de controle: diz o que otimizar e mede o teto do estado de contexto.
- [Cabeça de saída: métrica do softmax e logits incrementais](https://www.harpya.org/estudos/caminhos/cabeca-de-saida.md): Duas ideias para a camada que escolhe o próximo token, cada uma decidida por uma medida de posto efetivo.
- [Atalho linear entre camadas do encoder](https://www.harpya.org/estudos/caminhos/atalho-entre-camadas.md): Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência.
- [Pesos de fase {±1, ±i}](https://www.harpya.org/estudos/caminhos/pesos-de-fase.md): Pesos complexos de 2 bits contra pesos reais de 2 bits no mesmo orçamento. Único resultado forte da família complexa.
- [Valor em precisão alta e derivada em poucos bits](https://www.harpya.org/estudos/caminhos/valor-e-derivada.md): Cada item guarda um vetor e uma direção de variação. É a forma de primeira ordem do estado de controle.
- [Tensor-train na cabeça de saída](https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca.md): Fatorar a tabela do vocabulário como produto de tensores pequenos e comparar com int4 em bytes iguais.

## Referência

- [Camadas de um LLM e as equações de cada uma](https://www.harpya.org/equacoes.md): As 16 camadas de um LLM e de um modelo de embedding, com as equações que regem cada uma e o custo de cada etapa.
- [Glossário](https://www.harpya.org/biblioteca/glossario.md): Glossário do Harpya: embeddings, quantização, busca vetorial e medição.
- [Origens](https://www.harpya.org/origens.md): A linha do tempo das LLMs em sóis e eclipses: os marcos celebrados e as fundações que ficaram na sombra, de 1943 a 2026.
- [Aprendizado de Máquina](https://www.harpya.org/aprendizado.md): Dez ideias de 1949 a 1998 que ainda estão dentro das LLMs, com contexto, equações explicadas, exemplos com números e fontes primárias.
- [A ideia mais interessante que não serve para nada](https://www.harpya.org/estudos/a-ideia-mais-interessante.md): E se a vetorização ocorresse em um espaço não euclidiano? A resposta, as medidas e por que a geometria hiperbólica continua sendo pesquisa real.
- [Arquivados](https://www.harpya.org/estudos/arquivados.md): Linhas de pesquisa avaliadas e arquivadas pelo Harpya, com o motivo.

## Acervo

- [Vídeos](https://www.harpya.org/videos.md): Catálogo de 155 vídeos sobre LLMs, do token ao raciocínio, organizado em 13 módulos e três níveis, com resumo em português.
- [Biblioteca](https://www.harpya.org/biblioteca.md): Livros, artigos acadêmicos e fontes de alta qualidade sobre matemática, física e IA.
- [Fontes do site](https://www.harpya.org/biblioteca/fontes.md): Fontes do Harpya, uma a uma: instituições, artigos, livros, vídeos, referências, créditos de imagens, feeds e licenças.

## Optional

- [News](https://www.harpya.org/news.md): Manchetes de laboratórios de IA e do arXiv ligadas a embeddings, busca vetorial e eficiência.
- [Fórum](https://www.harpya.org/forum.md): Fórum do Harpya: perguntas, reproduções e propostas, via GitHub Discussions.
- [RSS](https://www.harpya.org/rss.xml): novidades do site
- [Repositório](https://github.com/freddominugez/Harpia-Project): código e conteúdo