AI Home Lab – Testando os Limites da IA Local
Episódio 1: Quais os Limites da IA Local em Um Mac Mini M6 com 32 GB de RAM?
Caso queira pular direto para a conclusão, acesse a seção “O Que Podemos Concluir e o Que Falta Testar?” ao final do artigo.
Propósito do Experimento
Fiz a seguinte pergunta: Qual o limite de uma máquina no uso de LLM local? Para responder à pergunta decidi fazer um experimento com cada um dos computadores da minha coleção. O resultado é esta série de artigos chamada AI Home Lab – Testando os Limites da IA Local.
Em cada episódio vou detalhar o experimento, conceitos de IA, a configuração da máquina usada, os testes realizados, os números e conclusões. Além de ajudar a compreender até onde podemos chegar com a IA local, pode ajudar você ao decidir comprar um novo computador pensando em laboratórios de IA. A cada episódio, a partir do segundo, vou criar um ranking considerando como cada computador se comportou dentro das suas características e limitações.
O propósito é descobrir quais modelos de linguagem um determinado computador consegue usar com respostas corretas, espera aceitável, execução de agentes e memória sob controle. O interesse é sua utilidade para conversar, trabalhar com textos e ajudar na programação. Cada computador do laboratório é estudado por suas próprias possibilidades.
Cada episódio foi escrito para quem não acompanhou a execução, mas deseja aprender alguma coisa sobre cada experimento. Primeiro apresento os conceitos, o computador, os softwares usados e as tarefas. Só então mostro as medições e explico o que elas permitem concluir.
Cada experimento não é definitivo em si, mas ajuda a ter uma visão do que uma determinada configuração permite fazer com IA local.
Conceitos Antes dos Números
Modelo local e parâmetros
Um LLM é um modelo de linguagem que produz texto ou código a partir de uma solicitação. Aqui ele roda no próprio computador. Os parâmetros são os valores aprendidos no treinamento: 4B, 8B ou 14B significam aproximadamente 4, 8 ou 14 bilhões de parâmetros (ou pesos). Esse número não é a quantidade de gigabytes de RAM necessária e, sozinho, não determina a qualidade.
Instruct
A palavra Instruct identifica uma versão ajustada para seguir instruções e conversar. Ela ajuda a distinguir essa versão de outras da mesma família; o nome completo e a identidade do arquivo usado ficam guardados nos dados do experimento.
Tokens e janela de contexto
O modelo trabalha com tokens, que podem ser partes de palavras, palavras inteiras ou sinais. Não existe uma conversão fixa entre tokens e palavras. A janela de contexto é sua memória de trabalho durante uma solicitação: precisa acomodar a entrada, instruções, histórico e espaço para a resposta. Pedir uma janela de 16.384 tokens não significa que o teste enviou um texto desse tamanho; por isso também registramos os tokens realmente processados.
Quantização e Q4_K_M
Quantização reduz a precisão com que os pesos do modelo são armazenados, para diminuir seu tamanho e consumo de memória. Em Q4_K_M, Q4 indica a ênfase em valores de cerca de 4 bits; K identifica a família de quantização em blocos conhecida como K quants; M identifica a variante intermediária, ou Medium, da receita. Algumas partes usam precisão diferente. O arquivo inteiro não tem quatro bits uniformes por parâmetro e M não significa memória.
TTFT e velocidade de geração
TTFT é a sigla para Time-To-First-Token e, neste experimento, significa o tempo entre enviar a solicitação e receber o primeiro trecho de texto visível. Ele descreve a espera inicial. Tokens por segundo descrevem o ritmo depois que a geração começa: quanto maior, mais rapidamente o texto tende a aparecer. São medidas diferentes; uma resposta pode começar logo e continuar devagar.
Tempo de uma tarefa e primeira ação
Um Agente de IA pode começar chamando uma ferramenta sem mostrar texto. Nesse caso medimos a espera pela primeira ação separadamente do TTFT. Para a programação, a medida mais direta é o tempo da tarefa inteira: ler o arquivo, editar o código, executar os testes e terminar a resposta.
Qualidade e memória
Velocidade não prova que a resposta está correta. Usamos verificações objetivas para recuperação de informações, saída estruturada e programação. Também observamos a pressão de memória e o swap, que é o uso do armazenamento para aliviar a RAM. Pressão normal e ausência de aumento de swap são sinais favoráveis nas amostras coletadas; não equivalem a medir toda a memória do modelo nem seu pico instantâneo.
Por Que Começar Pequeno e Depois Aumentar?
O modelo de 4 bilhões de parâmetros é um ponto de partida para conferir a instalação, os instrumentos de medição e o funcionamento das tarefas. Ele representa a primeira etapa da exploração e, sozinho, não mede o limite deste computador. Por isso o roteiro aumenta o tamanho dos modelos e as janelas de contexto em três perfis.
| Perfil | Modelos selecionados | Janelas em tokens | Objetivo |
|---|---|---|---|
| quick | Qwen3 4B Instruct em Q4 | 2.048 e 4.096 | Validar instalação, instrumentos de medição e primeiras tarefas. |
| standard | Qwen3 4B, 8B e 14B em Q4 | 4.096, 8.192 e 16.384 | Explorar tamanho do modelo, quantidade de texto disponível e qualidade das respostas. |
| frontier | Qwen3 Coder 30B em Q4 | 4.096, 8.192, 16.384 e 32.768 | Tentar um modelo maior e voltado a código, respeitando as proteções de memória. |
Os modelos não são cópias idênticas com apenas mais parâmetros. O 4B Instruct, as variantes de 8B e 14B e o Coder também podem diferir em treinamento e arquitetura. O experimento observa a utilidade de cada combinação nesta máquina; não isola apenas o efeito do tamanho.
Configuração do Computador Neste Experimento
A CPU executa instruções; a GPU pode acelerar os cálculos do modelo. Nos Macs com memória unificada, CPU e GPU compartilham a mesma memória física. Essa memória atende ao sistema, aos aplicativos e ao contexto da conversa. As capacidades de memória e armazenamento aparecem em GiB; essa unidade é diferente do B dos nomes de modelos, que indica bilhões de parâmetros.
| Componente | Configuração registrada |
|---|---|
| Chip ou processador | Apple M6 |
| Identificador do modelo | Mac18,5 |
| Arquitetura | arm64 |
| Núcleos de CPU | 12 |
| Grupos de CPU informados pelo sistema | Super 2; Performance 4; Efficiency 6 |
| Memória física | 32,0 GiB |
| Sistema | macOS 27.2 |
| GPU | Apple M6 |
O inventário identifica a configuração usada. Ele não é um diagnóstico físico de todos os componentes. Temperatura e potência elétrica não foram medidas nesta rodada.
Softwares Usados no Experimento
O hardware não trabalha sozinho: o resultado também depende dos programas e de suas versões.
| Software | Versão registrada | Papel no experimento |
|---|---|---|
| macOS | 27.2 | Sistema operacional do computador |
| Python | 3.13.5 | Executa o roteiro e os testes do projeto |
| AI Home Lab | 0.2.0 | Coleta, organiza e relata os experimentos |
| unittest | incluído no Python 3.13.5 | Confere as funções de desconto e frete |
| sandbox-exec | incluído no macOS 27.2 | Restringe a execução do código ao ambiente descartável |
| Ollama | 0.40.13 | Carrega os modelos e executa a inferência local |
| python-docx | 1.2.0 | Gera o relatório Word |
| lxml | 6.1.3 | Manipula a estrutura do documento Word |
| typing_extensions | 4.16.0 | Oferece compatibilidade de tipos para as bibliotecas |
| caffeinate | incluído no macOS 27.2 | Impede suspensão automática durante o perfil sem alterar ajustes permanentes |
Modelos Registrados e o Significado de Seus Nomes
O nome informa a família, uma indicação de tamanho e a versão de armazenamento. Em Qwen3 4B Instruct Q4_K_M, por exemplo, Qwen3 é a família, 4B é a ordem de grandeza dos parâmetros, Instruct indica ajuste para seguir instruções e Q4_K_M é a receita de quantização explicada acima. O tamanho do arquivo não representa todo o consumo de RAM durante a execução.
| Modelo | Parâmetros informados | Quantização | Arquivo |
|---|---|---|---|
| Qwen3 4B Instruct | 4.0B | Q4_K_M | 2,3 GiB |
| Qwen3 8B | 8.2B | Q4_K_M | 4,9 GiB |
| Qwen3 14B | 14.8B | Q4_K_M | 8,6 GiB |
| Qwen3 Coder 30B A3B | 30.5B | Q4_K_M | 17,3 GiB |
O Qwen3 Coder 30B A3B usa uma mistura de especialistas. A descrição oficial informa cerca de 30,5 bilhões de parâmetros no total e 3,3 bilhões ativados por token. Isso reduz a parte do modelo que calcula cada token, mas os pesos dos especialistas continuam ocupando espaço. A3B não significa arquivo de 3 GB nem uso total de 3 GB de RAM.
As versões exatas dos arquivos são verificadas por uma identidade chamada digest. Essa sequência extensa fica nos arquivos de dados para reprodução; não é preciso entendê-la para ler os resultados.
Como as Tarefas Foram Executadas?
O roteiro começa carregando o modelo e fazendo uma solicitação de aquecimento. Em seguida mede geração curta, recuperação de informações em um texto longo, extração estruturada e programação. Carga inicial e aquecimento ficam separados dos resultados usados para avaliar o uso cotidiano.
Na recuperação de contexto, três informações são colocadas no início, meio e fim de um texto. O teste confere se o modelo encontra as três e registra o número real de tokens de entrada. Na extração estruturada, a resposta precisa organizar os valores corretos em campos de um formato chamado JSON, em vez de responder livremente em prosa.
O microagente recebe um pequeno projeto real com duas funções de desconto e frete que precisam de correção. Ele pode ler o arquivo, substituir seu conteúdo e executar os testes. Os testes são protegidos contra edição. O código alterado é executado em um ambiente isolado no macOS, com limites de tempo e acesso; a tarefa só é aprovada quando o fluxo termina e os testes confirmam a correção. O exercício usa cálculos e condições simples, sem importações ou dependências externas. Isso é uma experiência real de edição e execução em um projeto pequeno e controlado. Como o projeto é pequeno, o microagente usa apenas parte da janela solicitada; isso não valida trabalho sobre um repositório que preencha toda essa janela.
As regras desse projeto são claras. Um preço de 10 centavos com desconto de 10% deve terminar em 9 centavos; o preço final é arredondado para baixo quando necessário. O frete é grátis a partir de 10 centavos de subtotal, inclusive para destino remoto. Abaixo disso custa 5 centavos no destino normal e 1 no remoto. São 12 casos de teste, seis de desconto e seis de frete, incluindo valores de fronteira. Como as regras e a fórmula do desconto estavam no enunciado, esta é uma tarefa guiada de edição, aplicação de regras e verificação.
É permitido corrigir o próprio código a partir das mensagens das ferramentas ou dos testes, respeitando os limites e as proteções do experimento. A aprovação considera o código testado ao final; sucesso na primeira edição e recuperação após esse retorno são registrados separadamente.
As proteções acompanham pressão de memória, crescimento de swap e tempo de execução. Uma interrupção preserva o que foi medido e deixa as etapas posteriores como não demonstradas. A grade completa tem três possíveis leituras: atendeu aos critérios, ficou fora de algum critério ou permaneceu inconclusiva por falta de evidência válida.
A regra original reprovava recuperações após mensagens das ferramentas. A avaliação revisada usa a evidência original, preservada nos arquivos run_original.json de cada perfil, para reconhecer as correções concluídas dentro das regras.
O frontier foi repetido com a suspensão automática temporariamente impedida após uma tentativa interrompida pelo repouso do macOS. A execução final ficou independente da conexão SSH. A tentativa interrompida está preservada na proveniência e não entra nas métricas finais.
No perfil quick, foi prevista uma repetição por tarefa. As preferências foram: espera inicial de até 5s, geração de pelo menos 10 tokens/s, aumento de swap de até 1,0 GiB e tarefa de programação em até 180s. Esses valores são escolhas do experimento, não uma norma universal de qualidade.
No perfil standard, foram previstas 3 repetições por tarefa. As preferências foram: espera inicial de até 5s, geração de pelo menos 10 tokens/s, aumento de swap de até 1,0 GiB e tarefa de programação em até 180s. Esses valores são escolhas do experimento, não uma norma universal de qualidade.
No perfil frontier, foi prevista uma repetição por tarefa. As preferências foram: espera inicial de até 10s, geração de pelo menos 5 tokens/s, aumento de swap de até 1,0 GiB e tarefa de programação em até 300s. Esses valores são escolhas do experimento, não uma norma universal de qualidade.
Resultado Geral e Leitura Prática
Foram registradas 147 tentativas de medição: 147 concluídas, 0 com erro e 0 não executadas. Das 15 combinações de modelo e janela previstas, 2 atenderam a todos os critérios escolhidos. Algumas velocidades ficaram sem conclusão porque os tempos fornecidos pelo software não foram coerentes com o relógio do teste; esses campos aparecem como N/D. O resultado descreve esta máquina, estes modelos e estas tarefas. Ele ainda não define um limite absoluto nem garante o mesmo desempenho em um projeto de programação maior.
No perfil quick, a mesma tarefa guiada de programação foi concluída corretamente em 2 de 2 tentativas registradas. Na recuperação de informações do texto longo, os acertos entre as tentativas verificadas foram: Qwen3 4B Instruct, 2 de 2. A meta para iniciar a resposta ao texto longo foi de até 5 segundos.
No perfil standard, a mesma tarefa guiada de programação foi concluída corretamente em 27 de 27 tentativas registradas; o rótulo fora dos critérios inclui outras exigências e não significa incapacidade de executar esse exercício. Na recuperação de informações do texto longo, os acertos entre as tentativas verificadas foram: Qwen3 4B Instruct, 4 de 9; Qwen3 8B, 9 de 9; Qwen3 14B, 9 de 9. A meta para iniciar a resposta ao texto longo foi de até 5 segundos, com esperas acima desse valor em parte das tentativas.
No perfil frontier, a mesma tarefa guiada de programação foi concluída corretamente em 4 de 4 tentativas registradas; o rótulo fora dos critérios inclui outras exigências e não significa incapacidade de executar esse exercício. Na recuperação de informações do texto longo, os acertos entre as tentativas verificadas foram: Qwen3 Coder 30B A3B, 4 de 4. A meta para iniciar a resposta ao texto longo foi de até 10 segundos, com esperas acima desse valor em parte das tentativas.
As tabelas usam a mediana, o valor central das repetições válidas. Se houve apenas uma tentativa, o número é somente aquela observação. A coluna de espera curta mede TTFT em uma solicitação pequena; textos longos podem exigir mais tempo antes da primeira resposta. N/D mantém visível a falta de uma medição válida, sem substituí-la por zero.
Perfil quick
Estado do perfil: concluído. As combinações abaixo são as previstas; a ausência de uma tentativa concluída não demonstra que o computador a suporta.
| Modelo | Janela pedida | Espera curta s | Geração tokens/s | Código aprovado | Leitura da grade |
|---|---|---|---|---|---|
| Qwen3 4B Instruct | 2.048 | 0,18 | 33,77 | 1 de 1 | Inconclusivo |
| Qwen3 4B Instruct | 4.096 | 0,15 | 35,16 | 1 de 1 | Inconclusivo |
Qwen3 4B Instruct. Nas solicitações curtas concluídas, a espera resumida para começar o texto variou de 0,15 a 0,18 segundos entre as janelas testadas. As velocidades resumidas válidas ficaram entre 33,77 e 35,16 tokens por segundo. Na maior janela com medição de contexto (4.096 tokens), a entrada longa processada teve 2.916 tokens e a espera para começar a resposta foi de 3,58 segundos. O microagente concluiu corretamente 2 de 2 tentativas registradas de programação. Nos registros com testes antes e depois, o projeto começava com 4 de 12 testes corretos; ao final, o resultado foi 12 de 12. O registro distingue sucesso na primeira edição (2 de 2) e recuperação após mensagens das ferramentas (0 de 2).
| Combinação | Por que a leitura pede cuidado |
|---|---|
| Qwen3 4B Instruct Janela 2.048 |
Não foi possível validar a taxa de geração nestas etapas: ciclo de programação. A ausência dessa taxa impede aprovar todos os critérios; correção das respostas e tempo total medido podem ser avaliados separadamente. |
| Qwen3 4B Instruct Janela 4.096 |
Não foi possível validar a taxa de geração nestas etapas: ciclo de programação. A ausência dessa taxa impede aprovar todos os critérios; correção das respostas e tempo total medido podem ser avaliados separadamente. |
Perfil standard
Estado do perfil: concluído. As combinações abaixo são as previstas; a ausência de uma tentativa concluída não demonstra que o computador a suporta.
| Modelo | Janela pedida | Espera curta s | Geração tokens/s | Código aprovado | Leitura da grade |
|---|---|---|---|---|---|
| Qwen3 4B Instruct | 4.096 | 0,15 | 33,99 | 3 de 3 | Fora dos critérios |
| Qwen3 4B Instruct | 8.192 | 0,12 | 34,58 | 3 de 3 | Fora dos critérios |
| Qwen3 4B Instruct | 16.384 | 0,12 | 34,50 | 3 de 3 | Fora dos critérios |
| Qwen3 8B | 4.096 | 0,24 | 19,08 | 3 de 3 | Fora dos critérios |
| Qwen3 8B | 8.192 | 0,13 | 28,79 | 3 de 3 | Fora dos critérios |
| Qwen3 8B | 16.384 | 0,13 | 28,66 | 3 de 3 | Fora dos critérios |
| Qwen3 14B | 4.096 | 0,23 | 15,93 | 3 de 3 | Fora dos critérios |
| Qwen3 14B | 8.192 | 0,23 | 16,10 | 3 de 3 | Fora dos critérios |
| Qwen3 14B | 16.384 | 0,23 | 16,07 | 3 de 3 | Fora dos critérios |
Qwen3 4B Instruct. Nas solicitações curtas concluídas, a espera resumida para começar o texto variou de 0,12 a 0,15 segundos entre as janelas testadas. As velocidades resumidas válidas ficaram entre 33,99 e 34,58 tokens por segundo. Na maior janela com medição de contexto (16.384 tokens), a entrada longa processada teve 11.276 tokens e a espera para começar a resposta foi de 22,67 segundos. O microagente concluiu corretamente 9 de 9 tentativas registradas de programação. Nos registros com testes antes e depois, o projeto começava com 4 de 12 testes corretos; ao final, o resultado foi 12 de 12. O registro distingue sucesso na primeira edição (9 de 9) e recuperação após mensagens das ferramentas (0 de 9).
Qwen3 8B. Nas solicitações curtas concluídas, a espera resumida para começar o texto variou de 0,13 a 0,24 segundos entre as janelas testadas. As velocidades resumidas válidas ficaram entre 19,08 e 28,79 tokens por segundo. Na maior janela com medição de contexto (16.384 tokens), a entrada longa processada teve 11.284 tokens e a espera para começar a resposta foi de 18,99 segundos. O microagente concluiu corretamente 9 de 9 tentativas registradas de programação. Nos registros com testes antes e depois, o projeto começava com 4 de 12 testes corretos; ao final, o resultado foi 12 de 12. O registro distingue sucesso na primeira edição (0 de 9) e recuperação após mensagens das ferramentas (9 de 9).
Qwen3 14B. Nas solicitações curtas concluídas, a espera resumida para começar o texto variou de 0,23 a 0,23 segundos entre as janelas testadas. As velocidades resumidas válidas ficaram entre 15,93 e 16,10 tokens por segundo. Na maior janela com medição de contexto (16.384 tokens), a entrada longa processada teve 11.284 tokens e a espera para começar a resposta foi de 36,40 segundos. O microagente concluiu corretamente 9 de 9 tentativas registradas de programação. Nos registros com testes antes e depois, o projeto começava com 4 de 12 testes corretos; ao final, o resultado foi 12 de 12. O registro distingue sucesso na primeira edição (9 de 9) e recuperação após mensagens das ferramentas (0 de 9).
| Combinação | Por que a leitura pede cuidado |
|---|---|
| Qwen3 4B Instruct Janela 4.096 |
Houve resposta incorreta em ao menos uma tentativa nestas tarefas: recuperação de contexto. |
| Qwen3 4B Instruct Janela 8.192 |
Houve resposta incorreta em ao menos uma tentativa nestas tarefas: recuperação de contexto. A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 4B Instruct Janela 16.384 |
Houve resposta incorreta em ao menos uma tentativa nestas tarefas: recuperação de contexto. A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 8B Janela 4.096 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 8B Janela 8.192 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 8B Janela 16.384 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 14B Janela 4.096 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 14B Janela 8.192 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 14B Janela 16.384 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
Perfil frontier
Estado do perfil: concluído. As combinações abaixo são as previstas; a ausência de uma tentativa concluída não demonstra que o computador a suporta.
| Modelo | Janela pedida | Espera curta s | Geração tokens/s | Código aprovado | Leitura da grade |
|---|---|---|---|---|---|
| Qwen3 Coder 30B A3B | 4.096 | 0,11 | 63,27 | 1 de 1 | Atendeu nesta sondagem |
| Qwen3 Coder 30B A3B | 8.192 | 0,11 | 63,05 | 1 de 1 | Atendeu nesta sondagem |
| Qwen3 Coder 30B A3B | 16.384 | 0,12 | 63,05 | 1 de 1 | Fora dos critérios |
| Qwen3 Coder 30B A3B | 32.768 | 0,12 | 62,21 | 1 de 1 | Fora dos critérios |
Qwen3 Coder 30B A3B. Nas solicitações curtas concluídas, a espera resumida para começar o texto variou de 0,11 a 0,12 segundos entre as janelas testadas. As velocidades resumidas válidas ficaram entre 62,21 e 63,27 tokens por segundo. Na maior janela com medição de contexto (32.768 tokens), a entrada longa processada teve 22.417 tokens e a espera para começar a resposta foi de 45,25 segundos. O microagente concluiu corretamente 4 de 4 tentativas registradas de programação. Nos registros com testes antes e depois, o projeto começava com 4 de 12 testes corretos; ao final, o resultado foi 12 de 12. O registro distingue sucesso na primeira edição (4 de 4) e recuperação após mensagens das ferramentas (0 de 4).
| Combinação | Por que a leitura pede cuidado |
|---|---|
| Qwen3 Coder 30B A3B Janela 16.384 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
| Qwen3 Coder 30B A3B Janela 32.768 |
A espera inicial ultrapassou a meta nestas etapas: recuperação de contexto. |
Qualidade Contexto e Programação
A contagem de aprovação mostra quantas tentativas passaram no verificador de cada tarefa. Por exemplo, 2 de 3 indica duas respostas corretas em três tentativas concluídas; não significa 67 por cento de inteligência geral. A entrada longa real permite distinguir a janela reservada do texto que o modelo efetivamente recebeu.
Perfil quick
| Modelo e janela | Entrada longa em tokens | Recuperação correta | JSON correto | Código correto | Tarefa de código s |
|---|---|---|---|---|---|
| Qwen3 4B Instruct 2.048 |
1.530 | 1 de 1 | 1 de 1 | 1 de 1 | 13,83 |
| Qwen3 4B Instruct 4.096 |
2.916 | 1 de 1 | 1 de 1 | 1 de 1 | 13,80 |
Perfil standard
| Modelo e janela | Entrada longa em tokens | Recuperação correta | JSON correto | Código correto | Tarefa de código s |
|---|---|---|---|---|---|
| Qwen3 4B Instruct 4.096 |
2.922 | 1 de 3 | 3 de 3 | 3 de 3 | 12,55 |
| Qwen3 4B Instruct 8.192 |
5.699 | 2 de 3 | 3 de 3 | 3 de 3 | 12,93 |
| Qwen3 4B Instruct 16.384 |
11.276 | 1 de 3 | 3 de 3 | 3 de 3 | 13,62 |
| Qwen3 8B 4.096 |
2.930 | 3 de 3 | 3 de 3 | 3 de 3 | 15,73 |
| Qwen3 8B 8.192 |
5.707 | 3 de 3 | 3 de 3 | 3 de 3 | 14,98 |
| Qwen3 8B 16.384 |
11.284 | 3 de 3 | 3 de 3 | 3 de 3 | 15,06 |
| Qwen3 14B 4.096 |
2.930 | 3 de 3 | 3 de 3 | 3 de 3 | 21,77 |
| Qwen3 14B 8.192 |
5.707 | 3 de 3 | 3 de 3 | 3 de 3 | 22,24 |
| Qwen3 14B 16.384 |
11.284 | 3 de 3 | 3 de 3 | 3 de 3 | 22,14 |
Perfil frontier
| Modelo e janela | Entrada longa em tokens | Recuperação correta | JSON correto | Código correto | Tarefa de código s |
|---|---|---|---|---|---|
| Qwen3 Coder 30B A3B 4.096 |
2.924 | 1 de 1 | 1 de 1 | 1 de 1 | 12,59 |
| Qwen3 Coder 30B A3B 8.192 |
5.709 | 1 de 1 | 1 de 1 | 1 de 1 | 12,39 |
| Qwen3 Coder 30B A3B 16.384 |
11.279 | 1 de 1 | 1 de 1 | 1 de 1 | 12,32 |
| Qwen3 Coder 30B A3B 32.768 |
22.417 | 1 de 1 | 1 de 1 | 1 de 1 | 12,80 |
Passar nos testes de desconto e frete mostra uma correção bem-sucedida nesse projeto. Ainda não verifica navegação em um repositório grande, mudanças com múltiplos arquivos ou manutenção sem revisão humana. O tempo de programação inclui as chamadas ao modelo e a execução local das ferramentas.
Memória Observada e Interrupções
A memória foi observada no sistema inteiro durante as tentativas. Um aumento de swap indica que o computador passou a usar mais armazenamento para aliviar a RAM. As amostras não capturam necessariamente todo pico entre consultas e outros aplicativos também podem influenciar os valores.
Perfil quick
| Modelo e janela | Maior aumento de swap | Pressão de memória |
|---|---|---|
| Qwen3 4B Instruct 2.048 |
0,0 GiB | normal nas amostras |
| Qwen3 4B Instruct 4.096 |
0,0 GiB | normal nas amostras |
Perfil standard
| Modelo e janela | Maior aumento de swap | Pressão de memória |
|---|---|---|
| Qwen3 4B Instruct 4.096 |
0,0 GiB | normal nas amostras |
| Qwen3 4B Instruct 8.192 |
0,0 GiB | normal nas amostras |
| Qwen3 4B Instruct 16.384 |
0,0 GiB | normal nas amostras |
| Qwen3 8B 4.096 |
0,0 GiB | normal nas amostras |
| Qwen3 8B 8.192 |
0,0 GiB | normal nas amostras |
| Qwen3 8B 16.384 |
0,0 GiB | normal nas amostras |
| Qwen3 14B 4.096 |
0,0 GiB | normal nas amostras |
| Qwen3 14B 8.192 |
0,0 GiB | normal nas amostras |
| Qwen3 14B 16.384 |
0,0 GiB | normal nas amostras |
Perfil frontier
| Modelo e janela | Maior aumento de swap | Pressão de memória |
|---|---|---|
| Qwen3 Coder 30B A3B 4.096 |
0,0 GiB | normal nas amostras |
| Qwen3 Coder 30B A3B 8.192 |
0,0 GiB | normal nas amostras |
| Qwen3 Coder 30B A3B 16.384 |
0,0 GiB | normal nas amostras |
| Qwen3 Coder 30B A3B 32.768 |
0,0 GiB | normal nas amostras |
Perfil quick: aviso repetido (2 ocorrências) na etapa Ciclo de ferramentas: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil quick: aviso na etapa Aquecimento: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil standard: aviso repetido (7 ocorrências) na etapa Geração: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil standard: aviso repetido (8 ocorrências) na etapa Ciclo de ferramentas: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil standard: aviso na etapa Carga fria: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil standard: aviso repetido (6 ocorrências) na etapa Contexto: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Perfil standard: aviso na etapa Aquecimento: Durações ou contadores da API inconsistentes com o tempo observado; taxas derivadas indisponíveis nesta tentativa
Uma duração fornecida pelo software que não cabe no tempo total observado pelo teste é uma falha de evidência para aquela taxa. O campo fica indisponível; isso não deve ser apresentado como lentidão do hardware. Tempo total e resultado dos testes podem continuar úteis quando foram medidos de forma independente.
O Que Podemos Concluir e o Que Falta Testar?
Este primeiro episódio do AI Home Lab demonstra que existe uma diferença importante entre conseguir executar um LLM localmente e conseguir utilizá-lo de maneira eficiente no trabalho cotidiano. O Mac Mini M6 com 32 GB de memória unificada mostrou-se capaz de executar todos os modelos avaliados, incluindo o Qwen3 Coder 30B A3B, com mais de 30 bilhões de parâmetros, quantização Q4_K_M e uma janela configurada para até 32.768 tokens. Durante os experimentos, não houve aumento de swap nas amostras monitoradas, um resultado bastante positivo para uma máquina com essa configuração.
Entretanto, os números revelam que o tamanho do modelo está longe de ser o único fator relevante. O Qwen3 4B Instruct apresentou boa velocidade nas solicitações curtas, mas demonstrou limitações na recuperação de informações em contextos maiores. Os modelos de 8B e 14B foram mais consistentes nessa tarefa. Já o Qwen3 Coder 30B A3B apresentou um resultado particularmente interessante, alcançando aproximadamente 62 a 63 tokens por segundo nas medições válidas de geração curta, mesmo sendo o maior modelo do experimento. Isso reforça a importância da arquitetura e das características de cada modelo, além da quantidade de parâmetros.
Outro resultado importante está na programação com Agentes de IA. Todas as 33 tentativas registradas de correção de código terminaram com os testes aprovados, demonstrando que mesmo modelos relativamente pequenos podem executar tarefas práticas de desenvolvimento quando recebem instruções claras, ferramentas apropriadas e critérios objetivos de validação. Naturalmente, corrigir duas funções em um projeto controlado está longe de representar a complexidade de desenvolver e manter um sistema completo. Ainda assim, é uma demonstração do potencial da IA local para auxiliar na programação.
O principal desafio observado não foi a capacidade de carregar os modelos na memória, mas o equilíbrio entre qualidade e tempo de resposta. Na maior entrada de contexto testada, com 22.417 tokens efetivamente processados, o Qwen3 Coder 30B A3B levou 45,25 segundos para começar a responder. Isso mostra que uma configuração pode ser perfeitamente viável em termos de memória e, ao mesmo tempo, apresentar uma espera considerável dependendo da tarefa. Das 15 combinações avaliadas, apenas duas atenderam integralmente aos critérios definidos para o experimento. Isso não significa que as demais sejam inutilizáveis, mas que existem limitações específicas que precisam ser consideradas.
E o que ainda falta descobrir? O próximo passo é investigar até onde essa configuração consegue chegar em condições mais exigentes. Isso envolve repetir os testes próximos dos limites observados, experimentar contextos efetivamente maiores e avaliar projetos de programação com múltiplos arquivos, dependências, várias chamadas de ferramentas e ciclos prolongados de execução. Também será importante medir consumo de energia, temperatura, estabilidade, utilização simultânea de modelos e a quantidade de intervenções humanas necessárias para concluir tarefas mais complexas.
Por enquanto, os resultados permitem uma conclusão bastante interessante: um computador com 32 GB de memória unificada já pode oferecer um ambiente relevante para experimentação com LLMs locais e desenvolvimento de agentes de programação. Entretanto, a escolha do modelo ideal depende muito mais da tarefa, da qualidade das respostas e da tolerância à espera do que simplesmente da capacidade de executar o maior modelo disponível.
Este é apenas o ponto de partida. Nos próximos episódios, outras configurações de hardware passarão pelo mesmo processo de avaliação. Com isso, será possível comparar não apenas quais computadores conseguem executar determinados modelos, mas quais oferecem a melhor experiência prática para diferentes aplicações de IA local.
Afinal, a pergunta mais importante não é simplesmente “Qual é o maior modelo que este computador consegue executar?”, mas sim “O que eu realmente consigo construir e executar com IA local nesta máquina, com qualidade, velocidade e confiabilidade?”
É essa pergunta que continuará guiando os experimentos do AI Home Lab.
Registros
Este foi o primeiro experimento e serviu também para aprendizado. Provavelmente voltarei a esta máquina para refazer o experimento à medida que o roteiro vai sendo aperfeiçoado para as demais máquinas.
| Registro | Identificação |
|---|---|
| Experimento | mini-m6-three-profiles-v020 |
| Início em UTC | 2026-11-04T01:44:32+00:00 |
| Término em UTC | 2026-11-04T03:39:07+00:00 |
| Versão do roteiro | 0.2.0 |
Fontes dos Conceitos e das Ferramentas
Curso Gratuito – Fundamentos de Linguagem Python – Do Básico a Aplicações de IA
https://www.datascienceacademy.com.br/course/fundamentos-de-linguagem-python-do-basico-a-aplicacoes-de-ia
Ollama – métricas de geração e tempos
https://docs.ollama.com/api/generate
Ollama – contexto e memória
https://docs.ollama.com/context-length
Ollama – chamadas de ferramentas
https://docs.ollama.com/capabilities/tool-calling
llama.cpp – formatos de quantização
https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes
llama.cpp – receitas de quantização e mistura de precisões
https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
Qwen – descrição oficial do Qwen3 Coder 30B A3B
https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct
