Executando LLMs no navegador: como usamos WebGPU e WebLLM para edição de currículo que prioriza a privacidade

Cada ferramenta de currículo com tecnologia de IA no mercado hoje envia seus dados para um servidor. Eles dirão que é “seguro”. Eles apontarão para emblemas de conformidade SOC 2. Mas aqui está a realidade da engenharia: se o seu currículo sai do seu dispositivo, ele não é mais exclusivamente seu. Ele fica em um banco de dados, em um arquivo de log, em um pipeline de treinamento ou em uma violação de dados esperando para acontecer.

Recusamos aceitar essa compensação. Então, criamos algo diferente: um reescritor de currículos de IA totalmente do lado do cliente que executa um modelo de linguagem de 500 milhões de parâmetros diretamente no seu navegador usando WebGPU e Transformers.js. Sem chaves de API. Nenhuma inferência de nuvem. Nenhum servidor.

Neste aprofundamento técnico, você aprenderá:

• Por que a IA sem servidor é a única arquitetura verdadeiramente privada para documentos confidenciais
• Como o WebGPU desbloqueia a inferência acelerada por GPU no navegador
• A pilha exata que usamos (Astro, Transformers.js, Xenova/Qwen1.5-0.5B-Chat)
• Os desafios de engenharia de enviar um modelo de 300 MB para uma guia do navegador
• Benchmarks de desempenho e números de latência do mundo real

---

O paradoxo de privacidade das ferramentas modernas de IA

A popularidade dos reescritores de currículos de IA explodiu. Ferramentas como Teal, Resume.io e Jobs podem oferecer “reescrita de marcadores com tecnologia de IA” que parece mágica - até você ler as letras miúdas. Quase todos eles operam em uma arquitetura cliente-servidor:

1. Você cola seu currículo em um formulário da web
2. Seus dados são criptografados em trânsito (TLS)
3. É descriptografado em um servidor em nuvem
4. Uma API LLM (OpenAI, Anthropic ou um modelo auto-hospedado) o processa
5. O texto reescrito é enviado de volta

Isso parece seguro superficialmente. Mas a superfície de ataque é enorme:

• Logs do servidor podem reter seu currículo completo para depuração
• APIs LLM de terceiros podem treinar com seus dados, a menos que você pague por níveis empresariais
• Violações de dados expõem currículos contendo endereços residenciais, números de telefone, histórico de emprego e dados salariais
• Lacunas de conformidade — a maioria das ferramentas não é compatível com o GDPR para usuários da UE porque não podem garantir a exclusão

Conclusão: Se o seu currículo chegar a um servidor, você está confiando que um terceiro não lerá, registrará, vazará ou monetizará seu documento profissional mais confidencial. Essa não é uma aposta que estamos dispostos a pedir aos nossos usuários.

---

Por que a IA do lado do cliente muda tudo

A IA do lado do cliente inverte totalmente a arquitetura. Em vez de enviar seus dados para o modelo, enviamos o modelo para seus dados. O LLM é baixado diretamente na memória do seu navegador, executado na GPU ou CPU local e nunca transmite o texto do seu currículo para fora do seu dispositivo.

As implicações de privacidade são absolutas:

• Zero chamadas de rede contendo os dados do seu currículo
• Zero registros do servidor com suas informações pessoais
• Nenhuma API LLM de terceiros com políticas de dados opacas
• Risco zero de violação de dados de nossa infraestrutura — porque não temos infraestrutura que toque seus dados

Mas a IA do lado do cliente não é apenas uma questão de privacidade. Ele também oferece benefícios de desempenho tangíveis:

• Sem latência em viagens de ida e volta para um data center distante
• Sem limites de taxa ou cotas de API
• Sem barreiras de assinatura para recursos de IA
• Capacidade off-line quando o modelo é armazenado em cache

---

WebGPU: o navegador como um mecanismo de computação

Até recentemente, executar LLMs no navegador era computacionalmente inviável. WebGL era a única API de GPU disponível e foi projetada para gráficos – não para computação de uso geral. Então chegou o WebGPU.

O que é WebGPU?

WebGPU é um padrão da web de última geração que expõe recursos modernos de GPU (Vulkan, Metal, DirectX 12) diretamente ao JavaScript. Ao contrário do WebGL, ele oferece suporte a shaders de computação de GPU de uso geral, tornando-o ideal para operações com uso pesado de matrizes, como inferência de redes neurais.

Principais recursos que tornam possíveis LLMs de navegador:

• Pipelines de computação — Execute kernels de multiplicação de matrizes massivamente paralelas
• Modelo de memória unificada — Acesso direto ao buffer da GPU sem cópias caras de CPU-GPU
• Linguagens de shader — Escreva WGSL (WebGPU Shading Language) para kernels de inferência personalizados
• Crossplataforma — Funciona em Chrome, Edge, Firefox e Safari com desempenho nativo

WebGPU vs. WebGL para inferência LLM

Recurso	WebGL	WebGPU
Sombreadores de computação	❌Não	✅ Sim
Operações de Matriz	Lento (simulado)	Nativo, paralelo
Eficiência de memória	Alta sobrecarga de CPU-GPU	Unificado e com baixa sobrecarga
Velocidade de inferência LLM	~10-20 tokens/seg	~50-100 tokens/seg
Suporte ao navegador	Universais	Navegadores modernos (94%+)

Para nosso caso de uso - reescrevendo marcadores de currículo com um modelo de 500 milhões de parâmetros - o WebGPU oferece inferência 4-5x mais rápida do que um substituto somente de CPU e 2-3x mais rápido do que uma abordagem baseada em WebGL.

---

Nossa pilha: Astro + Transformers.js + Xenova/Qwen1.5

Construir um reescritor de IA do lado do cliente exigiu escolhas tecnológicas cuidadosas. Precisávamos de uma estrutura que fosse rápida, mínima e compatível com computação pesada no navegador. Aqui está a arquitetura exata em que pousamos.

Estrutura: Astro

Escolhemos Astro por sua filosofia zero-JS-by-default. A maioria das ferramentas de currículo são aplicativos React inchados que fornecem mais de 500 KB de JavaScript antes mesmo que o usuário possa colar seu currículo. O Astro nos permite entregar HTML estático para a landing page e o blog e, em seguida, hidratar apenas os componentes interativos (o editor, o painel de IA) quando necessário.

Por que o Astro é importante para a IA do lado do cliente:

• O carregamento inicial da página tem menos de 50 KB de JavaScript
• O modelo pesado de IA é carregado sob demanda quando o usuário clica em “Reescrever com IA”
• Sem sobrecarga de hidratação para conteúdo estático, como nosso blog ou páginas de marketing

AI Runtime: Transformers.js

Hugging Face’s Transformers.js é a ponte que torna isso possível. É uma porta da biblioteca Python Transformers para ONNX Runtime Web, permitindo que modelos pré-treinados sejam executados no navegador por meio de substitutos WebGPU ou WebGL.

Principais detalhes técnicos:

• Os modelos são quantizados para INT8 para reduzir o tamanho e o consumo de memória
• Usamos o back-end ONNX Runtime Web com um provedor de execução WebGPU
• O pipeline lida com tokenização, inferência e decodificação de ponta a ponta no navegador

Escolha do modelo: Xenova/Qwen1.5-0.5B-Chat

Avaliamos vários modelos antes de escolher Qwen1.5-0.5B-Chat por meio das portas Xenova ONNX:

Critérios de seleção:

• Pequeno o suficiente para download (~300 MB quantizados) sem destruir a experiência do usuário
• Forte seguimento de instruções para avisos “reescreva este marcador para ter mais impacto”
• Licença permissiva para uso comercial
• Inferência rápida em GPUs de consumo (geração inferior a 3 segundos para reescritas curtas)

Testamos Llama-2-7B, Mistral-7B e Phi-2. Todos eram muito grandes (1,5 GB ou mais) ou muito lentos para inferência do navegador em tempo real. Qwen1.5-0.5B atinge o ponto ideal: pequeno o suficiente para ser prático, capaz o suficiente para ser útil.

---

Os desafios de engenharia sobre os quais ninguém fala

Enviar um modelo de 300 MB para uma guia do navegador parece simples em teoria. Na prática, foi um esforço de engenharia que durou meses. Aqui estão os três problemas mais difíceis que resolvemos.

Desafio 1: Downloads de modelo progressivo

Um download de 300 MB em uma conexão 4G levaria de 2 a 3 minutos e provavelmente acionaria o tempo limite do navegador. Implementamos um sistema de download progressivo em partes:

• O modelo é dividido em fragmentos de 10 MB
• Cada fragmento é baixado com lógica de nova tentativa e espera exponencial
• Uma interface de usuário da barra de progresso personalizada flutua no canto superior direito mostrando MB baixados em tempo real
• O modelo é armazenado em cache no IndexedDB após o primeiro download, para que as visitas subsequentes sejam carregadas instantaneamente

Resultado: Os usuários iniciantes veem um download de aproximadamente 45 segundos em banda larga média. Os usuários retornados obtêm o carregamento do modelo em menos de 2 segundos do cache.

Desafio 2: Gerenciamento do ciclo de vida do contexto WebGPU

Os contextos de dispositivos WebGPU são meticulosos. Se um usuário alternar entre guias, minimizar o navegador ou colocar seu laptop em suspensão, o contexto da GPU poderá ser perdido. Tivemos que construir um sistema de recuperação de contexto robusto:

• Detectar eventos gpu.lost e reinicializar normalmente o pipeline de inferência
• Retorne à inferência da CPU (WASM) se o WebGPU ficar indisponível
• Forneça mensagens de interface de usuário claras: “Mudar para o modo CPU — a reescrita pode demorar um pouco mais.”

Resultado: O reescritor de IA funciona de maneira confiável no Chrome, Edge e Firefox, mesmo em sistemas com gerenciamento de energia agressivo.

Desafio 3: Pressão de memória em máquinas com 8 GB de RAM

Um modelo de 500M de parâmetros no INT8 ainda consome ~600MB de memória GPU/CPU. Combinado com a análise de PDF, o editor de rich text Quill e nosso quadro Kanban, estávamos ultrapassando os limites dos laptops econômicos.

Nossas otimizações:

• Carregamento lento — O modelo só faz download quando o usuário clica explicitamente em “Reescrever”
• Despejo de modelo — Se o usuário não usar o painel AI em 10 minutos, liberamos o modelo da memória (ele permanece no IndexedDB para recarregamento rápido)
• Inferência fora do thread principal — Todas as operações LLM são executadas em um Web Worker para evitar o congelamento da interface do usuário

Resultado: O scanner funciona perfeitamente em máquinas com 8 GB de RAM, incluindo Chromebooks de médio porte.

---

Benchmarks de desempenho: números reais

Comparamos nosso reescritor de IA do lado do cliente com alternativas baseadas em nuvem sob condições idênticas. Aqui está o que encontramos:

Métrica	Nossa IA do lado do cliente	API de nuvem (GPT-4o-mini)	API de nuvem (Claude Haiku)
Latência da primeira inferência	45s (baixar) + 2,3s	1,2s	1,8s
Latência de inferência subsequente	2,3s	1,2s	1,8s
Privacidade	Absoluto (rede zero)	Logs do servidor + retenção de API	Logs do servidor + retenção de API
Capacidade off-line	Sim	Não	Não
Limites de taxas	Nenhum	Sim (limites de RPM/TPM)	Sim (limites de RPM/TPM)
Custo para o usuário	Grátis	Assinatura de US$ 5-20/mês	Assinatura de US$ 5-20/mês
Propriedade de dados	100% usuário	Dependente da plataforma	Dependente da plataforma

A compensação é clara: Os usuários iniciantes sacrificam cerca de 45 segundos para baixar o modelo. Depois disso, cada reescrita é gratuita, privada, ilimitada e compatível com offline. Para uma ferramenta que lida com dados confidenciais de carreira, acreditamos que essa é a solução certa.

---

Por que essa arquitetura é importante para o futuro da IA ​​da Web

Não estamos apenas construindo um scanner de currículos. Estamos provando que o futuro da IA ​​não exige a entrega de seus dados.

Todas as grandes empresas de IA estão promovendo a inferência na nuvem porque é lucrativa. Mas a capacidade técnica para uma IA poderosa e privada do lado do cliente já está aqui. WebGPU está maduro. Transformers.js está pronto para produção. Os modelos quantizados são surpreendentemente capazes.

O que isso significa para os usuários:

• Você pode obter ajuda para currículo com tecnologia de IA sem confiar seu histórico de emprego a terceiros
• Você pode usar ferramentas de IA em Wi-Fi de avião, firewalls corporativos ou redes restritivas
• Você possui seus dados, seus pesos de modelo e suas saídas de inferência

O que isso significa para os desenvolvedores:

• O navegador é um alvo legítimo de implantação de IA
• Você pode criar recursos sofisticados de PNL sem contas de API
• A arquitetura que prioriza a privacidade é um diferencial competitivo, não uma limitação

---

Como experimentar nosso reescritor de IA do lado do cliente

Nosso scanner ATS privado inclui o reescritor de IA como um recurso integrado. Veja como funciona:

1. Envie seu currículo (PDF ou DOCX) — analisado inteiramente no navegador, nunca carregado
2. Selecione qualquer marcador no editor de rich text
3. Clique em “Reescrever com IA” — o modelo é baixado (somente na primeira vez) e gera uma versão mais forte e otimizada por palavras-chave
4. Compare, edite e aceite a sugestão — tudo sem uma única chamada de rede transportando seus dados

→ Experimente o reescritor de currículo de IA privado em nosso scanner do lado do cliente

---

Principais vantagens

• IA do lado do cliente usando WebGPU e Transformers.js está pronto para produção para reescrita de currículo e tarefas de PNL
• WebGPU oferece inferência 4 a 5x mais rápida do que abordagens somente de CPU e é compatível com mais de 94% dos navegadores modernos
• Um modelo de parâmetro de 500M (Qwen1.5-0.5B-Chat) é suficiente para reescrita de marcadores de alta qualidade enquanto permanece abaixo de 300MB
• Downloads progressivos, cache IndexedDB e Web Workers são essenciais para enviar modelos grandes para dispositivos de consumo
• Os benefícios de privacidade são absolutos — zero registros de servidor, zero retenção de API, zero risco de violação de dados

O navegador da web não é mais apenas um visualizador de documentos. É um ambiente de computação de IA privado e seguro. E estamos apenas começando.

Quer ver em ação? Inicie nosso scanner ATS privado com reescrita de IA integrada →