Keyword Gap
Uruchamianie LLM w przeglądarce: Jak używamy WebGPU i WebLLM do edycji CV z myślą o ochronie prywatności
Każde dostępne obecnie na rynku narzędzie do CV oparte na sztucznej inteligencji wysyła Twoje dane na serwer. Powiedzą ci, że to „bezpieczne”. Wskażą plakietki zgodności z SOC 2. Ale oto inżynierska rzeczywistość: jeśli Twoje CV opuści Twoje urządzenie, nie będzie już wyłącznie Twoje. Jest przechowywane w bazie danych, pliku dziennika, w procesie szkoleniowym lub w oczekiwaniu na naruszenie bezpieczeństwa danych.
Nie zgodziliśmy się na taki kompromis. Stworzyliśmy więc coś innego: narzędzie do ponownego pisania CV po stronie klienta oparte na sztucznej inteligencji, które uruchamia model językowy zawierający 500 milionów parametrów bezpośrednio w przeglądarce przy użyciu technologii WebGPU i Transformers.js. Brak kluczy API. Brak wnioskowania o chmurze. Brak serwera.
W tym technicznym nurkowaniu dowiesz się:
- Dlaczego bezserwerowa sztuczna inteligencja to jedyna naprawdę prywatna architektura dla wrażliwych dokumentów
- Jak WebGPU odblokowuje wnioskowanie przyspieszane przez GPU w przeglądarce
- Dokładny stos, którego użyliśmy (Astro, Transformers.js, Xenova/Qwen1.5-0.5B-Chat)
- Wyzwania inżynieryjne związane z przesyłaniem modelu o rozmiarze 300 MB do karty przeglądarki
- Testy porównawcze wydajności i rzeczywiste wartości opóźnień
Paradoks prywatności nowoczesnych narzędzi AI
Popularność programów do ponownego pisania CV AI wzrosła. Narzędzia takie jak Teal, Resume.io i Jobscan oferują „przepisywanie punktorów oparte na sztucznej inteligencji”, które brzmi magicznie — dopóki nie przeczytasz drobnego druku. Prawie wszystkie działają w oparciu o architekturę klient-serwer:
- Wklejasz swoje CV do formularza internetowego
- Twoje dane są szyfrowane podczas przesyłania (TLS)
- Jest odszyfrowywany na serwerze w chmurze
- Przetwarza je API LLM (OpenAI, Anthropic lub model hostowany samodzielnie).
- Przepisany tekst zostaje odesłany
Z pozoru wygląda to na bezpieczne. Ale powierzchnia ataku jest ogromna:
- Dzienniki serwera mogą zachować Twoje pełne CV na potrzeby debugowania
- Interfejsy API LLM innych firm mogą trenować na Twoich danych, chyba że zapłacisz za poziomy korporacyjne
- Naruszenie danych ujawnia CV zawierające adresy domowe, numery telefonów, historię zatrudnienia i dane dotyczące wynagrodzeń
- Luki w zgodności — większość narzędzi nie jest zgodna z RODO dla użytkowników z UE, ponieważ nie mogą zagwarantować usunięcia
Konkluzja: Jeśli Twoje CV trafi na serwer, ufasz, że osoba trzecia nie będzie czytać, rejestrować, wyciekać ani zarabiać na Twoim najbardziej wrażliwym dokumencie zawodowym. Nie jest to zakład, o który chcielibyśmy prosić naszych użytkowników.
Dlaczego sztuczna inteligencja po stronie klienta zmienia wszystko
Sztuczna inteligencja po stronie klienta całkowicie odwraca architekturę. Zamiast wysyłać Twoje dane do modelu, wysyłamy model do Twoich danych. LLM pobiera się bezpośrednio do pamięci Twojej przeglądarki, działa na lokalnym procesorze graficznym lub procesorze i nigdy nie przesyła tekstu CV z Twojego urządzenia.
Konsekwencje dotyczące prywatności są bezwzględne:
- Zero połączeń sieciowych zawierających dane Twojego CV
- Zero logów serwera zawierających Twoje dane osobowe
- Zero zewnętrznych interfejsów API LLM z nieprzejrzystymi zasadami dotyczącymi danych
- Zerowe ryzyko naruszenia danych z naszej infrastruktury — ponieważ nie mamy infrastruktury, która ma wpływ na Twoje dane
Ale sztuczna inteligencja po stronie klienta to nie tylko zabawa w prywatność. Zapewnia również namacalne korzyści w zakresie wydajności:
- Brak opóźnień w przypadku podróży w obie strony do odległego centrum danych
- Brak limitów stawek i limitów API
- Brak bramek subskrypcyjnych dla funkcji AI
- Możliwość pracy w trybie offline po zapisaniu modelu w pamięci podręcznej
WebGPU: przeglądarka jako silnik obliczeniowy
Do niedawna uruchamianie LLM w przeglądarce było niewykonalne obliczeniowo. WebGL był jedynym dostępnym interfejsem API GPU i został zaprojektowany z myślą o grafice, a nie o obliczeniach ogólnego przeznaczenia. Potem pojawił się WebGPU.
Co to jest WebGPU?
WebGPU to standard sieciowy nowej generacji, który udostępnia możliwości nowoczesnych procesorów graficznych (Vulkan, Metal, DirectX 12) bezpośrednio w języku JavaScript. W przeciwieństwie do WebGL obsługuje uniwersalne shadery obliczeniowe GPU, dzięki czemu idealnie nadaje się do operacji wymagających dużej liczby macierzy, takich jak wnioskowanie w sieci neuronowej.
Kluczowe możliwości umożliwiające LLM w przeglądarce:
- Potoki obliczeniowe — Uruchamiaj jądra masowo równoległego mnożenia macierzy
- Ujednolicony model pamięci — Bezpośredni dostęp do bufora GPU bez kosztownych kopii CPU-GPU
- Języki modułu cieniującego — Napisz WGSL (język cieniowania WebGPU) dla niestandardowych jąder wnioskowania
- Wiele platform — Działa w przeglądarkach Chrome, Edge, Firefox i Safari z natywną wydajnością
WebGPU kontra WebGL dla wnioskowania LLM
| Funkcja | WebGL | WebGPU |
|---|---|---|
| Oblicz Shadery | ❌ Nie | ✅Tak |
| Operacje na macierzach | Powolny (symulowany) | Rodzimy, równoległy |
| Wydajność pamięci | Wysokie obciążenie procesora i karty graficznej | Ujednolicony, niski narzut |
| Szybkość wnioskowania LLM | ~10-20 tokenów/s | ~50-100 tokenów/s |
| Obsługa przeglądarki | Uniwersalny | Nowoczesne przeglądarki (94%+) |
W naszym przypadku — przepisywanie punktorów CV za pomocą modelu o parametrach 500M — WebGPU zapewnia 4-5x szybsze wnioskowanie niż rezerwowe rozwiązanie oparte wyłącznie na procesorze i 2-3x szybsze niż podejście oparte na WebGL.
Nasz stos: Astro + Transformers.js + Xenova/Qwen1.5
Budowa narzędzia do przepisywania AI po stronie klienta wymagała ostrożnego wyboru technologii. Potrzebowaliśmy frameworka, który byłby szybki, minimalny i kompatybilny z dużymi obliczeniami po stronie przeglądarki. Oto dokładna architektura, na której wylądowaliśmy.
Framework: Astro
Wybraliśmy Astro ze względu na jego filozofię zero-JS-by-default. Większość narzędzi do CV jest rozdęta. Reaguj na aplikacje, które dostarczają ponad 500 KB JavaScript, zanim użytkownik zdąży wkleić swoje CV. Astro pozwala nam dostarczyć statyczny kod HTML dla strony docelowej i bloga, a następnie w razie potrzeby nawodnić tylko komponenty interaktywne (edytor, panel AI).
Dlaczego Astro ma znaczenie dla sztucznej inteligencji po stronie klienta:
- Początkowe ładowanie strony wynosi mniej niż 50 KB kodu JavaScript
- Ciężki model AI ładuje się na żądanie, gdy użytkownik kliknie „Przepisz za pomocą AI” – Brak konieczności nawodnienia treści statycznych, takich jak nasz blog czy strony marketingowe
Środowisko wykonawcze AI: Transformers.js
Transformers.js Hugging Face to pomost, który to umożliwia. Jest to port biblioteki Python Transformers na platformę ONNX Runtime Web, umożliwiający uruchamianie wstępnie wyszkolonych modeli w przeglądarce za pośrednictwem rozwiązań awaryjnych WebGPU lub WebGL.
Kluczowe dane techniczne:
- Modele są kwantowane do INT8, aby zmniejszyć rozmiar i zużycie pamięci
- Korzystamy z backendu ONNX Runtime Web z dostawcą wykonania WebGPU
- Potok obsługuje tokenizację, wnioskowanie i dekodowanie kompleksowo w przeglądarce
Wybór modelu: Xenova/Qwen1.5-0.5B-Chat
Oceniliśmy wiele modeli, zanim zdecydowaliśmy się na Qwen1.5-0.5B-Chat za pośrednictwem portów Xenova ONNX:
Kryteria wyboru:
- Wystarczająco mały, aby pobrać (kwantyzacja ~ 300 MB) bez niszczenia komfortu użytkownika
- Dokładne przestrzeganie instrukcji w przypadku monitów „przepisz ten punktor, aby miał większy wpływ”.
- Licencja zezwalająca do użytku komercyjnego
- Szybkie wnioskowanie na konsumenckich procesorach graficznych (generacja trwająca poniżej 3 sekund w przypadku przepisywania krótkich pocisków)
Przetestowaliśmy Llama-2-7B, Mistral-7B i Phi-2. Wszystkie były za duże (ponad 1,5 GB) lub zbyt wolne, aby można było na nich wnioskować z przeglądarki w czasie rzeczywistym. Qwen1.5-0.5B trafia w sedno: wystarczająco mały, aby być praktycznym, wystarczająco wydajny, aby być użytecznym.
Wyzwania inżynieryjne, o których nikt nie mówi
Przesyłanie modelu 300MB do karty przeglądarki wydaje się proste w teorii. W praktyce był to wielomiesięczny wysiłek inżynieryjny. Oto trzy najtrudniejsze problemy, które rozwiązaliśmy.
Wyzwanie 1: Progresywne pobieranie modelu
Pobieranie 300MB przy połączeniu 4G zajmie 2-3 minuty i prawdopodobnie spowoduje przekroczenie limitu czasu przeglądarki. Wdrożyliśmy progresywny system pobierania fragmentarycznego:
- Model jest podzielony na fragmenty o wielkości 10MB
- Każdy fragment jest pobierany z logiką ponawiania i wykładniczym wycofywaniem
- Niestandardowy interfejs paska postępu unosi się w prawym górnym rogu i pokazuje pobrane MB w czasie rzeczywistym
- Model jest buforowany w IndexedDB po pierwszym pobraniu, więc kolejne wizyty wczytują się natychmiast
Wynik: Użytkownicy, którzy korzystają z Internetu po raz pierwszy, pobierają średnio przez około 45 sekund. Powracający użytkownicy uzyskują ładowanie modelu z pamięci podręcznej w czasie krótszym niż 2 sekundy.
Wyzwanie 2: Zarządzanie cyklem życia kontekstu WebGPU
Konteksty urządzeń WebGPU są wybredne. Jeśli użytkownik przełączy karty, zminimalizuje przeglądarkę lub uśpi laptopa, kontekst GPU może zostać utracony. Musieliśmy zbudować solidny system odzyskiwania kontekstu:
- Wykrywanie zdarzeń
gpu.losti płynne ponowne inicjowanie potoku wnioskowania — Wróć do wnioskowania o procesorze (WASM), jeśli WebGPU stanie się niedostępne - Zapewnij przejrzysty komunikat w interfejsie użytkownika: “Przełączanie do trybu procesora — przepisywanie może potrwać nieco dłużej.”
Wynik: Narzędzie do zapisywania AI działa niezawodnie w przeglądarkach Chrome, Edge i Firefox, nawet w systemach z agresywnym zarządzaniem energią.
Wyzwanie 3: Zapotrzebowanie pamięci na maszynach z 8 GB RAM
Model o parametrach 500M w INT8 nadal zużywa ~600MB pamięci GPU/CPU. W połączeniu z analizą plików PDF, bogatym edytorem tekstu Quill i naszą tablicą Kanban przesuwaliśmy granice budżetowych laptopów.
Nasze optymalizacje:
- Leniwe ładowanie — model jest pobierany tylko wtedy, gdy użytkownik wyraźnie kliknie „Przepisz”
- Eksmisja modelu — Jeśli użytkownik nie korzystał z panelu AI przez 10 minut, zwalniamy model z pamięci (pozostaje w IndexedDB w celu szybkiego ponownego załadowania)
- Wnioskowanie poza głównym wątkiem — Wszystkie operacje LLM są uruchamiane w środowisku Web Worker, aby zapobiec zawieszaniu się interfejsu użytkownika
Wynik: Skaner działa płynnie na komputerach z 8 GB pamięci RAM, w tym na Chromebookach średniej klasy.
Testy wydajności: liczby rzeczywiste
Porównaliśmy nasz moduł do tworzenia AI po stronie klienta z alternatywami opartymi na chmurze w identycznych warunkach. Oto co znaleźliśmy:
| Metryczne | Nasza sztuczna inteligencja po stronie klienta | Cloud API (GPT-4o-mini) | Cloud API (Claude Haiku) |
|---|---|---|---|
| Opóźnienie pierwszego wnioskowania | 45 s (pobierz) + 2,3 s | 1,2 s | 1,8 s |
| Późniejsze opóźnienie wnioskowania | 2,3 s | 1,2 s | 1,8 s |
| Prywatność | Absolutna (sieć zerowa) | Dzienniki serwera + przechowywanie API | Dzienniki serwera + przechowywanie API |
| Możliwość pracy w trybie offline | Tak | Nie | Nie |
| Limity stawek | Brak | Tak (ograniczenia RPM/TPM) | Tak (ograniczenia RPM/TPM) |
| Koszt dla użytkownika | Bezpłatne | Subskrypcja 5–20 USD miesięcznie | Subskrypcja 5–20 USD miesięcznie |
| Własność danych | 100% użytkownika | Zależne od platformy | Zależne od platformy |
Kompromis jest jasny: Użytkownicy korzystający z usługi po raz pierwszy poświęcają ~45 sekund na pobranie modelu. Od tego momentu każde przepisanie będzie bezpłatne, prywatne, nieograniczone i możliwe w trybie offline. Uważamy, że w przypadku narzędzia, które obsługuje wrażliwe dane dotyczące kariery, jest to właściwy kompromis.
Dlaczego ta architektura ma znaczenie dla przyszłości internetowej sztucznej inteligencji
Nie budujemy tylko skanera CV. Udowadniamy, że przyszłość sztucznej inteligencji nie wymaga oddawania danych.
Każda duża firma zajmująca się sztuczną inteligencją forsuje wnioskowanie w chmurze, ponieważ jest to opłacalne. Jednak możliwości techniczne potężnej, prywatnej sztucznej inteligencji po stronie klienta już istnieją. WebGPU jest dojrzałe. Transformers.js jest gotowy do produkcji. Modele kwantowe mają zaskakująco duże możliwości.
Co to oznacza dla użytkowników:
- Możesz uzyskać pomoc w wznowieniu pracy opartą na sztucznej inteligencji, bez powierzania historii zatrudnienia osobom trzecim
- Możesz używać narzędzi AI w samolotowej sieci Wi-Fi, korporacyjnych zaporach ogniowych lub sieciach restrykcyjnych
- Jesteś właścicielem swoich danych, wag modeli i wyników wnioskowania
Co to oznacza dla programistów:
- Przeglądarka jest legalnym celem wdrożenia AI
- Możesz budować zaawansowane funkcje NLP bez rachunków za API
- Architektura zorientowana na prywatność to wyróżnik konkurencyjny, a nie ograniczenie
Jak wypróbować nasz moduł do zapisywania AI po stronie klienta
Nasz prywatny skaner ATS zawiera moduł do zapisywania AI po stronie klienta jako wbudowaną funkcję. Oto jak to działa:
- Prześlij swoje CV (PDF lub DOCX) — w całości przeanalizowane w przeglądarce, nigdy nie przesłane
- Wybierz dowolny punktor w edytorze tekstu sformatowanego
- Kliknij „Przepisz za pomocą AI” — model zostanie pobrany (tylko za pierwszym razem) i wygenerowany silniejsza, zoptymalizowana pod kątem słów kluczowych wersja
- Porównaj, edytuj i zaakceptuj sugestię — wszystko to bez ani jednej rozmowy sieciowej przenoszącej Twoje dane
Kluczowe wnioski
- Sztuczna inteligencja po stronie klienta wykorzystująca WebGPU i Transformers.js jest gotowa do produkcji do przepisywania CV i zadań NLP
- WebGPU zapewnia 4-5 razy szybsze wnioskowanie niż podejścia oparte wyłącznie na procesorze i jest obsługiwane przez ponad 94% nowoczesnych przeglądarek
- Model o parametrach 500M (Qwen1.5-0.5B-Chat) jest wystarczający do przepisania punktorów o wysokiej jakości przy zachowaniu rozmiaru poniżej 300MB
- Pobieranie progresywne, buforowanie IndexedDB i mechanizmy Web Workers są niezbędne przy wysyłaniu dużych modeli na urządzenia konsumenckie
- Korzyści z prywatności są absolutne — zero logów serwera, zero zatrzymywania API, zero ryzyka naruszenia bezpieczeństwa danych
Przeglądarka internetowa nie jest już tylko przeglądarką dokumentów. To bezpieczne, prywatne środowisko obliczeniowe AI. A my dopiero zaczynamy.
Chcesz zobaczyć to w akcji? Uruchom nasz prywatny skaner ATS z wbudowanym przepisywaniem AI →