Keyword Gap
ब्राउज़र में एलएलएम चलाना: हम गोपनीयता-प्रथम रेज़्यूमे संपादन के लिए वेबजीपीयू और वेबएलएलएम का उपयोग कैसे करते हैं
आज बाज़ार में प्रत्येक एआई-संचालित रेज़्यूमे टूल आपके डेटा को एक सर्वर पर भेजता है। वे आपको बताएंगे कि यह “सुरक्षित” है। वे SOC 2 अनुपालन बैज की ओर संकेत करेंगे। लेकिन यहां इंजीनियरिंग की वास्तविकता है: यदि आपका बायोडाटा आपके डिवाइस को छोड़ देता है, तो यह अब केवल आपका नहीं है। यह डेटाबेस में, लॉग फ़ाइल में, प्रशिक्षण पाइपलाइन में, या डेटा उल्लंघन होने की प्रतीक्षा में रहता है।
हमने उस समझौते को स्वीकार करने से इनकार कर दिया। इसलिए हमने कुछ अलग बनाया: एक पूरी तरह से क्लाइंट-साइड एआई रेज़्यूमे रीराइटर जो वेबजीपीयू और ट्रांसफॉर्मर्स.जेएस का उपयोग करके सीधे आपके ब्राउज़र में 500 मिलियन-पैरामीटर भाषा मॉडल चलाता है। कोई एपीआई कुंजी नहीं. कोई बादल अनुमान नहीं. कोई सर्वर नहीं.
इस तकनीकी गहराई में, आप सीखेंगे:
- क्यों सर्वर रहित AI संवेदनशील दस्तावेज़ों के लिए एकमात्र वास्तविक निजी आर्किटेक्चर है
- वेबजीपीयू ब्राउज़र में जीपीयू-त्वरित अनुमान को कैसे अनलॉक करता है
- सटीक स्टैक जिसका हमने उपयोग किया (एस्ट्रो, ट्रांसफॉर्मर्स.जेएस, ज़ेनोवा/क्यूवेन1.5-0.5बी-चैट)
- ब्राउज़र टैब पर 300 एमबी मॉडल शिपिंग की इंजीनियरिंग चुनौतियां
- प्रदर्शन बेंचमार्क और वास्तविक दुनिया विलंबता संख्या
आधुनिक एआई टूल्स की गोपनीयता विरोधाभास
एआई रेज़्युमे रीराइटर्स की लोकप्रियता में विस्फोट हुआ है। टील, रेज़्यूम.आईओ और जॉब्सकैन जैसे उपकरण “एआई-पावर्ड बुलेट रीराइटिंग” की पेशकश करते हैं जो जादुई लगता है - जब तक कि आप बढ़िया प्रिंट नहीं पढ़ लेते। उनमें से लगभग सभी क्लाइंट-सर्वर आर्किटेक्चर पर काम करते हैं:
- आप अपना बायोडाटा एक वेब फॉर्म में पेस्ट करें
- आपका डेटा ट्रांज़िट में एन्क्रिप्ट किया गया है (TLS)
- इसे क्लाउड सर्वर पर डिक्रिप्ट किया गया है
- एक एलएलएम एपीआई (ओपनएआई, एंथ्रोपिक, या एक स्व-होस्टेड मॉडल) इसे संसाधित करता है
- दोबारा लिखा गया पाठ वापस भेजा जाता है
यह सतह पर सुरक्षित दिखता है। लेकिन हमले की सतह विशाल है:
- सर्वर लॉग डिबगिंग के लिए आपका पूरा बायोडाटा बरकरार रख सकता है
- तृतीय-पक्ष एलएलएम एपीआई आपके डेटा पर प्रशिक्षित हो सकता है जब तक कि आप एंटरप्राइज़ स्तरों के लिए भुगतान नहीं करते
- डेटा उल्लंघन घर के पते, फोन नंबर, रोजगार इतिहास और वेतन डेटा वाले बायोडाटा को उजागर करता है
- अनुपालन अंतराल - अधिकांश उपकरण यूरोपीय संघ के उपयोगकर्ताओं के लिए जीडीपीआर-अनुरूप नहीं हैं क्योंकि वे विलोपन की गारंटी नहीं दे सकते हैं
मुख्य बात: यदि आपका बायोडाटा किसी सर्वर को छूता है, तो आप अपने सबसे संवेदनशील पेशेवर दस्तावेज़ को पढ़ने, लॉग करने, लीक करने या मुद्रीकृत नहीं करने के लिए किसी तीसरे पक्ष पर भरोसा कर रहे हैं। यह कोई शर्त नहीं है जिसे हम अपने उपयोगकर्ताओं से लगाने के लिए कहना चाहते हैं।
क्लाइंट-साइड AI सब कुछ क्यों बदलता है
क्लाइंट-साइड AI आर्किटेक्चर को पूरी तरह से बदल देता है। आपके डेटा को मॉडल पर भेजने के बजाय, हम मॉडल को आपके डेटा पर भेजते हैं। एलएलएम सीधे आपके ब्राउज़र की मेमोरी में डाउनलोड होता है, आपके स्थानीय जीपीयू या सीपीयू पर चलता है, और कभी भी आपके बायोडाटा टेक्स्ट को आपके डिवाइस से प्रसारित नहीं करता है।
गोपनीयता के निहितार्थ पूर्ण हैं:
- शून्य नेटवर्क कॉल जिसमें आपका बायोडाटा डेटा शामिल है
- ** आपकी व्यक्तिगत जानकारी के साथ शून्य सर्वर लॉग**
- अपारदर्शी डेटा नीतियों के साथ शून्य तृतीय-पक्ष एलएलएम एपीआई
- हमारे बुनियादी ढांचे से डेटा उल्लंघन का शून्य जोखिम - क्योंकि हमारे पास आपके डेटा को छूने वाला बुनियादी ढांचा नहीं है
लेकिन क्लाइंट-साइड एआई सिर्फ एक गोपनीयता खेल नहीं है। यह मूर्त प्रदर्शन लाभ भी प्रदान करता है:
- राउंड-ट्रिप से दूर के डेटा सेंटर तक कोई विलंबता नहीं
- कोई दर सीमा नहीं या एपीआई कोटा
- एआई सुविधाओं के लिए कोई सदस्यता गेट नहीं
- ऑफ़लाइन क्षमता एक बार मॉडल कैश हो जाने के बाद
वेबजीपीयू: एक कंप्यूट इंजन के रूप में ब्राउज़र
हाल तक, ब्राउज़र में एलएलएम चलाना कम्प्यूटेशनल रूप से असंभव था। WebGL एकमात्र उपलब्ध GPU API था, और इसे ग्राफ़िक्स के लिए डिज़ाइन किया गया था - सामान्य-उद्देश्यीय गणना के लिए नहीं। फिर वेबजीपीयू आ गया।
वेबजीपीयू क्या है?
वेबजीपीयू एक अगली पीढ़ी का वेब मानक है जो आधुनिक जीपीयू क्षमताओं (वल्कन, मेटल, डायरेक्टएक्स 12) को सीधे जावास्क्रिप्ट में उजागर करता है। वेबजीएल के विपरीत, यह सामान्य प्रयोजन जीपीयू कंप्यूट शेडर्स का समर्थन करता है, जो इसे तंत्रिका नेटवर्क अनुमान जैसे मैट्रिक्स-भारी संचालन के लिए आदर्श बनाता है।
मुख्य क्षमताएं जो ब्राउज़र एलएलएम को संभव बनाती हैं:
- कंप्यूट पाइपलाइन - बड़े पैमाने पर समानांतर मैट्रिक्स गुणन कर्नेल चलाएँ
- एकीकृत मेमोरी मॉडल - महंगी सीपीयू-जीपीयू प्रतियों के बिना सीधे जीपीयू बफर एक्सेस
- शेडर भाषाएँ - कस्टम अनुमान कर्नेल के लिए WGSL (वेबजीपीयू शेडिंग लैंग्वेज) लिखें
- क्रॉस-प्लेटफ़ॉर्म - मूल प्रदर्शन के साथ क्रोम, एज, फ़ायरफ़ॉक्स और सफारी पर काम करता है
एलएलएम अनुमान के लिए वेबजीपीयू बनाम वेबजीएल
| फ़ीचर | वेबजीएल | वेबजीपीयू |
|---|---|---|
| शेडर्स की गणना करें | ❌ नहीं | ✅ हाँ |
| मैट्रिक्स संचालन | धीमा (नकली) | मूल, समानांतर |
| मेमोरी क्षमता | उच्च सीपीयू-जीपीयू ओवरहेड | एकीकृत, कम ओवरहेड |
| एलएलएम अनुमान गति | ~10-20 टोकन/सेकंड | ~50-100 टोकन/सेकंड |
| ब्राउज़र समर्थन | सार्वभौमिक | आधुनिक ब्राउज़र (94%+) |
हमारे उपयोग के मामले के लिए - 500एम-पैरामीटर मॉडल के साथ रेज़्युमे बुलेट्स को फिर से लिखना - वेबजीपीयू केवल सीपीयू फ़ॉलबैक की तुलना में 4-5x तेज़ अनुमान और वेबजीएल-आधारित दृष्टिकोण की तुलना में 2-3x तेज़ प्रदान करता है।
हमारा स्टैक: एस्ट्रो + ट्रांसफॉर्मर्स.जेएस + ज़ेनोवा/क्यूवेन1.5
क्लाइंट-साइड एआई रीराइटर के निर्माण के लिए सावधानीपूर्वक प्रौद्योगिकी विकल्पों की आवश्यकता होती है। हमें एक ऐसे ढांचे की आवश्यकता थी जो तेज़, न्यूनतम और भारी ब्राउज़र-साइड गणना के साथ संगत हो। यहां बिल्कुल वही वास्तुकला है जिस पर हम पहुंचे थे।
फ्रेमवर्क: एस्ट्रो
हमने इसके जीरो-जेएस-बाय-डिफॉल्ट दर्शन के लिए एस्ट्रो को चुना। अधिकांश रेज़्यूमे टूल ब्लोटेड रिएक्ट ऐप्स हैं जो उपयोगकर्ता द्वारा अपना रेज़्यूमे पेस्ट करने से पहले 500KB+ जावास्क्रिप्ट शिप करते हैं। एस्ट्रो हमें लैंडिंग पेज और ब्लॉग के लिए स्थिर HTML प्रदान करने देता है, फिर जहां आवश्यक हो केवल इंटरैक्टिव घटकों (संपादक, एआई पैनल) को हाइड्रेट करता है।
क्लाइंट-साइड AI के लिए एस्ट्रो क्यों मायने रखता है:
- प्रारंभिक पृष्ठ लोड जावास्क्रिप्ट के 50KB के अंतर्गत है
- जब उपयोगकर्ता “एआई के साथ पुनः लिखें” पर क्लिक करता है तो भारी एआई मॉडल ऑन-डिमांड लोड होता है
- हमारे ब्लॉग या मार्केटिंग पेजों जैसी स्थिर सामग्री के लिए कोई हाइड्रेशन ओवरहेड नहीं
एआई रनटाइम: ट्रांसफॉर्मर्स.जेएस
[हगिंग फेस ट्रांसफॉर्मर्स.जेएस] (https://huggingface.co/docs/transformers.js) वह पुल है जो इसे संभव बनाता है। यह ONNX रनटाइम वेब के लिए पायथन ट्रांसफॉर्मर्स लाइब्रेरी का एक पोर्ट है, जो पूर्व-प्रशिक्षित मॉडल को WebGPU या WebGL फ़ॉलबैक के माध्यम से ब्राउज़र में चलाने की अनुमति देता है।
मुख्य तकनीकी विवरण:
- आकार और मेमोरी फ़ुटप्रिंट को कम करने के लिए मॉडल को INT8 में परिमाणित किया गया है
- हम WebGPU निष्पादन प्रदाता के साथ ONNX रनटाइम वेब बैकएंड का उपयोग करते हैं
- पाइपलाइन ब्राउज़र में एंड-टू-एंड टोकनाइजेशन, अनुमान और डिकोडिंग को संभालती है
मॉडल विकल्प: ज़ेनोवा/Qwen1.5-0.5B-चैट
हमने ज़ेनोवा ONNX पोर्ट के माध्यम से Qwen1.5-0.5B-चैट पर निर्णय लेने से पहले कई मॉडलों का मूल्यांकन किया:
चयन मानदंड:
- उपयोगकर्ता अनुभव को नष्ट किए बिना डाउनलोड करने के लिए पर्याप्त छोटा (~300एमबी परिमाणित)।
- **“अधिक प्रभावशाली होने के लिए इस बुलेट को फिर से लिखें” संकेतों के लिए मजबूत अनुदेश-अनुपालन
- व्यावसायिक उपयोग के लिए अनुमेय लाइसेंस
- उपभोक्ता जीपीयू पर तेजी से अनुमान (छोटी बुलेट पुनर्लेखन के लिए उप-3-सेकंड पीढ़ी)
हमने लामा-2-7बी, मिस्ट्रल-7बी और फी-2 का परीक्षण किया। वास्तविक समय ब्राउज़र अनुमान के लिए सभी बहुत बड़े (1.5GB+) या बहुत धीमे थे। Qwen1.5-0.5B सबसे अच्छी बात है: व्यावहारिक होने के लिए काफी छोटा, उपयोगी होने के लिए काफी सक्षम।
इंजीनियरिंग चुनौतियों के बारे में कोई भी बात नहीं करता है
ब्राउज़र टैब पर 300 एमबी मॉडल भेजना सिद्धांत रूप में सरल लगता है। व्यवहार में, यह एक महीने तक चलने वाला इंजीनियरिंग प्रयास था। यहां तीन सबसे कठिन समस्याएं हैं जिन्हें हमने हल किया है।
चुनौती 1: प्रगतिशील मॉडल डाउनलोड
4जी कनेक्शन पर 300एमबी डाउनलोड में 2-3 मिनट लगेंगे और संभवतः ब्राउज़र टाइमआउट ट्रिगर हो जाएगा। हमने एक प्रगतिशील खंडित डाउनलोड प्रणाली लागू की:
- मॉडल को 10 एमबी के टुकड़ों में विभाजित किया गया है
- प्रत्येक शार्ड पुनः प्रयास तर्क और घातीय बैकऑफ़ के साथ डाउनलोड होता है
- एक कस्टम प्रोग्रेस बार यूआई शीर्ष-दाएं कोने में तैरता है जो वास्तविक समय में डाउनलोड की गई एमबी दिखाता है
- मॉडल को पहले डाउनलोड के बाद IndexedDB में कैश किया गया है, इसलिए बाद की विज़िट तुरंत लोड हो जाती हैं
परिणाम: पहली बार उपयोगकर्ताओं को औसत ब्रॉडबैंड पर ~45-सेकंड का डाउनलोड दिखाई देता है। रिटर्न उपयोगकर्ताओं को कैश से उप-2-सेकंड मॉडल लोडिंग मिलती है।
चुनौती 2: वेबजीपीयू संदर्भ जीवनचक्र प्रबंधन
वेबजीपीयू डिवाइस संदर्भ बारीक हैं। यदि कोई उपयोगकर्ता टैब स्विच करता है, ब्राउज़र को छोटा करता है, या अपने लैपटॉप को स्लीप पर रखता है, तो GPU संदर्भ खो सकता है। हमें एक मजबूत संदर्भ पुनर्प्राप्ति प्रणाली का निर्माण करना था:
gpu.lostघटनाओं का पता लगाएं और अनुमान पाइपलाइन को शानदार ढंग से पुनः आरंभ करें- यदि WebGPU अनुपलब्ध हो तो CPU (WASM) अनुमान पर वापस जाएँ
- स्पष्ट यूआई संदेश प्रदान करें: “सीपीयू मोड पर स्विच करना - पुनर्लेखन में थोड़ा अधिक समय लग सकता है।”
परिणाम: एआई रीराइटर क्रोम, एज और फ़ायरफ़ॉक्स पर विश्वसनीय रूप से काम करता है, यहां तक कि आक्रामक पावर प्रबंधन वाले सिस्टम पर भी।
चुनौती 3: 8 जीबी रैम मशीनों पर मेमोरी दबाव
INT8 में एक 500M-पैरामीटर मॉडल अभी भी ~600MB GPU/CPU मेमोरी की खपत करता है। पीडीएफ पार्सिंग, क्विल रिच टेक्स्ट एडिटर और हमारे कानबन बोर्ड के साथ मिलकर, हम बजट लैपटॉप की सीमाओं को आगे बढ़ा रहे थे।
हमारे अनुकूलन:
- आलसी लोडिंग - मॉडल केवल तभी डाउनलोड होता है जब उपयोगकर्ता स्पष्ट रूप से “पुनर्लेखन” पर क्लिक करता है
- मॉडल निष्कासन - यदि उपयोगकर्ता ने 10 मिनट में एआई पैनल का उपयोग नहीं किया है, तो हम मॉडल को मेमोरी से मुक्त कर देते हैं (यह तेजी से पुनः लोड करने के लिए IndexedDB में रहता है)
- ऑफ-मेन-थ्रेड अनुमान - यूआई फ्रीजिंग को रोकने के लिए सभी एलएलएम ऑपरेशन एक वेब वर्कर में चलते हैं
परिणाम: स्कैनर मध्य-श्रेणी के क्रोमबुक सहित 8 जीबी रैम मशीनों पर आसानी से चलता है।
प्रदर्शन बेंचमार्क: वास्तविक संख्याएँ
हमने समान परिस्थितियों में क्लाउड-आधारित विकल्पों के विरुद्ध अपने क्लाइंट-साइड एआई रीराइटर को बेंचमार्क किया। यहां हमने जो पाया:
| मीट्रिक | हमारा क्लाइंट-साइड AI | क्लाउड एपीआई (GPT-4o-मिनी) | क्लाउड एपीआई (क्लाउड हाइकु) | |––––|––||––––––––––––––––|––––––––––––––––| | प्रथम अनुमान विलंबता | 45 सेकंड (डाउनलोड) + 2.3 सेकंड | 1.2एस | 1.8 सेकंड | | अनुवर्ती अनुमान विलंबता | 2.3 सेकंड | 1.2एस | 1.8 सेकंड | | गोपनीयता | निरपेक्ष (शून्य नेटवर्क) | सर्वर लॉग + एपीआई प्रतिधारण | सर्वर लॉग + एपीआई प्रतिधारण | | ऑफ़लाइन सक्षम | हाँ | नहीं | नहीं | | दर सीमा | कोई नहीं | हाँ (आरपीएम/टीपीएम कैप्स) | हाँ (आरपीएम/टीपीएम कैप्स) | | उपयोगकर्ता के लिए लागत | मुफ़्त | $5-20/महीना सदस्यता | $5-20/महीना सदस्यता | | डेटा स्वामित्व | 100% उपयोगकर्ता | प्लेटफार्म पर निर्भर | प्लेटफार्म पर निर्भर |
व्यापार स्पष्ट है: पहली बार उपयोगकर्ता मॉडल डाउनलोड के लिए ~45 सेकंड का त्याग करते हैं। उसके बाद, प्रत्येक पुनर्लेखन मुफ़्त, निजी, असीमित और ऑफ़लाइन-सक्षम है। संवेदनशील करियर डेटा को संभालने वाले टूल के लिए, हमारा मानना है कि यह सही समझौता है।
यह आर्किटेक्चर वेब एआई के भविष्य के लिए क्यों मायने रखता है
हम सिर्फ एक रिज्यूम स्कैनर नहीं बना रहे हैं। हम साबित कर रहे हैं कि एआई के भविष्य के लिए आपके डेटा को सरेंडर करने की आवश्यकता नहीं है।
प्रत्येक प्रमुख एआई कंपनी क्लाउड अनुमान पर जोर दे रही है क्योंकि यह लाभदायक है। लेकिन शक्तिशाली, निजी, क्लाइंट-साइड एआई के लिए तकनीकी क्षमता पहले से ही यहां है। वेबजीपीयू परिपक्व है. Transformers.js उत्पादन के लिए तैयार है। परिमाणित मॉडल आश्चर्यजनक रूप से सक्षम हैं।
उपयोगकर्ताओं के लिए इसका क्या अर्थ है:
- आप अपने रोजगार इतिहास के बारे में किसी तीसरे पक्ष पर भरोसा किए बिना एआई-संचालित बायोडाटा सहायता प्राप्त कर सकते हैं
- आप हवाई जहाज के वाई-फाई, कॉर्पोरेट फ़ायरवॉल या प्रतिबंधात्मक नेटवर्क पर एआई टूल का उपयोग कर सकते हैं
- आप अपने डेटा, अपने मॉडल वजन और अपने अनुमान आउटपुट के मालिक हैं
डेवलपर्स के लिए इसका क्या मतलब है:
- ब्राउज़र एक वैध AI परिनियोजन लक्ष्य है
- आप एपीआई बिल के बिना परिष्कृत एनएलपी सुविधाएं बना सकते हैं
- गोपनीयता-प्रथम आर्किटेक्चर एक प्रतिस्पर्धी विभेदक है, कोई सीमा नहीं
हमारे क्लाइंट-साइड एआई रीराइटर को कैसे आज़माएं
हमारा [निजी एटीएस स्कैनर] (/ इंडेक्स) एआई रीराइटर को एक अंतर्निहित सुविधा के रूप में शामिल करता है। यह ऐसे काम करता है:
- अपना बायोडाटा अपलोड करें (पीडीएफ या डॉक्स) - ब्राउज़र में पूरी तरह से पार्स किया गया, कभी अपलोड नहीं किया गया
- रिच टेक्स्ट एडिटर में कोई भी बुलेट चुनें
- “एआई के साथ पुनः लिखें” पर क्लिक करें - मॉडल डाउनलोड होता है (केवल पहली बार) और एक मजबूत, कीवर्ड-अनुकूलित संस्करण उत्पन्न करता है
- सुझाव की तुलना करें, संपादित करें और स्वीकार करें - आपके डेटा को ले जाने वाले एक भी नेटवर्क कॉल के बिना
→ हमारे क्लाइंट-साइड स्कैनर में निजी एआई रेज़्यूमे रीराइटर का प्रयास करें
मुख्य टेकअवे
- वेबजीपीयू और ट्रांसफॉर्मर्स.जेएस का उपयोग करके क्लाइंट-साइड एआई रेज़्यूमे रीराइटिंग और एनएलपी कार्यों के लिए उत्पादन के लिए तैयार है
- वेबजीपीयू केवल सीपीयू दृष्टिकोण की तुलना में 4-5 गुना तेज अनुमान प्रदान करता है और 94%+ आधुनिक ब्राउज़रों द्वारा समर्थित है
- एक 500एम-पैरामीटर मॉडल (क्यूवेन1.5-0.5बी-चैट) 300एमबी से कम रहते हुए उच्च गुणवत्ता वाले बुलेट पुनर्लेखन के लिए पर्याप्त है
- प्रोग्रेसिव डाउनलोड, इंडेक्सेडडीबी कैशिंग और वेब वर्कर्स बड़े मॉडलों को उपभोक्ता उपकरणों तक पहुंचाने के लिए आवश्यक हैं
- गोपनीयता के लाभ पूर्ण हैं - शून्य सर्वर लॉग, शून्य एपीआई प्रतिधारण, शून्य डेटा उल्लंघन जोखिम
वेब ब्राउज़र अब केवल एक दस्तावेज़ दर्शक नहीं है। यह एक सुरक्षित, निजी AI कंप्यूट वातावरण है। और हम अभी शुरुआत कर रहे हैं।