एआई Edge टॉर्च जनरेटिव एआई
एपीआई
ट्रांसफ़ॉर्मर-आधारित PyTorch मॉडल को
LiteRT फ़ॉर्मैट का इस्तेमाल करता है, जिससे लार्ज लैंग्वेज मॉडल (एलएलएम) को
LiteRT और MediaPipe की मदद से, डिवाइस पर इमेज और टेक्स्ट जनरेट करें. फ़िलहाल, AI Edge Torch Generative API सिर्फ़ सीपीयू के लिए इस्तेमाल किया जाता है. इसमें जीपीयू और एनपीयू के साथ काम करने की सुविधा पहले से मौजूद है.
मोबाइल ऐप्लिकेशन डेवलपर, PyTorch एलएलएम को इंटिग्रेट करने के लिए, Edge Generative API का इस्तेमाल कर सकते हैं
MediaPipe एलएलएम के अनुमान के साथ
एपीआई इस्तेमाल करके ऐसे ऐप्लिकेशन बनाएं
उन PyTorch मॉडल को पूरी तरह से डिवाइस पर चलाना चाहिए.
ज़्यादा जानकारी के लिए, Generative Torc API GitHub देखें
रेपो के बगल में बने बॉक्स को दिखाता है.
[[["समझने में आसान है","easyToUnderstand","thumb-up"],["मेरी समस्या हल हो गई","solvedMyProblem","thumb-up"],["अन्य","otherUp","thumb-up"]],[["वह जानकारी मौजूद नहीं है जो मुझे चाहिए","missingTheInformationINeed","thumb-down"],["बहुत मुश्किल है / बहुत सारे चरण हैं","tooComplicatedTooManySteps","thumb-down"],["पुराना","outOfDate","thumb-down"],["अनुवाद से जुड़ी समस्या","translationIssue","thumb-down"],["सैंपल / कोड से जुड़ी समस्या","samplesCodeIssue","thumb-down"],["अन्य","otherDown","thumb-down"]],["आखिरी बार 2025-07-24 (UTC) को अपडेट किया गया."],[],[],null,["# Convert generative PyTorch models\n\nThe [AI Edge Torch Generative\nAPI](https://github.com/google-ai-edge/ai-edge-torch/tree/main/ai_edge_torch/generative/)\nis a mobile-optimized library for converting transformer-based PyTorch models to\nthe LiteRT format, enabling you to convert Large Language Models (LLMs) for\non-device image and text generation with LiteRT and MediaPipe. The AI Edge Torch Generative API is currently CPU-only, with planned GPU and NPU support.\n\nMobile app developers can use the Edge Generative API to integrate PyTorch LLMs\nwith the [MediaPipe LLM Inference\nAPI](../../mediapipe/solutions/genai/llm_inference/index) to create apps that\nrun those converted PyTorch models completely on-device.\n\nFor more information, see the Generative Torch API [GitHub\nrepo](https://github.com/google-ai-edge/ai-edge-torch/tree/main/ai_edge_torch/generative/)."]]
