Google macht einen wichtigen Schritt in Richtung KI-gestützter Webanwendungen: In den neuesten Entwicklerversionen des Chrome-Browsers (Canary und Dev) ab Version 127 lässt sich die kleinste Ausgabe von Googles Sprachmodell Gemini, nämlich Gemini Nano, erstmals installieren und testen. Dabei kommt die WebGPU-API zum Einsatz, die eine hardwarebeschleunigte Ausführung ermöglicht.
Zunächst müsst ihr dafür folgende Schritte erledigen:
chrome://flags/#prompt-api-for-gemini-nanoauf Enabledchrome://flags/#optimization-guide-on-device-modelauf Enabled BypassPerfRequirement- Chrome neustarten
- auf
chrome://componentsnach On Device Model suchen, sollte nicht 0.0.0.0 als Version haben
Wenn alles geklappt hat, könnt ihr Gemini Nano auf kharms.ai/nano oder chromeai.pages.dev ausprobieren.
Gemini Nano ist Teil von Googles Bestrebungen, KI-Funktionen direkt in den Browser zu integrieren, ohne dass Entwickler eigene Modelle bereitstellen und verwalten müssen. Dieser lokale Ansatz verspricht mehrere Vorteile: Zum einen können sensible Daten direkt auf dem Gerät verarbeitet werden, was die Privatsphäre schützt. Zum anderen lässt sich die Nutzerfreundlichkeit verbessern, da KI-gestützte Funktionen ohne Umweg über Server nahezu in Echtzeit bereitgestellt werden können, so Google. Das klappt also auch offline.
Erste Tests zeigen allerdings, dass Gemini Nano in der aktuellen Version noch nicht ausgereift ist. Auch bei der Befolgung von Prompts hat das Modell noch Schwierigkeiten und produziert fehlerhafte Ausgaben. Ein weiteres Manko ist die derzeit noch begrenzte Kontextgröße von 1.024 Token, die dazu führt, dass Gemini Nano bei längeren Eingaben verstummt.
Mit der Bereitstellung von Gemini Nano in Chrome schafft Google die Grundlage für eine breite Palette von KI-gestützten Anwendungsfällen im Web. Denkbar sind beispielsweise Tools zur Zusammenfassung von Texten, zur Unterstützung bei der Formulierung von Inhalten oder zur Beantwortung von Fragen basierend auf dem Inhalt einer Website. Entwickler können die neuen Möglichkeiten über spezielle APIs nutzen, ohne sich um die Bereitstellung und Pflege der zugrunde liegenden Modelle kümmern zu müssen.