Nicht jeder muss den aktuellen KI-Hype verstehen oder mögen. Aber im Bereich von Sprache ist KI auf jeden Fall ein riesiger Fortschritt. Nun kommt Gemini Nano für TalkBack auf Android zum Einsatz und bringt den „Android-Bildschirmleser“ auf ein komplett neues Level für Nutzer mit Einschränkungen.
TalkBack hatte bislang ein eher simples ML-Modell und wird dank der Multimodalität von Gemini Nano deutlich mehr davon verstehen, was auf dem Bildschirm zu sehen ist. Das wird deutlich über „einfache Bildbeschreibungen hinausgehen“, die TalkBack bislang bot.
Wenn TalkBack-Benutzer sich jetzt auf geeigneten Geräten anmelden, verwendet der Screenreader die neuen multimodalen Funktionen von Gemini Nano, um Benutzern in Apps wie Google Photos und Chrome automatisch klare, detaillierte Bildbeschreibungen bereitzustellen, selbst wenn das Gerät offline ist oder eine instabile Netzwerkverbindung hat.
Ein ganz simples Beispiel: TalkBack kann dank Gemini Nano jetzt nicht mehr einfach nur erkennen, dass auf einem Bild ein Gebäude steht, sondern welches Gebäude zu sehen ist. Eifelturm statt Turm, zum Beispiel. Erste Nutzer bezeichnen die neuen Bildbeschreibungen als bahnbrechend und wunderbar.
„Der durchschnittliche TalkBack-Benutzer stößt täglich auf 90 unbeschriftete Bilder“, was nur noch einmal verdeutlicht, wie hilfreich so eine Funktion für Anwender mit Einschränkungen sein kann.