Für die Google Kamera auf dem Google Pixel 3 wurde im vergangenen Jahr die Fotobox eingeführt, jetzt wird diese Funktion um eine neue Geste erweitert. Bislang reagierte die Fotobox nur auf das Lächeln und Lachen der Leute, mit einem der letzten App-Updates können allerdings auch Küsse erkannt werden. Google kündigte diese Neuerung nur nebenbei an, auch im Changelog der App war nichts davon zu lesen.
Google Kamera reagiert auf Küsse und lachen
Interessant ist natürlich die Entwicklung im Hintergrund, denn diese Gesten zu erkennen ist gar nicht so einfach. Für die Umschreibung der Neuerung und wie sie funktioniert hat sich Google nicht gerade darauf konzentriert es uns einfach zu machen.
Wir haben mit Fotografen zusammengearbeitet, um fünf Schlüsselausdrücke zu identifizieren, die das Capture auslösen sollten: Lächeln, Zunge heraus, Kussi / Entengesicht, geschwollene Wangen und Überraschung. Wir haben dann ein neuronales Netzwerk trainiert, um diese Ausdrücke zu klassifizieren. Das von Photobooth verwendete Kusserkennungsmodell ist eine Variante des für Google Clips geschulten Image Content Model (ICM), das speziell auf das Küssen abgestimmt ist.
Die Bildbewertung berücksichtigt sowohl die Gesichtsausdruckqualität als auch die Kussbewertung. Da das Kuss-Detektionsmodell für den gesamten Frame gilt, kann seine Ausgabe direkt als Full-Frame-Score für das Kissing verwendet werden. Das Gesichtsausdruckmodell gibt für jeden identifizierten Ausdruck eine Bewertung aus.
Ab der schon etwas länger verfügbaren App-Version 6.2 sollte die Fotobox in der Google Kamera also auch bei Knutschereien auslösen. (via)
[appbox googleplay com.google.android.GoogleCamera]
Video
https://www.youtube.com/watch?v=hT8uO_PXCH4
Folge jetzt unserem Newsletter-Kanal bei WhatsApp. *provisionierte Affiliate-Links.