Das neue faltbare Smartphone von Google nutzt die Frontkamera und ein fortschrittliches KI-Modell zur Transkription der amerikanischen Gebärdensprache, während die Gemini-App mit einer Milliarde Nutzern gleichzeitig Rekorde bricht.
Google hat am Dienstag offiziell die Pixel-11-Serie vorgestellt, wobei das Modell Pixel 11 Pro Fold mit einer innovativen Funktion die meiste Aufmerksamkeit auf sich zog, die die Kommunikation für gehörlose und schwerhörige Menschen erheblich erleichtern könnte. Das Telefon kann die amerikanische Gebärdensprache (ASL) in Echtzeit in geschriebenen Text übersetzen, wobei es die Frontkamera zur Erkennung von Gesten und das äußere Display zur Anzeige der Übersetzung nutzt.
Die Funktion wird aktiviert, indem man die Translate-App öffnet und in der Symbolleiste der Gboard-Tastatur auf das Gebärdensprach-Symbol tippt. Während der Nutzer Gesten vor dem Telefon ausführt, wird die Übersetzung gleichzeitig auf dem Cover-Display angezeigt, sodass der Gesprächspartner die Nachricht sofort lesen und antworten kann. Die Funktion ist auf der gesamten Pixel-11-Serie verfügbar, nicht nur auf dem Pro-Fold-Modell.
Das Herzstück dieser Funktionalität ist Googles neues Modell zur Übersetzung von Gebärdensprache in Text, genannt SL2T (Sign-Language-to-Text). Das Modell ist in der Lage, physische Bewegungen zu "sehen" und zu verstehen, einschließlich Hand-, Körper- und Kopfbewegungen sowie Gesichtsausdrücke. Auf der Grundlage dieser Informationen interpretiert es die Bedeutung, die durch die Gebärdensprache vermittelt wird, und übersetzt sie ins Englische.
Laut von Android Authority veröffentlichten Daten wurde das Modell mit mehr als 100.000 Stunden Gebärdensprachvideos trainiert, die über 50 Sprachen abdecken. Etwa ein Viertel dieser Daten bezieht sich auf die amerikanische Gebärdensprache, was erklärt, warum ASL die erste unterstützte Sprache ist. Derzeit ist die Funktion nur in ausgewählten Ländern und Regionen verfügbar und ausschließlich für die Übersetzung von ASL ins Englische.
Neben der Transkription von Gebärdensprache unterstützt das Pixel 11 Pro Fold auch die Transkription von Sprache in Text, eine nützliche Barrierefreiheitsoption für Menschen mit Hörbehinderung. Die App bietet auch ein Textfeld zum Eingeben von Antworten oder Fragen, das die andere Person lesen kann. Google hat bestätigt, dass die Unterstützung für weitere Geräte und zusätzliche Sprachen bald erweitert wird.
Gleichzeitig mit der Einführung der Hardware prahlte Google auch mit beeindruckenden Zahlen seiner KI-Plattform. Die Gemini-App hat eine Milliarde monatliche Nutzer erreicht und ist damit das am schnellsten wachsende Produkt in der Geschichte des Unternehmens. "Mehr als eine Milliarde Menschen nutzen jetzt jeden Monat die Gemini-App, um neue Ideen zu entwickeln und Dinge zu erledigen. Das ist unser am schnellsten wachsendes Produkt aller Zeiten und das vierzehnte, das die Milliarden-Nutzer-Marke erreicht hat", schrieb Sundar Pichai, CEO von Google, am Montag in einem Beitrag auf X.
Josh Woodward, Googles für Gemini zuständiger Manager, teilte in einem Beitrag auf X auch einige interessante Fakten mit. 63 % der Nutzer sprechen jetzt direkt per Sprache mit der Gemini-App, und berufstätige Eltern nutzen mit 43 % höherer Wahrscheinlichkeit Sprachbefehle für alltägliche Aufgaben. Woodward kündigte außerdem die Einführung von mehr als 60 neuen regionalen Dialekten in naher Zukunft an.
Neben den Neuigkeiten zu Hardware und Beliebtheit teilte Google auch Neuigkeiten im Bereich der Gesundheitsversorgung mit. Die Forschungsteams von Google Research und Google DeepMind haben AMIE entwickelt, ein KI-System, das jetzt Video-Konsultationen in Echtzeit durchführen kann. In einer randomisierten Studie mit simulierten Konsultationen erfüllte das System klinische Referenzwerte und zeigte das Potenzial künstlicher Intelligenz zur Erweiterung des Zugangs zur Telemedizin, teilte Google for Health am Montag auf X mit.
Das Pixel 11 Pro Fold ist zu einem Einstiegspreis von 1.899 US-Dollar vorbestellbar und kommt am 20. August in den Verkauf. Jeder Käufer erhält außerdem sechs Monate kostenloses Google AI Pro Abonnement.
