Schuhe virtuell anprobieren: So finden Sie die perfekte Passform

• Snapfeet ist eine neue Handy-App, die anhand der 3D-Form des Fußes des Nutzers zeigt, wie ein Schuh passen wird.
• Sie bietet zudem eine einfache Augmented-Reality (AR)-Visualisierung der Schuhe, wie sie letztlich an den Füßen aussehen würden.
• Ein möglicher Vorteil: Weniger Retouren, denn viele Schuhhändler erzielen aufgrund der hohen Rücklaufquote nur sehr geringe Einnahmen aus dem Online-Verkauf.

Die App Snapfeet soll Online-Schuhhändlern die Möglichkeit geben, ihren Kunden eine genaue Anprobe verschiedener Schuhmodelle anzubieten und zu sehen, wie die Schuhe am Fuß des Käufers aussehen werden. Professor Roberto Cipolla und sein Team, Dr. James Charles und Doktorand Ollie Boyne aus der Gruppe für maschinelle Intelligenz er Universität Cambridge, haben die App in Zusammenarbeit mit Giorgio Raccanelli und dem Team von Snapfeet entwickelt. Die Snapfeet-App ermöglicht es dem Kunden, Schuhe mittels Augmented Reality (AR) über sein Mobiltelefon anzuprobieren und rasch die perfekte Passform zu finden. Snapfeet erstellt in Echtzeit eine genaue 3D-Kopie der Füße des Nutzers. In wenigen Sekunden ist es möglich, ein 3D-Modell beider Füße zu erstellen, indem man einfach ein paar Handyfotos aus verschiedenen Blickwinkeln aufnimmt.

Anhand der Fußform des Benutzers und durch Vergleich mit der Schuhgeometrie kann Snapfeet dann die richtige Größe für jeden Schuhtyp empfehlen und dem Benutzer den Grad des Komforts mitteilen, der in den verschiedenen Bereichen des Fußes erreicht werden kann: Zehen, Rist, Ferse und Sohle.

Giorgio Raccanelli sagt: „Man lädt die Snapfeet-App herunter, registriert sich, macht ein paar Fotos rund um den Fuß und schon erscheint ein 3D-Modell des Fußes, mit dem man sofort einkaufen kann. Die Anwendung vergleicht automatisch das dreidimensionale Bild des Fußes mit dem gewählten Schuhmodell und zeigt an, wie es passen wird, oder schlägt direkt ein Modell vor, das am besten zu Ihrer Fußform passt.“

Snapfeet hat mit Hugo Boss und Golden Goose seine ersten großen Kunden.

Von der Photogrammetrie-Software zur Handy-App

Die Muttergesellschaft von Snapfeet, Trya, begann 2011 mit der Lizenzierung einer neuartigen Photogrammetrie-Software von Professor Cipollas Gruppe über Cambridge Enterprise. Die ursprüngliche Photogrammetrie-Technologie verwendete Fotos mit einem Kalibrierungsmuster. Nach der Aufnahme dieser Fotos wurden sie auf einen Server hochgeladen, und ein in Cambridge entwickelter Multi-View-Stereo-Algorithmus fand mehrere Punktkorrespondenzen und erstellte ein 3D-Modell, das alle verschiedenen Blickwinkel umfasst und die Kameras im Raum lokalisiert. Dies war 2011 der Stand der Technik in Bezug auf die Rekonstruktionsgenauigkeit.

Seit 2019 arbeitet das Team von Professor Cipolla mit Snapfeet zusammen, um die ursprüngliche Photogrammetrie-Technologie zu einer Handy-App weiterzuentwickeln. Diese sollte die 3D-Fußform live auf dem Handy und ohne Kalibrierungsmuster rekonstruieren, um Schuhe in AR korrekt zu messen und zu visualisieren.

Unten sehen Sie ein Video der App in Aktion, die eine 3D-Kopie des Fußes erstellt, Größenvorschläge mithilfe von maschinellem Lernen und Echtzeit-AR, um die vorgeschlagene Größe am Fuß zu visualisieren.

Video: University of Cambridge

Die ursprüngliche Photogrammetrie-Software war auf 1 mm genau, aber sie war langsam und die Daten ließen sich schwer verarbeiten. Die Genauigkeit war vorhanden, die Benutzerfreundlichkeit jedoch fehlte. Außerdem nutzte sie kein Wissen über das Objekt, das sie zu rekonstruieren versuchte.

Schneller und benutzerfreundlicher als andere Lösungen

Das Team überlegte, wie man es schneller und benutzerfreundlicher machen könnte. So entstand die Idee, die Abläufe auf ein Mobiltelefon ohne Kalibrierungsmuster und ohne Verarbeitung auf einem Server zu verlagern. Dabei konnten die Forschenden auf neue Entwicklungen im Bereich des maschinellen Lernens und leistungsstarke Prozessoren in modernen Mobiltelefonen zurückgreifen.

„Wir konnten neue Entwicklungen im Bereich des maschinellen Lernens (Deep Learning) zur Erkennung von 3D-Objekten sowie die fortschrittlichen Sensoren und leistungsstarken Prozessoren moderner Mobiltelefone nutzen, um die Rekonstruktionsalgorithmen in Echtzeit auf dem Telefon auszuführen. Zusammengefasst können wir ein parametrisiertes Fußmodell und neuartige Deep-Learning-Algorithmen zur Erkennung von Kurven und Oberflächen kombinieren, so dass wir den 3D-Rekonstruktionsalgorithmus in Echtzeit auf dem Gerät ausführen können.“

Professor Roberto Cipolla

Sie verwendeten ein parametrisiertes Fußmodell, angelernt mit Hilfe vieler 3D-Scans von Füßen mit der ursprünglichen Photogrammetrie-Technologie. Das 3D-Fußmodell, das die App erstellt, lässt sich in jeder beliebigen Grafik-Engine rendern, um es zu visualisieren. Die Form des Fußes ist veränderbar. Zehn verschiedene Parameter, die durch maschinelles Lernen gewonnen wurden, steuern sie. Ziel ist es, herauszufinden, welche dieser Parameter einen 3D-Fuß ergeben, der am besten zum Nutzer passt.

Das „Master“-Fußmodell wird als „Prior“ bezeichnet, kurz für das Vorwissen darüber, wie Füße aussehen. Der Benutzer der App nimmt immer noch mehrere Bilder des Fußes auf, aber anstatt Punktwolken zu erstellen (wie bei der Photogrammetrie), verwendet die App maschinelles Lernen, um die Merkmale vorherzusagen, die die Form des Fußes bestimmen. Die Vorteile: Der App-Benutzer muss weniger Fotos machen und das zurückgegebene Fußmodell weist weniger Artefakte auf. Der Prozess ist zudem robuster, falls während eines Scans Fehler auftreten. Mit dem Echtzeit-Deep-Learning-Element der App lässt sich das Modell auch viel schneller erstellt werden.

Das Team hat gerade die neue Version der App veröffentlicht, die alles auf dem mobilen Gerät erledigen kann. Der Server wird nicht mehr benötigt.

Schuhe in der richtigen Größe: Wie die App funktioniert

James Charles sagt über die App: „Ich hatte schon immer Schwierigkeiten, Schuhe in der richtigen Größe zu bekommen. Ich mag es nicht, Schuhe in Geschäften anzuprobieren. Und die Auswirkungen auf die Umwelt, wenn ich viele Schuhe online bestelle, waren ein großes Problem für mich. Aber vor dieser App gab es wirklich keine andere Möglichkeit. Daher bin ich sehr motiviert, dieses Problem zu lösen und denke, dass wir bereits eine ziemlich gute Lösung haben.“

Wenn der Nutzer die App öffnet, gibt es zunächst eine Kalibrierungsphase. Hier beginnt der Nutzer, die Kamera mit den neuesten AR-Funktionen auf Mobiltelefonen zu tracken. Auf einem iOS-Telefon ist dies AR Kit und auf einem Android-Telefon AR Core. Sie verwenden dieselben Routinen, die eine Innenarchitektur-App verwenden würde, um einen Raum abzubilden und ihn in grafischer Form darzustellen.

Modell lässt aktiv anpassen

Während der Kalibrierungsphase wird die Handykamera getrackt. Die App stützt sich auf die AR-Technologie, um die Kamera zu tracken und zu berechnen, wie weit sie sich bewegt. Sie erkennt auch den Fuß und den Boden und vermittelt so eine gute Vorstellung von den räumlichen Gegebenheiten. Die App erkennt bis auf 2 mm genau, wo sich das Telefon befindet, und das alles innerhalb weniger Sekunden nach dem Laden der App.

Während sich das Telefon bewegt, werden bestimmte wichtige Punkte am Fuß erkannt, um die Länge und Breite des Fußes zu bestimmen. Anschließend wird aus diesen Messungen ein 3D-Netz erstellt . Das Modell in AR wird anschließend über den Fuß des Benutzers gelegt. Somit kann dieser visuell überprüfen, ob es korrekt ist.

Dies ist ein weiterer wichtiger Schritt und unterscheidet sich von der Konkurrenz. Es gibt Apps auf dem Markt, die die Modellrekonstruktion ebenfalls auf diese Weise validieren können. Aber sie erlauben es nicht, das Modell aktiv anzupassen. Mit Snapfeet können Anwender das Modell in Echtzeit anpassen. Sie erhalten dann sofort das 3D-Modell Ihres Fußes auf dem Telefon selbst, ohne dass sie einen Server benötigen.

Drei Algorithmen für das maschinelle Lernen

Es kommen drei Algorithmen für das maschinelle Lernen zum Einsatz. Ein Algorithmus erstellt das parametrisierte Fußmodell. Der zweite ist das maschinelle Lernen, das die Parameter des Modells aus Bildern mit mehreren Ansichten gewinnt, während der Anwender das Smartphone bewegt. Schließlich gibt es noch einen dritten maschinellen Lernalgorithmus innerhalb der App, der das 3D-Fußmodell mit allen Schuhformen oder Leisten vergleicht, an denen der Kunde interessiert ist, und dann eine Schuhgröße angibt, die dem Fuß des Benutzers am besten entspricht. Dies ist die virtuelle Anprobe.

„Ein parametrisiertes Fußmodell und neuartige Deep-Learning-Algorithmen zur Erkennung von Kurven und Oberflächen ermöglichten es uns, den 3D-Rekonstruktionsalgorithmus in Echtzeit auf dem Gerät auszuführen.“

Professor Roberto Cipolla

Wenn die Hersteller einen Schuh herstellen, bauen sie einen Leisten, der die Form des Fußes nachbildet. Um den Leisten herum wird das Design des Schuhs entworfen. Der Leisten und das für den Schuh verwendete Material bestimmen die Größe und den Tragekomfort.

Virtuelle Schuhe mit VR auf die Fußform übertragen

Der Algorithmus nimmt das Fußmodell, placiert es digital in allen Schuhen, an denen die Nutzer interessiert sind, und zeigt eine Komfortbewertung. Anschließend lässt sich mit Hilfe von AR ein virtueller Schuh auf den Fuß übertragen. Die App erkennt auch, wo sich die Beine/Hosen befinden, um den richtigen Okklusionseffekt zu erzielen, und nutzt maschinelles Lernen, um das Tracking des Fußes zu erfassen.

Mit dem AR-Element der App kann der Nutzer schließlich sehen, wie die Schuhe an seinem Fuß aussehen und ob sie zu einem bestimmten Outfit passen.

Weitere Informationen http://www.eng.cam.ac.uk/news/computer-vision-virtual-footwear-fitting-and-shoe-size-suggestion und Download der App: https://snapfeet.io/en/snapfeet-en/

Lesen Sie auch: „Walking-Simulator: So realitätsnah fühlt sich Gehen im Sitzen an“