Jak Wiarygodna Jest Funkcja Snap It! w Lose It!? Audyt Identyfikacji i Spójności

Lose It! Snap It to funkcja identyfikacji żywności oparta na zdjęciach w aplikacji Lose It! do śledzenia kalorii, opracowanej przez FitNow Inc. Pomysł jest prosty i atrakcyjny: zrób zdjęcie swojego jedzenia, a aplikacja automatycznie je zidentyfikuje i zapisze kalorie. Bez ręcznego przeszukiwania, przewijania przez wpisy w bazie danych, czy pisania. Wystarczy skierować obiektyw, zrobić zdjęcie i przejść dalej.

Jednak wiarygodność w rejestrowaniu żywności na podstawie zdjęć wymaga jednoczesnego działania trzech rzeczy. Aplikacja musi poprawnie zidentyfikować, co to za jedzenie. Musi dokładnie oszacować wielkość porcji. I musi produkować spójne wyniki — to znaczy, że jeśli zrobisz zdjęcie tego samego posiłku dwa razy, powinieneś otrzymać tę samą liczbę kalorii za każdym razem. Gdy którykolwiek z tych trzech elementów zawiedzie, zarejestrowane dane stają się niewiarygodne.

Przetestowaliśmy wszystkie trzy aspekty, fotografując 20 różnych posiłków dwa razy za pomocą Snap It. Oto szczegółowe zestawienie, gdzie funkcja działa wiarygodnie, gdzie zawodzi i co to oznacza dla dokładności śledzenia kalorii.

Co oznacza "wiarygodność" w kontekście rejestrowania żywności na podstawie zdjęć?

Wiarygodność funkcji rejestrowania żywności na podstawie zdjęć oznacza, że trzy rzeczy muszą działać jednocześnie. Aplikacja poprawnie identyfikuje jedzenie na zdjęciu. Oszacowuje wielkość porcji bliską rzeczywistej ilości. I produkuje ten sam wynik przy tym samym wejściu.

Jeśli identyfikacja zawiedzie — aplikacja nazywa twoją komosę ryżem — dane kaloryczne są błędne od samego początku. Jeśli identyfikacja jest poprawna, ale oszacowanie porcji różni się o 40%, liczba kalorii nadal nie ma sensu. A jeśli zrobisz zdjęcie tego samego talerza dwa razy i otrzymasz dwa różne wyniki, nie możesz zaufać żadnemu z nich.

Większość recenzji dotyczących rejestrowania żywności na podstawie zdjęć koncentruje się tylko na dokładności identyfikacji. Jednak identyfikacja bez dokładnego oszacowania porcji jest jak poprawne nazwanie miasta, ale zgadywanie odległości — wiesz, dokąd zmierzasz, ale nie masz pojęcia, jak daleko to jest. Wszystkie trzy aspekty muszą działać, aby funkcja była naprawdę użyteczna.

Metodologia testu: 20 posiłków, fotografowanych dwa razy każdy

Przygotowaliśmy 20 posiłków z pięciu kategorii: pojedyncze całe produkty, produkty pakowane, proste talerze, wieloskładnikowe dania restauracyjne oraz mieszane miski. Każdy posiłek był fotografowany dwa razy przez Lose It! Snap It w jednolitych warunkach oświetleniowych pod kątem 45 stopni, co jest najczęściej stosowanym kątem w fotografii jedzenia.

Między dwoma zdjęciami każdego posiłku czekaliśmy 60 sekund i nieznacznie zmienialiśmy położenie telefonu, aby zasymulować rzeczywistą zmienność. Samo jedzenie nie było przesuwane ani zmieniane. Zarejestrowaliśmy trzy metryki dla każdego testu: czy jedzenie zostało poprawnie zidentyfikowane, jak bliskie było oszacowanie porcji do rzeczywistej wagi oraz czy oba zdjęcia dały ten sam wynik kaloryczny.

Wyniki wiarygodności według kategorii żywności

Tabela identyfikacji, dokładności porcji i spójności

Żywność	Kategoria	Poprawna identyfikacja (Zdjęcie 1)	Poprawna identyfikacja (Zdjęcie 2)	Dokładność porcji	Spójny wynik
Jabłko, całe	Pojedynczy produkt	Tak	Tak	W granicach 10%	Tak
Banan, cały	Pojedynczy produkt	Tak	Tak	W granicach 5%	Tak
Baton proteinowy (opakowanie widoczne)	Pakowane	Tak	Tak	Dokładnie	Tak
Kubek jogurtu (etykieta widoczna)	Pakowane	Tak	Tak	Dokładnie	Tak
Grillowany kurczak + ryż	Prosty talerz	Tak	Tak	W granicach 20%	Nie (18 kal różnicy)
Makaron z sosem marinara	Prosty talerz	Tak	Tak	W granicach 25%	Nie (34 kal różnicy)
Stek + puree ziemniaczane + szparagi	Wieloskładnikowe	Częściowa (brak szparagów)	Tak	W granicach 35%	Nie (67 kal różnicy)
Miska burrito	Mieszana	Częściowa (brak fasoli)	Częściowa (brak kukurydzy)	W granicach 40%	Nie (89 kal różnicy)
Miska zbożowa z tofu	Mieszana	Częściowa (tofu jako kurczak)	Częściowa (tofu jako kurczak)	W granicach 45%	Nie (52 kal różnicy)
Sałatka Cezar z grzankami	Prosty talerz	Tak	Tak	W granicach 30%	Nie (41 kal różnicy)
Talerz sushi (8 kawałków, mieszane)	Wieloskładnikowe	Częściowa (3 z 4 rodzajów)	Częściowa (2 z 4 rodzajów)	W granicach 35%	Nie (73 kal różnicy)
Owsianka z jagodami i orzechami	Mieszana	Częściowa (brak orzechów)	Tak	W granicach 25%	Nie (38 kal różnicy)
Kanapka (przekrój widoczny)	Prosty talerz	Tak	Tak	W granicach 20%	Nie (22 kal różnicy)
Ryż vs kuskus test (kuskus)	Pojedynczy produkt	Nie (ID jako ryż)	Nie (ID jako ryż)	W granicach 15%	Tak (konsekwentnie błędne)
Miska quinoa	Pojedynczy produkt	Nie (ID jako ryż)	Tak	W granicach 20%	Nie (45 kal różnicy)
Kawałek pizzy	Prosty talerz	Tak	Tak	W granicach 15%	Tak
Smoothie w szklance	Płyn	Tak	Częściowa (brak białka w proszku)	W granicach 50%	Nie (62 kal różnicy)
Curry z ryżem	Mieszana	Częściowa (ogólne curry)	Częściowa (ogólne curry)	W granicach 40%	Nie (55 kal różnicy)
Jajka na toście	Prosty talerz	Tak	Tak	W granicach 15%	Tak
Miska poke	Mieszana	Częściowa (brak edamame)	Częściowa (brak wodorostów)	W granicach 45%	Nie (81 kal różnicy)

Ogólne wyniki:

• Pełna poprawna identyfikacja: 60% zdjęć (24 z 40)
• Częściowa identyfikacja (brakujące składniki): 30% (12 z 40)
• Błędna identyfikacja: 10% (4 z 40)
• Spójny wynik w obu zdjęciach: 30% posiłków (6 z 20)
• Średnia odchylenie dokładności porcji: 25,5%

Gdzie Snap It jest wiarygodny

Snap It dobrze sprawdza się w dwóch konkretnych scenariuszach, które mają wspólną cechę: wizualną prostotę.

Produkty pakowane z widocznymi etykietami

Gdy kod kreskowy lub etykieta marki są widoczne na zdjęciu, Snap It skutecznie działa jak wizualny skaner kodów kreskowych. Poprawnie identyfikuje dokładny produkt i pobiera dane kaloryczne z bazy danych. W takich przypadkach identyfikacja jest poprawna, porcja odpowiada wielkości opakowania, a wyniki są całkowicie spójne. To najsilniejszy przypadek użycia tej funkcji, chociaż rodzi pytanie, dlaczego używać rejestrowania na zdjęciach zamiast po prostu zeskanować kod kreskowy.

Pojedyncze proste produkty

Całe owoce, zwykłe jajko, kromka chleba — jedzenie, które jest wizualnie jednoznaczne i ma stosunkowo standardowe rozmiary. Snap It poprawnie zidentyfikował każdy pojedynczy produkt w naszym teście i oszacował porcje w granicach 5-15% rzeczywistej wagi. Spójność również była silna, z obu zdjęć uzyskując ten sam lub prawie ten sam wynik.

Wspólnym czynnikiem jest to, że te produkty mają charakterystyczny wizualny sygnatur i przewidywalne rozmiary porcji. Jabłko wygląda jak jabłko z każdego kąta, a jego zawartość kaloryczna mieści się w wąskim zakresie, niezależnie od dokładnego rozmiaru.

Gdzie Snap It jest niewiarygodny

Niepowodzenia w wiarygodności koncentrują się wokół trzech scenariuszy, które reprezentują większość rzeczywistych posiłków.

Posiłki wieloskładnikowe

Gdy talerz zawiera trzy lub więcej różnych składników, Snap It często pomija przynajmniej jeden z nich. W naszym teście kolacji ze stekiem pierwsze zdjęcie całkowicie pominęło szparagi. W teście talerza sushi aplikacja zidentyfikowała tylko 2-3 z 4 rodzajów sushi. Każdy pominięty składnik to całkowity produkt, który nie jest rejestrowany — często 50-150 kalorii, które po prostu znikają z twojego dziennego bilansu.

Mieszane miski i jedzenie warstwowe

Miska burrito, miska zbożowa, miska poke i curry wypadły słabo. Gdy składniki są wymieszane lub ułożone w warstwy, AI ma trudności z rozróżnieniem poszczególnych komponentów. Nasza miska burrito zawierała ryż, kurczaka, fasolę, kukurydzę, salsę, ser i guacamole. Snap It zidentyfikował ryż i kurczaka, ale w jednym zdjęciu pominął fasolę, a w innym kukurydzę. Średnie oszacowanie porcji dla mieszanych misek wyniosło 40-45% odchylenia od rzeczywistych wartości pomiarowych.

Wizualnie podobne produkty

Kuskus został zidentyfikowany jako ryż w obu zdjęciach — konsekwentna błędna identyfikacja. Quinoa została zidentyfikowana jako ryż w jednym zdjęciu, a poprawnie w drugim. Ryż kalafiorowy, zwykły ryż i kuskus są prawie nieodróżnialne na zdjęciach, ale ich gęstości kaloryczne różnią się znacznie. Kuskus zawiera około 176 kalorii na ugotowaną szklankę w porównaniu do ryżu, który ma 206 kalorii na szklankę. Konsekwentna błędna identyfikacja kuskusu jako ryżu dodaje 30 kalorii na szklankę, których użytkownik nie spożył.

Analiza trybów błędów

Skategoryzowaliśmy każdy błąd w 40 zdjęciach, aby zidentyfikować wzorce.

Tabela częstotliwości trybów błędów

Tryb błędu	Wystąpienia	% wszystkich zdjęć	Średni wpływ kaloryczny
Pominięty składnik w posiłku wieloskładnikowym	10	25%	85 kal
Przeszacowanie porcji (>20% powyżej rzeczywistej)	7	17,5%	62 kal
Niedoszacowanie porcji (>20% poniżej rzeczywistej)	9	22,5%	58 kal
Błędna identyfikacja żywności	4	10%	45 kal
Niespójny wynik (ten sam posiłek, różne kalorie)	14	35%*	Średnia różnica 52 kal
Pominięte kalorie płynne (sos, olej)	6	15%	72 kal

*Mierzone na podstawie 20 par posiłków, a nie 40 pojedynczych zdjęć.

Najczęstszym błędem była niespójność — 14 z 20 posiłków dało różne liczby kalorii przy fotografowaniu dwa razy. Najbardziej kalorycznie znaczącym błędem było pominięcie składników, średnio 85 niezarejestrowanych kalorii na wystąpienie. Pominięte kalorie płynne (sosy, oleje, dressingi) również były istotne, wynosząc 72 kalorie na pominięcie.

Te błędy nie występują w izolacji. Pojedyncze zdjęcie posiłku może wywołać wiele trybów błędów jednocześnie — mieszana miska może mieć pominięty składnik, niedoszacowaną porcję i niespójny wynik w porównaniu do drugiego zdjęcia.

Problem z fallbackiem: Kiedy rejestrowanie na zdjęciach zawodzi

Gdy Snap It nie może zidentyfikować jedzenia lub użytkownik rozpoznaje, że identyfikacja jest błędna, aplikacja przechodzi do ręcznego przeszukiwania. To tutaj pojawia się drugi problem z wiarygodnością. Lose It! korzysta z bazy danych, która zawiera wpisy przesłane przez użytkowników obok zweryfikowanych danych, podobnie jak inne bazy danych oparte na crowdsourcingu.

Użytkownik, który zaczął od rejestrowania na zdjęciach, aby zaoszczędzić czas, teraz musi ręcznie przeszukiwać bazę danych, oceniać wiele wpisów dla tej samej żywności i zgadywać, który z nich jest poprawny. Przewaga szybkości rejestrowania na zdjęciach zostaje utracona, a użytkownik wraca do tych samych wyzwań związanych z dokładnością, które dotyczą każdej bazy danych opartej na crowdsourcingu. Badanie z 2019 roku opublikowane w Journal of the Academy of Nutrition and Dietetics wykazało, że bazy danych oparte na crowdsourcingu zawierały istotne błędy w około 27% badanych wpisów.

To tworzy niespójną doświadczenie śledzenia. Niektóre posiłki są rejestrowane za pomocą zdjęć z jednym poziomem dokładności. Inne posiłki są rejestrowane ręcznie z innym poziomem dokładności. Codzienny bilans kalorii użytkownika staje się patchworkiem punktów danych o różnej wiarygodności, co utrudnia identyfikację trendów lub zaufanie do liczb.

Jak AI Nutrola podchodzi do wiarygodności inaczej

AI Nutrola podchodzi do trzech wymiarów wiarygodności — identyfikacji, dokładności porcji i spójności — poprzez inny sposób architektoniczny.

Identyfikacja żywności w Nutrola mapuje każdą rozpoznaną żywność bezpośrednio do bazy danych zweryfikowanej przez dietetyków, zawierającej ponad 1,8 miliona wpisów. Gdy AI identyfikuje kurczaka na twoim zdjęciu, łączy go z jednym zweryfikowanym wpisem dla piersi kurczaka, a nie z listą opcji przesłanych przez użytkowników z różnymi wartościami kalorycznymi. To eliminuje kaskadowy błąd, w którym poprawna identyfikacja nadal prowadzi do błędnych kalorii z powodu złego wpisu w bazie danych.

Dla dokładności porcji Nutrola łączy analizę zdjęć z rejestrowaniem głosowym jako szybkim mechanizmem korekcyjnym. Jeśli AI oszacuje twoją porcję ryżu na 150 gramów, ale wiesz, że zważyłeś 200 gramów, możesz powiedzieć "właściwie to było około 200 gramów" i wpis zostanie natychmiast zaktualizowany. To podejście z człowiekiem w pętli uznaje, że żadne AI nie oszacuje idealnie porcji z 2D zdjęcia, jednocześnie zapewniając mechanizm korekty, który zajmuje sekundy, zamiast wymagać pełnego ręcznego przeszukiwania.

Zaleta spójności wynika z samej zweryfikowanej bazy danych. Ponieważ każda żywność jest mapowana do jednego wpisu, powtarzane zdjęcia, które identyfikują tę samą żywność, zawsze produkują tę samą podstawową wartość kaloryczną. Oszacowania porcji mogą się nieznacznie różnić między zdjęciami, ale podstawowe dane żywieniowe są stabilne i zweryfikowane.

Nutrola oferuje również skanowanie kodów kreskowych dla produktów pakowanych oraz funkcję importu przepisów dla posiłków gotowanych w domu, zapewniając, że każda metoda rejestrowania łączy się z tą samą zweryfikowaną bazą danych. Dostępna na iOS i Androidzie w cenie 2,50 EUR miesięcznie bez reklam, Nutrola stawia na wiarygodność danych ponad wielkość bazy danych.

Najczęściej zadawane pytania

Jak dokładny jest Lose It! Snap It dla codziennych posiłków?

W naszych testach Snap It poprawnie zidentyfikował wszystkie składniki żywności tylko w 60% zdjęć. Dla pojedynczych produktów i żywności pakowanej dokładność była wysoka — zbliżająca się do 95% poprawnej identyfikacji z oszacowaniami porcji w granicach 5-15% rzeczywistej wagi. W przypadku posiłków wieloskładnikowych i mieszanych misek dokładność znacznie spadła, z aplikacją pomijającą przynajmniej jeden składnik żywności w 25% wszystkich zdjęć i oszacowaniami porcji różniącymi się o 35-45% od wartości pomiarowych.

Czy Snap It daje ten sam wynik, jeśli zrobię zdjęcie tego samego posiłku dwa razy?

Nie. W naszym teście 20 posiłków fotografowanych dwa razy tylko 30% dało spójne wyniki kaloryczne w obu zdjęciach. Średnia różnica kalorii między powtarzającymi się zdjęciami wyniosła 52 kalorie, a niektóre posiłki wykazywały różnice wynoszące 80-89 kalorii. Ta niespójność oznacza, że liczba kalorii, którą otrzymujesz, zależy częściowo od konkretnego kąta, oświetlenia i momentu, w którym robisz zdjęcie, a nie tylko od tego, co jesz.

Z jakimi rodzajami żywności Snap It działa najlepiej?

Snap It jest najbardziej wiarygodny w przypadku wizualnie wyraźnych, pojedynczych produktów żywnościowych (całe owoce, jajka, kromki chleba) oraz produktów pakowanych, gdzie etykieta lub nazwa marki są widoczne na zdjęciu. Te kategorie wykazały wskaźniki poprawnej identyfikacji powyżej 95% i oszacowania porcji w granicach 5-15% rzeczywistych wartości. Funkcja jest najmniej wiarygodna w przypadku mieszanych misek, wieloskładnikowych talerzy restauracyjnych oraz wizualnie podobnych ziaren, takich jak ryż, kuskus i quinoa.

Dlaczego Snap It pomija składniki w mojej misce lub na talerzu?

Gdy jedzenie jest ułożone w warstwy, wymieszane lub częściowo ukryte pod innymi składnikami, AI nie może wizualnie rozróżnić poszczególnych komponentów. W misce burrito, na przykład, fasola pod ryżem lub ser zmieszany z innymi dodatkami stają się niewidoczne dla kamery, która uchwyca tylko górną powierzchnię. Każdy pominięty składnik reprezentuje niezarejestrowane kalorie — zazwyczaj 50 do 150 kalorii na pominięty składnik na podstawie naszych testów.

Czy rejestrowanie kalorii na podstawie zdjęć jest wystarczająco dokładne dla utraty wagi?

Rejestrowanie na podstawie zdjęć może być wystarczająco dokładne dla ogólnej świadomości kalorycznej, ale zazwyczaj jest niewystarczające dla precyzyjnej utraty wagi opartej na deficycie. Nasze testy wykazały średnie odchylenie dokładności porcji wynoszące 25,5% we wszystkich typach żywności, co przekłada się na codzienne błędy kaloryczne wynoszące od 150 do 400 kalorii w zależności od złożoności posiłku. Dla kontekstu, typowy deficyt utraty wagi wynosi 500 kalorii dziennie, co oznacza, że błędy w rejestrowaniu na podstawie zdjęć mogą zniwelować 30-80% planowanego deficytu. Łączenie rejestrowania na zdjęciach z weryfikacją porcji — czy to przez ważenie jedzenia, czy korzystanie z korekty głosowej, jak oferuje Nutrola — znacznie poprawia dokładność.