Наскільки надійна функція Snap It! у Lose It!? Аудит ідентифікації та послідовності

Lose It! Snap It — це функція ідентифікації їжі на основі фотографій у додатку Lose It! для відстеження калорій, розробленому компанією FitNow Inc. Ідея проста і приваблива: зробіть фото вашої їжі, і додаток автоматично її ідентифікує та зафіксує калорії. Ніякого ручного пошуку, ніякого перегляду записів у базі даних, ніякого набору тексту. Просто наведіть, зніміть і продовжте.

Але надійність ведення харчування на основі фотографій вимагає, щоб три компоненти працювали одночасно. Додаток повинен правильно ідентифікувати їжу. Він має точно оцінити розмір порції. І він повинен давати послідовні результати — тобто, якщо ви сфотографуєте ту ж саму страву двічі, ви повинні отримати однакову кількість калорій обидва рази. Якщо хоча б один з цих трьох компонентів не спрацює, зафіксовані дані стають ненадійними.

Ми протестували всі три аспекти, сфотографувавши 20 різних страв двічі через Snap It. Ось детальний аналіз того, де функція є надійною, де вона підводить, і що це означає для точності вашого відстеження калорій.

Що означає "надійність" для ведення харчування на основі фотографій?

Надійність функції ведення харчування на основі фотографій означає, що три речі відбуваються одночасно. Додаток правильно ідентифікує їжу на зображенні. Він оцінює розмір порції, близький до фактичної кількості. І він дає однаковий результат при однаковому введенні.

Якщо ідентифікація не вдається — додаток називає вашу кіноа "рисом" — дані про калорії з самого початку будуть неправильними. Якщо ідентифікація вдалась, але оцінка порції відрізняється на 40%, кількість калорій все ще не має сенсу. А якщо ви сфотографуєте ту ж саму тарілку двічі і отримаєте два різні результати, ви не можете довіряти жодному з них.

Більшість оглядів функцій ведення харчування на основі фотографій зосереджені лише на точності ідентифікації. Але ідентифікація без точної оцінки порції — це як правильно назвати місто, але вгадати відстань — ви знаєте, куди йдете, але не маєте уявлення, як далеко це. Усі три виміри повинні працювати, щоб функція була дійсно корисною.

Методологія тестування: 20 страв, сфотографованих двічі

Ми підготували 20 страв, які охоплюють п’ять категорій: окремі цілісні продукти, упаковані товари, прості страви на тарілці, багатокомпонентні страви ресторанного стилю та змішані страви. Кожну страву сфотографували двічі через Lose It! Snap It за однакових умов освітлення під кутом 45 градусів, що є найпоширенішим кутом для фотографії їжі.

Між двома фотографіями кожної страви ми чекали 60 секунд і трохи зміщували позицію телефону, щоб змоделювати варіації в реальному світі. Їжа сама по собі не переміщувалась і не змінювалась. Ми зафіксували три метрики для кожного тесту: чи була їжа правильно ідентифікована, наскільки близькою була оцінка порції до фактичної виміряної ваги, і чи обидві фотографії дали однаковий результат у калоріях.

Результати надійності за категоріями їжі

Таблиця ідентифікації, точності порцій та послідовності

Їжа	Категорія	Правильна ідентифікація (Фото 1)	Правильна ідентифікація (Фото 2)	Точність порції	Послідовний результат
Яблуко, ціле	Окремий продукт	Так	Так	В межах 10%	Так
Банан, цілий	Окремий продукт	Так	Так	В межах 5%	Так
Протеїновий батончик (упаковка видима)	Упакований	Так	Так	Точно	Так
Йогурт (етикетка видима)	Упакований	Так	Так	Точно	Так
Грильована курка + рис	Проста тарілка	Так	Так	В межах 20%	Ні (18 кал різниця)
Паста з маринарою	Проста тарілка	Так	Так	В межах 25%	Ні (34 кал різниця)
Стейк + картопля пюре + спаржа	Багатокомпонентна	Частково (не виявлено спаржу)	Так	В межах 35%	Ні (67 кал різниця)
Бурріто боул	Змішана страва	Частково (не виявлено боби)	Частково (не виявлено кукурудзу)	В межах 40%	Ні (89 кал різниця)
Зерновий боул з тофу	Змішана страва	Частково (тофу як курка)	Частково (тофу як курка)	В межах 45%	Ні (52 кал різниця)
Цезар-салат з грінками	Проста тарілка	Так	Так	В межах 30%	Ні (41 кал різниця)
Суші (8 штук, змішані)	Багатокомпонентна	Частково (3 з 4 видів)	Частково (2 з 4 видів)	В межах 35%	Ні (73 кал різниця)
Вівсянка з ягодами та горіхами	Змішана страва	Частково (не виявлено горіхи)	Так	В межах 25%	Ні (38 кал різниця)
Сендвіч (переріз видимий)	Проста тарілка	Так	Так	В межах 20%	Ні (22 кал різниця)
Тест рису проти кус-кус (кус-кус)	Окремий продукт	Ні (ідентифікація як рис)	Ні (ідентифікація як рис)	В межах 15%	Так (послідовно неправильно)
Кіноа боул	Окремий продукт	Ні (ідентифікація як рис)	Так	В межах 20%	Ні (45 кал різниця)
Слайс піци	Проста тарілка	Так	Так	В межах 15%	Так
Смузі в склянці	Рідина	Так	Частково (не виявлено протеїновий порошок)	В межах 50%	Ні (62 кал різниця)
Карі з рисом	Змішана страва	Частково (узагальнене карі)	Частково (узагальнене карі)	В межах 40%	Ні (55 кал різниця)
Яйця на тості	Проста тарілка	Так	Так	В межах 15%	Так
Поке боул	Змішана страва	Частково (не виявлено едамаме)	Частково (не виявлено водорості)	В межах 45%	Ні (81 кал різниця)

Загальні результати:

• Повна правильна ідентифікація: 60% фотографій (24 з 40)
• Часткова ідентифікація (не виявлені компоненти): 30% (12 з 40)
• Неправильна ідентифікація: 10% (4 з 40)
• Послідовний результат у обох фотографіях: 30% страв (6 з 20)
• Середня похибка оцінки порції: 25.5%

Де Snap It є надійним

Snap It добре працює у двох специфічних сценаріях, які мають спільну рису: візуальну простоту.

Упаковані продукти з видимими етикетками

Коли штрих-код або брендова етикетка видима на фото, Snap It ефективно функціонує як візуальний сканер штрих-кодів. Він ідентифікує конкретний продукт і отримує дані про калорії з бази даних. У таких випадках ідентифікація є правильною, порція відповідає розміру упаковки, а результати є абсолютно послідовними. Це найсильніший випадок використання функції, хоча виникає питання, чому б використовувати ведення харчування на основі фотографій замість простого сканування штрих-коду.

Окремі прості продукти

Цілі фрукти, просте яйце, скибочка хліба — продукти, які візуально однозначні і мають відносно стандартні розміри. Snap It правильно ідентифікував усі цілісні продукти в нашому тесті та оцінив порції в межах 5-15% від фактичної ваги. Послідовність також була сильною, обидві фотографії давали однаковий або майже однаковий результат.

Спільним фактором є те, що ці продукти мають виразний візуальний підпис та передбачувані розміри порцій. Яблуко виглядає як яблуко з будь-якого кута, а його калорійність знаходиться в вузькому діапазоні, незалежно від точного розміру.

Де Snap It є ненадійним

Проблеми з надійністю зосереджені навколо трьох сценаріїв, які представляють більшість реальних страв.

Багатокомпонентні страви

Коли на тарілці є три або більше різних продуктів, Snap It часто пропускає принаймні один компонент. У нашому тесті зі стейком перше фото зовсім не виявило спаржу. У тесті з суші додаток ідентифікував лише 2-3 з 4 видів суші, що були присутні. Кожен пропущений компонент — це цілий продукт, який не фіксується — часто 50-150 калорій, які просто зникають з вашого щоденного підрахунку.

Змішані страви та багатошарові продукти

Бурріто боули, зернові боули, поке боули та карі показали погані результати. Коли інгредієнти змішуються або накладаються, AI не може розрізнити окремі компоненти. Наш бурріто боул містив рис, курку, боби, кукурудзу, сальсу, сир та гуакамоле. Snap It ідентифікував рис і курку, але пропустив боби на одному фото і кукурудзу на іншому. Оцінка порції для змішаних страв в середньому відрізнялася на 40-45% від фактичних виміряних значень.

Візуально схожі продукти

Кус-кус був ідентифікований як рис на обох фотографіях — послідовна неправильна ідентифікація. Кіноа була ідентифікована як рис на одному фото і правильно на іншому. Рис цвітної капусти, звичайний рис і кус-кус майже не відрізняються на фотографіях, але їх калорійність суттєво різниться. Кус-кус містить приблизно 176 калорій на варену чашку в порівнянні з рисом, який має 206 калорій на чашку. Постійна неправильна ідентифікація кус-кусу як рису додає 30 калорій на чашку, які користувач насправді не спожив.

Аналіз режимів помилок

Ми класифікували всі помилки по всіх 40 фотографіях, щоб виявити закономірності.

Таблиця частоти режимів помилок

Режим помилки	Кількість випадків	% від усіх фотографій	Середній вплив на калорії
Пропущений компонент у багатокомпонентній страві	10	25%	85 кал
Переоцінка порції (>20% вище фактичної)	7	17.5%	62 кал
Недооцінка порції (>20% нижче фактичної)	9	22.5%	58 кал
Неправильна ідентифікація їжі	4	10%	45 кал
Непослідовний результат (та ж страва, різні калорії)	14	35%*	52 кал середня різниця
Пропущені рідинні калорії (соуси, олія)	6	15%	72 кал

*Виміряно по 20 парам страв, а не 40 окремим фотографіям.

Найчастішою помилкою була непослідовність — 14 з 20 страв дали різні кількості калорій при фотографуванні двічі. Найбільш значущою з точки зору калорій була пропущена компонента, в середньому 85 незареєстрованих калорій за випадок. Пропущені рідинні калорії (соуси, олії) також були значними — 72 калорії за пропуск.

Ці помилки не виникають ізольовано. Одна фотографія страви може викликати кілька режимів помилок одночасно — змішаний боул може мати пропущену компоненту, недооцінену порцію та непослідовний результат у порівнянні з другим фото.

Проблема резервного копіювання: коли ведення харчування на основі фотографій не спрацьовує

Коли Snap It не може ідентифікувати їжу або користувач розуміє, що ідентифікація неправильна, додаток переходить до ручного пошуку. Саме тут виникає друга проблема з надійністю. Lose It! використовує базу даних, яка включає записи, надіслані користувачами, поряд з перевіреними даними, схожими за структурою на інші краудсорсингові бази даних.

Користувач, який почав з ведення харчування на основі фотографій, щоб заощадити час, тепер змушений вручну шукати в базі даних, оцінювати кілька записів для однієї і тієї ж їжі та вгадувати, який з них правильний. Швидкісна перевага ведення харчування на основі фотографій втрачається, і користувач знову стикається з тими ж викликами точності, які впливають на будь-яку краудсорсингову базу даних їжі. Дослідження 2019 року в Journal of the Academy of Nutrition and Dietetics виявило, що краудсорсингові бази даних харчування містили значні помилки приблизно в 27% перевірених записів.

Це створює непослідовний досвід ведення харчування. Деякі страви фіксуються через фото з одним рівнем точності. Інші страви фіксуються вручну з іншим рівнем точності. Щоденний підрахунок калорій користувача стає мозаїкою даних з різною надійністю, що ускладнює виявлення тенденцій або довіру до цифр.

Як Nutrola підходить до надійності по-іншому

Фото AI Nutrola вирішує три виміри надійності — ідентифікацію, точність порцій та послідовність — через інший архітектурний підхід.

Ідентифікація їжі в Nutrola безпосередньо пов'язує кожен розпізнаний продукт з перевіреною базою даних, що містить понад 1.8 мільйона записів. Коли AI ідентифікує курку на вашому фото, він посилається на єдиний перевірений запис для курячої грудки, а не на список варіантів, надісланих користувачами, з різними калорійними значеннями. Це усуває каскадну помилку, коли правильна ідентифікація все ще призводить до неправильних калорій через поганий запис у базі даних.

Для точності порцій Nutrola поєднує аналіз фотографій з голосовим веденням як швидким механізмом корекції. Якщо AI оцінює вашу порцію рису в 150 грамів, але ви знаєте, що важили 200 грамів, ви можете сказати "насправді це було близько 200 грамів", і запис оновлюється миттєво. Цей підхід з людиною в циклі визнає, що жоден AI не може ідеально оцінити порції з 2D-фото, одночасно надаючи механізм корекції, який займає секунди, а не вимагає повного ручного пошуку.

Перевага послідовності полягає в самій перевіреній базі даних. Оскільки кожна їжа пов'язується з одним записом, повторні фотографії, які ідентифікують ту ж їжу, завжди дають однакову базову калорійність. Оцінки порцій можуть трохи варіюватися між фотографіями, але основні дані про харчування стабільні та перевірені.

Nutrola також пропонує сканування штрих-кодів для упакованих продуктів та функцію імпорту рецептів для домашніх страв, що забезпечує, щоб кожен метод ведення харчування підключався до однієї й тієї ж перевіреної бази даних. Доступна на iOS та Android за €2.50 на місяць без реклами, Nutrola надає пріоритет надійності даних над розміром бази даних.

Часто задавані питання

Наскільки точний Lose It! Snap It для повсякденних страв?

У нашому тестуванні Snap It правильно ідентифікував усі компоненти їжі лише в 60% фотографій. Для окремих продуктів та упакованих товарів точність була високою — близько 95% правильної ідентифікації з оцінками порцій в межах 5-15% від фактичної ваги. Для багатокомпонентних страв та змішаних боулів точність значно знизилася, з додатком, що пропускає принаймні один компонент їжі в 25% усіх фотографій та оцінками порцій, що відрізняються на 35-45% від виміряних значень.

Чи дає Snap It той самий результат, якщо я сфотографую ту ж страву двічі?

Ні. У нашому тестуванні 20 страв, сфотографованих двічі, лише 30% дали послідовні результати калорій у обох фотографіях. Середня різниця в калоріях між дублікатами становила 52 калорії, деякі страви показували різниці 80-89 калорій. Ця непослідовність означає, що кількість калорій, яку ви отримуєте, залежить частково від конкретного кута, освітлення та моменту, коли ви робите фото, а не лише від того, що ви їсте.

З якими типами їжі Snap It працює найкраще?

Snap It є найнадійнішим з візуально виразними, окремими продуктами (цілі фрукти, яйця, скибочки хліба) та упакованими продуктами, де етикетка або назва бренду видима на фото. Ці категорії показали рівень правильної ідентифікації понад 95% та оцінки порцій в межах 5-15% від фактичних значень. Функція найменш надійна з змішаними боулами, багатокомпонентними ресторанними стравами та візуально схожими зернами, такими як рис, кус-кус і кіноа.

Чому Snap It пропускає інгредієнти в моєму боулі чи тарілці?

Коли продукти шаруються, змішуються або частково приховані під іншими інгредієнтами, AI не може візуально розрізнити окремі компоненти. У бурріто боулі, наприклад, боби під рисом або сир, змішаний з іншими начинками, стають невидимими для камери, яка захоплює лише верхню поверхню. Кожен пропущений інгредієнт представляє незареєстровані калорії — зазвичай 50 до 150 калорій за пропущений компонент на основі нашого тестування.

Чи достатньо точне ведення харчування на основі фотографій для схуднення?

Ведення харчування на основі фотографій може бути достатньо точним для загального усвідомлення калорій, але зазвичай недостатньо для точного схуднення на основі дефіциту. Наші тести показали середню похибку оцінки порції в 25.5% для всіх типів їжі, що перетворюється на щоденні помилки в калоріях від 150 до 400 калорій в залежності від складності страви. Для контексту, типовий дефіцит для схуднення становить 500 калорій на день, що означає, що помилки ведення харчування на основі фотографій можуть знищити 30-80% запланованого дефіциту. Поєднання ведення харчування на основі фотографій з перевіркою порцій — або шляхом зважування їжі, або використанням голосової корекції, як це пропонує Nutrola — значно покращує точність.