Відстеження калорій за допомогою ШІ: чесні обмеження та те, що він ще не може зробити

Кожен трекер калорій на базі ШІ, доступний сьогодні, має суттєві обмеження, про які не згадують у рекламних матеріалах. Це стосується і Nutrola. Технології значно покращилися за останні три роки — точність розпізнавання їжі зросла з приблизно 60% до 80-92% для звичайних страв — але все ще існують категорії їжі та ситуації вживання, в яких жодна система ШІ не працює надійно.

Визнання цих обмежень не є аргументом проти відстеження калорій за допомогою ШІ. Це аргумент на користь розуміння того, що ШІ може і не може зробити, щоб ви могли працювати з технологією, а не сліпо їй довіряти. Кожен інструмент має свої межі. Найкращі інструменти розроблені з запасними варіантами на випадок, якщо ці межі будуть досягнуті.

Обмеження 1: Страви з великою кількістю соусу та глазурі

Проблема

Коли страва покрита соусом, глазур'ю або підливою, ШІ втрачає більшість візуальної інформації. Він може бачити колір і текстуру соусу, але не може ідентифікувати або кількісно оцінити їжу під ним. Куряча грудка, залита теріякі, тарілка пасти, занурена в Альфредо, або овочі, покриті густим карі — ШІ працює з зовнішнім виглядом соусу, а не з їжею.

Вплив соусів на калорії є суттєвим. Аналіз 2023 року в Journal of the American Dietetic Association показав, що соуси та приправи вносять в середньому 200-400 калорій на страву в ресторанах — часто це становить 30-50% загальної калорійності страви. Неправильне визначення соусу означає неправильне визначення страви.

Що робить кожен додаток

Cal AI та SnapCalorie: ШІ оцінює всю страву як один елемент. Якщо він ідентифікує "курку теріякі з рисом", то кількість калорій відображає середні дані моделі для цієї категорії страв. Конкретне співвідношення соусу до курки, рецепт соусу та олія для приготування у вашій страві залишаються невідомими.

Foodvisor: Схожа оцінка ШІ, з можливістю проконсультуватися з дієтологом для корекції — але це відбувається пізніше і повільно.

Nutrola: ШІ ідентифікує категорію страви та пропонує відповідні записи з бази даних. Користувач може коригувати, вибираючи конкретний тип соусу з бази даних ("соус теріякі, 3 столові ложки = 135 калорій") і реєструючи його окремо від білка та крохмалю. База даних надає перевірені дані про калорії для десятків типів соусів та способів приготування. Це не вирішує основну візуальну проблему, але надає механізм для додавання калорій соусу, чого не можуть зробити програми, що працюють лише з фотографіями.

Чесна оцінка

Жоден трекер ШІ не справляється з сильно заправленими стравами добре лише за фотографіями. Перевага Nutrola полягає в можливості реєструвати соус окремо за допомогою голосу або пошуку в базі даних — але це вимагає від користувача знати (або оцінити), який соус був використаний і приблизно скільки. Для домашніх страв це здійсненно. Для ресторанних страв, де рецепт соусу невідомий, усі трекери роблять оцінки.

Обмеження 2: Точна оцінка порцій за фотографіями

Проблема

Це найпостійніше і фундаментальне обмеження відстеження їжі на основі фотографій. 2D фотографія не може надійно передати тривимірний об'єм і масу їжі.

Розгляньте дві порції пасти: 150 г і 300 г. На одній тарілці, сфотографованій зверху, порція 300 г може виглядати як трохи вища купа, але різниця в калоріях становить 195 калорій. Візуальна різниця незначна; калорійна різниця суттєва.

Дослідження з оцінки порцій за допомогою ШІ постійно виявляє середні абсолютні помилки в 20-40% для оцінки об'єму з 2D фотографій. Дослідження 2024 року в Nutrients повідомило, що навіть найсучасніші моделі оцінки порцій їжі показали середню помилку 25-35% для різних типів страв, з помилками, що перевищують 50% для калорійно щільних продуктів у малих порціях (горіхи, сир, олії).

Що робить кожен додаток

Cal AI: Оцінка за 2D фотографією з використанням розмірів відносно тарілки та навчальних даних. Підлягає повному діапазону помилок 20-40%.

SnapCalorie: 3D LiDAR сканування зменшує помилку для купчастих продуктів на 30-40% у порівнянні з 2D методами. Це справжня перевага для рису, вівсянки та подібних продуктів, де висота корелює з об'ємом. Проте 3D не допомагає для плоских продуктів (піца, сендвічі), продуктів у мисках (суп, злаки) або калорійно щільних малих предметів (горіхи, кубики сиру).

Foodvisor: 2D оцінка з деякими стандартними порціями з бази даних.

Nutrola: 2D оцінка фотографій, доповнена стандартними порціями з бази даних. Коли ШІ пропонує "курячий стір-фрай", база даних надає стандартні розміри порцій (наприклад, "1 порція = 300 г"). Користувач може коригувати, використовуючи варіанти порцій з бази даних, а не вгадуючи вагу в грамах. Голосове реєстрування дозволяє вказати порції безпосередньо: "приблизно дві чашки рису".

Чесна оцінка

Оцінка порцій за фотографіями є невирішеною проблемою в комп'ютерному зорі. Підхід SnapCalorie з 3D є найсучаснішим рішенням, але його покращення обмежене певними типами їжі та вимагає апаратного забезпечення LiDAR. Посилання на порції з бази даних Nutrola допомагають, надаючи точки прив'язки, але користувач все ще повинен оцінити, чи було "1 порція" чи "1.5 порції". Чесна рекомендація: для ситуацій, де потрібна висока точність, зважуйте їжу. Жоден трекер ШІ не замінить кухонні ваги для точності.

Обмеження 3: Регіональні та незнайомі страви

Проблема

Моделі розпізнавання їжі на базі ШІ навчаються на наборах даних, які відображають кулінарні культури, найбільш представлені в їх навчальних даних — зазвичай американські, західноєвропейські та східноазійські кухні. Їжа з недостатньо представлених кухонь може бути неправильно ідентифікована або отримати низьку оцінку впевненості.

Дослідження, опубліковане у 2023 році в ACM Computing Surveys, проаналізувало набори даних розпізнавання їжі і виявило, що 72% зображень у найпоширеніших навчальних наборах представляли їжу лише з 10 країн. Західноафриканська, центральноазійська, тихоокеанська, корінна та багато інших кулінарних традицій значно недопредставлені.

Це означає, що якщо ви регулярно їсте інджеру з етіопським рагу, перуанське севіче, філіппінське адобо, грузинське хачапурі або сенегальське тьєбудьєн, ШІ може неправильно ідентифікувати страву, переплутати її з візуально схожою стравою з краще представленої кухні або призначити загальну оцінку "змішана страва" з низькою точністю.

Що робить кожен додаток

Cal AI: Повністю покладається на навчальні дані моделі ШІ. Якщо їжа не добре представлена в навчанні, оцінка буде поганою без запасного варіанту.

SnapCalorie: Та ж обмеженість. 3D сканування покращує оцінку порцій, але не може допомогти з ідентифікацією їжі для недостатньо представлених кухонь.

Foodvisor: Трохи кращий охоплення європейських кухонь (французька компанія), але має ту ж обмеженість навчальних даних для неєвропейських страв.

Nutrola: ШІ стикається з тією ж проблемою розпізнавання, але перевірена база даних з 1.8 мільйона записів включає їжу з різних кулінарних традицій. Коли ШІ не може ідентифікувати регіональну їжу, користувач може описати її голосом ("етіпійська інджера, приблизно 200 грамів, з сочевичним рагу, приблизно 150 грамів"), і база даних надає перевірені записи для цих страв. Підтримка 15 мов також означає, що назви їжі місцевими мовами можуть використовуватися для пошуку в базі даних.

Чесна оцінка

Це обмеження всього поля розпізнавання їжі на базі ШІ, а не лише конкретних додатків. Трекери з підтримкою бази даних мають перевагу, оскільки бази даних можуть бути розширені, щоб включати регіональні страви без повторного навчання моделі ШІ — додати перевірений запис для "тьєбудьєн" до бази даних простіше, ніж забезпечити, щоб ШІ розпізнав його з фотографій. Але охоплення бази даних також має прогалини. База даних Nutrola з 1.8 мільйона записів охоплює більше продуктів, ніж словниковий запас класифікації будь-якої моделі, що працює лише на ШІ, але дуже локальні, домашні або рідкісні страви можуть все ще вимагати ручного введення. Жоден трекер сьогодні не охоплює всі глобальні кулінарні традиції ідеально.

Обмеження 4: Напої в непрозорих контейнерах

Проблема

Фотографування напою в непрозорій чашці, кружці або пляшці надає ШІ майже жодної корисної інформації. Біла чашка для кави може містити чорну каву (5 калорій), латте з цільним молоком (190 калорій), мокко зі збитими вершками (400 калорій) або чашку чаю (2 калорії). Візуальний сигнал — це чашка, а не вміст.

Навіть для напоїв у прозорих склянках ШІ має обмежену інформацію. Колір і непрозорість рідини звужують можливості, але не визначають рецепт. Апельсиновий сік, манговий смузі та морквяно-імбирний сік можуть виглядати схожими в склянці. Темна кола і темна холодна кава візуально майже ідентичні.

Що робить кожен додаток

Cal AI: ШІ здогадує на основі контексту (форма чашки, колір видимої рідини). Точність для напоїв зазвичай становить 40-60% — фактично рівень вгадування.

SnapCalorie: 3D сканування вимірює об'єм склянки/чашки, що допомагає оцінити кількість рідини. Але калорійність на мілілітр залишається невідомою без ідентифікації конкретного напою.

Foodvisor: Та ж обмеженість, що й у Cal AI для ідентифікації напоїв.

Nutrola: Голосове реєстрування є основним рішенням: "великий латте з вівсяним молоком з двома порціями ванілі" надає достатньо інформації для перевіреного запису з бази даних. База даних включає записи для конкретних напоїв з кав'ярень, типів молока, сиропів і методів приготування. Сканування штрих-кодів охоплює упаковані напої. Фотографування напоїв залишається ненадійним і, чесно кажучи, є найслабшою стороною функції фотографування Nutrola.

Чесна оцінка

Відстеження калорій для напоїв є найслабшою категорією серед усіх додатків. Рішення не в кращому ШІ — це альтернативні методи введення. Голосове реєстрування та сканування штрих-кодів повністю обминають візуальне обмеження. Це один з найсильніших аргументів на користь трекерів з кількома методами: напої становлять 10-20% добового споживання калорій для більшості людей, і трекери, що працюють лише з фотографіями, справляються з ними погано.

Обмеження 5: Багатошарові страви та страви з прихованими компонентами

Проблема

Лазанья, буріто, сендвічі, фаршировані перці, пироги, спринг-роли, пельмені та будь-яка страва, де зовнішній вигляд приховує внутрішнє, становлять фундаментальний виклик для ШІ на основі фотографій. Камера бачить лише верхній шар; калорії походять з усіх шарів.

Буріто, сфотографоване ззовні, показує лише тортилью. Всередині можуть бути курка, рис, боби, сир, сметана та гуакамоле — або лише рис і боби. Різниця в калоріях між цими начинками може становити 300-500 калорій, і жодна з них не видима.

Дослідження 2023 року в Food Quality and Preference перевіряло розпізнавання їжі ШІ на багатошарових стравах і виявило зниження точності на 25-40% у порівнянні з одношаровими видимими стравами. Моделі постійно недооцінювали калорійність багатошарових страв, оскільки вони надавали більше ваги видимим компонентам, ніж прихованим.

Що робить кожен додаток

Cal AI: Оцінює весь елемент як один запис на основі зовнішнього вигляду. Буріто — це "буріто" з середньою оцінкою калорій, незалежно від його конкретних складових.

SnapCalorie: 3D сканування вимірює зовнішні розміри, надаючи кращу оцінку об'єму. Але склад начинки залишається невідомим. Точно виміряне буріто з невідомим вмістом — це точно виміряна загадка.

Foodvisor: Та ж обмеженість для багатошарових страв. Огляд дієтолога може допомогти, але вимагає очікування.

Nutrola: ШІ ідентифікує тип страви, і користувач може голосом вказати конкретні компоненти: "курячий буріто з рисом, чорними бобами, сиром, сметаною та гуакамоле." Кожен компонент витягується з перевірених записів бази даних. Користувач фактично розкладає проблему прихованих шарів на ідентифіковані компоненти. Це вимагає знання (або розумної оцінки) того, що всередині, що легше для домашньої їжі, ніж для ресторанних або на винос.

Чесна оцінка

Багатошарові страви є вродженим обмеженням будь-якого підходу на основі фотографій. Питання полягає в тому, який запасний варіант надає додаток. Додатки, що працюють лише з фотографіями, не мають запасного варіанту — оцінка ШІ на основі зовнішнього вигляду є остаточною відповіддю. Додатки з кількома методами дозволяють користувачу надати внутрішню інформацію, яку камера не може захопити. Поліпшення точності повністю залежить від того, чи знає користувач, що всередині страви, і чи витратить час на її опис.

Обмеження 6: Страви, які неможливо сфотографувати

Проблема

Не всі страви можна зручно сфотографувати. Страви, які їдять на ходу, швидкі закуски між зустрічами, їжа, що ділиться з загальних тарілок, страви, які їдять у темних ресторанах, та страви, які ви вже закінчили, перш ніж згадати про реєстрацію. Трекери, що працюють лише з фотографіями, мають бінарну проблему: якщо ви не сфотографували, це не існує у вашому журналі.

Що робить кожен додаток

Cal AI: Немає фотографії — немає запису. Ви можете вручну ввести опис, але робочий процес програми побудований навколо камери. Ретроспективне ведення обліку можливе, але залежить від текстової оцінки.

SnapCalorie: Та ж обмеженість. 3D сканування вимагає, щоб їжа була фізично присутня.

Foodvisor: Робочий процес, орієнтований на фотографії, з можливістю ручного пошуку.

Nutrola: Голосове реєстрування працює для будь-якої страви, сфотографованої чи ні. "Я їв індичий сендвіч з майонезом і салатом приблизно дві години тому" може бути зареєстровано ретроспективно за допомогою голосу, з кожним компонентом, що відповідає перевіреним записам бази даних. Це не вимагає пам'ятати про фотографію — потрібно лише пам'ятати, що ви їли, що більшість людей може зробити протягом кількох годин.

Чесна оцінка

Це не обмеження ШІ, а обмеження робочого процесу. Додатки, що працюють лише з фотографіями, є крихкими — вони ламаються, коли фотографії не відбуваються. Додатки з кількома методами є стійкими — вони надають альтернативні шляхи, коли один метод недоступний. Для користувачів, які часто забувають фотографувати страви або їдять у ситуаціях, коли фотографування є незручним, різниця в охопленні зареєстрованих страв може бути суттєвою.

Що жоден трекер ШІ не може зробити сьогодні

Деякі обмеження застосовуються універсально і не можуть бути вирішені жодним поточним додатком.

Точно визначити кількість олії для приготування. Чи була курка смажена на одній чайній ложці олії чи на двох столових ложках (різниця в 200 калорій) невидима на фотографії і невідома, якщо користувач не вказує. Це є найбільшою систематичною помилкою у всьому відстеженні калорій на базі ШІ.

Ідентифікувати конкретні бренди з неназваних контейнерів. Грецький йогурт у чашці може бути будь-якого бренду, будь-якого відсотка жиру. Калорійний діапазон між брендами та рівнями жиру становить 59-170 калорій на 100 г.

Визначити точні методи приготування ресторанної їжі. Чи була риба приготована на грилі без олії чи змащена маслом? Овочі були приготовані на парі чи смажені на олії? Картопляне пюре було приготоване зі сметаною чи молоком? Відповіді впливають на калорії на 100-300 на компонент, і вони невидимі для жодного ШІ.

Враховувати індивідуальні варіації порцій. Дві людини можуть налити собі "порцію" однієї і тієї ж страви і відрізнятися на 50-100%. Жоден ШІ не може знати, чи ваша тенденція — наливати щедро чи скромно.

Відстежувати вміст алкоголю за фотографіями. Склянка вина, коктейль, пиво — ШІ може оцінити тип напою, але конкретний бренд, розмір наливу та вміст алкоголю (який безпосередньо впливає на калорії) часто залишаються невидимими.

Як працювати з обмеженнями

Розуміння цих обмежень не є причиною відмовитися від відстеження калорій за допомогою ШІ — це причина використовувати його розумно.

Використовуйте правильний метод для кожної їжі. Штрих-код для упакованих продуктів. Голос для складних або страв з прихованими інгредієнтами. Фотографія для візуально чіткої їжі на тарілці. Ручний пошук як останній варіант. Обмеження фотографічного сканування не є обмеженням відстеження калорій, якщо у вас є альтернативні методи.

Завжди додавайте олії для приготування окремо. Станьте звичкою. Після реєстрації будь-якої приготованої страви додавайте олію або масло як окремий запис. Ця одна звичка закриває найбільший розрив у точності в скануванні їжі за допомогою ШІ.

Зважуйте, коли важлива точність. Якщо ви перебуваєте в конкурентному режимі, медичному харчуванні або дослідженні, використовуйте кухонні ваги для ключових страв. Відстеження ШІ + кухонні ваги є точнішими, ніж будь-який з них окремо.

Створюйте шаблони страв для регулярних страв. Більшість людей їдять 15-20 різних страв у ротації. Зареєструйте кожну з них уважно один раз, а потім повторюйте запис для майбутніх випадків. Це перетворює ваші найчастіші страви з оцінок ШІ на перевірені, послідовні записи.

Прийміть корисну неточність. Для страв, де точність є складною (ресторанне харчування, соціальні страви), прийміть, що оцінка ШІ є приблизною, і зосередьтеся на отриманні правильного масштабу, а не точного числа. Бути в межах 20% для ресторанної страви краще, ніж не реєструвати її взагалі.

Підхід Nutrola до обмежень

Nutrola не стверджує, що вирішує всі вищезазначені обмеження. Жоден чесний трекер не може. Що пропонує Nutrola, так це найбільше запасних варіантів, коли ШІ досягає своїх меж.

Не можете сфотографувати страву? Запишіть голосом. ШІ неправильно ідентифікував їжу? Виберіть правильний запис з перевіреної бази даних. Приховані інгредієнти, які камера не може побачити? Додайте їх окремо через голос або пошук. Упакована їжа? Скануйте штрих-код для точних даних. Їсте звичну страву? Повторіть раніше перевірений запис.

ШІ є одним інструментом у системі, а не самою системою. Коли ШІ працює — прості, видимі, добре освітлені страви — він забезпечує швидке, зручне ведення обліку. Коли ШІ не справляється — заправлені страви, приховані шари, напої, регіональні страви — база даних, голос і штрих-код надають шляхи до точних даних, яких програми, що працюють лише з фотографіями, просто не мають.

Це доступно за €2.50 на місяць після безкоштовного пробного періоду, без реклами, з підтримкою понад 100 нутрієнтів, 1.8 мільйона або більше перевірених записів та підтримкою на iOS, Android, Apple Watch і Wear OS на 15 мовах. Не тому, що ШІ не має обмежень, а тому, що чесний дизайн означає будувати навколо обмежень, а не робити вигляд, що їх не існує.

Найкращий трекер калорій на базі ШІ — це не той, у якого найменше обмежень. Це той, у якого найкращі запасні варіанти, коли ці обмеження досягаються.