Мы отправили 50 блюд в лабораторию и протестировали точность калорийности AI, этикеток и данных USDA

Каждое число калорий, которое вы когда-либо видели, является лишь приблизительной оценкой. Этикетка на вашем протеиновом батончике, данные USDA о "куриной грудке на гриле", число, которое ваше приложение показывает, когда вы фотографируете свой обед — все это лишь приближения к реальному энергетическому содержимому на вашей тарелке. Вопрос, который никто не задает: насколько эти оценки далеки от реальности и какой источник наиболее близок к истине?

Мы решили выяснить. В течение трех месяцев команда Nutrola приобрела, приготовила или заказала 50 реальных блюд, сфотографировала каждое из них, записала значения с этикеток и из базы данных USDA, а затем отправила идентичные порции в сертифицированную лабораторию пищевых наук для анализа с использованием бомбовой калориметрии — золотого стандарта для измерения истинного калорийного содержания пищи.

В этом посте представлены полные результаты. Никакого выборочного представления, никаких пропущенных аномалий. Каждое блюдо, каждое число, каждое удивление.

Зачем мы это сделали

Пищевая индустрия основывается на доверии. Потребители доверяют, что информация на упаковке продуктов точна. Диетологи верят, что данные USDA отражают реальные порции. Разработчики приложений надеются, что их базы данных достаточно точны. Но очень немногие проверяли эти предположения с помощью лабораторного анализа — а существующие исследования, как правило, сосредоточены на упакованных продуктах или отдельных питательных веществах.

Мы хотели получить более широкую картину. Нам было интересно, как каждый основной источник калорий — этикетки, государственные базы данных и оценки на основе AI — работает в полном спектре продуктов, которые люди на самом деле едят: упакованные закуски, простые цельные продукты, домашние блюда, ресторанные блюда и международная кухня. И мы хотели протестировать наш собственный продукт, Nutrola, с той же строгостью, которую применили ко всему остальному.

Цель заключалась не в том, чтобы доказать, что Nutrola идеален. Это не так. Цель состояла в том, чтобы понять, где каждый источник калорий преуспевает, где он терпит неудачу и что это значит для миллионов людей, которые полагаются на эти числа для управления своим здоровьем.

Методология

Выбор блюд

Мы выбрали 50 блюд из пяти категорий, по 10 блюд в каждой:

Категория	Примеры
Упакованные продукты	Протеиновые батончики, замороженные ужины, консервированные супы, хлопья, йогурты
Простые цельные продукты	Банан, сырая куриная грудка, вареные яйца, коричневый рис, авокадо
Домашние блюда	Спагетти болоньезе, курица с овощами, чечевичный суп, салат "Цезарь", банановые блины
Ресторанные блюда	Бургер фастфуда, суши, тайское зеленое карри, кусок пиццы, буррито
Международные блюда	Индийская курица с маслом, японская рамен, мексиканские тамали, эфиопская инджера, корейскийBibimbap

Блюда были куплены или приготовлены в Дублине, Ирландия, и выбраны так, чтобы представлять продукты, которые реальные пользователи обычно отслеживают. Мы намеренно включили позиции, известные своей сложностью для баз данных и AI-систем: блюда с обильными соусами, жареные продукты, многокомпонентные блюда и продукты, где визуальная оценка содержания масла или масла затруднена.

Лабораторный анализ

Все образцы были отправлены в аккредитованную лабораторию тестирования продуктов по стандарту ISO 17025. Каждое блюдо было проанализировано с использованием бомбовой калориметрии, эталонного метода для определения общей энергетической ценности пищи.

В бомбовой калориметрии точно взвешенный образец пищи помещается в запечатанную камеру, насыщенную кислородом (так называемую "бомбу"), и поджигается. Тепло, выделяемое во время полного сгорания, измеряется окружающей водяной рубашкой. Полученное значение, выраженное в килокалориях, представляет собой общую химическую энергию в пище. Применяется корректирующий коэффициент, чтобы учесть ту часть энергии, которую человеческий организм не может извлечь (в основном из клетчатки), что дает значение метаболизируемой энергии — число, которое должно появляться на этикетке питания.

Каждое из 50 блюд было проанализировано в трижды (три независимых прогона), и среднее значение использовалось в качестве лабораторного эталона. Коэффициент вариации среди триплетов был ниже 2% для всех образцов, что подтверждает высокую точность измерений.

Сравнительные источники

Для каждого блюда мы записали значения калорий из четырех источников:

1. Лаборатория (бомбовая калориметрия) — истинная величина
2. Nutrola AI — оценка калорий, сгенерированная AI-системой Nutrola на основе одной фотографии блюда, сделанной при нормальном освещении на стандартной обеденной тарелке, без весов или опорных объектов
3. Этикетка питания — значение, напечатанное на упаковке (для упакованных продуктов) или количество калорий, опубликованное рестораном (для ресторанных блюд). Для цельных продуктов и домашних блюд этот столбец использует данные производителя, если они доступны, или помечен как N/A
4. USDA FoodData Central — значение, полученное путем поиска каждого ингредиента в базе данных USDA и суммирования компонентов на основе измеренных весов

Для домашних блюд значение USDA рассчитывалось путем взвешивания каждого сырого ингредиента на кухонных весах, поиска калорийности на грамм в USDA FoodData Central и суммирования — метод, который используют самые внимательные ручные отслеживатели.

Для оценки Nutrola AI каждое блюдо фотографировалось ровно один раз. Мы не переснимали фотографии, не меняли углы и не предоставляли дополнительный контекст, кроме того, что обычный пользователь мог бы предоставить. AI-система идентифицировала еду, оценила порции и вернула значение калорий.

Статистический подход

Точность представлена как средняя абсолютная процентная ошибка (MAPE) — среднее абсолютных процентных отклонений от лабораторного значения, рассчитанное по формуле:

MAPE = (1/n) * SUM(|Оцененное - Лабораторное| / Лабораторное * 100)

Мы также сообщаем о подписанной средней ошибке (чтобы показать систематическое завышение или занижение), стандартном отклонении ошибок и 95% доверительных интервалах там, где размеры выборок это позволяют.

Результаты

Общая точность: Все 50 блюд

Источник	Средняя абсолютная ошибка (MAPE)	Подписанная средняя ошибка	Стандартное отклонение	95% ДИ MAPE
Nutrola AI	7.4%	-1.2%	5.9%	5.7% - 9.1%
Справочные данные USDA	8.1%	-2.8%	6.7%	6.2% - 10.0%
Этикетки питания*	12.6%	+6.3%	9.4%	9.1% - 16.1%

*Данные этикеток питания доступны для 30 из 50 блюд (упакованные продукты, некоторые ресторанные блюда). MAPE рассчитан только на доступных данных.

Первое главное открытие: этикетки питания показали наибольшее среднее отклонение от лабораторных значений и последовательно завышают калории. Положительная подписанная средняя ошибка +6.3% означает, что этикетки в среднем указывали больше калорий, чем фактически содержалось в пище. Это согласуется с предыдущими исследованиями, показывающими, что производители склонны округлять в большую сторону, чтобы оставаться в пределах допустимых норм FDA и ЕС.

AI Nutrola и база данных USDA показали сопоставимую общую точность, при этом Nutrola продемонстрировала несколько более низкий MAPE (7.4% против 8.1%). Разница не является статистически значимой при этом размере выборки (p = 0.41, парный t-тест по абсолютным ошибкам). Однако паттерн ошибок существенно различался между двумя источниками, как показывает разбивка по категориям.

Точность по категориям блюд

Категория (n=10 каждое)	Nutrola AI MAPE	USDA MAPE	Label MAPE	Лучший источник
Упакованные продукты	6.2%	4.8%	9.7%	USDA
Простые цельные продукты	4.1%	3.2%	11.4%*	USDA
Домашние блюда	7.9%	6.4%	N/A	USDA
Ресторанные блюда	8.6%	14.2%	16.8%	Nutrola AI
Международные блюда	10.1%	15.7%	N/A	Nutrola AI

*Значения этикеток для цельных продуктов основаны на заявленных значениях на упаковке (например, пакет яблок с указанием "95 ккал на среднее яблоко").

Здесь история становится интересной.

Для упакованных продуктов и простых цельных продуктов база данных USDA выигрывает. Это логично. Данные USDA основаны на лабораторных анализах стандартизированных продуктов. Когда вы едите простое вареное яйцо или сырой банан, значение USDA по сути является результатом лабораторного анализа и близко к нашим независимым лабораторным находкам.

Для ресторанных блюд и международных блюд AI Nutrola превосходит как USDA, так и опубликованные данные о калориях на значительную величину. Ресторанные блюда показали MAPE USDA 14.2% по сравнению с 8.6% Nutrola. Причина проста: данные USDA описывают идеализированные ингредиенты, а не то, что на самом деле кладет повар на тарелку. Оценка USDA для "курицы терияки с рисом" не может учесть конкретное количество масла, использованного поваром, толщину соуса или фактический размер порции — но визуальная AI-система, анализирующая реальную тарелку перед вами, может.

10 самых больших сюрпризов

Эти отдельные блюда продемонстрировали наибольшие расхождения между хотя бы одним источником и лабораторным значением:

Блюдо	Лаб (ккал)	Nutrola AI	Этикетка	USDA	Наибольший источник ошибки	Ошибка
Ресторанный пад тай	738	692	520*	584	Этикетка	-29.5%
Замороженная "облегченная" лазанья	412	388	310	395	Этикетка	-24.8%
Курица с маслом и нааном	943	874	N/A	716	USDA	-24.1%
Упакованный микс для перекуса (1 порция)	287	264	230	271	Этикетка	-19.9%
Домашний салат "Цезарь"	486	421	N/A	347	USDA	-28.6%
Двойной чизбургер фастфуда	832	898	740	780	Этикетка	-11.1%
Корейский Bibimbap	687	742	N/A	531	USDA	-22.7%
Консервированный томатный суп (1 банка)	189	202	180	184	Nutrola AI	+6.9%
Японская рамен тонкотсу	891	824	N/A	648	USDA	-27.3%
Спагетти болоньезе (домашние)	623	581	N/A	527	USDA	-15.4%

*Опубликованное количество калорий в ресторане.

Несколько закономерностей проявляются среди аномалий:

Опубликованные данные о калориях в ресторанах являются наименее надежными. Пад тай, указанный в меню ресторана как 520 ккал, на самом деле содержал 738 ккал в лаборатории — недооценка на 29.5%. Это не редкость. Исследование 2013 года, опубликованное в Journal of the American Medical Association, показало, что ресторанные блюда в среднем содержат на 18% больше калорий, чем указано, причем некоторые превышают свои опубликованные значения более чем на 30%.

Данные USDA систематически недооценивают калорийность калорийных готовых блюд. Курица с маслом, Bibimbap, рамен, болоньезе и салат "Цезарь" все показали большие отрицательные ошибки при оценке через поиск ингредиентов USDA. Общая связь — это кулинарные жиры. Записи USDA о "растительном масле" или "масле" точны на грамм, но количество жира, фактически используемого в приготовлении — особенно в ресторанной и международной кухне — крайне трудно оценить без прямого измерения. Одно домашнее заправка для салата "Цезарь" может содержать 3-4 столовые ложки масла, которые почти невидимы после смешивания с салатом.

AI Nutrola склонен недооценивать блюда с высоким содержанием жира и слегка завышать оценки для простых продуктов. Подписанная ошибка для ресторанных блюд составила -3.8% (незначительное недооценивание), в то время как простые цельные продукты показали подписанную ошибку +1.9% (незначительное завышение). Это предполагает, что AI несколько консервативен при оценке добавленных жиров — известная проблема для любой системы визуальной оценки, поскольку масло, впитанное во время жарки, не видно на поверхности.

Стандартное отклонение и последовательность

Сырая точность важна, но важна и последовательность. Источник, который ошибается на 5% каждый раз, более полезен для отслеживания тенденций, чем тот, который ошибается на 0% в половине случаев и на 30% в другой половине.

Источник	Стандартное отклонение ошибок	Диапазон (мин. до макс. ошибки)	% блюд в пределах 10% от лаборатории
Nutrola AI	5.9%	-12.4% до +8.7%	74% (37/50)
Справочные данные USDA	6.7%	-28.6% до +4.1%	62% (31/50)
Этикетки питания	9.4%	-29.5% до +14.2%	53% (16/30)

Nutrola AI показала наименьшее стандартное отклонение и самый узкий диапазон ошибок среди всех трех источников. 74% оценок Nutrola попали в диапазон 10% от лабораторного значения, по сравнению с 62% для USDA и 53% для этикеток питания. Это преимущество последовательности означает, что даже когда AI ошибается, он, как правило, ошибается на предсказуемую, небольшую величину — что, возможно, более ценно для человека, отслеживающего недельные калории, чем случайная идеальная точность, смешанная с крупными ошибками.

Точность разбивки макронутриентов

Мы также сравнили оценки макронутриентов (белки, жиры, углеводы) с лабораторными значениями для подмножества из 20 блюд. Результаты подтверждают находки по калориям:

Макронутриент	Nutrola AI MAPE	USDA MAPE	Label MAPE
Белок	8.2%	6.1%	10.8%
Жир	11.4%	12.7%	14.1%
Углеводы	6.8%	5.9%	9.3%

Оценка жира является самой слабой точкой среди всех источников. Это ожидаемо: содержание жира — самый сложный макронутриент для визуальной оценки (для AI) и наиболее изменчивый в приготовлении (для баз данных). Одна столовая ложка масла, пропущенная любым методом оценки, добавляет примерно 14 граммов жира и 120 калорий, и ни камера, ни запись в базе данных не могут полностью учесть эту изменчивость.

Основные выводы

1. Этикетки питания используют свои регуляторные допуски — щедро

В Соединенных Штатах FDA позволяет этикеткам питания отклоняться на 20% от заявленного значения для калорий, и этикетка считается соответствующей, если фактическое значение не превышает этикетку более чем на 20%. Европейский Союз применяет аналогичную систему допусков. Наши данные предполагают, что производители хорошо осведомлены об этом допуске и используют его стратегически.

Среди 20 упакованных продуктов и ресторанных блюд в нашем исследовании 14 (70%) недооценили калории относительно лабораторного значения. Средняя недооценка составила 8.9%. Только 4 блюда (20%) завысили калории, и 2 были в пределах 2% от лабораторного значения.

Этот направленный уклон не является случайным. Недооценка калорий делает продукт более "легким" и привлекательным для потребителей, заботящихся о здоровье. Замороженное блюдо, которое заявляет о 310 ккал, но на самом деле содержит 412 ккал (как мы обнаружили с одной "облегченной" лазаньей), может позиционировать себя в диетическом ряду, при этом поставляя значительно больше энергии, чем указано.

Для тех, кто полагается на этикетки, чтобы поддерживать дефицит калорий, эта систематическая недооценка является серьезной проблемой. Если ваши этикетки ошибаются в среднем на -8.9%, и вы едите три блюда с этикетками в день при целевом значении 1,800 ккал, вы можете потреблять примерно 1,960 ккал — что почти вдвое сокращает ваш запланированный дефицит в 500 калорий.

2. Данные USDA превосходят для сырых ингредиентов, но испытывают трудности с готовой пищей

База данных USDA FoodData Central является замечательным ресурсом. Для простых, необработанных продуктов — банан, куриная грудка, чашка риса — она чрезвычайно точна. Наши данные показали MAPE всего 3.2% для простых цельных продуктов, что почти так же хорошо, как повторные лабораторные измерения.

Но как только начинается приготовление, точность USDA ухудшается. Для домашних блюд MAPE возросла до 6.4%. Для ресторанных блюд она поднялась до 14.2%. Для международных блюд она достигла 15.7%.

Проблема не в самой базе данных, а в разрыве между записями базы данных и реальным приготовлением. Запись USDA о "жареных овощах" предполагает определенное количество масла, определенное время приготовления и определенный набор овощей. Ваши жареные овощи — или те, что подают в вашем местном тайском ресторане — могут использовать в два раза больше масла, включать более жирные овощи и подаваться в большем объеме. База данных не может учесть эти вариации; она может лишь описать среднее.

Это имеет значение для ручных отслеживателей, которые гордятся тем, что ведут "точный" учет, взвешивая ингредиенты и ищя их в базах данных. Этот подход хорошо работает для простых блюд, приготовленных дома с измеренными ингредиентами. Он ломается для еды вне дома, заказов на вынос или приготовления рецептов, где количество жиров является приблизительным.

3. Оценка калорий по фотографии AI более точна, чем ожидалось — особенно для реальных блюд

Перед проведением этого исследования наше внутреннее предположение заключалось в том, что AI Nutrola будет хорошо работать для простых продуктов и плохо для сложных блюд. Данные частично подтвердили и частично опровергли это.

Как и ожидалось, лучшая производительность AI была на простых цельных продуктах (4.1% MAPE). Банан выглядит как банан, и обучающие данные AI включают тысячи изображений бананов с известными весами и значениями калорий.

Что нас удивило, так это относительная производительность AI на ресторанных и международных блюдах. С показателями 8.6% и 10.1% MAPE соответственно, Nutrola значительно превзошла подход на основе USDA (14.2% и 15.7%). AI, похоже, выигрывает от нескольких преимуществ в этих категориях:

• Оценка размера порции по визуальным подсказкам. AI использует тарелку, миску и столовые приборы в качестве опорных объектов для оценки объема пищи, что позволяет захватить фактическую порцию, поданную на стол, а не предполагаемую "стандартную порцию".
• Обнаружение соусов и топпингов. Модель обучена распознавать видимые соусы, глазури, расплавленный сыр и другие калорийные добавки, которые могут быть упущены при поиске в базе данных.
• Калибровка по конкретной кухне. Обучающие данные Nutrola включают десятки тысяч помеченных изображений из ресторанов и международной кухни, что позволяет модели изучать специфические паттерны кухни (например, что тарелка рамена, как правило, содержит больше жира, чем может показаться по виду бульона).

Тем не менее, AI не был идеален. Его слабые моменты приходились на скрытые жиры — масло, впитанное в жареные продукты, масло, растопленное в соусах, и сливки, добавленные в супы. Эти калории физически присутствуют, но визуально не обнаружимы, и они представляют собой жесткий предел того, что любая система на основе камеры может достичь без дополнительного ввода от пользователя.

4. Скрытые калорийные виновники

Во всех 50 блюдах самым крупным источником ошибки оценки — для каждого метода, включая AI — было добавленное кулинарное масло. Масло, сливочное масло, гхи, сливки и другие жиры, используемые в процессе приготовления, составили большинство крупных отклонений.

Рассмотрим домашний салат "Цезарь". Наша лаборатория измерила 486 ккал. Оценка на основе USDA составила 347 ккал — недооценка на 28.6%. Разрыв был почти полностью обусловлен заправкой: домашняя заправка для "Цезаря", содержащая оливковое масло, яичный желток, пармезан и анчоусы. Оценка USDA использовала "стандартное" количество заправки, но фактическая порция была значительно более щедрой.

Аналогично, курица с маслом показала 943 ккал в лаборатории по сравнению с 716 ккал от USDA — недооценка на 24.1%, вызванная количеством масла и сливок в рецепте ресторана, которое значительно превышало предполагаемые в стандартных записях базы данных.

Эти находки подтверждают хорошо известный принцип в науке о питании: жир является самым калорийным макронутриентом (9 ккал/г против 4 ккал/г для белков и углеводов) и самым трудным для точной оценки. Небольшие ошибки в оценке жира приводят к большим ошибкам в калориях. Одна столовая ложка масла, пропущенная любым методом оценки, добавляет 119 незасчитанных калорий.

Что это значит для повседневных отслеживателей

Если вы отслеживаете калории для управления своим весом, эти выводы имеют несколько практических последствий:

Не предполагаете, что ваша этикетка — это истина. Этикетки питания являются полезными отправными точками, но они могут недооценивать фактическое содержание калорий на 10-20% или более, особенно для упакованных блюд и ресторанных опубликованных данных. Если ваш процесс похудения застопорился, и вы едите "точно" то, что указано на этикетках, этот скрытый избыток может быть объяснением.

Поиск данных USDA наиболее надежен для простых, домашних блюд. Если вы готовите дома, взвешиваете ингредиенты и используете в основном цельные продукты, подход на основе USDA может быть очень точным. Чем сложнее и больше влияние ресторанов на ваши блюда, тем менее надежным становится этот метод.

Отслеживание по фотографии AI обеспечивает лучший баланс для реального питания. Для людей, которые едят смесь домашних, ресторанных и упакованных блюд — что описывает большинство взрослых — система на основе AI, такая как Nutrola, обеспечивает наиболее последовательную точность по категориям. Она не превзойдет тщательно взвешенный поиск USDA для простой куриной грудки, но значительно превзойдет этот подход для пад тай, который вы заказали в пятницу вечером.

Всегда будьте насторожены с блюдами с высоким содержанием жира. Независимо от вашего метода отслеживания, блюда, которые включают жарку, тяжелые соусы, сливки, масло или сыр, с наибольшей вероятностью будут недооценены. Если вы сомневаетесь, добавьте небольшой запас (50-100 ккал) для блюд, которые выглядят или на вкус богатыми. В Nutrola вы также можете вручную скорректировать оценку AI после просмотра, и система учится на ваших исправлениях с течением времени.

Последовательность важнее, чем совершенство. Наши данные показали, что самое большое преимущество Nutrola заключалось не в средней точности, а в последовательности — наименьшее стандартное отклонение и наибольший процент оценок в пределах 10% от лабораторных значений. Для долгосрочного отслеживания система, которая постоянно ошибается на 5-7%, гораздо полезнее, чем та, которая иногда идеальна, а иногда ошибается на 25%. Последовательный уклон можно учесть; непредсказуемая ошибка — нет.

Ограничения

Мы хотим быть прозрачными относительно ограничений этого исследования:

• Размер выборки. Пятьдесят блюд достаточно для выявления закономерностей, но недостаточно для окончательных статистических выводов в каждой подкатегории. В каждой категории было всего 10 блюд. Более крупные исследования увеличили бы уверенность в выводах по категориям.
• Единственный географический регион. Все блюда были приобретены в Ирландии. Размеры порций в ресторанах, кулинарные практики и источники ингредиентов варьируются в зависимости от страны и даже города. Результаты могут отличаться в других регионах.
• Тестировалась только одна система AI. Мы протестировали только AI Nutrola. Другие системы отслеживания калорий на основе AI могут работать иначе. Мы призываем конкурирующие продукты проводить и публиковать аналогичные анализы.
• Условия фотографирования. Все фотографии были сделаны членами команды, знакомыми с лучшими практиками фотографии пищи. Обычный пользователь, делающий спешную фотографию в плохом освещении, может столкнуться с несколько меньшей точностью AI.
• Бомбовая калориметрия измеряет общую энергию. Хотя были применены коррекции для метаболизируемой энергии, индивидуальные различия в пищеварении и усвоении означают, что "истинные" калории, которые любой человек извлекает из пищи, могут отличаться от лабораторного значения на несколько процентов.

Заключение

Число калорий на вашей тарелке всегда является оценкой — но не все оценки созданы равными.

Этикетки питания, несмотря на их официальный вид, являются наименее точным источником, который мы тестировали, с систематической тенденцией к недооценке калорий. Данные USDA отличны для простых, сырых и домашних продуктов, но испытывают трудности с реальной сложностью ресторанного приготовления и международной кухни. Отслеживание калорий на основе фотографий, как реализовано в Nutrola, обеспечивает наиболее последовательную производительность по всему спектру продуктов, которые люди на самом деле едят, с общей точностью 7.4% средней абсолютной отклонения от лабораторных значений.

Ни один метод отслеживания не идеален. Продукты, которые обманывают AI, также обманывают базы данных и этикетки — блюда с обильными соусами, богатыми маслами и многокомпонентные блюда остаются самыми трудными для оценки для любой системы. Но для повседневного отслеживателя, который хочет надежный, малозатратный способ понять, что он ест, данные показывают, что хорошо обученный AI, смотрящий на вашу реальную тарелку, приближается к истине ближе, чем этикетка, напечатанная на фабрике, или запись в базе данных, написанная для идеализированного рецепта.

Nutrola основана на принципе, что точность не должна требовать усилий. Вы делаете фотографию, и AI выполняет работу. Это исследование было нашим способом подотчетности перед этим обещанием — и делиться результатами, включая наши слабости, с теми, кто доверяет нам свои данные о питании.

Если вы хотите попробовать Nutrola сами, планы начинаются с 2.50 евро в месяц, без рекламы на каждом уровне. Мы предпочли бы заслужить ваше доверие точными данными, чем продавать ваше внимание рекламодателям.

Сырые данные из этого исследования доступны по запросу для исследователей, журналистов и диетологов, которые хотят провести собственный анализ. Свяжитесь с нами по адресу research@nutrola.com.