Hvordan datamaskinsyn identifiserer mat: Teknologien bak AI kalorioppfølging

Hver gang du peker telefonkameraet ditt mot en tallerken med mat og får en umiddelbar kalorioversikt, skjer det en sofistikert kjede av prosesser innen kunstig intelligens bak kulissene. Det som føles som et enkelt trykk, involverer konvolusjonelle nevrale nettverk, multi-label bildeklassifisering og mange års forskning innen datamaskinsyn. Å forstå hvordan denne teknologien fungerer, hjelper oss å forklare hvorfor AI-drevet kalorioppfølging har blitt så nøyaktig, og hvorfor den fortsetter å forbedre seg.

Denne artikkelen går i dybden på kjerneteknologien bak matgjenkjennings-AI, fra de grunnleggende byggesteinene i nevrale nettverk til de spesifikke ingeniørutfordringene med å identifisere hva som ligger på tallerkenen din.

Hva er datamaskinsyn, og hvorfor er det viktig for ernæring?

Datamaskinsyn er en gren av kunstig intelligens som trener maskiner til å tolke og forstå visuell informasjon fra den virkelige verden. Mens mennesker enkelt kan skille en bolle havregryn fra en tallerken pasta, krever det å lære en datamaskin å gjøre det samme at den prosesserer millioner av merkede bilder og bygger matematiske modeller av visuelle mønstre.

For ernæringsoppfølging løser datamaskinsyn det største problemet med selvmonitorering av kosthold: problemet med manuell datainntasting. Forskning publisert i Journal of the Academy of Nutrition and Dietetics har vist at manuell matlogging fører til en underrapportering av kaloriinntak på 10 til 45 prosent. Ved å erstatte skrevne beskrivelser med et fotografi, fjerner datamaskinsyn friksjonen som får de fleste til å gi opp matoppfølging innen de første to ukene.

Omfanget av problemet

Matgjenkjenning regnes som en av de vanskeligste utfordringene innen bildeklassifisering på grunn av den enorme variasjonen:

• Det finnes tusenvis av distinkte retter på tvers av globale kjøkken
• Den samme maten kan se dramatisk forskjellig ut avhengig av tilberedningsmetode
• Belysning, vinkel og anretning påvirker alle utseendet
• Flere matvarer deler ofte en tallerken, noe som krever samtidig identifikasjon
• Porsjonsstørrelser varierer kontinuerlig i stedet for å falle inn i ryddige kategorier

Til tross for disse utfordringene oppnår moderne matgjenkjenningssystemer en nøyaktighet på topp-5 over 90 prosent på standard benchmarks, noe som betyr at den riktige matvaren vises blant systemets fem beste gjetninger mer enn ni av ti ganger.

Konvolusjonelle nevrale nettverk: Fundamentet for matgjenkjenning

I hjertet av nesten hvert matgjenkjenningssystem ligger en type dyp læringsarkitektur kalt konvolusjonelt nevralt nettverk, eller CNN. Å forstå CNN-er er nøkkelen til å forstå hvordan telefonen din kan se på et bilde og fortelle deg at du spiser kylling tikka masala med basmatiris.

Hvordan en CNN prosesserer et bilde

En CNN prosesserer et bilde gjennom en serie lag, hver designet for å oppdage stadig mer komplekse visuelle trekk:

Lag 1 - Kantgjenkjenning: Det første konvolusjonslaget lærer å oppdage enkle kanter og fargegradienter. Det kan gjenkjenne den buede kanten av en bolle eller grensen mellom et stykke kjøtt og sausen.

Lag 2 - Teksturgjenkjenning: Dypere lag kombinerer kanter til teksturer. Nettverket begynner å skille den kornete teksturen av brun ris fra den glatte overflaten av hvit ris, eller den fiberrike teksturen av grillet kylling fra den glinsende overflaten av stekt kylling.

Lag 3 - Form- og mønstergjenkjenning: Høyere lag setter sammen teksturer til gjenkjennelige former og mønstre. En sirkulær form med en spesifikk tekstur kan klassifiseres som en tortilla, mens en avlang form med en annen tekstur blir en brødpinne.

Lag 4 - Objektgjenkjenning: De siste konvolusjonslagene kombinerer all tidligere informasjon for å gjenkjenne komplette matvarer. Nettverket har lært at en bestemt kombinasjon av farge, tekstur, form og kontekst tilsvarer en spesifikk matvare.

Rollen til pooling og funksjonskart

Mellom konvolusjonslagene reduserer pooling-lagene de romlige dimensjonene av dataene samtidig som de beholder de viktigste trekkene. Dette tjener to formål: det gjør beregningen håndterbar, og det gir en viss grad av translational invariance, noe som betyr at nettverket kan gjenkjenne en matvare uavhengig av hvor den vises i bildet.

Utdataene fra hvert konvolusjonslag kalles et funksjonskart. Tidlige funksjonskart fanger opp lavnivåinformasjon som kanter og farger, mens senere funksjonskart koder høyere nivåkonsepter som "dette området inneholder spaghetti." En typisk matgjenkjenningsmodell genererer hundrevis av disse funksjonskartene på hvert lag.

Populære CNN-arkitekturer brukt i matgjenkjenning

Arkitektur	År	Nøkkelinnovasjon	Typisk bruk i mat-AI
AlexNet	2012	Beviste at dype CNN-er fungerer i stor skala	Tidlig forskning på matgjenkjenning
VGGNet	2014	Vist at dybde betyr noe	Funksjonsutvinning for matdatasett
GoogLeNet/Inception	2014	Multi-skala behandling	Effektiv mobil matgjenkjenning
ResNet	2015	Residualforbindelser for veldig dype nettverk	Høy nøyaktighet i matklassifisering
EfficientNet	2019	Balansert skalering av dybde, bredde, oppløsning	Moderne mobil matgjenkjenningsapper
Vision Transformers	2020	Selvoppmerksomhet for bildeområder	State-of-the-art forskning på matgjenkjenning

Fra klassifisering til multi-label deteksjon

Tidlige matgjenkjenningssystemer behandlet oppgaven som et enkelt klassifiseringsproblem: gitt ett bilde, forutsi én matetikett. Men ekte måltider er sjelden så enkle. En typisk lunsj kan inneholde et hovedprotein, en side med grønnsaker, et korn og en saus, alt på én tallerken.

Objektgjenkjenning for komplekse tallerkener

Moderne matgjenkjenningssystemer bruker objektgjenkjenningsrammeverk som kan identifisere og lokalisere flere matvarer innen ett enkelt bilde. Disse systemene tegner rammer rundt hver distinkte matvare og klassifiserer dem uavhengig.

Arkitekturer som YOLO (You Only Look Once) og Faster R-CNN har blitt tilpasset for matgjenkjenning. Disse modellene deler bildet inn i et rutenett og forutsier både plasseringen og klassen av matvarer samtidig, noe som muliggjør sanntidsbehandling på mobile enheter.

Semantisk segmentering for presise grenser

For enda større presisjon bruker noen systemer semantisk segmentering, som klassifiserer hver piksel i bildet som tilhørende en spesifikk matkategori. Dette er spesielt nyttig for blandede retter som salater eller wokretter, hvor forskjellige ingredienser overlapper og blander seg.

Nutrolas Snap & Track-funksjon bruker en kombinasjon av disse tilnærmingene. Når du tar bilde av måltidet ditt, oppdager systemet først individuelle matområder, deretter klassifiserer hver enkelt, og til slutt estimerer mengden av hver matvare som er til stede. Denne flertrinnsprosessen gjør at systemet kan håndtere alt fra en enkel banan til et komplekst fleretters måltid.

Treningsdata: Drivstoffet bak nøyaktig matgjenkjenning

En matgjenkjenningsmodell er bare så god som dataene den er trent på. Å bygge et høykvalitets matbilde-datasett er en av de mest utfordrende og ressurskrevende aspektene ved utviklingen av mat-AI.

Offentlige benchmark-datasett

Flere offentlige datasett har drevet fremgang innen forskning på matgjenkjenning:

• Food-101: Inneholder 101 000 bilder på tvers av 101 matkategorier, mye brukt som benchmark
• ISIA Food-500: Dekker 500 matkategorier med 400 000 bilder, og gir bredere dekning
• UEC Food-256: Et japansk matdatasett med 256 kategorier, viktig for dekning av asiatisk mat
• Nutrition5k: Knytter matbilder til presise ernæringsmålinger fra et laboratoriemiljø

Utfordringen med virkelighetsmangfold

Offentlige datasett, selv om de er verdifulle for forskning, representerer ikke fullt ut variasjonen av mat folk spiser rundt om i verden. En modell som er trent primært på vestlig mat vil slite med retter fra Sørøst-Asia, og vice versa. Derfor supplerer produksjonsmatgjenkjenningssystemer offentlige datasett med proprietære data samlet fra brukerbasen sin.

Nutrola betjener brukere i mer enn 50 land, noe som betyr at systemet møter en enorm variasjon av kjøkken hver dag. Denne globale brukerbasen gir en kontinuerlig strøm av virkelige matbilder som hjelper modellen å forbedre sin gjenkjenning på tvers av alle kjøkken over tid.

Dataforsterkningsteknikker

For å kunstig utvide treningsdataene og forbedre modellens robusthet, bruker ingeniører ulike dataforsterkningsteknikker:

• Rotasjon og flipping: Sørger for at modellen gjenkjenner mat fra enhver vinkel
• Fargejustering: Simulerer forskjellige lysforhold
• Tilfeldig beskjæring: Lærer modellen å gjenkjenne delvise visninger av mat
• Cutout og mixup: Avanserte teknikker som tvinger modellen til å fokusere på flere diskriminerende områder i stedet for å stole på et enkelt visuelt signal

Hvordan Nutrolas Snap & Track-teknologi fungerer

Nutrolas Snap & Track-funksjon samler alle disse teknologiene i en sømløs brukeropplevelse. Her er hva som skjer i løpet av de omtrent to sekundene mellom å ta et bilde og se kalorioversikten din:

1. Bildeforbehandling: Bildet blir endret i størrelse og normalisert til formatet som forventes av det nevrale nettverket. Lys- og fargekorrigeringer blir anvendt for å standardisere inngangen.

2. Matgjenkjenning: En objektgjenkjenningsmodell identifiserer distinkte matområder i bildet og tegner rammer rundt hver enkelt.

3. Klassifisering: Hver oppdaget region blir sendt gjennom et klassifiseringsnettverk som identifiserer den spesifikke matvaren. Systemet vurderer de beste kandidatene og deres konfidenspoeng.

4. Porsjonsestimering: En egen modell estimerer volum og vekt av hver identifiserte matvare basert på visuelle ledetråder og referansestørrelser (mer om dette i vår ledsagerartikkel om porsjonsestimering).

5. Ernæringsoppslag: De identifiserte matvarene og estimerte porsjonene matches mot en omfattende ernæringsdatabase for å beregne kalorier, makronæringsstoffer og mikronæringsstoffer.

6. Brukerbekreftelse: Resultatene presenteres for brukeren, som kan bekrefte eller korrigere identifikasjonene. Denne tilbakemeldingssløyfen forbedrer kontinuerlig modellen.

Hele denne prosessen skjer på under to sekunder, noe som gjør det raskere enn å skrive "grillet kyllingbryst" i en søkeboks og bla gjennom dusinvis av resultater.

Utfordringer innen matgjenkjennings-AI

Til tross for den bemerkelsesverdige fremgangen, står matgjenkjennings-AI fortsatt overfor flere utfordringer som forskere og ingeniører aktivt jobber med å løse.

Visuelt like matvarer

Noen matvarer ser nesten identiske ut på bilder, men har svært forskjellige ernæringsprofiler. Hvit ris og blomkålris, vanlig pasta og fullkornspasta, samt helfett og lett ost er alle eksempler på visuelt like matvarer som divergerer betydelig i kalorier og makronæringsstoffer.

Nåværende systemer håndterer dette gjennom en kombinasjon av kontekstuelle ledetråder (hva annet som er på tallerkenen), brukerhistorikk (hva noen vanligvis spiser), og ved å be brukeren bekrefte når konfidensen er lav.

Blandede og lagdelte retter

En burrito, en sandwich eller en lagdelt gryterett presenterer et grunnleggende problem: de fleste ingrediensene er skjult for syne. AI kan se tortillaen, men ikke bønnene, osten, rømme og risen inni.

For å adressere dette lærer modellene den typiske sammensetningen av vanlige retter. Når systemet identifiserer en burrito, kan det anta de sannsynlige indre ingrediensene basert på den synlige utsiden og vanlige tilberedningsmetoder. Brukere kan deretter justere de spesifikke fyllingene etter behov.

Belysning og miljøforhold

Dårlig restaurantbelysning, sterke blitslys og farget ambient lys kan alle påvirke matens utseende. Gult lys kan få hvit ris til å se ut som safranris, mens blått lys kan få rødt kjøtt til å se brunt ut.

Moderne systemer adresserer dette gjennom dataforsterkning og ved å bygge fargeinvariante trekk som fokuserer mer på tekstur og form enn på absolutte fargeverdier.

Fremtiden for matgjenkjenningsteknologi

Matgjenkjennings-AI utvikler seg raskt. Flere fremvoksende trender peker mot enda mer kapable systemer i nær fremtid:

Videobasert gjenkjenning: I stedet for å analysere et enkelt bilde, kan fremtidige systemer analysere et kort videoklipp av et måltid, og fange flere vinkler og forbedre nøyaktigheten.

Augmented reality-overlegg: AR kan gi sanntids ernæringsinformasjon mens du skanner en buffet eller restaurantmeny, og hjelpe deg med å ta informerte valg før du spiser.

Multi-modale modeller: Kombinere visuell gjenkjenning med tekst (menyer, ingredienslister) og til og med lyd (spør brukeren "la til dressing?") for en mer komplett forståelse av måltidet.

Behandling på enheten: Etter hvert som mobile prosessorer blir kraftigere, kan mer av AI-behandlingen skje direkte på telefonen uten å sende bilder til en server, noe som forbedrer hastighet og personvern.

Ingrediensnivå gjenkjenning: Gå utover klassifisering på rettsnivå for å identifisere individuelle ingredienser og deres omtrentlige mengder, noe som muliggjør mer presise ernæringsberegninger.

Hvorfor nøyaktigheten fortsetter å forbedre seg

En av de mest oppmuntrende aspektene ved matgjenkjennings-AI er dens innebygde forbedringsmekanisme. Hver gang en bruker tar et bilde og bekrefter eller korrigerer resultatet, mottar systemet et merket datapunkt. Med millioner av brukere som logger måltider daglig, akkumulerer produksjonssystemer som Nutrola treningsdata i et tempo som akademisk forskning ikke kan matche.

Dette skaper en virtuous cycle: bedre nøyaktighet fører til flere brukere, flere brukere genererer mer data, og mer data muliggjør bedre nøyaktighet. Dette er grunnen til at matgjenkjenningen du opplever i dag er betydelig bedre enn det som var tilgjengelig selv for ett år siden, og den vil fortsette å forbedre seg.

FAQ

Hvor nøyaktig er AI matgjenkjenning sammenlignet med manuell logging?

Studier har vist at AI matgjenkjenning kan oppnå nøyaktighetsrater over 90 prosent for vanlige matvarer, noe som er sammenlignbart med eller bedre enn nøyaktigheten til trente dietetikere som manuelt estimerer porsjoner. Manuell logging av ikke-eksperter underrapporterer vanligvis kaloriinntak med 10 til 45 prosent, noe som gjør AI-assistert logging mer pålitelig for de fleste.

Kan AI matgjenkjenning fungere med kjøkken fra hele verden?

Ja, selv om nøyaktigheten varierer etter kjøkken avhengig av tilgjengelige treningsdata. Systemer som Nutrola som betjener en global brukerbase i 50 eller flere land, forbedrer kontinuerlig sin gjenkjenning av ulike kjøkken etter hvert som de samler mer data fra brukere rundt om i verden. Jo mer et kjøkken er representert i treningsdataene, desto mer nøyaktig blir gjenkjenningen.

Fungerer matgjenkjennings-AI offline?

Det avhenger av implementeringen. Noen apper prosesserer bilder på enheten ved hjelp av optimaliserte modeller, noe som fungerer offline, men kan ofre noe nøyaktighet. Andre sender bilder til skyservere for behandling, noe som krever en internettforbindelse, men kan bruke større, mer nøyaktige modeller. Mange moderne apper bruker en hybrid tilnærming, der de utfører innledende gjenkjenning på enheten og forbedrer resultatene med skybehandling når det er tilgjengelig.

Hvordan håndterer AI hjemmelagde måltider som ikke samsvarer med restaurantretter?

Moderne matgjenkjenningssystemer er trent på både restaurant- og hjemmelagde matbilder. De identifiserer individuelle komponenter i stedet for å prøve å matche en komplett rett med en databaseoppføring. Så en hjemmelaget wokrett ville bli delt opp i sine synlige komponenter (kylling, brokkoli, ris, saus) i stedet for å bli matchet med en enkelt menyartikkel.

Blir dataene fra matbildene mine holdt private?

Personvernreglene varierer fra app til app. Nutrola er forpliktet til brukerens personvern og bruker matbilder utelukkende til formålet med ernæringsanalyse og modellforbedring. Bilder behandles sikkert og deles ikke med tredjeparter. Brukere kan gjennomgå personvernreglene for fullstendige detaljer om databehandlingspraksis.

Hva skjer når AI gjør en feil i matidentifikasjonen?

Når AI feilidentifiserer en matvare, kan brukerne korrigere resultatet ved å velge riktig element fra en liste eller skrive inn den riktige maten. Denne korrigeringen fungerer som verdifulle treningsdata som hjelper modellen å forbedre seg over tid. Jo flere korrigeringer et system mottar for en bestemt matvare, desto raskere forbedres nøyaktigheten for det elementet.