В MIT сделали приложение для распознавания состава блюд
При обучении нейронной сети создатели Pic2Recipe использовали базу данных с 1 млн рецептов
Исследователи из Массачусетского технологического института (MIT) создали Shazam для еды, который распознает блюда по фото и выдает их рецепт. Программу Pic2Recipe представили ученые из Лаборатории информатики и Искусственного интеллекта (Computer Science and Artificial Intelligence Laboratory (CSAIL)).
Pic2Recipe — система на основе ИИ, которая анализирует фотографии с блюдами и рассказывает, как их приготовить. Для обучения нейронной сети ученые использовали информацию с кулинарных сайтов. В итоге была создана база данных из 1 млн рецептов. Программа распознает структуру блюд и сравнивает их с фото готовой еды и ингредиентов из базы.
«В области компьютерного зрения едой часто пренебрегают, поскольку у нас нет достаточного количества данных для распознавания картинок», — отметил в статье на сайте MIT один из разработчиков. По его словам, в качестве такой базы могут подойти фотографии из социальных медиа, по ним также можно многое сказать о пищевых привычках и здоровье населения.
В ролике показано, как программа нашла рецепт сахарного печенья. Pic2Recipe назвала 8 ингредиентов из 11. Система «не заметила» глазурь. Авторы проекта говорят, что работа пока в процессе.
Лучше всего приложение справляется с выпечкой. Например, после загрузки фото шоколадного фондана, программа выдала сразу 5 рецептов шоколадных кексов. При этом в самом первом действительно был указан способ приготовления выпечки с жидкой шоколадной начинкой.
Однако, пиццу Pic2Recipe не узнал, как и одно из наиболее простых блюд, известных theRunet.