AI帮你找美食!文字叙述让AI自动产生美食图片

最近以色列特拉维夫大学研究团队，开发出一套根据食谱叙述自动产生餐点图片的深度学习系统，在计算机视觉的研究中，根据文字叙述自动生成图片是相当复杂的，需要有创造力，该系统透过recipe1M作为数据集，训练和评估深度学习模型，根据对餐点的叙述来产生256 x 256高画质的图片，值得注意的是，这些食谱叙述较长，且并没有包含直接描述图片内容的信息，该研究成果已经在arXiv上发布。

特拉维夫大学研究团队是透过深度学习框架PyTorch，搭配Nvidia Titan X GPU，训练了条件式对抗生成网络（Conditional GAN），包含52,000份手写食谱和相对应的图片，经过训练后，模型就能够产生与食谱叙述相对应的图片，该篇论文的共同作者Ori Bar El表示，该系统的输入信息只有食谱的叙述文字，就能从无到有生成系统认为食谱叙述的餐点图片，其中，很重要的一点是，该系统并没有撷取食谱标题的数据，如果有食谱标题，这项任务将会变得很简单，也因此，这项自动生成餐点图片的任务，对计算机系统而言是项艰巨的挑战，甚至对人类而言，也是相当困难。
为了评估系统透过两种方法产生的图片，研究团队用人工的方式对图片评分，评分标准从1～5，该系统目前已成功产生许多食物图片，像是意大利面、饭、汤、色拉等，但是针对独特形状的食物，像是汉堡、鸡肉或是饮料等，还持续在努力研究中。内文感谢提供：SBF爱宠物 http://altalib.net/