Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction

  这篇文章的主要贡献：

  1.采用CNNc+DPN处理ImageQA任务，DPN的参数根据给定问题动态生成。

  2.采用一个Hash trick对参数降维

  3.通过在一个大的文本集上fine-tune GRU，提升网路的泛化性能

  4.首次同时在DAQUAR,COCO-QA,VQA上进行实验

  论文整体框架：

 


  这个网路主要由两个部分组成：CNN和Dynamic Parameter Networks。CNN的全连接层作为Dynamic Parameter Layer,它的参数由Parameter Prediction Network提供。参数预测网路由GRU+fully-connected layer构成，输入一个问题生成一个向量，这个向量就是Dynamic parameter layer的候选参数。

  文中采用的的CNN基于VGG-16，将VGG-16最后一层移除，连接上三层全连接层。文中采用GRU对Question Embedding，根据GRU的输出ht得到候选权重向量P=[p1,p2,p3…,pn]T，

        


Wp是参数预测网路全连接层的权重。

  Dynamic Parameter Layer从动态参数网路获取的权重可能维度太大，需要进行降维。文中采用基于Hashing的随机权值共享技术进行降维。



  这篇文章采用参数预测网路生成动态参数，同时将VGG-16改成拥有三层全连接层的CNN网路，并且将动态参数作为中间全连接层的动态权重，结合提取的图像特征，进行分类得到预测答案。