[论文笔记] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotation
2018-01-24 15:40
846 查看
2016 CVPR
可借鉴部分:处理uneven分类问题:1. Batch-normalization2. data-dropout 去掉一部分无病样本的数据这片文章主要还是讲如何对chest X-ray 自动标注,使用 CNN训练出来的特征初始化RNN,描述疾病信息
以下内容为转载
总结
这是篇文章属于“老方法+新问题”,其实也不算新问题,只不过用在医学图像里很少,我对医学图像处理并不太了解,说错了请见谅。文章要解决的问题是类似于 image caption,不过应用在 X光图像上。模型并没有改进,但在训练策略上对医学图像处理做了适应。
方法描述
和普通的 自然图像的image caption 的不同点在于,医学图像没有可用于 初始化的模型,imagenet 和医学图像的差别还是很大的。解决方案就是用医学图像训练一个 分类CNN作为初始化,但是这里的数据有些特殊,需要特别处理,具体是这样的:这里的图像是 X 光图像,每个图片都有对应的诊断报告,可以看成是多个描述,因此要首先解决图像的 label 的问题,也即 section 4所说的labele mining,具体做法是:找到17个高频label,并且每种label都含有超过30个 image,并且这17个 label下的图片 之间很少重复,因此就用这些图片构建一个分类数据库。
接着用 CNN 提出的feature 作为 RNN 的输入,接着是该图像对应的描述的输入,这个描述是用所谓的 MESH 处理过的,因此只是一些重要的词汇,并不是一个完整语义的句子。
然后将该图像在 RNN 模型中所有 t 时刻的 state vector 进行 mean pooling,得到一个平均表达,作为 image/text context,这个 context 的作用是对第一步的 CNN 模型进行细分,比如如下三个描述在第一次 CNN 是被认为是同一个 label,
"calcified granu- loma in right upper lobe", "small calcified granuloma in left lung base", and "multiple calcified granuloma"现在就是想把他们区分开,就是利用 上面说到的context,对同一个 label 的 image 利用 context 再进行聚类,label 数目从17个扩大到57个,然后再训练,过程和上面一样。
流程图如下
相关文章推荐
- [2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotat
- 论文笔记之:Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic
- 论文笔记:An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application
- 论文笔记之:DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- 论文笔记之:Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic
- 论文读书笔记-Using neural network to combine measures of word semantic similarity for image annotation
- deeplearning论文学习笔记(2)A critical review of recurrent neural networks for sequence learning
- Deep Residual Learning for Image Recognition(ResNet)论文笔记
- 论文笔记: Deep Residual Learning for Image Recognition
- 论文笔记之Learning Convolutional Neural Networks for Graphs
- RNN(2) ------ “《A Critical Review of Recurrent Neural Networks for Sequence Learning》RNN综述性论文讲解”(转载)
- 论文阅读:End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for H
- 论文学习:Learning to Compare Image Patches via Convolutional Neural Networks
- Deep Learning for Content-Based Image Retrival:A Comprehensive Study 论文笔记
- 论文笔记——Deep Residual Learning for Image Recognition
- 深度学习论文笔记 [图像处理] Deep Residual Learning for Image Recognition
- 阅读论文:Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation
- 论文《A Convolutional Neural Network Cascade for Face Detection》笔记
- 李菲菲课程笔记:Deep Learning for Computer Vision – Introduction to Convolution Neural Networks