VIO概述 On-Manifold Preintegration for Real-Time Visual--Inertial Odometry
2018-03-08 17:04
495 查看
转自http://www.cnblogs.com/shang-slam/p/6781673.html
目前的研究方向可以总结为在滤波算法中实现高精度,在优化算法中追求实时性.当加入IMU后,研究方向分为松耦合和紧耦合,松耦合分别单独计算出IMU测量得到的状态和视觉里程计得到的状态然后融合,紧耦合则将IMU测量和视觉约束信息放在一个非线性优化函数中去优化.紧耦合的框架使得IMU数据可以对视觉里程计进行矫正,同时视觉里程计信息也可以矫正IMU的零偏,因此一般认为紧耦合的定位精度较高.个人认为松耦合和滤波融合的方法类似,紧耦合则主要基于非线性优化.
IMU融合后可以处理视觉失效的情况,例如光照变化,遮挡,模糊,快速运动;同时视觉也可以对IMU的本质误差零偏(漂移)进行很好的估计.
视觉和IMU融合目前主要基于三类方法,在设计时,主要考虑精确度和计算量的平衡.
边缘化是将旧状态融合进当前状态的先验中,滤波方法主要的缺陷也就存在于边缘化过程中:首先当前测量的structure信息需要延迟处理,降低当前状态的更新精度,其次边缘化对线性化近似和外点(outlier)都比较敏感,容易造成滤波器状态失准.(这里有很多坑,还不太理解).
但是由于采用了多个状态的窗口,状态估计更精确,同时可以建立鲁棒的优化代价函数,降低外点对状态估计的影响.
状态向量中可以加入测量的structure,但是太多strcuture会造成高斯先验矩阵是稠密的,通常会想办法减少structure的数量.
可以采用只优化关键帧,以及将优化放在独立线程中.
最新的研究采用因子图,增量式地根据测量更新部分状态,典型代表为iSAM.
当引入IMU后,由于IMU频率通常在100Hz-1kHz量级,无法每次IMU测量都更新状态向量.通常的做法是在关键帧之间对IMU进行积分,初始状态由上一帧状态提供,根据IMU的微分运动方程,积分出当前状态,再将视觉测量引入更新.
然而,由于优化过程中上一帧的状态是会变化的,这样积分的初始状态改变了,需要重新算积分,为了避免每一次优化调整后都需要重复
4000
计算IMU积分,利用预积分preintegration将相对运动约束再参数化.
目前的研究方向可以总结为在滤波算法中实现高精度,在优化算法中追求实时性.当加入IMU后,研究方向分为松耦合和紧耦合,松耦合分别单独计算出IMU测量得到的状态和视觉里程计得到的状态然后融合,紧耦合则将IMU测量和视觉约束信息放在一个非线性优化函数中去优化.紧耦合的框架使得IMU数据可以对视觉里程计进行矫正,同时视觉里程计信息也可以矫正IMU的零偏,因此一般认为紧耦合的定位精度较高.个人认为松耦合和滤波融合的方法类似,紧耦合则主要基于非线性优化.
IMU融合后可以处理视觉失效的情况,例如光照变化,遮挡,模糊,快速运动;同时视觉也可以对IMU的本质误差零偏(漂移)进行很好的估计.
视觉和IMU融合目前主要基于三类方法,在设计时,主要考虑精确度和计算量的平衡.
1. 滤波
状态向量只包含当前状态.由于线性化误差和计算能力的限制,通常只能构建很少的landmark/mappoint.或者创建structureless的状态向量(将landmark/mappoint边缘化),典型代表为MSCKF.边缘化是将旧状态融合进当前状态的先验中,滤波方法主要的缺陷也就存在于边缘化过程中:首先当前测量的structure信息需要延迟处理,降低当前状态的更新精度,其次边缘化对线性化近似和外点(outlier)都比较敏感,容易造成滤波器状态失准.(这里有很多坑,还不太理解).
2. Fixed-Lag Smoothing
也就是滑动窗口优化(Sliding Window Optimization).状态向量包含随时间滑动的窗口内多个状态.但是也需要将旧状态边缘化到高斯先验中.因此在滤波算法中存在的边缘化问题,这里都存在.但是由于采用了多个状态的窗口,状态估计更精确,同时可以建立鲁棒的优化代价函数,降低外点对状态估计的影响.
状态向量中可以加入测量的structure,但是太多strcuture会造成高斯先验矩阵是稠密的,通常会想办法减少structure的数量.
3. Full Smoothing
也就是batch non-linear least-squares或者全局优化,状态向量包含所有相机位姿和strcuture信息,做大规模的非线性优化.显然是最精确的方法,虽说稀疏性降低了计算量,但是依然比滤波大.主要工作集中于降低计算量.可以采用只优化关键帧,以及将优化放在独立线程中.
最新的研究采用因子图,增量式地根据测量更新部分状态,典型代表为iSAM.
当引入IMU后,由于IMU频率通常在100Hz-1kHz量级,无法每次IMU测量都更新状态向量.通常的做法是在关键帧之间对IMU进行积分,初始状态由上一帧状态提供,根据IMU的微分运动方程,积分出当前状态,再将视觉测量引入更新.
然而,由于优化过程中上一帧的状态是会变化的,这样积分的初始状态改变了,需要重新算积分,为了避免每一次优化调整后都需要重复
4000
计算IMU积分,利用预积分preintegration将相对运动约束再参数化.
相关文章推荐
- VIO当中的预计分 《On-manifold preintegration for real-time visual-inertial Odometry》
- 论文阅读之:Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature Space
- 目标追踪-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking
- 论文笔记:Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking
- 实时语义分割--ICNet for Real-Time Semantic Segmentation on High-Resolution Images
- PCA & Adaptive Color Attributes for Real-Time Visual Tracking
- 13.5 论文笔记:目标追踪-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking
- 视频跟踪论文读后感系列一:Adaptive Color Attributes for Real-Time Visual Tracking(CVPR2014)
- Adaptive Color Attributes for Real-Time Visual Tracking几句话总结
- 论文笔记:目标追踪-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking
- Semantic Segmentation--ICNet for Real-Time Semantic Segmentation on High-Resolution Images论文解读
- 实时语义分割--ICNet for Real-Time Semantic Segmentation on High-Resolution Images
- 【ICNet】ICNet for Real-Time Semantic Segmentation on High-Resolution Images
- 论文笔记:目标追踪-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking
- Real-time model scoring for streaming data – a prototype based on Oracle Stream Explorer and Oracle
- Precomputed Radiance Transfer for Real-Time Rendering .
- TaintDroid: An Information-Flow Tracking System for Realtime Privacy Monitoring on Smartphones
- Semantic Segmentation--ICNet for Real-Time Semantic Segmentation on High-Resolution Images论文解读
- Visual Attention Based on Long-Short Term Memory Model for Image Caption Generation 论文笔记
- 论文总结-Perceptual Losses for Real-Time Style Transfer and Super-Resolution