“雪花”项目:Microsoft探索在.NET中实现手工内存管理
2017-09-07 07:40
267 查看
来自Microsoft研究院、剑桥大学和普林斯顿大学的一些研究人员构建了一个.NET的分支,实现了在运行时中添加支持手工内存管理的API。研究方法的细节及所获得的性能提升发表在名为“Project Snowflake: Non-blocking Safe Manual Memory Management in .NET”(“雪花”项目:非阻塞的、安全的.NET手工内存管理)的论文中。
“雪花“项目意在实现.NET中的手工内存管理,这一改进被认为对一些应用是非常有用。C#、.NET等现代编程语言都采用了垃圾回收机制,使编程人员得以从管理对象的任务中解放出来,这一机制的优点广为人知,涉及提高生产力、改进程序稳定性、内存安全及防止恶意操作等方面。但是垃圾回收机制需要付出一些性能上的代价,尽管这在很多情况下不易被察觉,但是在一些情况下还是存在问题的。“雪花”项目的研究人员就指出,对于在具有上百GB堆内存的系统上运行数据分析和流处理任务,就可受益于手工内存管理。
“雪花”项目所引入的手工内存管理是与垃圾回收机制并行工作的,开发人员一般情况下使用的是垃圾回收机制,但在环境需要时也可以选择手工内存管理。该引入到运行时中的改进并不会对已有应用产生影响,并且会改进多线程应用的性能。“雪花”项目实现了“在程序任一位置分配和释放独立对象,并确保手工管理对象同样享有完全的类型安全和时序安全,即使存在并发访问时。”
“雪花”中提出了两个新概念,即对象“所有者”(Owner)和“护盾”(Shield),它们实现为CoreCLR和CoreFX层级的API。“所有者”表示了栈或堆中的一个位置,保存了对手工堆中分配对象的唯一引用。“所有者”获取自“护盾”,而引入“护盾”是为了避免手工对象在被多个线程访问时重分配(deallocate)。“护盾”确保了当最后使用一个对象的线程重分配该对象后,才从堆中移除该对象。论文中是如下详细阐述该机制的:
我们的解决方案……受到了无锁数据结构研究中的“风险指针”(Hazard Pointer)这一概念的启发。我们引入了一种机制,当线程想要通过其中一个“所有者”位置访问手工对象时,这一意图将会发布在线程本地状态(TLS,Thread-Local State)中。此注册过程可看成是创建了一个“护盾”,该“护盾”将保护对象不会被重分配,并授权发布注册的线程可直接访问对象,例如调用对象的方法,或是转换(mutate)对象的字段。同时,不允许任何线程(同一线程或另一个线程)重分配对象及回收(reclaim)对象的内存。一旦客户代码不再需要访问该对象,就可以释放(dispose)“护盾”,即从对象的TLS中移除了指向该对象的引用。直接访问从“护盾”获取的对象是不安全的操作,因为在释放“护盾”后,实际的重分配操作依然允许继续。
论文中提供了一系列给定场景下的测试结果,表明使用“雪花”项目的性能相比于垃圾回收机制取得了改进。其中,“在峰值工作集上获得了高达三倍的性能提高,在运行时上取得了两倍的性能提高”。测试结果给出了很好的性能改进。这是因为当对象池非常大时,垃圾回收为释放内存需要花费很多时间遍历对象图。
Microsoft并未详述是否有规划在.NET中加入“雪花”项目。但考虑到这是一种非侵入式的和安全的机制,我们希望在.NET的未来版本中能集成类似的功能。
原文地址:http://www.infoq.com/cn/news/2017/09/snowflake
.NET社区新闻,深度好文,微信中搜索dotNET跨平台或扫描二维码关注
“雪花“项目意在实现.NET中的手工内存管理,这一改进被认为对一些应用是非常有用。C#、.NET等现代编程语言都采用了垃圾回收机制,使编程人员得以从管理对象的任务中解放出来,这一机制的优点广为人知,涉及提高生产力、改进程序稳定性、内存安全及防止恶意操作等方面。但是垃圾回收机制需要付出一些性能上的代价,尽管这在很多情况下不易被察觉,但是在一些情况下还是存在问题的。“雪花”项目的研究人员就指出,对于在具有上百GB堆内存的系统上运行数据分析和流处理任务,就可受益于手工内存管理。
“雪花”项目所引入的手工内存管理是与垃圾回收机制并行工作的,开发人员一般情况下使用的是垃圾回收机制,但在环境需要时也可以选择手工内存管理。该引入到运行时中的改进并不会对已有应用产生影响,并且会改进多线程应用的性能。“雪花”项目实现了“在程序任一位置分配和释放独立对象,并确保手工管理对象同样享有完全的类型安全和时序安全,即使存在并发访问时。”
“雪花”中提出了两个新概念,即对象“所有者”(Owner)和“护盾”(Shield),它们实现为CoreCLR和CoreFX层级的API。“所有者”表示了栈或堆中的一个位置,保存了对手工堆中分配对象的唯一引用。“所有者”获取自“护盾”,而引入“护盾”是为了避免手工对象在被多个线程访问时重分配(deallocate)。“护盾”确保了当最后使用一个对象的线程重分配该对象后,才从堆中移除该对象。论文中是如下详细阐述该机制的:
我们的解决方案……受到了无锁数据结构研究中的“风险指针”(Hazard Pointer)这一概念的启发。我们引入了一种机制,当线程想要通过其中一个“所有者”位置访问手工对象时,这一意图将会发布在线程本地状态(TLS,Thread-Local State)中。此注册过程可看成是创建了一个“护盾”,该“护盾”将保护对象不会被重分配,并授权发布注册的线程可直接访问对象,例如调用对象的方法,或是转换(mutate)对象的字段。同时,不允许任何线程(同一线程或另一个线程)重分配对象及回收(reclaim)对象的内存。一旦客户代码不再需要访问该对象,就可以释放(dispose)“护盾”,即从对象的TLS中移除了指向该对象的引用。直接访问从“护盾”获取的对象是不安全的操作,因为在释放“护盾”后,实际的重分配操作依然允许继续。
论文中提供了一系列给定场景下的测试结果,表明使用“雪花”项目的性能相比于垃圾回收机制取得了改进。其中,“在峰值工作集上获得了高达三倍的性能提高,在运行时上取得了两倍的性能提高”。测试结果给出了很好的性能改进。这是因为当对象池非常大时,垃圾回收为释放内存需要花费很多时间遍历对象图。
Microsoft并未详述是否有规划在.NET中加入“雪花”项目。但考虑到这是一种非侵入式的和安全的机制,我们希望在.NET的未来版本中能集成类似的功能。
原文地址:http://www.infoq.com/cn/news/2017/09/snowflake
.NET社区新闻,深度好文,微信中搜索dotNET跨平台或扫描二维码关注
相关文章推荐
- 应用开源项目StringResourceTool2 实现.NET多国语言方案
- Blazor正式成为Microsoft官方.NET 和WebAssembly项目
- Android学习探索之运用MVP设计模式实现项目解耦
- Android学习探索之运用MVP设计模式实现项目解耦
- Asp.Net Core 2.0 项目实战(9) 日志记录,基于Nlog或Microsoft.Extensions.Logging的实现及调用实例
- 从.NET迁移到.NET Core的一个主要原因,在于后者具备在Linux上运行的能力。但是对于大型企业应用,不可能实现一步迁移到位。由此,Microsoft推荐采用一种逐步迁移做法: 第一步,迁移到
- .Net 中实现项目的安装和部署(打包)
- 基于.NET 2.0的GIS开源项目SharpMap分析手记(十四):ASP.NET2.0实现无刷新客户端回调的Callback机制及例子代码下载
- 在.NET项目中使用PostSharp,实现AOP面向切面编程处理
- 又一新项目下来,准备改用.net来实现!
- iNET,能实现.NET项目跨平台运行?
- .NET编译项目时出现《此实现不是 Windows 平台 FIPS 验证的加密算法的一部分》处理方法
- 关于.NET解决方案批生成的一点探索(同一个解决方案下多项目批生成)
- 图解持续集成--纯命令行实现.Net项目每日构建(流程支持)
- 微软收购 .NET 的开源实现 Xamarin 项目的公司
- 在.NET项目中使用PostSharp,使用MemoryCache实现缓存的处理
- 在.NET项目中使用PostSharp,使用CacheManager实现多种缓存框架的处理
- WeText项目:一个基于.NET实现的DDD、CQRS与微服务架构的演示案例
- 关于.NET解决方案批生成的一点探索(同一个解决方案下多项目批生成)
- 纯命令行实现.Net项目每日构建(升级版本)