救助关于vb.net的精度问题
2007-11-01 22:35
288 查看
近日在使用vb.net做一个无限分类,突然发现VB.net的一个精度问题,现在发上园子里,看看大家有看法或者解决的办法
代码如下:
String.Format("{0:####################}", 2 ^ 63 - 1)以上为求2的63次方减去1的值
输出的结果为:9223372036854780000
如果没有用format 结果为:922337203685478E+18
而我一同事用C#同样的一句输出结果是:9223372036854775807
而我在用Windows自带的计算器输出的结果同C#输出的结果。这样子就郁闷了,难道真的是VB.net的精度问题吗?还是说我用错了方法?
还请大家给指点一下~
问题已解决
解决方法:
使用ctype(math.pow(2,63)-1,long)
然后在工程,编译》》高级编译选项:在优化哪一框,“不做整数溢出检查”这个选项打上钩!OK啦~
代码如下:
String.Format("{0:####################}", 2 ^ 63 - 1)以上为求2的63次方减去1的值
输出的结果为:9223372036854780000
如果没有用format 结果为:922337203685478E+18
而我一同事用C#同样的一句输出结果是:9223372036854775807
而我在用Windows自带的计算器输出的结果同C#输出的结果。这样子就郁闷了,难道真的是VB.net的精度问题吗?还是说我用错了方法?
还请大家给指点一下~
问题已解决
解决方法:
使用ctype(math.pow(2,63)-1,long)
然后在工程,编译》》高级编译选项:在优化哪一框,“不做整数溢出检查”这个选项打上钩!OK啦~
相关文章推荐
- [VB.NET]再问关于“生成单个应用程序实例”的问题
- [VB.NET]关于程序性能问题,高手请进,谢谢
- [VB.NET]关于对象名引用的问题
- [VB.NET]关于Active Directory 取得用户组信息的问题
- [VB.NET]关于DataSet的Tables参数问题
- [VB.NET]求救!!!关于水晶报表的问题....
- [VB.NET]关于VB.NET程序生成的方面的问题
- 关于vb.net 调用win32API Reamprocessmemory的问题
- 一个关于在VB.NET中应用超级解霸的问题
- 关于VB.NET中使用JS文件问题
- 关于 VB.NET 中 Obsolete 特性的问题
- [VB.NET]关于多线程和截图保存的问题!
- 关于vb.net里面api Unicode/ANSI调用一个问题解答
- [VB.NET]再问关于serial port问题。望高手指点
- [VB.NET]一个关于Tooltip 的小问题???
- [VB.NET]求助---关于winows工程中窗口界面显示的问题,在线等
- [VB.NET]关于DataGridView的问题,会的请进来看看,帮忙解决!!
- [VB.NET]我的问题集 关于.net中的杂交问题
- [VB.NET]高分求关于网页内容分析的问题(自动翻页)
- [VB.NET]关于EXIF读取的详细问题,高手请进