您的位置:首页 > 其它

关于k3中自定义字段的数据计算精度的问题

2016-05-16 09:42 471 查看
这两天在k3中要实现一个插件,来实现一个表头数据(自定义)与表体数据的计算,最终填入表体中的一个自定义字段中

首先使用了这么一条SQL

update ICStockBillEntry set ICStockBillEntry.FEntrySelfD0170=round(ICStockBillEntry.Fauxqty*ISNULL(cast(ICStockBill.FHeadSelfD0145 as real),0),4) from ICStockBillEntry,ICStockBill where ICStockBillEntry.FInterID=ICStockBill.FInterID

最终发现,老是在最终结果FEntrySelfD0170中出现多一位小数字,或者少一位

比如数值应该是6.2的,显示为6.2001,6.1的显示为6.1999

诸如此类

费了很大劲,找不到原因,后来通过实验,发现可能是在cast中的real导致出问题了

主要问题在于real是不够精确的数字,最后是改成这样子

update ICStockBillEntry set ICStockBillEntry.FEntrySelfD0170=cast(ICStockBillEntry.Fauxqty*ISNULL(cast(ICStockBill.FHeadSelfD0145 as decimal(28,10)),0) as decimal(28,10)) from ICStockBillEntry,ICStockBill where ICStockBillEntry.FInterID=ICStockBill.FInterID

貌似问题没了

FHeadSelfD0145一般是整数,但是由于real精度的问题,导致在计算中,可能出现一个不精确地数,问题应该应该就出在这里

后面再观察观察。。。

通过如下语句跟踪数值的变化

select cast(a.Fauxqty*ISNULL(cast(b.FHeadSelfD0145 as DECIMAL),0) as real),a.FEntrySelfD0170,a.* from ICStockBillEntry a left join ICStockBill b on a.FInterID=b.FInterID where 1=1 order by a.FInterID,a.FEntryID
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: