数値解析日記

数値解析関係のネタ帳。C++,pythonなど

2016-06-21から1日間の記事一覧

JuliaのFloatとRoundingの奇妙な挙動[追記]

JuliaのFloatとRoundingの奇妙な挙動 with_rounding(Float64, RoundNearest) do exp(-0.999) end 0.36824750461366296 with_rounding(Float64, RoundUp) do exp(-0.999) end 0.3682475046136629 with_rounding(Float64, RoundDown) do exp(-0.999) end 0.368…