NO.10393667
基本情報技術者試験対策（午前・午後）
-
18 名前：資格試験受験馬鹿一台：2006/02/24 11:58
-
問１７．
10進数0.1を2進数に基数変換し、小数点以下第5位までを近似値とする（第6位以降は切り捨て）。このとき、丸め誤差は10進数でいくつになるか。
ア 0.00234375
イ 0.00375
ウ 0.00625
エ 0.00728345
ウ
10進数0.1を2進数に基数変換すると0.000110011…となり、小数点以下第5位までを近似値とすると0.00011となる。これを10進数に変換すると、
2~(-4)+2~(-5)=0.0625+0.03125=0.09375
となり、真値である0.1との誤差は
0.1-0.09375=0.00625
となる。