EqualError.vi

 浮動小数点数の数値に対して,結果が非整数値になるような操作を行うと,2進数表現の誤差により一致判定が正しくできなくなります。

プローブに表示しても,表示桁数の関係でこの違いは見えず,デバッグでとまどいます。

浮動小数点数の扱えるプログラミング言語に慣れてしまうと,根本的な2進数表現の制限を忘れてしまいます。


フロントパネル

EqualError.vi


制御器と表示器

cdbl

数値

cブール

停止

iブール

0になった

iブール

1になった

ブロックダイアグラム

EqualError.vi


制御器/関数のヒントに戻る