Описание тега rounding-error
None Ошибки округления - это когда сохраненное число не совсем то, что ожидается
3
ответа
Десятичное число не округляется должным образом
У меня есть десятичная дробь под названием "сумма" и его значение 5824088.999120m, но когда я пытаюсь округлить его до 3 десятичных знаков, я получаю 5824088.998m вместо 5824088.999m, Это уменьшается вместо того, чтобы оставить 5824088.999m, Почему …
06 май '16 в 09:09
2
ответа
Проверьте, является ли переданный двойной аргумент "достаточно близким", чтобы считаться целым
Я работаю над кодом, в котором мне нужно проверить, приняла ли определенная переменная, которая может принимать двойное значение, целочисленное значение. Я считаю, что двойная переменная принимает целочисленное значение, если оно находится в предела…
06 ноя '14 в 11:25
0
ответов
Двойное десятичное округление в C++
Я беру в double и разделите его на 1000, а затем выведите на 5 десятичных знаков. Тем не менее, происходит округление, и я не уверен, как это сделать. double dbl1; cout << "Enter: "; cin >> dbl1; dbl1 = dbl1 / 1000; cout << "Out: "…
03 фев '18 в 08:15
1
ответ
Сводная функция Ошибка округления в r?
У меня есть 16968 строк данных (причины для точности будут объяснены ниже). Я проверяю, действительно ли текущая переменная (данные $Ob) считает каждую строку в последовательном порядке (данные первой строки $ Ob равны 1... данные последней строки $…
04 май '13 в 21:35
1
ответ
Версии функций R & C дают разные результаты - округление или ошибка оператора?
У меня есть блок кода R, который я переписал на C, и две версии дают разные результаты. Я считаю, что это связано с проблемами округления на уровне R, то есть выполняется несколько математических операций, которые создают сложные проблемы округления…
18 окт '11 в 15:24
2
ответа
Excel VBA округление с двойными
Я пытаюсь сделать очень точный расчет, используя двойные числа, которые относятся к ячейкам в моей рабочей таблице. В процессе тестирования я написал следующий код: Sub MacroTest() Dim opt As Worksheet Set opt = Sheets("Optimisation") Dim test As Do…
21 июл '16 в 11:41
3
ответа
Почему MidpointRounding.AwayFromZero и MidpointRounding.ToEven делают одно и то же?
Я столкнулся с довольно раздражающей проблемой. Допустим, у меня есть десятичное число 2,5, и я бы хотел, чтобы оно было округлено. Все мои исследования показали мне, что: Math.Round(2.5, 0, MidpointRounding.AwayFromZero) Даст мне желаемый результат…
18 янв '16 в 15:37
2
ответа
Максимально возможная ошибка округления при вычислении чисел с плавающей точкой
Я разрабатываю критичный ко времени алгоритм в Java и поэтому не использую BigDecimal, Для обработки ошибок округления я установил верхнюю границу ошибки, ниже которой разные числа с плавающей запятой считаются абсолютно одинаковыми. Теперь проблема…
17 июн '15 в 05:30
3
ответа
Проверка, является ли результат вычисления целым или десятичным
У меня есть эта формула Math.sqrt( 2 * Math.sqrt(m) + 1 / 4 ) - 1 / 2 в функции, где м является входом типа long,Мне нужно проверить, является ли результат этого выражения целым числом или десятичным, вернуть результат, если это целое число, или вер…
26 окт '17 в 14:05
0
ответов
Magento 1.9.1 Проблемы округления
Последние 2 недели я тратил, пытаясь решить проблемы с округлением моей установки magento, я уже искал в Google, я уже прочитал все сообщения здесь на stackru, но, похоже, ничего не помогло. Здесь происходит ошибка округления Как вы можете видеть на…
25 окт '16 в 22:20
1
ответ
R: Странный pdf квадратичной функции переменной N(0,1): неправильное кодирование или большая ошибка округления?
Я хотел бы рассчитать pdf случайной величины y, определяемой как: y=c+b*x+a*x^2 PDF является нецентральным распределением хи-квадрат. Для a>0 он должен быть равен нулю, если y меньше d, где d=c-(b^2)/4a. Как ни странно, при вычислении его с R, PDF-ф…
07 ноя '14 в 19:39
1
ответ
Matlab числовая ошибка и как получить правильный ответ
Я как-то получаю следующее выражение в Matlab (R2014a на W7, 64b) 1/1034591578977116160000*prod(1:19)*(29576428208904825-17729494921579950*k - 20479697577410832*k^2 + 13867226524449248*k^3 - 836937224095392*k^4 - 869194297188672*k^5 + 16371090223488…
28 ноя '14 в 12:10
1
ответ
Хаотический маятник, демонстрирующий хаотическое поведение с одинаковыми начальными условиями
Мой первый пост о переполнении стека, так что терпите меня. Я построил модель хаотического двойного маятника в python, используя физическую библиотеку pymunk, которая в свою очередь использует библиотеку C chipmunk. Маятник, будучи хаотичным, проявл…
14 апр '16 в 01:32
5
ответов
Python Десятичные числа
Я жду 0.5 округлить до 1, Кто-нибудь может объяснить, почему это округляется до 0 вместо? >>> from decimal import * >>> getcontext().prec = 0 >>> +Decimal(0.5) Decimal('0')
24 фев '12 в 16:06
3
ответа
Проблемы возведения в квадрат # в C
Я пытаюсь скомпилировать программу на C, чтобы вернуть квадрат числа, например 1^2=1, но программа компилируется без проблем и всегда возвращает значение 0. Что я сделал не так? #include <stdio.h> #include <math.h> int main(int argc, con…
24 сен '17 в 21:57
4
ответа
Ошибка округления в ASP (vbscript)
Я очень мало знаю об ASP или Vb Script. Я пытаюсь устранить ошибку, из-за которой процедура, написанная на классическом ASP, неожиданно округляется до меньшего числа ODD. Насколько я понимаю, Round() должен быть округлен до четного. Поскольку 720 * …
12 ноя '13 в 21:00
2
ответа
Ошибка округления в среднем
У меня есть некоторые проблемы с ошибками округления в C++. Если мне нужно вычислить среднее значение двух поплавков a а также bтогда почему так лучше делать a+0.5*(b-a) чем (a+b)/2? Я не могу понять, почему должны быть какие-то различия в двух спос…
12 фев '18 в 05:46
3
ответа
Javascript. Увеличение или уменьшение поплавка как можно меньше
В javascipt у меня есть av с плавающей точкой "а", как это: var a = 5.; Теперь я хочу новый номер "b", который чуть больше, чем "a". Я мог бы сделать это: var b = a + 1.e-10; Но что, если "а" действительно небольшое число? var a = 5.e-20; var b = a …
18 янв '18 в 21:18
1
ответ
Бухгалтерский формат иногда отображает $0.00, а другие - $
У меня есть сводная таблица в Excel, и сумма элементов должна равняться нулю. Вместо этого я получаю число очень, очень близко к нулю (-3.63797880709171E-12). Как отметил @Tim Williams в своем комментарии, это известный артефакт десятичных <-> двоич…
31 авг '12 в 21:19
1
ответ
Python: добавление элемента с плавающей точкой к массиву изменяет его точность, например, с 1.2 до 1.200000002
Я столкнулся с очень странной проблемой. Я пытаюсь создать функцию, которая возвращает массив значений, которые заключают диапазон с определенным размером шага (например, вы можете найти на оси графика). Вместо того, чтобы просто использовать np.ara…
24 янв '16 в 15:04