Описание тега floating-accuracy
По поводу точности операций над числами с плавающей запятой.
2
ответа
Разница между двойным значением в Oracle и Java (IEEE 754)
BINARY_DOUBLE в Oracle и Double в Java используют стандарт IEEE 754. Но есть разница в их точности. Например значение: 456.67d Oracle: declare a BINARY_DOUBLE := 456.67d; begin SYS.DBMS_OUTPUT.PUT_Line(TO_CHAR(a,'9.99999999999999999999EEEE')); end; …
21 апр '17 в 10:04
3
ответа
C++ sqrt гарантированная точность, верхняя / нижняя граница
Я должен проверить неравенство, содержащее квадратные корни. Чтобы избежать неверных результатов из-за неточностей с плавающей точкой и округления, я использую std::nextafter() чтобы получить верхнюю / нижнюю границу: #include <cfloat> // DBL_…
25 авг '15 в 15:25
2
ответа
Различные результаты для пола (a, b) и a // b
--this function isn't relevant, but I included it for completeness function gcd(a, b) local temp while b > 0 do temp = a % b a = b b = temp end return a end function extendedgcd(a, b) if b == 0 then return 1, 0, a end local x, y, d = extendedgcd(…
22 июл '18 в 00:14
11
ответов
1,265 * 10000 = 126499,99999999999?
Когда я умножаю 1.265 на 10000, я получаю 126499.99999999999 при использовании Javascript. Почему это так?
08 июн '09 в 08:17
0
ответов
Python, имеющий проблемы с большими числами, используемыми в качестве идентификаторов
Я составляю сценарий для анализа кампаний и составления отчетов. Я строю это на python, чтобы облегчить это в следующий раз. Я сталкиваюсь с проблемами с идентификаторами, связанными с моими данными, они по сути очень большие числа (без строк, без с…
31 июл '18 в 18:00
3
ответа
Исчерпывающая точность с плавающей точкой в (казалось бы) бесконечном цикле
У меня есть следующий скрипт Python: x = 300000000.0 while (x < x + x): x = x + x print "exec: " + str(x) print "terminated" + str(x) Этот, казалось бы, бесконечный цикл завершается довольно быстро, если x является числом с плавающей запятой. Но …
02 май '12 в 13:41
2
ответа
Точность ниже 50% для бинарной классификации
Я тренирую наивный байесовский классификатор на сбалансированном наборе данных с равным количеством положительных и отрицательных примеров. Во время тестирования я поочередно вычисляю точность для примеров в положительном классе, отрицательном класс…
03 май '18 в 14:33
1
ответ
Преобразование INT8...INT64, UINT8...UINT64,float, double, в WCHAR*
Я использую C/C++, есть ли какие-либо функции Windows, или какие-либо очень быстрые способы конвертировать из любого из типов в заголовке в const WCHAR*? Таким образом, у меня есть большой случай, когда я проверяю свои данные, какого они типа, после…
30 ноя '16 в 17:52
4
ответа
Исправлена ошибка точности поплавка без BigDecimal
У меня проблема с округлением значения с плавающей запятой. Следующий код дает мне следующий результат: public class ProductOrder { public static void main(String[] args) { int q = 48; float p = 6.95f; System.out.println(q * p); } ------ Output: 333…
05 авг '13 в 18:52
0
ответов
Почему 0,1 + 0,2 == 0,3 в C#, когда использовать тип с плавающей точкой
Во многих языках программирования такие операции, как 0,1 + 0,2, не будут равны 0,3, а скорее 0,30000000000000004. И, таким образом, проверки типа 0.1+0.2 == 0.3 вернут ложь. Насколько мне известно, это связано со стандартом IEE 754, и поэтому он ра…
18 май '16 в 15:19
1
ответ
В чем разница между Math.pow(9, 18) и 9^18
Когда я использую Math.pow(9, 18) =150094635296999136 когда я использую веб-калькулятор 9 ^ 18 = 150094635296999121 ( http://web2.0calc.com/) когда я использую калькулятор Google 9^18 = 1.50094635 × 10^17 почему это отличается?
02 июн '11 в 05:21
3
ответа
Лучший способ обработки десятичной точки с фиксированной точкой / разрешением в Ruby on Rails
Поэтому я создаю приложение для отслеживания времени с использованием Ruby On Rails и сохраняю время как число, представляющее часы. Поскольку значение, превышающее 0,01 (36 секунд) часов, не имеет значения, мне нужно только 2 десятичных знака. Я ис…
14 июн '11 в 15:33
0
ответов
Точная обработка десятичных чисел в JavaScript с помощью Google Closure Compiler & Library
Я 6 месяцев в проекте с использованием библиотеки закрытия Google и компилятора. Я нахожу, что хотел бы более точную обработку десятичных чисел (обработку некоторых простых валютных расчетов), одной из распространенных проблем, с которыми я сталкива…
26 авг '15 в 05:18
2
ответа
Расчет среднего гармонического и точность с плавающей точкой
Я внедряю пифагорейские средние в PHP, арифметические и геометрические средние несложны, но мне действительно трудно придумать надежную реализацию гармонического среднего . Это определение WolframAlpha: И это эквивалентная реализация в PHP: function…
04 май '12 в 03:59
1
ответ
Точность данных в Stata
Это тривиальная проблема, и я просто хотел узнать, что здесь происходит. Ниже приведены примеры данных, для которых я пытаюсь найти строку max в stata x1 x2 x2 70001102 70001102 70001102 70001102 70001102 70001102 Теперь я использовал следующий код,…
04 апр '13 в 22:06
6
ответов
Плавать, чтобы удвоить назначение
Рассмотрим следующий фрагмент кода float num = 281.583f; int amount = (int) Math.round(num*100f); float rounded = amount/100.0f; double dblPrecision = rounded; double dblPrecision2 = num; System.out.println("num : " + num + " amount: " + amount + " …
11 ноя '10 в 12:36
1
ответ
Преобразование длинных двойных в двойные с округлением вверх (или вниз)
Предположим, что мы работаем на платформе, где тип long double имеет строго большую точность, чем 64 бита. Какой самый быстрый способ конвертировать данный long double к обычному числу двойной точности с некоторым заданным округлением (вверх, вниз, …
25 ноя '14 в 02:50
2
ответа
Perl по модулю операторский вопрос
Почему первый пример выводит неверный результат? perl -le 'print $x = 100*1.15 % 5' 4 perl -le 'print $x = 1000*1.15 % 5' 0
26 июл '10 в 14:15
1
ответ
Есть ли способ показать меньше десятичных знаков, чем указанная точность в представлениях Odoo 8?
Я пытаюсь управлять следующим поведением в Odoo 8: Установите цену продукта 5 десятичных знаков. Для этого я установил десятичную точность цены продукта на 5. В sale.order просмотреть, показать только 3 знака после запятой, но вычислить промежуточны…
31 мар '17 в 10:15
1
ответ
Float не конвертируется правильно
Я работаю над программой, которая будет конвертировать из долларов в центы. Я принимаю пользовательский ввод в виде числа с плавающей запятой, используя предопределенную функцию, затем пытаюсь умножить это число на 100, но это дает мне неправильное …
25 июн '15 в 11:42