Описание тега floating-point-precision
Anything related to the precision of a floating-point number representation. The term precision refers to the number of significant digits a representation can hold. This is NOT the same as the "accuracy", which concerns errors in performing calculations, although it may be sometimes related.
3
ответа
Исчерпывающая точность с плавающей точкой в (казалось бы) бесконечном цикле
У меня есть следующий скрипт Python: x = 300000000.0 while (x < x + x): x = x + x print "exec: " + str(x) print "terminated" + str(x) Этот, казалось бы, бесконечный цикл завершается довольно быстро, если x является числом с плавающей запятой. Но …
02 май '12 в 13:41
4
ответа
Исправлена ошибка точности поплавка без BigDecimal
У меня проблема с округлением значения с плавающей запятой. Следующий код дает мне следующий результат: public class ProductOrder { public static void main(String[] args) { int q = 48; float p = 6.95f; System.out.println(q * p); } ------ Output: 333…
05 авг '13 в 18:52
1
ответ
Почему проблемы точности в числе с плавающей запятой варьируются в зависимости от значений?
Мне было интересно, почему проблемы точности в числах с плавающей запятой различаются при разных значениях: #include <iostream> #include <iomanip> int main () { std::cout << std::setprecision(20); double d1(1.0); std::cout <<…
15 июл '15 в 05:15
1
ответ
OpenSURF другой вывод с одним и тем же изображением при запуске из Visual Studio или непосредственно из.EXE
Я разработал приложение для распознавания объектов, используя реализацию алгоритма SURF Криса Эванса OpenSURF. Я делаю некоторые эксперименты, и я только что понял, что алгоритм не работает хорошо, если я запускаю приложение через IDE или напрямую с…
06 мар '12 в 16:31
1
ответ
Точность данных в Stata
Это тривиальная проблема, и я просто хотел узнать, что здесь происходит. Ниже приведены примеры данных, для которых я пытаюсь найти строку max в stata x1 x2 x2 70001102 70001102 70001102 70001102 70001102 70001102 Теперь я использовал следующий код,…
04 апр '13 в 22:06
2
ответа
Почему MySQL Round плавает намного больше, чем ожидалось?
UPDATE some_table SET some_float_field=1919.987 WHERE id=123 SELECT * FROM some_table WHERE id=123 где some_float_field - это поле, определенное как "float" (без каких-либо конкретных значений размера). Ожидаемое итоговое значение будет 1919,987; вм…
16 апр '14 в 21:34
1
ответ
Преобразование длинных двойных в двойные с округлением вверх (или вниз)
Предположим, что мы работаем на платформе, где тип long double имеет строго большую точность, чем 64 бита. Какой самый быстрый способ конвертировать данный long double к обычному числу двойной точности с некоторым заданным округлением (вверх, вниз, …
25 ноя '14 в 02:50
0
ответов
Установка точности чисел с плавающей запятой одинаковой при записи и чтении в двоичных файлах
У меня есть код, который записывает числа с плавающей точкой, получая в режиме реального времени с компьютера и копировать в двоичный файл. WriteToFile(float* buffer, int bufSize ) { ofstream out; out.open(m_fileName, ios::app); if (out ) { cout<…
26 май '14 в 20:50
2
ответа
Как считать десятичные разряды с плавающей точкой?
Я хочу проверить, имеет ли float32 два десятичных знака или нет. Мой способ JavaScript сделать это будет выглядеть так: step := 0.01 value := 9.99 if int(value/step) % 1 == 0 { printf("has two decimal places!") } Приведенный выше пример также работа…
20 июл '14 в 16:03
2
ответа
У числа с плавающей запятой должно быть 5 ведущих чисел и не должно быть десятичных
Мне нужно преобразовать введенный пользователем float в 5-значное число, которое не имеет десятичных дробей, чтобы вычислить мантиссу и экспоненту float Пример:- Ввод: 12 Мантисса: 12000 Экспонента: -3 но я могу только найти информацию о math.frexp(…
08 ноя '13 в 04:17
0
ответов
Неожиданный вывод в R с оператором модуля
((10*(7655.7-7652.3))%/%(2)) [1] 16 ((10*(655.7-652.3))%/%(2)) [1] 17 ((10*(7655.7-7652.3))%/%(2)) [1] 16 ((10*(8655.7-8652.3))%/%(2)) [1] 17 ((10*(9655.7-9652.3))%/%(2)) [1] 17 ((10*(7655.7-7652.3))%/%(2)) [1] 16 %/% Оператор дает частное, так поче…
19 ноя '14 в 08:47
4
ответа
Python: найти индекс минимального элемента в списке чисел
Как я могу найти индекс минимального элемента в списке чисел Python? Если бы они были целыми числами, я бы просто сделал: minIndex = myList.index(min(myList)) Тем не менее, со списком чисел с плавающей точкой я получаю следующую ошибку, я полагаю, п…
09 ноя '12 в 01:45
1
ответ
Matlab: потеря точности в расчетах. Возможно ли масштабирование переменных?
Сегодня я столкнулся с проблемой точности в Matlab: Tp = a./(3600*sqrt(g)*sqrt(K).*u.*Sd*sqrt(bB)) где а = 346751.503002533 г = 9.81 bB = 2000 Sd = 749.158805838953 848.621203222693 282.57250570754 1.69002068665559 529.068503515487 ты = 0.3085000000…
28 апр '13 в 11:00
1
ответ
Точность с плавающей точкой в сборке MIPS
Я написал два файла кода в сборке MIPS для выражения ниже: R(n) = (от i до n) SUM { (i+2)/(i+1- 1/i) - i/(i+ 1/i) } Один код вычисляет все выражение R(n) как суммирование и выдает результат. Второй код сначала вычисляет первое слагаемое, т.е. (i + 2…
17 мар '14 в 10:20
1
ответ
Почему деление с плавающей точкой не является точным в компьютерах?
В интернете много объяснений и ресурсов. некоторые из них mumbo-jumbo, некоторые из них несколько ясны, говоря, что это из-за того, что FPU работает по-другому и т. д., но ясного и короткого ответа не показано, хотя... кто-нибудь может объяснить на …
29 июл '15 в 07:03
1
ответ
№ 622.08E6 интерпретация в C
Я недавно наткнулся на код C (работает кстати), где я нашел freq_xtal = ((622.08E6 * vcxo_reg_val->hiv * vcxo_reg_val->n1)/(temp_rfreq)); Из моей интуиции кажется, что 622.08E6 должно означать 622.08 x 10^6. Это предположение верно? Я пробовал…
05 ноя '13 в 03:42
1
ответ
C# точность плавания
Может кто-нибудь, пожалуйста, объясните мне, что здесь происходит: using System; using System.Text; namespace ConsoleApplication1 { class Program { static void Main(string[] args) { object o = 1000000.123f; float f= Convert.ToSingle(o); double d = C…
10 фев '14 в 21:05
1
ответ
Почему PHP "округляется" таким странным образом?
У меня действительно странная проблема. По сути, я прошу, чтобы php сделал простое умножение числа с плавающей запятой, но он не работает так, как мне бы хотелось: Я имею: $carrier_tax = float(20) $shipping_cost = float(48) И я делаю: $shipping_cost…
05 фев '14 в 16:33
2
ответа
Примеры преобразования MIL-STD-1750A в десятичное
Я смотрю на некоторые примеры на веб-странице формата 1750A, и некоторые примеры на самом деле не имеют смысла. Я включил спецификацию формата 1750A внизу этого поста на случай, если кто-то не знаком с ней. Возьмите этот пример из таблицы 3 веб-стра…
30 янв '13 в 18:46
1
ответ
Крошечная числовая разница в сумме квадратов в зависимости от использованного вызова процедуры
Я пишу функцию, которая вычисляет сумму квадратов ошибок. x а также y являются векторами одинаковой длины; y это данные наблюдений, x это данные, рассчитанные по моей модели. Код похож на: >> res = y.ravel() - x.ravel() >> np.dot(res.T, …
29 май '15 в 14:17