Описание тега decimal-precision
1
ответ
Округление числа Додзе И десятичные разряды для NumberTextBox / NumberSpinner
Я хотел бы, чтобы NumberSpinner и / или NumberTextBox могли выполнять две вещи: Показать значение с точностью до 1 десятичного знака. Округлите эти значения до .5 Я также хотел бы, чтобы округление происходило при наборе текста или как минимум, когд…
19 дек '15 в 18:55
4
ответа
Как выразить большие числа с двумя десятичными разрядами в C++ Calculator
Я пытаюсь написать калькулятор на C++, который выполняет основные функции /, *, - или + и показывает ответ с двумя десятичными знаками (с точностью до 0,01). Например 100.1 * 100.1 должен распечатать результат как 10020.01 но вместо этого я получаю …
25 апр '15 в 05:16
2
ответа
Двойная точность в linux с помощью fpu_control.h
Я пытаюсь портировать определенный кусок кода с Solaris на Linux. В ходе этого процесса я обнаружил, что точность в linux различна, и она в расширенной точности, и нам нужно явно установить двойную точность. Для этого найдена библиотека fpu_control.…
14 июл '17 в 10:14
0
ответов
Десятичная точность при передаче данных между SQL Server и MySQL
Я установил связанный сервер в Microsoft SQL Server. Связанный сервер указывает на базу данных MySQL. Я пытаюсь выбрать данные из SQL Server и вставить их в базу данных MySQL. У меня есть следующий запрос на передачу информации о ценах с SQL Server …
24 авг '17 в 23:55
3
ответа
Как я могу получить рассчитанное в процентах значение SQL Server для отображения только двух десятичных знаков?
У меня есть этот TSQL: CREATE TABLE #TEMPCOMBINED( DESCRIPTION VARCHAR(200), WEEK1USAGE DECIMAL(18,2), WEEK2USAGE DECIMAL(18,2), USAGEVARIANCE AS WEEK2USAGE - WEEK1USAGE, WEEK1PRICE DECIMAL(18,2), WEEK2PRICE DECIMAL(18,2), PRICEVARIANCE AS WEEK2PRIC…
18 янв '16 в 17:59
2
ответа
Десятичная точность Odoo на основе единиц измерения
У кого-нибудь есть идея, как установить десятичную точность продукта на основе единицы измерения, по которой он продается. Например, продукт X, продаваемый в килограммах, имеет десятичную точность 3 => Кол-во: 10.000 кг. Продукт Y, продаваемый в еди…
15 янв '18 в 14:18
1
ответ
Точность расчета SQL
Может ли кто-нибудь объяснить поведение этого запроса: SELECT 0.1 + 0.01, '', (CAST(0.1 AS numeric(18,1)))+(CAST(0.01 AS numeric (18,2))), 0.1 + (CAST(0.01 AS numeric (18,2))), (CAST(0.1 AS numeric(18,1)))+ 0.01, '', (CAST(0.1 AS numeric(38,1)))+(CA…
08 мар '17 в 17:35
3
ответа
Как я могу получить не больше и не меньше двух знаков после запятой в десятичном значении?
С этим кодом: totalPriceCell.Value2 = TotalPrice; ... Я получал значения, такие как "3.14963245", которые я хочу вместо "3.15". Поэтому я использовал этот код: totalPriceCell.Value2 = TotalPrice.ToString("#.##"); ... и это решило эту проблему, но я …
20 окт '16 в 20:54
1
ответ
Панды транспонируют сбрасывает десятичное округление
Я тщательно определяю десятичные точки по столбцам в большой таблице результатов, но когда я переставляю их так, чтобы они могли поместиться на странице в моем отчете (используя .to_latex), панды устанавливают десятичные дроби, чтобы наибольшее числ…
20 дек '17 в 13:31
2
ответа
Подсчитайте масштаб данного десятичного знака
Как я могу посчитать масштаб данного десятичного знака в Powershell? $a = 0.0001 $b = 0.000001 Кастинг $a к строке и возвращение $a.Length дает результат 6... мне нужно 4. Я думал, что будет десятичная или математическая функция, но я ее не нашел, и…
29 окт '19 в 23:37
1
ответ
Почему decimal.getcontext(). Prec=3 не работает для decimal.Decimal(1.234)
Почему не decimal.getcontext(). Prec для decimal.Decimal(x)? Это дает длинное десятичное значение: >>>decimal.getcontext().prec = 3 >>>decimal.Decimal(2.345) Decimal('2.345000000000000195399252334027551114559173583984375')
09 ноя '19 в 19:54
2
ответа
Форматирование 0 для включения десятичных знаков с использованием DecimalFormat
import java.math.BigDecimal; import java.text.DecimalFormat; public class HelloWorld{ public static void main(String []args){ DecimalFormat df = new DecimalFormat("#.##"); System.out.println("two decimals: " + new BigDecimal(df.format(123.435435))) …
28 мар '20 в 08:12
0
ответов
Показать среднее значение с двумя десятичными знаками
Моя проблема в следующем: когда я использую get_summary_stats(), я хотел бы видеть 2 десятичных знака после запятой. Я не знаю, почему я вижу их для SD, но в среднем я получаю только 1 десятичный знак. Это происходит с функциями get_summary_stats() …
03 сен '20 в 16:36
2
ответа
Найдите десятичную дробь с точностью до 2 с помощью шаблона да | нет шаблона
Может кто-нибудь указать на ошибку, которую я делаю, почему 123 здесь не совпадает? def is_decimal(num): import re pattern = re.compile(r"(\b\d+\.)(?(1)\d{1,2}\b|\d+)") result = pattern.search(num) return bool(result) print(is_decimal('123…
20 сен '20 в 19:37
1
ответ
Десятичная точность в символьном поле потеряна при вводе
Я пытаюсь преобразовать символьную переменную, содержащую число, в числовую переменную без потери десятичной точности. Вот пример вывода: data _null_; format res 20.17; res = input("54.78566360473633",20.17); put res; run; и результат: 54.…
12 ноя '20 в 19:20
0
ответов
Как заставить Графану показывать гПа
У меня есть InfluxDB с измерениями давления воздуха, и я показываю их как визуализацию графика в Grafana. Ось Y показывает значения. Как 101,4 кПа (килопаскаль) Что я хочу: ось y должна отображать обычную единицу гПа (гектопаскаль) Как я могу этого …
16 ноя '20 в 11:11
2
ответа
Как сохранить десятичное значение до 2 знаков после запятой в другой переменной в C?
Предположим, что a = 3,91900007534. В языке C я хочу сохранить значение переменной 'a' в другой переменной 'r' с точностью до двух десятичных знаков, так что r = 3,92. Обратите внимание, что я не хочу печатать значение с точностью до двух десятичных…
25 фев '21 в 19:15
1
ответ
двойная перегрузка sin () и cos () не поддерживают 15-значную десятичную точность
Используя эту ссылку в качестве руководства, https://www.geeksforgeeks.org/difference-float-double-c-cpp/#:~:text=double%20is%20a%2064%20bit,15%20decimal%20digits%20of % 20precision. double - это 64-битное число с плавающей запятой двойной точности …
16 май '21 в 08:15
3
ответа
Вычислить количество десятичных знаков строкового значения в C#
У меня есть программа на C#, которая выводит значения различных полей. В зависимости от поля десятичная точность составляет 2, 4 или 5 знаков после запятой. Как это проверить? Я думаю, мне нужно создать какой-то метод, который принимает значение пол…
17 авг '21 в 09:52
0
ответов
Деление (Transact-SQL) и приоритет типов данных с десятичным (38, 10) знаменателем типа данных
Согласно документации тип результата связан с / (Division) (Transact-SQL)приоритетом типа данных , при этом в следующем сценарии есть ли способ получить тип результата как decimal(38, 10)? Результат расчета теряет точность... Точный результат должен…
05 дек '22 в 16:27