Какой-нибудь критерий для оценки эффективности рассуждения тройного магазина?
Кто-нибудь знает эталонный тест для оценки производительности тройного магазина? Я использую Stardog, который использует Pellet в качестве движка логики, и ищу эталон для оценки эффективности логики.
Если нет, то любое предложение относительно того, как сделать оценку, приветствуется.
Благодарю.
1 ответ
LUBM, пожалуй, самый стандартный тест. LDBC проделывает некоторую работу над эталоном рассуждения, но, на последний взгляд, он не был хорошо продуман и все еще находится на ранних стадиях.
Как и во всех тестах, будьте осторожны, чрезмерно полагаясь на результаты тестов. Все, что вам действительно говорит, это то, что конкретная система хороша в этом тесте. Как правило, это может указывать на производительность, а может и нет. Если вы не пытаетесь создать что-то на основе эталонного теста, вам следует подумать о том, как создать эталонный тест с вашими собственными данными и запросами, чтобы они отражали ваши собственные, реальные случаи использования.
Вам также следует помнить о характеристиках различных реализаций рассуждений, в частности о последствиях материализации и переписывания запросов, и учитывать это при интерпретации ваших результатов.