BSpline в сочетании с явным и внешним кодом ведет себя по-разному

Question

Ниже приведен пример кода, в котором BSplineComp комбинируется с ExplicitComp или ExternalCodeComp. Оба из этих двух делают тот же самый расчет, и оба из градиентов компонентов вычисляются, используя конечную разность.

Если я запускаю версию Bspline+ExplicitComp, результат достигается за 2,3 итерации. Если я использую версию Bspline+ExternalCodeComp, мне придется много ждать. В этом случае он пытается найти градиент выхода по отношению к каждому входу. Так, например, есть 9 контрольных точек, которые интерполируются до 70 точек в компоненте bspline. Затем внешний компонент должен оцениваться столько же, сколько интерполированные точки (70 раз).

Таким образом, в случае, когда bspline комбинируется с дорогостоящим внешним кодом, для конечной разницы требуется столько же точек, сколько он интерполирован, и это становится узким местом вычисления.

Исходя из этого, у меня есть два вопроса

1- Если внешний компонент кода основан на явном компоненте, что является основным отличием, которое вызывает различия в поведении? (учитывая, что оба имеют вход формы = 70)

2- В ранее упомянутом scneario, где bspline сочетается с дорогостоящим внешним кодом, был бы более эффективный способ их объединения, кроме того, как это показано здесь.

ГЛАВНЫЙ КОД: переменная 'external' - это флаг переключения внешнего / явного кода на comp. установите значение true/false для запуска двух случаев, описанных выше.

from openmdao.components.bsplines_comp import BsplinesComp
from openmdao.api import  IndepVarComp, Problem, ExplicitComponent,ExecComp,ExternalCodeComp
from openmdao.api import  ScipyOptimizeDriver, SqliteRecorder, CaseReader
import matplotlib.pyplot as plt
import  numpy as np

external=True # change this to true for the case with external code comp. or false for the case with explicit comp.  

rr=np.arange(0,70,1)
"Explicit component for the area under the line calculation" 
class AreaComp(ExplicitComponent):
    def initialize(self):
        self.options.declare('lenrr', int)        
        self.options.declare('rr', types=np.ndarray)        
    def setup(self):        
        self.add_input('h', shape=lenrr)
        self.add_output('area')
        self.declare_partials(of='area', wrt='h', method='fd')
    def compute(self, inputs, outputs):
        rr = self.options['rr']        
        outputs['area'] = np.trapz(rr,inputs['h'])          

class ExternalAreaComp(ExternalCodeComp):
    def setup(self):
        self.add_input('h', shape=70)
        self.add_output('area')

        self.input_file = 'paraboloid_input.dat'
        self.output_file = 'paraboloid_output.dat'

        # providing these is optional; the component will verify that any input
        # files exist before execution and that the output files exist after.
        self.options['external_input_files'] = [self.input_file]
        self.options['external_output_files'] = [self.output_file]

        self.options['command'] = [
            'python', 'extcode_paraboloid.py', self.input_file, self.output_file
        ]

        # this external code does not provide derivatives, use finite difference
        self.declare_partials(of='*', wrt='*', method='fd')

    def compute(self, inputs, outputs):
        h = inputs['h']

        # generate the input file for the paraboloid external code
        np.savetxt(self.input_file,h)
        # the parent compute function actually runs the external code
        super(ExternalAreaComp, self).compute(inputs, outputs)

        # parse the output file from the external code and set the value of f_xy
        f_xy=np.load('a.npy')

        outputs['area'] = f_xy


prob  = Problem()
model = prob.model

n_cp = 9
lenrr = len(rr)
"Initialize the design variables"
x = np.random.rand(n_cp)

model.add_subsystem('px', IndepVarComp('x', val=x))
model.add_subsystem('interp', BsplinesComp(num_control_points=n_cp,
                                           num_points=lenrr,
                                           in_name='h_cp',
                                           out_name='h'))

if external:
    comp=ExternalAreaComp()
    model.add_subsystem('AreaComp', comp)
else:
    comp = AreaComp(lenrr=lenrr, rr=rr)
    model.add_subsystem('AreaComp', comp)

case_recorder_filename2 = 'cases4.sql'
recorder2 = SqliteRecorder(case_recorder_filename2)
comp.add_recorder(recorder2)
comp.recording_options['record_outputs']=True
comp.recording_options['record_inputs']=True


model.connect('px.x', 'interp.h_cp')
model.connect('interp.h', 'AreaComp.h')
model.add_constraint('interp.h', lower=0.9, upper=1, indices=[0])

prob.driver = ScipyOptimizeDriver()
prob.driver.options['optimizer'] = 'SLSQP'
prob.driver.options['disp'] = True
#prob.driver.options['optimizer'] = 'COBYLA'
#prob.driver.options['disp'] = True

prob.driver.options['tol'] = 1e-9

model.add_design_var('px.x', lower=1,upper=10)
model.add_objective('AreaComp.area',scaler=1)

prob.setup(check=True)
#prob.run_model()
prob.run_driver()
cr = CaseReader(case_recorder_filename2)

case_keys = cr.system_cases.list_cases()
cou=-1
for case_key in case_keys:
    cou=cou+1
    case = cr.system_cases.get_case(case_key)
    plt.plot(rr,case.inputs['h'],'-*')

Внешний код extcode_paraboloid.py ниже

import numpy as np
if __name__ == '__main__':
    import sys

    input_filename = sys.argv[1]
    output_filename = sys.argv[2]

    h=np.loadtxt(input_filename)
    rr=np.arange(0,70,1)

    rk= np.trapz(rr,h)          
    np.save('a',np.array(rk))

Answer 1

В обоих случаях ваш код выполняется за 3 итерации. Время простоя для внешнего кода намного дольше просто из-за стоимости file-io плюс требования делать системный вызов для создания нового процесса каждый раз, когда вызывается ваша функция. Да, системные вызовы стоят дорого, и файловый ввод / вывод тоже не дешев. Если у вас есть более дорогостоящий анализ, это не имеет большого значения, но вы можете понять, почему его следует избегать, если это вообще возможно.

В этом случае вы можете уменьшить стоимость FD. Поскольку у вас есть только 9 переменных bspline, вы правильно поняли, что можете выполнить гораздо меньше шагов FD. Вы хотите использовать функцию приблизительной полу-полной производной в OpenMDAO v2.4, чтобы настроить FD для всей группы, а не для каждого отдельного компонента.

Это так просто:

.
. 
. 

if external:
    comp=ExternalAreaComp()
    model.add_subsystem('AreaComp', comp)
else:
    comp = AreaComp(lenrr=lenrr, rr=rr)
    model.add_subsystem('AreaComp', comp)

model.approx_totals()

.
. 
.