Как предотвратить титан генерировать дубликаты записей с одинаковым свойством?

Question

У меня есть приложение spark, которое вставляет данные в титан с гоблином. но он вставляет повторяющиеся вершины с тем же именем. условие теста "если не результат:" не совпадает, и я нахожусь в том же сеансе.

def savePartition(p):
    print ('savePartition', p)
    from goblin import element, properties

    class Brand(element.Vertex):
        name = properties.Property(properties.String)

    import asyncio

    loop = asyncio.get_event_loop()

    from goblin.app import Goblin
    app = loop.run_until_complete(Goblin.open(loop))
    app.register(Brand)

    async def go(app):
        session = await app.session()

        for i in p:
            if i['brand']:
                traversal = session.traversal(Brand)
                result = await traversal.has(Brand.name, i['brand']).oneOrNone()

                if not result:  # TODO: Remove Duplicates
                    print(i)
                    brand = Brand()
                    brand.name = i['brand']
                    session.add(brand)
                    session.flush()

        await app.close()

    loop.run_until_complete(go(app))

rdd = rdd.foreachPartition(savePartition)

как это исправить? большое спасибо.

Answer 1

Я не уверен, как это будет работать с Goblin, но если вы хотите, чтобы Titan предотвращал дублирование на основе свойства вершины, вы можете просто использовать составные индексы Titan и указать, что они должны быть уникальными. Например, вы можете сделать следующее:

mgmt = graph.openManagement()
name = mgmt.makePropertyKey('name').dataType(String.class).make()
mgmt.buildIndex('byNameUnique', Vertex.class).addKey(name).unique().buildCompositeIndex()
mgmt.commit()

Выше будет указано, что name свойство на вершинах должно быть уникальным.