Экспорт результатов Python-Scopus API в CSV

Question

Я очень плохо знаком с Python, поэтому не уверен, что это можно сделать, но я надеюсь, что это возможно!

Я получил доступ к API Scopus и смог запустить поисковый запрос, который дает мне следующие результаты в кадре данных pandas:

                                                            search-results
entry                    [{'@_fa': 'true', 'affiliation': [{'@_fa': 'tr...
link                     [{'@_fa': 'true', '@ref': 'self', '@type': 'ap...
opensearch:Query         {'@role': 'request', '@searchTerms': 'AFFIL(un...
opensearch:itemsPerPage                                                200
opensearch:startIndex                                                    0
opensearch:totalResults                                             106652

Если возможно, я бы хотел экспортировать результаты 106652 в файл CSV, чтобы их можно было проанализировать. Это вообще возможно?

Answer 1

Сначала нужно получить все результаты (см. комментарии под вопросом). Данные, которые вам нужны (результаты поиска) находятся внутри списка "записей". Вы можете извлечь этот список и добавить его в список поддержки, повторяя до тех пор, пока не получите все результаты. Здесь я зацикливаюсь и в каждом раунде вычитаю загруженные элементы (количество) из общего количества результатов.

        found_items_num = 1
        start_item = 0
        items_per_query = 25
        max_items = 2000
        JSON = []

        print ('GET data from Search API...')

        while found_items_num > 0:

            resp = requests.get(self._url,
                                headers={'Accept': 'application/json', 'X-ELS-APIKey': MY_API_KEY},
                                params={'query': query, 'view': view, 'count': items_per_query,
                                        'start': start_item})

            print ('Current query url:\n\t{}\n'.format(resp.url))

            if resp.status_code != 200:
                # error
                raise Exception('ScopusSearchApi status {0}, JSON dump:\n{1}\n'.format(resp.status_code, resp.json()))

            # we set found_items_num=1 at initialization, on the first call it has to be set to the actual value
            if found_items_num == 1:
                found_items_num = int(resp.json().get('search-results').get('opensearch:totalResults'))
                print ('GET returned {} articles.'.format(found_items_num))

            if found_items_num == 0:
                pass
            else:
                # write fetched JSON data to a file.
                out_file = os.path.join(str(start_item) + '.json')

                with open(out_file, 'w') as f:
                    json.dump(resp.json(), f, indent=4)
                    f.close()

                # check if results number exceed the given limit
                if found_items_num > max_items:
                    print('WARNING: too many results, truncating to {}'.format(max_items))
                    found_items_num = max_items



                # check if returned some result
                if 'entry' in resp.json().get('search-results', []):
                    # combine entries to make a single JSON
                    JSON += resp.json()['search-results']['entry']
            # set counters for the next cycle
            self._found_items_num -= self._items_per_query
            self._start_item += self._items_per_query
            print ('Still {} results to be downloaded'.format(self._found_items_num if self._found_items_num > 0 else 0))

        # end while - finished downloading JSON data

затем, вне времени, вы можете сохранить весь файл, как это...

out_file = os.path.join('articles.json')
        with open(out_file, 'w') as f:
            json.dump(JSON, f, indent=4)
            f.close()

или вы можете следовать этому руководству, которое я нашел в Интернете(не проверено, вы можете выполнить поиск 'json to cvs python' и получите много руководств), чтобы преобразовать данные json в csv