Извлекайте и анализируйте кадры при записи с помощью PiCamera, OpenCV

Question

Я транслирую видео с моего raspberryPi с помощью piCamera в веб-сокет, чтобы я мог просматривать его в своей локальной сети.

Я хочу создать свой собственный сценарий обнаружения движения с нуля, поэтому я хочу получить первое изображение из видеопотока (который будет простым фоном), а затем сравнить его с функцией, следующие кадры к первому, чтобы проверить, есть ли что-то изменилось (я написал эти функции отдельно), я не особо беспокоюсь об эффективности здесь.

ОСНОВНАЯ ПРОБЛЕМА: я хочу получить данные из этих кадров в объекте BytesIO, а затем преобразовать их в массив 2D numpy в черно-белом режиме, чтобы я мог выполнять операции. И все это при сохранении потока (на самом деле я уменьшил частоту кадров до 4 в секунду, чтобы он работал быстрее на моем компьютере).

ПРОБЛЕМА, СВЯЗАННАЯ С СЛЕДУЮЩИМ КОДОМ: Одна часть проблемы, которую я определил, заключается в том, что числа не соответствуют действительности. В моих настройках моя камера должна иметь разрешение около 640*480 (= 307200 данных пикселей массива длины в черно-белом режиме), тогда как мои вычисления в len() возвращают менее 100 тыс. Пикселей.

    def main():
    print('Initializing camera')
    base_image = io.BytesIO()
    image_captured = io.BytesIO()
    with picamera.PiCamera() as camera:
        camera.resolution = (WIDTH, HEIGHT)
        camera.framerate = FRAMERATE
        camera.vflip = VFLIP # flips image rightside up, as needed
        camera.hflip = HFLIP # flips image left-right, as needed
        sleep(1) # camera warm-up time
        print('Initializing websockets server on port %d' % WS_PORT)
        WebSocketWSGIHandler.http_version = '1.1'
        websocket_server = make_server(
            '', WS_PORT,
            server_class=WSGIServer,
            handler_class=WebSocketWSGIRequestHandler,
            app=WebSocketWSGIApplication(handler_cls=StreamingWebSocket))
        websocket_server.initialize_websockets_manager()
        websocket_thread = Thread(target=websocket_server.serve_forever)
        print('Initializing HTTP server on port %d' % HTTP_PORT)
        http_server = StreamingHttpServer()
        http_thread = Thread(target=http_server.serve_forever)
        print('Initializing broadcast thread')
        output = BroadcastOutput(camera)
        broadcast_thread = BroadcastThread(output.converter, websocket_server)
        print('Starting recording')
        camera.start_recording(output, 'yuv')

        try:
            print('Starting websockets thread')
            websocket_thread.start()
            print('Starting HTTP server thread')
            http_thread.start()
            print('Starting broadcast thread')
            broadcast_thread.start()
            time.sleep(0.5)

            camera.capture(base_image, use_video_port=True, format='jpeg')

            base_data = np.asarray(bytearray(base_image.read()), dtype=np.uint64)

            base_img_matrix = cv2.imdecode(base_data, cv2.IMREAD_GRAYSCALE)

            while True:
                camera.wait_recording(1)

                #insert here the code for frame analysis

                camera.capture(image_captured, use_video_port=True, format='jpeg')
                data_next = np.asarray(bytearray(image_captured.read()), dtype=np.uint64)
                next_img_matrix = cv2.imdecode(data_next, cv2.IMREAD_GRAYSCALE)

                monitor_changes(base_img_matrix, next_img_matrix)

        except KeyboardInterrupt:
            pass
        finally:
            print('Stopping recording')
            camera.stop_recording()
            print('Waiting for broadcast thread to finish')
            broadcast_thread.join()
            print('Shutting down HTTP server')
            http_server.shutdown()
            print('Shutting down websockets server')
            websocket_server.shutdown()
            print('Waiting for HTTP server thread to finish')
            http_thread.join()
            print('Waiting for websockets thread to finish')
            websocket_thread.join()


if __name__ == '__main__':
    main()

Answer 1

Решено, в основном проблема заключалась в том, как я обрабатывал данные и файлы BytesIO. Прежде всего мне нужно было использовать unsigned int8 как тип файла для декодирования id. Затем я переключился на np.frombuffer, чтобы полностью прочитать файлы, потому что базовое изображение не изменится, следовательно, оно всегда будет читать одно и то же, а следующий будет инициализирован и удален в каждом цикле while. Также я могу заменить cv2.IMREAD_GRAYSCALE на 0 в функции.

camera.start_recording(output, 'yuv')
base_image = io.BytesIO()

    try:
        print('Starting websockets thread')
        websocket_thread.start()
        print('Starting HTTP server thread')
        http_thread.start()
        print('Starting broadcast thread')
        broadcast_thread.start()
        time.sleep(0.5)

        camera.capture(base_image, use_video_port=True, format='jpeg')

        base_data = np.frombuffer(base_image.getvalue(), dtype=np.uint8)

        base_img_matrix = cv2.imdecode(base_data, 0)

        while True:
            camera.wait_recording(0.25)
            image_captured = io.BytesIO()

            #insert here the code for frame analysis

            camera.capture(image_captured, use_video_port=True, format='jpeg')
            data_next = np.frombuffer(image_captured.getvalue(), dtype=np.uint8)
            next_img_matrix = cv2.imdecode(data_next, cv2.IMREAD_GRAYSCALE)

            monitor_changes(base_img_matrix, next_img_matrix)
            image_captured.close()