Предварительный просмотр камеры Android всегда боком
Я пишу плагин для Android, который будет брать данные из предварительного просмотра камеры и отправлять их в Unity. (По разным причинам я не могу использовать Unity WebCamTexture) Я могу получить данные предварительного просмотра камеры и отправить их в Unity, однако изображение всегда поворачивается на 90 градусов. Мое приложение Unity всегда установлено в портретном режиме.
На моем Pixel XL переднее и заднее изображения вращаются в противоположных направлениях. Вот фотография моего приложения при использовании передней и задней камер.
Я создал функцию AdjustOrientation в NativeCamera.java в попытке исправить ориентацию, но ее вызов, похоже, не имеет никакого эффекта.
Я нашел ссылки на места, в которых сказано добавить код, похожий на тот, который есть в функции AdjustOrientation, чтобы исправить проблему, но ни одно из них не решило проблему.
Вот ссылка, которую я исследовал и которая не решила мою проблему.
Android - предварительный просмотр камеры сбоку
Я пробовал разные варианты
mCamera.setDisplayOrientation()
params.setRotation()
но не повезло.
Мне нужно только чтобы изображение было в правильной ориентации в
public void onPreviewFrame(byte[] data, Camera camera)
Не имеет значения, будет ли сохраненное изображение перевернуто или повернуто. Я просто передаю данные в свой проект Unity, и единственная цель плагина Android - передать данные камеры в Unity. Пока данные изображения верны внутри OnPreviewFrame, все будет в порядке.
Я знаю, что есть более новый API Camera2 и что он не поддерживает оригинальную Camera, но я действительно хотел бы исправить это с помощью моего существующего плагина без необходимости написания нового плагина, который использует Camera2.
Вот ссылка на мой проект.
https://drive.google.com/open?id=1MD-NRVf0YhhVIiRUOiBptvSwh9wtK3V7
Заранее спасибо.
Джон Лори
Обновления. Вот источник моего файла.java для более легкой ссылки. Если вы посмотрите в AdjustOrientation, вы увидите, что у меня есть некоторый код, чтобы попытаться настроить displayorientation. Похоже, не имеет никакого эффекта.
package com.test.camerapreview;
import android.annotation.SuppressLint;
import android.app.Activity;
import android.graphics.SurfaceTexture;
import android.hardware.Camera;
import android.opengl.GLES11Ext;
import android.opengl.GLES20;
import android.support.annotation.Dimension;
import android.util.Log;
import android.util.Size;
import android.view.Display;
import android.view.Surface;
import com.unity3d.player.UnityPlayer;
import com.google.gson.Gson;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class NativeCamera implements Camera.PreviewCallback {
public static NativeCamera instance;
public static String gameObjectTargetName;
private static Activity myActivity;
Camera mCamera;
SurfaceTexture texture;
int nativeTexturePointer = -1;
int prevHeight;
int prevWidth;
//
// Call this function first.
//
public static void Setup(String gameObjectName, Activity theActivity){
gameObjectTargetName = gameObjectName;
myActivity = theActivity;
instance = new NativeCamera();
}
public int startCamera(int idx, int width, int height) {
nativeTexturePointer = createExternalTexture();
texture = new SurfaceTexture(nativeTexturePointer);
mCamera = Camera.open(idx);
setupCamera(idx, width, height);
try {
mCamera.setPreviewTexture(texture);
mCamera.setPreviewCallback(this);
AdjustOrientation(width, height);
mCamera.startPreview();
Log.i("Unity", "JAVA: camera started");
} catch (IOException ioe) {
Log.w("Unity", "JAVA: CAM LAUNCH FAILED");
}
return nativeTexturePointer;
}
public void stopCamera() {
mCamera.setPreviewCallback(null);
mCamera.stopPreview();
mCamera.release();
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
Log.i("Unity", "JAVA: Camera stopped");
}
private int createExternalTexture() {
int[] textureIdContainer = new int[1];
GLES20.glGenTextures(1, textureIdContainer, 0);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textureIdContainer[0]);
return textureIdContainer[0];
}
@SuppressLint("NewApi")
private void setupCamera(int cameraID, int width, int height) {
Camera.Parameters params = mCamera.getParameters();
params.setRecordingHint(true);
// params.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_VIDEO);
params.setPreviewFormat(17);
params.setZoom(0);
// 16 ~ NV16 ~ YCbCr
// 17 ~ NV21 ~ YCbCr ~ DEFAULT *
// 4 ~ RGB_565
// 256~ JPEG
// 20 ~ YUY2 ~ YcbCr ...
// 842094169 ~ YV12 ~ 4:2:0 YCrCb comprised of WXH Y plane, W/2xH/2 Cr & Cb. see documentation *
// params.setFlashMode(Camera.Parameters.FLASH_MODE_TORCH);
Camera.Size previewSize = getOptimalSize(width, height, mCamera.getParameters().getSupportedPreviewSizes());
int previewWidth = previewSize.width;
int previewHeight = previewSize.height;
params.setPictureSize(previewWidth, previewHeight);
params.setPreviewSize(previewWidth, previewHeight);
params.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);
params.setExposureCompensation(0);
//
// Fix the orientation.
//
// int orientation = detectCameraDisplayOrientation(cameraID);
// mCamera.setDisplayOrientation(orientation);
// params.setRotation(orientation);
// Camera.CameraInfo info = new Camera.CameraInfo();
// Camera.getCameraInfo(cameraID, info);
// Log.d("Unity", "info.orientation = " + info.orientation);
// params.setRotation(-90);
// mCamera.setDisplayOrientation(-90);
// mCamera.setDisplayOrientation(90);
// params.setRotation(90);
try{
mCamera.setParameters(params);
} catch (Exception e){
Log.i("Unity", "ERROR: " + e.getMessage());
}
Camera.Size mCameraPreviewSize = params.getPreviewSize();
prevWidth = mCameraPreviewSize.width;
prevHeight = mCameraPreviewSize.height;
int[] fpsRange = new int[2];
params.getPreviewFpsRange(fpsRange);
String previewFacts = mCameraPreviewSize.width + "x" + mCameraPreviewSize.height;
if (fpsRange[0] == fpsRange[1]) {
previewFacts += " @" + (fpsRange[0] / 1000.0) + "fps";
} else {
previewFacts += " @[" + (fpsRange[0] / 1000.0) + " - " + (fpsRange[1] / 1000.0) + "] fps";
}
Log.i("Unity", "JAVA: previewFacts=" + previewFacts);
}
private void AdjustOrientation(int width, int height) {
Camera.Parameters parameters = mCamera.getParameters();
Display display = myActivity.getWindowManager().getDefaultDisplay();
if(display.getRotation() == Surface.ROTATION_0) {
Camera.Size previewSize = getOptimalSize(height, width, mCamera.getParameters().getSupportedPreviewSizes());
prevWidth = previewSize.width;
prevHeight = previewSize.height;
mCamera.setDisplayOrientation(90);
}
else if(display.getRotation() == Surface.ROTATION_90) {
Camera.Size previewSize = getOptimalSize(width, height, mCamera.getParameters().getSupportedPreviewSizes());
prevWidth = previewSize.width;
prevHeight = previewSize.height;
}
else if(display.getRotation() == Surface.ROTATION_180) {
Camera.Size previewSize = getOptimalSize(height, width, mCamera.getParameters().getSupportedPreviewSizes());
prevWidth = previewSize.width;
prevHeight = previewSize.height;
}
else { //if(display.getRotation() == Surface.ROTATION_270) {
Camera.Size previewSize = getOptimalSize(width, height, mCamera.getParameters().getSupportedPreviewSizes());
prevWidth = previewSize.width;
prevHeight = previewSize.height;
mCamera.setDisplayOrientation(180);
}
parameters.setPreviewSize(prevWidth, prevHeight);
mCamera.setParameters(parameters);
}
private Camera.Size getOptimalSize(int width, int height, List<Camera.Size> sizes) {
if(mCamera == null)
return null;
final double ASPECT_TOLERANCE = 0.1;
double targetRatio=(double)width / height;
if (sizes == null)
return null;
Camera.Size optimalSize = null;
double minDiff = Double.MAX_VALUE;
int targetWidth = width;
for (Camera.Size size : sizes) {
double ratio = (double) size.width / size.height;
Log.i("Unity", "RES: size=" + size.width + "/" + size.height + " Aspect Ratio: " + ratio + " target width: " + width + " target height: " + height);
if (Math.abs(ratio - targetRatio) > ASPECT_TOLERANCE) {
continue;
}
if (Math.abs(size.width - targetWidth) < minDiff) {
optimalSize = size;
minDiff = Math.abs(size.width - targetWidth);
}
}
if (optimalSize == null) {
minDiff = Double.MAX_VALUE;
for (Camera.Size size : sizes) {
if (Math.abs(size.width - targetWidth) < minDiff) {
optimalSize = size;
minDiff = Math.abs(size.width - targetWidth);
}
}
}
Log.i("Unity", "optimal size=" + optimalSize.width + "/" + optimalSize.height + "/ Aspect Ratio: " + (double) optimalSize.width / optimalSize.height);
return optimalSize;
}
public int getPreviewSizeWidth() {
return prevWidth;
}
public int getPreviewSizeHeight() {
return prevHeight;
}
public String GetPreviewSizes(int id) {
Camera cam = Camera.open(id);
Camera.Parameters params = cam.getParameters();
Gson gson = new Gson();
String JSON = gson.toJson(params.getSupportedPreviewSizes());
cam.release();
Log.d("Unity", "Supported sizes are " + JSON);
return JSON;
}
public byte[] bytes;
@Override
public void onPreviewFrame(byte[] data, Camera camera) {
bytes = data;
UnityPlayer.UnitySendMessage(gameObjectTargetName, "GetBuffer", "");
}
}
3 ответа
Несмотря на то, что я потратил много времени, пытаясь заставить камеру вращать изображение с помощью SetDisplayOrientation, по какой-то причине ничего из этого не имело никакого эффекта. Я закончил тем, что сделал то, что предложил Алекс Коэн, и поместил вручную поверну изображение в OnPreviewFrame
Это ссылка на страницу, которая дает код для поворота изображения.
В предпросмотре камеры... установите `mCamera.setPreviewDisplay(holder);
mCamera = Camera.open(0);
mCamera.setPreviewDisplay(holder);
mCamera.startPreview();
mCamera.setDisplayOrientation(90);`
Camera.setDisplayOrientation влияет только на вывод предварительного просмотра, который передается в Camera.setPreviewDisplay или Camera.setPreviewTexture. Это описано в справочнике по API для setDisplayOrientation:
Это не влияет на порядок байтового массива, передаваемого в onPreviewFrame(byte[], Camera), изображениях JPEG или записанных видео.
Если вам нужно настроить вывод onPreviewFrame, то вам нужно сделать это самостоятельно. Вращение, которое необходимо применить, - это то же значение, которое вы передадите в setDisplayOrientation по часовой стрелке.