Как переместить курсор в углы экрана с помощью Kinect?

Question

Я работаю с Kinect 360 и Windows SDK 1,8. У меня есть приложение, разработанное в C# wpf, которое может перемещать курсор мыши с помощью жестов рук и может также щелкнуть. проблема в том, что когда я хочу переместить курсор в угол, мне нужно сделать шаг перед kinect, чтобы сделать это. но я хочу масштабировать курсор таким образом, чтобы мне нужно было только переместить руку, и курсор переместится на весь экран.

Вот код, который я пытаюсь

 void sensor_SkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs e)
    {
        bool receivedData = false;

        using (SkeletonFrame SFrame = e.OpenSkeletonFrame())
        {
            if (SFrame == null)
            {
                return;
            }
            else
            {
                skeletons = new Skeleton[SFrame.SkeletonArrayLength];
                SFrame.CopySkeletonDataTo(skeletons);
                receivedData = true;
            }
        }

        if (receivedData)
        {

            Skeleton currentSkeleton = (from s in skeletons
                                        where s.TrackingState == SkeletonTrackingState.Tracked
                                        select s).FirstOrDefault();

            if (currentSkeleton != null)
            {
                processing(currentSkeleton.Joints[JointType.HandRight]);
                click(currentSkeleton.Joints[JointType.HandLeft], currentSkeleton.Joints[JointType.Head]);
            }
        }
    }
    private void processing(Joint handright)
    {
        Microsoft.Kinect.SkeletonPoint vector = new Microsoft.Kinect.SkeletonPoint();
        vector.X = ScaleVector(1600, handright.Position.X);
        vector.Y = ScaleVector(900, -handright.Position.Y);
        vector.Z = handright.Position.Z;
        handright.Position = vector;

        zAxis = handright.Position.Z;



        leftofscreen = Convert.ToInt32(handright.Position.X);
        topofscreen = Convert.ToInt32(handright.Position.Y);

        SetCursorPos(leftofscreen, topofscreen);

    }
    private void click(Joint handleft, Joint head)
    {
        if (handleft.Position.Y > head.Position.Y)
        {
            mouse_event(LEFTDOWN, leftofscreen, topofscreen, 0, 0);
            mouse_event(LEFTUP, leftofscreen, topofscreen, 0, 0);

        }
    }

    private float ScaleVector(int length, float position)
    {
        float value = (((((float)length) / 1f) / 2f) * position) + (length / 2);
        if (value > length)
        {
            return (float)length;
        }
        if (value < 0f)
        {
            return 0f;
        }
        return value;
    }

я пробовал этот kinect для C# dev и похож на видео код YouTube, но так как в этом уроке он использует SDK 1.0 и некоторые методы являются абсолютными, поэтому я не могу отслеживать свои руки, может кто-нибудь помочь мне, как я могу масштабировать движение руки с помощью курсора правильно, чтобы я мог перемещать курсор на весь экран легким движением руки?

Answer 1

Вот решение для проекта в Kinect SDK v2 https://github.com/bingcheng45/Kinect-v2-Hovering-Example

Предполагая, что вы уже добавили ссылку на использование Microsoft.Kinect

Сначала вы добавляете этот раздел в MainWindow.xaml

<k:KinectRegion x:Name="kinectRegion">
        <Grid>
            <Grid.RowDefinitions>
                <RowDefinition Height="Auto" />
                <RowDefinition Height="*" />
            </Grid.RowDefinitions>

            <Grid Grid.Row="0" Margin="10 0 10 20">
                <Grid.ColumnDefinitions>
                    <ColumnDefinition Width="Auto" />
                    <ColumnDefinition Width="*" />
                </Grid.ColumnDefinitions>


                <k:KinectUserViewer Grid.Column="1" Height="100" HorizontalAlignment="Center" VerticalAlignment="Top" />
                <TextBlock Grid.Column="1" HorizontalAlignment="Right" Margin="0 0 -1 0" VerticalAlignment="Bottom"  FontSize="18">Controls Basics</TextBlock>
            </Grid>

            <ContentControl Grid.Row="1" x:Name="navigationRegion">
                <Grid x:Name="kinectRegionGrid" Margin="10,20,10,20">
                    <Button x:Name="btnCenter" Content="CLICK HERE" HorizontalAlignment="Left" Margin="174,48,0,0" Style="{StaticResource 
                        FrameSelectorButtonStyle}" VerticalAlignment="Top" Width="158" Height="76"  MouseLeave="btnCenter_MouseLeave" Click="btnCenter_Click" MouseEnter="btnCenter_MouseEnter" Background="#FFC9C9C9" TouchEnter="btnCenter_TouchEnter"/>
                    <Label x:Name="lbtext" Content="Label" HorizontalAlignment="Left" Margin="51,31,0,0" VerticalAlignment="Top"/>

                </Grid>
            </ContentControl>
        </Grid>
    </k:KinectRegion>

затем просто добавьте эту строку кода в свой Mainwindow.Xaml.cs и все готово!

public MainWindow()
        {
            InitializeComponent();

            //hovering start
            KinectRegion.SetKinectRegion(this, kinectRegion);

            App app = ((App)Application.Current);
            app.KinectRegion = kinectRegion;

            // Use the default sensor
            this.kinectRegion.KinectSensor = KinectSensor.GetDefault();
            //hovering end
        }

Ура!