nginx proxy_set_header X-Forwarded-For с разрешить / запретить что-то не так

Question

Conf Nginx:

location / {
    deny 192.168.1.1;
    allow 127.0.0.1/24;
    deny all;
    default_type application/json;
}

Если я запрашиваю http://192.168.1.101:8000/ без заголовка,nginx возвращает 403.

Если я запрашиваю http://192.168.1.101:8000/ с набором header[" X-Forwarded-For "] = 127.0.0.1,nginx вернуть 200.

Так как я могу отклонить запрос незаконного IP？