Использование JedisPool с Tomcat, ресурсы не возвращаются обратно в пул

Question

Глядя на вывод redis client listЯ вижу, что на данный момент есть 600 активных клиентов, и это продолжает расти. Вот фрагмент вывода:

id=285316 addr=x.x.x.x:55699 fd=14131 name= age=53055 idle=53029 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=sismember id=285317 addr=x.x.x.x:55700 fd=14132 name= age=53055 idle=53050 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=sismember

Вот мой код:

Listener.java:

import com.sun.jersey.api.model.AbstractResourceModelContext;
import com.sun.jersey.api.model.AbstractResourceModelListener;

import javax.ws.rs.ext.Provider;

@Provider
public class Listener implements AbstractResourceModelListener {

    @Override
    public void onLoaded(AbstractResourceModelContext modelContext) {
        RedisManager.getInstance().connect();
    }

}

RedisManager.java:

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

public class RedisManager {
    private static final RedisManager instance = new RedisManager();
    private static JedisPool pool;

    private RedisManager() {
    }

    public final static RedisManager getInstance() {
        return instance;
    }

    public void connect() {
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(5000);
        poolConfig.setTestOnBorrow(true);
        poolConfig.setTestOnReturn(true);
        poolConfig.setMaxIdle(50);
        poolConfig.setMinIdle(1);
        poolConfig.setTestWhileIdle(true);
        poolConfig.setNumTestsPerEvictionRun(10);
        poolConfig.setTimeBetweenEvictionRunsMillis(60000);
        pool = new JedisPool(poolConfig, "redis_hostname");
    }

    public void release() {
        pool.destroy();
    }

    public Jedis getJedis() {
        return pool.getResource();
    }

    public void returnJedis(Jedis jedis) {
        pool.returnResourceObject(jedis);
    }
}

APIServlet.java:

@Path("/")
public class APIService {

    @GET
    @Path("/lookup")
    @Produces(MediaType.APPLICATION_JSON)
    public Response getMsg(@QueryParam("email") String email,
                           @QueryParam("pretty") String pretty
    ) throws JSONException {
        Jedis jedis = RedisManager.getInstance().getJedis();
        if (jedis.sismember("inprocess", email)) {
            RedisManager.getInstance().returnJedis(jedis);
            return Response.status(202).entity("{\"status\":202, " +
                    "\"processing\":{\"type\":\"Lookup performed\", " +
                    "\"message\":\"We're performing analysis on this " +
                    "record. Result should be ready in a few minutes" +
                    ".\"}}").build();
        }

        Person person = new Person();
        person.lookup(person);
        ObjectMapper mapper = new ObjectMapper();
        String jsonString = mapper.writeValueAsString(person);
        JSONObject jsonObj = new JSONObject(jsonString);        
        jsonObj.remove("objectID");
        jsonObj.remove("data_quality");
        jsonObj.put("status", 200);

        RedisManager.getInstance().returnJedis(jedis);

        if (!jsonObj.isNull("name") && !jsonObj.get("name").equals("")) {
            if (hasPretty) {
                return Response.status(200).entity(jsonObj.toString(4))
                    .build();
            }
            return Response.status(200).entity(jsonObj.toString()).build();
         }

         return Response.status(404).entity("{\"status\":404, " +
                "\"error\":{\"type\":\"Data Not Found.\", " +
                "\"message\":\"We were not able to find data " +
                "on this email.\"}}").build();
    }
}

Maven Зависимости:

    <dependency>
        <groupId>com.sun.jersey</groupId>
        <artifactId>jersey-server</artifactId>
        <version>1.8</version>
    </dependency>
    <dependency>
        <groupId>com.sun.jersey</groupId>
        <artifactId>jersey-json</artifactId>
        <version>1.8</version>
    </dependency>
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>2.7.2</version>
        <type>jar</type>
        <scope>compile</scope>
    </dependency>
    <dependency>
        <groupId>commons-validator</groupId>
        <artifactId>commons-validator</artifactId>
        <version>1.2.0</version>
    </dependency>

Слушатель создает экземпляр RedisManager для использования во всем приложении - это должно происходить только один раз при запуске (примечание: я не знаю, как вызвать уничтожение при завершении работы, что было бы неплохо знать). Во всей программе этот экземпляр JedisPool используется на маршрутах Джерси, как показано в APIServlet.java. На маршруте я получаю ресурс JedisPool, затем, прежде чем вернуться на какую-либо часть маршрута, я возвращаю ресурс.

Происходит то, что ресурс, похоже, не возвращается (или мое понимание пула неверно). Через некоторое время количество подключений к моему экземпляру Redis увеличивается до maxTotal, равным 5000, и затем я начинаю получать ошибки "не удалось получить ресурс из пула", и Tomcat умирает.

Несколько вещей, которые я заметил:

1. Кажется, что существует большое количество УСТАНОВЛЕННЫХ https-соединений, которые остаются (не на 100% уверены в этом, но, похоже, это так).

2. Все бездействующие клиенты Redis (ну, почти все в любом случае) имеют команду sismember.

ПРИМЕЧАНИЕ. Я не включил полный код APIService.java, потому что мне действительно не разрешено это делать. Фрагмент кода, который я включил, дает общий смысл кода. Я возвращаюсь по всему коду APIService.java (возврат 404, возврат 429 и т. Д.), И перед каждым возвратом я проверяю, возвращаю ли я ресурс в пул.

Наконец, вот трассировка стека:

10-Feb-2016 08:04:23.161 SEVERE [http-nio-443-exec-14] com.sun.jersey.spi.container.ContainerResponse.mapMappableContainerException The RuntimeException could not be mapped to a response, re-throwing to the HTTP container
 redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
        at redis.clients.util.Pool.getResource(Pool.java:50)
        at redis.clients.jedis.JedisPool.getResource(JedisPool.java:86)
        at co.talentiq.api.APIService.getMsg(APIService.java:63)
        at sun.reflect.GeneratedMethodAccessor52.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at com.sun.jersey.spi.container.JavaMethodInvokerFactory$1.invoke(JavaMethodInvokerFactory.java:60)
        at com.sun.jersey.server.impl.model.method.dispatch.AbstractResourceMethodDispatchProvider$ResponseOutInvoker._dispatch(AbstractResourceMethodDispatchProvider.java:205)
        at com.sun.jersey.server.impl.model.method.dispatch.ResourceJavaMethodDispatcher.dispatch(ResourceJavaMethodDispatcher.java:75)
        at com.sun.jersey.server.impl.uri.rules.HttpMethodRule.accept(HttpMethodRule.java:288)
        at com.sun.jersey.server.impl.uri.rules.RightHandPathRule.accept(RightHandPathRule.java:147)
        at com.sun.jersey.server.impl.uri.rules.ResourceClassRule.accept(ResourceClassRule.java:108)
        at com.sun.jersey.server.impl.uri.rules.RightHandPathRule.accept(RightHandPathRule.java:147)
        at com.sun.jersey.server.impl.uri.rules.RootResourceClassesRule.accept(RootResourceClassesRule.java:84)
        at com.sun.jersey.server.impl.application.WebApplicationImpl._handleRequest(WebApplicationImpl.java:1469)
        at com.sun.jersey.server.impl.application.WebApplicationImpl._handleRequest(WebApplicationImpl.java:1400)
        at com.sun.jersey.server.impl.application.WebApplicationImpl.handleRequest(WebApplicationImpl.java:1349)
        at com.sun.jersey.server.impl.application.WebApplicationImpl.handleRequest(WebApplicationImpl.java:1339)
        at com.sun.jersey.spi.container.servlet.WebComponent.service(WebComponent.java:416)
        at com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:537)
        at com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:699)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:291)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
        at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
        at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:212)
        at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
        at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
        at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:141)
        at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
        at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:616)
        at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
        at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:521)
        at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1096)
        at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:674)
        at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1500)
        at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1456)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

Answer 1

Первое: если у вас уже есть инициализированный пул, не создавайте новый:

public class RedisManager {
...
public void connect() {
    if(pool != null) {
        System.out.println("Already exists");
        return;
    }
    JedisPoolConfig poolConfig = new JedisPoolConfig();
    ...

Во-вторых... У вас есть исключения в ваших журналах от метода getMsg?

public Response getMsg(@QueryParam("email") String email,
                       @QueryParam("pretty") String pretty

У вас должна быть вся работа с объединенными ресурсами, заключенными в try-catch-finally, и всегда возвращайте ресурс в блоке finally. NB: убедитесь, что не возвращаете ресурс (в данном случае джедай) в пул дважды.

Jedis jedis;
try {
    jedis = RedisManager.getInstance().getJedis();
    ...
} finally {
    if (jedis != null) {
       RedisManager.getInstance().returnJedis(jedis);
       jedis = null;
    }
}

Кстати: вы можете создать небольшую оболочку AutoCloseable вокруг кода получения / возврата джедаев и использовать java try с ресурсами - https://docs.oracle.com/javase/tutorial/essential/exceptions/tryResourceClose.html

Фрагмент кода с использованием ресурса

public void release() {
    pool.destroy();
}
public static class JedisWrapper implements AutoCloseable {   
    private final JedisPoolConfig pool;
    private final Jedis jedis;
    public JedisWrapper(JedisPoolConfig pool, Jedis jedis) {
        this.pool = pool;
        this.jedis = jedis;
    }
    public Jedis get() {
        return jedis;
    }
    @Override
    public void close() {
        pool.returnResourceObject(jedis);
    }
}
public JedisWrapper getJedis() {
    return new JedisWrapper(pool, pool.getResource());
}
// you can delete this method
public void returnJedis(Jedis jedis) {
    pool.returnResourceObject(jedis);
}

И позже в месте использования

public Response getMsg(@QueryParam("email") String email,
                       @QueryParam("pretty") String pretty
) throws JSONException {
   try(JedisWrapper jw = ...) {
      Jedis jedis = jw.get();
      ...
   }