Ошибки протокола, ошибки "больше никаких данных", ошибки "отклика нулевой длины" при использовании servicestack.redis в сценарии большого объема
Было бы действительно полезно, если бы кто-то сказал мне, если есть проблемы с PooledRedisClientManager в сценариях большого объема?
Я использую одноэлементный клиентский менеджер, который вызывается для GetClient() несколькими потоками WCF 1000 раз в минуту, и каждый поток может читать / обновлять / вставлять в коллекцию Redis (я использую коллекцию хэшей redis).
Периодически я вижу эти ошибки и обычно ухожу на повторных попытках.
Все вызовы GetClient() находятся в операторах Using.
Спасибо рб
Вот ошибки, которые я вижу из журналов: Ошибка 1
ServiceStack.Redis.RedisResponseException: Unknown reply on integer response: 123"Key":"7c3699524bcc457ab377ad1af17eb046","Value":"9527cb78-2e32-4695-ad33-7991f92eb3a2"}, sPort: 64493, LastCommand: HEXISTS urn:xxxxxxxxxxxxxxxx "118fdc26117244819eb712a82b8e86fd"
at ServiceStack.Redis.RedisNativeClient.CreateResponseError(String error)
at ServiceStack.Redis.RedisNativeClient.ReadLong()
at ServiceStack.Redis.RedisClient.HashContainsEntry(String hashId, String key)
at ServiceStack.Redis.Generic.RedisTypedClient`1.HashContainsEntry[TKey](IRedisHash`2 hash, TKey key)
at ServiceStack.Redis.Generic.RedisClientHash`2.ContainsKey(TKey key)
Error 2
ServiceStack.Redis.RedisResponseException: No more data, sPort: 65005, LastCommand: HSET urn:xxxxxxxxxxxxxxxxx "9ced6120a876405faccf5cb043e70807" {"ID":"9ced6120a87...
at ServiceStack.Redis.RedisNativeClient.CreateResponseError(String error)
at ServiceStack.Redis.RedisNativeClient.ReadLong()
at ServiceStack.Redis.RedisClient.SetEntryInHash(String hashId, String key, String value)
at ServiceStack.Redis.Generic.RedisTypedClient`1.SetEntryInHash[TKey](IRedisHash`2 hash, TKey key, T value)
at ServiceStack.Redis.Generic.RedisClientHash`2.set_Item(TKey key, T value)
Ошибка 3
ServiceStack.Redis.RedisResponseException: Protocol error: expected '$', got ' ', sPort: 64993, LastCommand: HGET urn:xxxxxxxxxxxxxxxxxxxx "705befa18af74f61aafff50b4282de19"
at ServiceStack.Redis.RedisNativeClient.CreateResponseError(String error)
at ServiceStack.Redis.RedisNativeClient.ParseSingleLine(String r)
at ServiceStack.Redis.Generic.RedisTypedClient`1.GetValueFromHash[TKey](IRedisHash`2 hash, TKey key)
at ServiceStack.Redis.Generic.RedisClientHash`2.get_Item(TKey key)
Error 4
ServiceStack.Redis.RedisResponseException: Protocol error: invalid multibulk length, sPort: 65154, LastCommand: HSET urn:xxxxxxxxxxxxxx "39a5023eee374b28acbe5f63561c6211" {"ID":"39a5023eee3...
at ServiceStack.Redis.RedisNativeClient.CreateResponseError(String error)
at ServiceStack.Redis.RedisNativeClient.ReadLong()
at ServiceStack.Redis.RedisClient.SetEntryInHash(String hashId, String key, String value)
at ServiceStack.Redis.Generic.RedisTypedClient`1.SetEntryInHash[TKey](IRedisHash`2 hash, TKey key, T value)
at ServiceStack.Redis.Generic.RedisClientHash`2.set_Item(TKey key, T value)
Код:
По сути, я создал оболочку RedisCacheCollection вокруг RedisHash... это для поддержки существующего кода, который использует.net списки и словари.
public class RedisCachedCollection<TKey, TValue> : CacheCollectionBase<TKey, TValue>, IEnumerable<TValue>
{
private string _collectionKey;
private string _collectionLock;
private IRedisTypedClient<TValue> _redisTypedClient = null;
private int _locktimeout;
private Func<TValue, TKey> _idAction;
public RedisCachedCollection(string collectionKey, int locktimeoutsecs = 5)
{
_collectionKey = string.Format("urn:{0}:{1}", "XXXXX", collectionKey);
_collectionLock = string.Format("{0}+lock", _collectionKey);
_locktimeout = locktimeoutsecs;
}
private IRedisHash<TKey, TValue> GetCollection(IRedisClient redis)
{
_redisTypedClient = redis.As<TValue>();
return _redisTypedClient.GetHash<TKey>(_collectionKey);
}
public override void Add(TValue obj)
{
TKey Id = GetUniqueIdAction(obj);
RetryAction((redis) =>
{
GetCollection(redis).Add(Id, obj);
});
}
public override bool Remove(TValue obj)
{
TKey Id = GetUniqueIdAction(obj);
TKey defaultv = default(TKey);
return RetryAction<bool>((redis) =>
{
if (!Id.Equals(defaultv))
{
{
return GetCollection(redis).Remove(Id);
}
}
return false;
});
}
public override TValue this[TKey id]
{
get
{
return RetryAction<TValue>((redis) =>
{
if (GetCollection(redis).ContainsKey(id))
return GetCollection(redis)[id];
return default(TValue);
});
}
set
{
RetryAction((redis) =>
{
GetCollection(redis)[id] = value;
});
}
}
public override int Count
{
get
{
return RetryAction<int>((redis) =>
{
return GetCollection(redis).Count;
});
}
}
public IEnumerable<TValue> Where(Func<TValue, bool> predicate)
{
return RetryAction<IEnumerable<TValue>>((redis) =>
{
return GetCollection(redis).Values.Where(predicate);
});
}
public bool Any(Func<TValue, bool> predicate)
{
return RetryAction<bool>((redis) =>
{
return GetCollection(redis).Values.Any(predicate);
});
}
public override IEnumerator<TValue> GetEnumerator()
{
return RetryAction<IEnumerator<TValue>>((redis) =>
{
return GetCollection(redis).Values.GetEnumerator();
});
}
System.Collections.IEnumerator System.Collections.IEnumerable.GetEnumerator()
{
return RetryAction<System.Collections.IEnumerator>((redis) =>
{
return ((System.Collections.IEnumerable)GetCollection(redis).Values).GetEnumerator();
});
}
public override void Clear()
{
RetryAction((redis) =>
{
GetCollection(redis).Clear();
});
}
public override bool Contains(TValue obj)
{
TKey Id = GetUniqueIdAction(obj);
return RetryAction<bool>((redis) =>
{
return GetCollection(redis).ContainsKey(Id);
});
}
public override bool ContainsKey(TKey obj)
{
return RetryAction<bool>((redis) =>
{
return GetCollection(redis).ContainsKey(obj);
});
}
public override void CopyTo(TValue[] array, int arrayIndex)
{
RetryAction((redis) =>
{
GetCollection(redis).Values.CopyTo(array, arrayIndex);
});
}
public override bool IsReadOnly
{
get
{
return RetryAction<bool>((redis) =>
{
return GetCollection(redis).IsReadOnly;
});
}
}
public override Func<TValue, TKey> GetUniqueIdAction
{
get
{
return _idAction;
}
set
{
_idAction = value;
}
}
private object _synclock = new object();
public override IDisposable Lock
{
get
{
lock (_synclock)
{
try
{
return new CacheTransaction(_collectionLock, _locktimeout);
}
catch (Exception ex)
{
Console.WriteLine(ex);
throw;
}
}
}
}
private Dictionary<int, IRedisClient> _redisconnectionpool = new Dictionary<int, IRedisClient>();
public IRedisClient RedisConnection
{
get
{
return RedisClientManager.Instance.GetClient();
}
}
private void RetryAction(Action<IRedisClient> action)
{
int i = 0;
while (true)
{
try
{
using (var redis = RedisConnection)
{
action(redis);
return;
}
}
catch (Exception ex)
{
if (i++ < 3)
{
continue;
}
throw;
}
}
}
private TOut RetryAction<TOut>(Func<IRedisClient, TOut> action)
{
int i = 0;
while (true)
{
try
{
using (var redis = RedisConnection)
{
TOut result = action(redis);
return result;
}
}
catch (Exception ex)
{
if (i++ < 3)
{
continue;
}
throw;
}
}
}
}
}
1 ответ
Решение
Я добавил стресс-тест с вашим кодом HashCollection выше, используя как можно большую его часть, которую я могу собрать для компиляции, и получил его для одновременного выполнения вызовов API (как показано выше в StackTrace) в 64 потоках:
clientsManager = new PooledRedisClientManager(ipAddress);
redisCollection = new RedisCachedCollection<string, string>(
clientsManager, "Thread: " + Thread.CurrentThread.ManagedThreadId);
var StartedAt = DateTime.UtcNow;
Interlocked.Increment(ref running);
"Starting HashCollectionStressTests with {0} threads".Print(noOfThreads);
var threads = new List<Thread>();
for (int i = 0; i < noOfThreads; i++)
{
threads.Add(new Thread(WorkerLoop));
}
threads.ForEach(t => t.Start());
"Press Enter to Stop...".Print();
Console.ReadLine();
Interlocked.Decrement(ref running);
"Writes: {0}, Reads: {1}".Print(writeCount, readCount);
"{0} EndedAt: {1}".Print(GetType().Name, DateTime.UtcNow.ToLongTimeString());
"{0} TimeTaken: {1}s".Print(GetType().Name,(DateTime.UtcNow-StartedAt).TotalSeconds);
Вот WorkerLoop:
public void WorkerLoop()
{
while (Interlocked.CompareExchange(ref running, 0, 0) > 0)
{
redisCollection.ContainsKey("key");
Interlocked.Increment(ref readCount);
redisCollection["key"] = "value " + readCount;
Interlocked.Increment(ref writeCount);
var value = redisCollection["key"];
Interlocked.Increment(ref readCount);
if (value == null)
Console.WriteLine("value == null");
}
}
Я также изменил ваш RetryAction API для немедленной регистрации и throw так что я могу обнаружить первое выброшенное исключение:
private void RetryAction(Action<IRedisClient> action)
{
try
{
using (var redis = RedisConnection)
{
action(redis);
return;
}
}
catch (Exception ex)
{
Console.WriteLine(ex);
throw;
}
}
Я провел этот стресс-тест на локальном и сетевом экземпляре Redis-сервера и пока не видел исключения. В последний раз после того, как он проработал почти 40 минут, получился такой ответ:
Starting HashCollectionStressTests with 64 threads
Press Enter to Stop...
Writes: 876755, Reads: 1753518
HashCollectionStressTests EndedAt: 2:10:01 AM
HashCollectionStressTests TimeTaken: 2292.985048s
По сути, он показывает, что одновременно выполняется 2.6M + Hash Collection API без каких-либо исключений.
К сожалению, я не могу определить, с какой проблемой вы сталкиваетесь, не имея возможности воспроизвести ее. Мне показалось странным, что вы держите не-потокобезопасную ссылку на экземпляр _redisTypedClient вокруг:
private IRedisTypedClient<TValue> _redisTypedClient = null;
Который заселяется здесь:
private IRedisHash<TKey, TValue> GetCollection(IRedisClient redis)
{
_redisTypedClient = redis.As<TValue>();
return _redisTypedClient.GetHash<TKey>(_collectionKey);
}
Что не обязательно, так как это могла быть локальная переменная. Поскольку предоставленный код был неполным (то есть не компилируется), я не уверен, используется ли этот экземпляр другими вызовами API, вызываемыми в нескольких потоках?
Если бы вы могли собрать репродукцию, которая показывает проблему, которая поможет определить ее. Отдельный пример также поможет понять, как используется код.