我希望每天使用Redis重置计数器。我是Redis的新手,所以我想确保我充分了解事务和管道的工作方式。
以下代码是否可以确保在多进程环境中工作时,我总是得到一对唯一的(日期,数字),还是需要使用Redis锁?
import datetime import redis r = redis.Redis(...) def get_utc_date_now(): return datetime.datetime.utcnow().date() def get_daily_counter(r, dt_key='dt', counter_key='counter'): def incr_daily_number(pipe): dt_now = get_utc_date_now().isoformat() # e.g.: "2014-10-18" dt = pipe.get(dt_key) pipe.multi() if dt != dt_now: pipe.set(dt_key, dt_now) pipe.set(counter_key, 0) pipe.get(dt_key) pipe.incr(counter_key) result = r.transaction(incr_daily_number, dt_key) return result[-2:] # Get the (dt, number) couple # 2014-10-18, 1 # 2014-10-18, 2 # etc. dt, number = get_daily_counter(r)
尝试使用LUA脚本:
r = redis.Redis(...) incr_with_reset_on_change_lua_script = """ local dt = redis.call('GET', KEYS[2]) if dt ~= ARGV[2] then redis.call('MSET', KEYS[1], ARGV[1], KEYS[2], ARGV[2]) end return redis.call('INCR', KEYS[1]) """ # Incr KEYS1 but reset first if KEYS2 has changed. incr_with_reset_on_change = r.register_script(incr_with_reset_on_change_lua_script) counter_key = 'dcounterA' watch_key = 'dcounterA_dt' watch_value = get_utc_date_now().isoformat() number = incr_with_reset_on_change(keys=[counter_key, watch_key], args=[reset_value, watch_value])
考虑在午夜发生两个并发事务。两者都可以执行get(dt_key),但是将首先执行MULTI / EXEC块。它将重置计数器,设置新日期,增加计数器。第二个也将输入其MULTI / EXEC块中,但由于’dt’的值已更改,执行将失败,并且将再次调用incr_daily_number。这次get(dt_key)将返回新的日期,因此当执行MULTI / EXEC块时,计数器将递增而不进行任何复位。这两个事务将返回具有不同计数器值的新日期。
因此,我相信这里没有比赛条件,并且(日期,数字)对将是唯一的。
您还可以使用服务器端Lua脚本(其执行始终是原子的)来实现此目的。通常更方便。
请注意,实际上,没有Redis锁之类的东西。API中可用的锁定机制由Python客户端提供,而不是由Redis服务器提供。如果看一下它的实现,您将意识到它也是基于SETNX + WATCH / MULTI / EXEC块或Lua脚本编写的。