python多进程操作redis踩过的坑
最近在使用multiprocessing创建多进程的时候，一开始，在主进程内写了一个Redis连接的方法，然后在每个进程中调用，发现最后往Redis（同一个Redis key，Redis采用的是HASH方式）内写入数据时会有数据紊乱的情况，之后尝试了在每个进程中重新实例化Redis连接还是没能解决该问题。猜想可能是Redis不能接受多个进程同时往一个KEY内写入多条数据，想到了一个比较笨也很直接的方法，在每个进程开始之前sleep时间，第一个进程休眠60秒，第二个休眠120，依次类推，成功解决该问题。
虽然问题得到了解决，但是并不是最好的解决方案，期待该问题得到更好的解决方案。
代码大概是这样的
from multiprocessing import Process
import redis
import time
def conn_redis():
"""
conn = redis.Redis('xxx.xxx.xxx.xxx',6379)
return conn
"""
class Test(object):
def fun_a(self):
"""
time.sleep(60)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 60)
"""
def fun_b(self):
"""
time.sleep(120)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 120)
"""
def fun_c(self):
"""
time.sleep(180)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 180)
"""
def fun_d(self):
"""
time.sleep(240)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 240)
"""
if __name__ == '__main__':
"""
创建各个线程
"""
s = Test()
f_a = Process(target=s.fun_a)
f_b = Process(target=s.fun_b)
f_c = Process(target=s.fun_c)
f_d = Process(target=s.fun_d)
f_a.start()
f_b.start()
f_c.start()
f_d.start()
f_a.join()
f_b.join()
f_c.join()
f_d.join()
如果您觉得不错，请打赏作者吧～