falsk实现结巴分词自定义词典定时更新及加载

问题

使用flask配合结巴库做了一个分词接口,做定时任务每天从数据库拉取自定义词汇作为其自定义词典,使用uwsgi部署. 问题点是在uwsgi运行时,即使从数据库拉取了数据,词典也不会加载到内存中,也就是新的词汇不生效

解决办法

办法一

在flask再添加一个定时任务,当词典拉取后就调用词典加载程序,将词典加载到内存中 --不可行

原因:因为在uwsgi运行时,之前的词典已经加载到内存中,在次加载词典不生效

方法二

uwsgi中有一个配置py-autoreload=1,当有py文件改变时会自动重启uwsgi服务,正好符合我们的要求, 当词典定时更新后在一个py文件中写入一个字符串,每次写入不一样,uwsgi就会监测到py文件有改变,进而重启uwsgi服务,重新加载更新后的词典.

我是每次写入当前时间戳.

缺点:需要uwsgi重启,在线上要考虑重启时间,也就是词典定时拉取时间,我将其定时在凌晨3.

以下是 uwsgi.ini配置

[uwsgi] master = true process = %(%k*2) threads = %(%k*20) chdir = %v http = 0.0.0.0:5000 disable-logging = true wsgi-file = %v/tokenizer_main.py callable = app enable-threads = true mule = %v/myscheduler.py buffer-size = 65536 py-autoreload = 1

下面是scheduler代码

from apscheduler.schedulers.background import BackgroundScheduler from dictionary_management import update_user_dict scheduler = BackgroundScheduler(timezone="Asia/Shanghai") # 定时更新用户词典 # scheduler.add_job(update_user_dict, 'interval', minutes=10) scheduler.add_job(update_user_dict, 'cron', hour=3,minute=10) scheduler.start() try: import uwsgi while True: sig = uwsgi.signal_wait() (sig) except Exception as err: pass