之前写了个脚本简单处理图片压缩存储,发现有很多问题,尤其是压缩过程中失败图片的处理,很麻烦,我需要一个稳定性 可用性更高的方案
大概方案流程
在之前 用redis当作队列 来消费的基础上 用mysql完整记录执行记录,这样就能方便直接的看到执行结果,轻松筛选出问题文件。并且可以随时中断和继续。当然可中断的前提是,完整的需要执行的列表已经被写入记录表了。
这个记录表随着执行记录越来越多 查询效率肯定会越来越低下,我这里也做了一个简单的分表逻辑,来保证查询效率
在我查询到的资料中 MYSQL 一个表其实能到百万级别才会有明显的效率下降,但毕竟是研究和学习,虽然我完全用不到。
成果
- 可以随时中断和回复任务执行
- 记录在表,可以更方便的查看到执行结果和筛选问题文件
- 分表逻辑能充分保证查询效率
评论区