我正在运行Flask服务器,它将数据加载到MongoDB数据库中.由于存在大量数据,这需要很长时间,我想通过后台工作来完成这项工作.
我使用Redis作为消息代理和Python-rq来实现作业队列.所有代码都在Heroku上运行.
据我所知,python-rq使用pickle来序列化要执行的函数,包括参数,并将其与其他值一起添加到Redis哈希值.
由于参数包含要保存到数据库的信息,因此它非常大(约50MB),当它被序列化并保存到Redis时,不仅耗费了大量时间,而且还消耗了大量内存. Heris的Heroku计划仅售100美元,售价30美元.事实上我经常会遇到OOM错误：
使用内存时不允许使用OOM命令> ‘maxmemory’.
我有两个问题：
> python-rq是否适合这项任务,或者Celery的JSON序列化更合适？
>有没有办法不序列化参数,而是引用它？
您对最佳解决方案的想法非常感谢！
最佳答案
由于您在评论中提到您的任务输入是一个大的键值对列表,我将建议以下内容：
>加载文件中的键/值对列表.
>将文件上传到Amazon S3.
>获取生成的文件URL,并将其传递给RQ任务.
>在您的工作人员任务中,下载该文件.
>逐行解析文件,将文档插入Mongo.
使用上述方法,您将能够：
>快速将您的任务分解为可管理的块.
>快速将这些小的压缩文件上传到S3(使用gzip).
>通过线路传递的数据要少得多,大大减少了redis的使用.
>将S3配置为在一定时间后自动删除文件(有S3设置：例如,您可以在1天后自动删除它).
>通过一次处理一行文件,大大减少工作人员的内存消耗.
对于像你正在做的那样的用例,这将比通过你的排队系统发送这些项目更快,并且所需的开销要少得多.
希望这可以帮助！