我正在构建一个日志系统,它将请求和响应记录到分布在多个应用程序节点上的Web服务.我正在考虑使用MongoDB作为存储库并实时登录,或者在x次请求之后更真实地将日志转储到DB.该应用程序的体积相当大,采用Perl构建.有没有人有这方面的经验？建议？或者这是不是吗？
解决方法
我见过许多公司正在使用MongoDB来存储日志.它的模式免费对于应用程序日志非常灵活,而模式往往会随时更改.此外,它的
Capped Collection功能非常有用,因为它可以自动清除旧数据,使数据保持在内存中.
人们通过正常的分组或MapReduce聚合日志,但速度并不快.特别是MongoDB的MapReduce仅在单个线程中工作,其JavaScript执行开销很大. New aggregation framework可以解决这个问题.
另一个问题是高写入.虽然默认情况下MongoDB的插入是fire-and-forget样式,但调用大量insert命令会导致严重的写入锁争用.这可能会影响应用程序性能,并阻止读者聚合/过滤存储的日志.
一种解决方案可能是使用日志收集器框架,例如Fluentd,Logstash或Flume.这些守护进程应该在每个应用程序节点上启动,并从应用程序进程获取日志.
它们缓冲日志并异步地将数据写入其他系统,如MongoDB / Postgresql /等.编写是通过批处理完成的,因此它比直接从应用程序编写要高效得多.此链接描述了如何将日志从Perl程序放入Fluentd.
> @L_404_6@