我想在从stdin提供URL时下载网页.基本上一个进程连续生成stdout / file的URL,我想将它们管道输出到wget或curl. (如果您愿意,可以将其视为简单的网络爬虫).
这似乎工作正常：
tail 1.log | wget -i - -O - -q
但是当我使用’tail -f’并且它不再起作用时(缓冲或wget正在等待EOF？)：
tail -f 1.log | wget -i - -O - -q
任何人都可以使用wget,curl或任何其他标准Unix工具提供解决方案吗？理想情况下,我不希望在循环中重新启动wget,只是让它在运行时继续下载URL.
您需要使用的是xargs.例如.
tail -f 1.log | xargs -n1 wget -O - -q
