Bash 并行爬虫

前端之家收集整理的这篇文章主要介绍了Bash 并行爬虫前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

Bash 并行下载脚本。1900 页,分 190 次下载完。

for i in {0..190} ; do
{
let start=$i*10
let end=$i*10+10
for ((page=$start;page<$end;page++)) do
{
  echo "down $page"
  curl "http://www.site.org/advice/index.asp?DjjIntPcnt=$page" -o src/$page.txt
} &
done
wait
echo "finish batch $i"
sleep 1
}
done

如果遇到字符集问题,可下载完成后转换:

find *.txt -exec sh -c "iconv -f GB18030 -t UTF8 {} > result/{}" \;

猜你在找的Bash相关文章