这是我到目前为止所尝试的.
#!/bin/bash
total=0
getPages(){
subTotal=$(lynx -dump http://"$(printf "%s:%s" $1 $2)"/file.html | awk -F,'NR==1 {print $1}' | sed 's/\s//g')
total=$(($total+$subTotal))
echo "SubTotal: " $subTotal "Total: " $total
}
# /output/ SubTotal: 22 Total: 22
# /output/ SubTotal: 48 Total: 48 //Note Total should be 70
ARRAY=(
'pf2.server.com:6599'
'pf5.server.com:1199'
...
)
for server in ${ARRAY[@]} ; do
KEY=${server%%:*}
VALUE=${server##*:}
getPages $KEY $VALUE &
done
wait
echo $total
exit 0
# /output/ 0
任何建议表示赞赏
我认为可以使用协同处理(即通过流进行通信)或使用GNU parallel或pexec进行某些操作.
以下是pexec的示例,使用默认输出从单个进程进行通信.我使用了一个更简单的命令,因为您列出的服务器无法从此处访问.这会对某些网页上的行进行计数并对其进行总结.
ARRAY=(
'www.gmx.de:80'
'www.gmx.net:80'
'www.gmx.at:80'
'www.gmx.li:80'
)
(( total = 0 ))
while read subtotal
do
(( total += subtotal ))
echo "subtotal: $subtotal,total: $total"
done < <(
pexec --normal-redirection --environment hostname --number ${#ARRAY[*]} \
--parameters "${ARRAY[@]}" --shell-command -- '
lynx -dump http://$hostname/index.html | wc -l'
)
echo "total: $total"
我们在这里使用一些技巧：
>我们将并行进程的输出传递回主进程,在那里循环读取它.
>为了避免为while循环创建子shell,我们使用bash的进程替换功能(<(...))和输入重定向(<)而不是简单的管道.
>我们在((…))算术表达式命令中进行算术运算.相反,我可以使用let,但是我必须引用所有内容或避免使用空格. (你的总数= $((总小计))也会有用.)
> pexec的选项：
> – normal-redirection意味着将所有输出流从子进程重定向到pexec的输出流. (如果两个进程想要同时写入,我不确定这会导致一些混淆.)
> –environment hostname将每次执行的不同参数作为环境变量传递.否则它将是一个简单的命令行参数.
> –number ${#ARRAY [*]}(在我们的例子中得到–number 4)确保所有进程将并行启动,而不是只有我们有cpu或其他一些启发式启动. (这适用于网络往返工作.对于cpu绑定或带宽限制的东西,较小的数字会更好.)
> –shell-command确保命令将由shell评估,而不是尝试直接执行它.这是必要的,因为那里有管道.
> –parameters“${ARRAY [@]}”列出实际参数 – 即数组的元素.对于它们中的每一个,将启动该命令的单独版本.
>在最终之后 – 命令 – 作为单个’引用字符串,以避免外壳对$hostname的过早解释.该命令简单地下载文件并将其传递给wc -l,计算行数.
输出示例：
subtotal: 1120,total: 1120 subtotal: 968,total: 2088 subtotal: 1120,total: 3208 subtotal: 1120,total: 4328 total: 4328
这是运行时ps -f输出的(部分)：
2799 pts/1 Ss 0:03 \_ bash 5427 pts/1 S+ 0:00 \_ /bin/bash ./download-test.sh 5428 pts/1 S+ 0:00 \_ /bin/bash ./download-test.sh 5429 pts/1 S+ 0:00 \_ pexec --number 4 --normal-redirection --environment hostname --parame... 5430 pts/1 S+ 0:00 \_ /bin/sh -c ? lynx -dump http://$hostname/index.html | wc -l 5434 pts/1 S+ 0:00 | \_ lynx -dump http://www.gmx.de:80/index.html 5435 pts/1 S+ 0:00 | \_ wc -l 5431 pts/1 S+ 0:00 \_ /bin/sh -c ? lynx -dump http://$hostname/index.html | wc -l 5436 pts/1 S+ 0:00 | \_ lynx -dump http://www.gmx.net:80/index.html 5437 pts/1 S+ 0:00 | \_ wc -l 5432 pts/1 S+ 0:00 \_ /bin/sh -c ? lynx -dump http://$hostname/index.html | wc -l 5438 pts/1 S+ 0:00 | \_ lynx -dump http://www.gmx.at:80/index.html 5439 pts/1 S+ 0:00 | \_ wc -l 5433 pts/1 S+ 0:00 \_ /bin/sh -c ? lynx -dump http://$hostname/index.html | wc -l 5440 pts/1 S+ 0:00 \_ lynx -dump http://www.gmx.li:80/index.html 5441 pts/1 S+ 0:00 \_ wc -l
我们可以看到,在我的单处理器系统上,所有内容都尽可能并行运行.
