我们有一系列工作,工人一次处理这些工作.每个作业都要求我们格式化一些数据并发出HTTP POST请求,并将数据作为请求有效负载.
我们如何让每个工作人员以单线程,非阻塞方式异步发出这些HTTP POST请求？我们不关心请求的响应 – 我们想要的只是请求尽快执行,然后让工作人员立即进入下一个工作.
我们已经探索了使用gevent和grequests库(参见Why does gevent.spawn not execute the parameterized function until a call to Greenlet.join?).我们的工作代码看起来像这样：
def execute_task(worker,job):
print "About to spawn request"
greenlet = gevent.spawn(requests.post,url,params=params)
print "Request spawned,about to call sleep"
gevent.sleep()
print "Greenlet status: ",greenlet.ready()
执行第一个print语句,但第二个和第三个打印语句永远不会打印,并且永远不会命中url.
我们如何才能执行这些异步请求？
解决方法
1)创建一个Queue.Queue对象
2)根据您的喜好制作尽可能多的“工作”线程,从Queue.Queue读取
3)将作业提供给Queue.Queue
工作线程将按照它们放置的顺序读取Queue.Queue
从文件中读取行并将它们放入Queue.Queue的示例
import sys
import urllib2
import urllib
from Queue import Queue
import threading
import re
THEEND = "TERMINATION-NOW-THE-END"
#read from file into Queue.Queue asynchronously
class QueueFile(threading.Thread):
def run(self):
if not(isinstance(self.myq,Queue)):
print "Queue not set to a Queue"
sys.exit(1)
h = open(self.f,'r')
for l in h:
self.myq.put(l.strip()) # this will block if the queue is full
self.myq.put(THEEND)
def set_queue(self,q):
self.myq = q
def set_file(self,f):
self.f = f
了解工作线程可能是什么样的(仅限示例)
class myWorker(threading.Thread):
def run(self):
while(running):
try:
data = self.q.get() # read from fifo
req = urllib2.Request("http://192.168.1.10/url/path")
req.add_data(urllib.urlencode(data))
h1 = urllib2.urlopen(req,timeout=10)
res = h1.read()
assert(len(res) > 80)
except urllib2.HTTPError,e:
print e
except urllib2.URLError,e:
print "done %d reqs " % n
print e
sys.exit()
要使对象基于threading.Thread go,创建对象然后在实例上调用“start”