编辑2:
以下是我们要经历的步骤:
>计划运行(为每个公司创建CollectHistoricalData作业)
>应将CollectHistoricalData推送到队列(作业表)
> CollectHistoricalData有一个函数ApiDaemon :: GetCompanyWithQuery($company,$query),它是从一个单独的类运行的,该类也被引用到其他几个地方.
> GetCompanyWithQuery收集数据并将其插入数据库.
它一直运行良好,但挂起的不是将作业插入作业表,而是一个接一个地同步运行它.
编辑1:
.env文件设置为使用数据库QUEUE_DRIVER,我甚至尝试在config / queue.PHP文件中对其进行硬编码.
我们正在使用Laravel 5.2进行项目.在这个项目中,我们需要每小时cURL一个url并将数据保存到数据库.我们起初使用Cron Jobs并在大约一分钟内基本上解雇了数千个cURL,这会因为负载而导致PHP崩溃.
我们决定搬到Laravel的工作和队列,没有成功.我们正在为我们的工作使用数据库驱动程序,并尝试了许多不同的方法来将作业放入数据库,因此我们拥有的守护程序工作者可以处理它们.
这是我们现在的代码,我们正在使用Kernel.PHP $计划来启动这项工作,因此我们没有数百个请求尝试一小时发生,这导致数以万计的cURL.
Kernel.PHP时间表:
$schedule
->call(function () {
$items = DB::select('{selecting certain things to run}');
foreach ($items as $q) {
$this->dispatch(new CollectHistoricalData(Company::find($q->company_id),ApiQuery::find($q->query_id)));
}
})
->hourly()
->name('Historical Pulls')
->withoutOverlapping()
->before(function() {
$this->startTime = Carbon::now();
})
->after(function () {
mail({mail us a report afterward});
});
当它运行时,它将一个接一个地运行它们,而不是将它们推送到创建的Jobs表.
CollectHistoricalData.PHP:
PHP
namespace App\Jobs;
use App\Helpers\Daemons\ApiDaemon;
use App\Jobs\Job;
use App\Models\Company;
use App\Models\ApiQuery;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
class CollectHistoricalData extends Job implements ShouldQueue
{
use InteractsWithQueue,SerializesModels;
protected $company,$query;
/**
* CollectHistoricalData constructor.
* @param Company $company
* @param ApiQuery $query
*/
public function __construct(Company $company,ApiQuery $query)
{
$this->company = $company;
$this->query = $query;
}
/**
* Execute the job.
*
* @return void
*/
public function handle()
{
mail({let us know what started and when});
QueryDaemon::GetCompanyWithQuery($this->company,$this->query);
}
public function Failed()
{
mail({mail us letting us know it Failed});
}
}
该作业正在引用其中具有该函数的另一个类(因为该代码本身就是一个狡猾的野兽),而且其中大约有20个,所以最简单的方法是引用该类而不是将所有20个类重新创建为Jobs.
TL; DR
我们有一个计划,它应该将引用另一个类中的函数的作业推送到作业表,而是缓慢地逐个运行它们.是什么造成的?
PHP artisan配置:清除
我没有清除配置的缓存….哇…