我试图将下面的代码归结为最小的测试用例,但它仍然相当冗长(为此我道歉).几乎任何改变都会影响基准测试结果.

#include <string>
#include <vector>
#include <iostream>
#include <random>
#include <chrono>
#include <functional>

constexpr double usec_to_sec = 1000000.0;

// Simple convenience timer
class Timer
{
    std::chrono::high_resolution_clock::time_point start_time;
public:
    Timer() : start_time(std::chrono::high_resolution_clock::now()) { }
    int64_t operator()() const {
        return static_cast<int64_t>(
        std::chrono::duration_cast<std::chrono::microseconds>(
            std::chrono::high_resolution_clock::now()-start_time).count()
        );
    }
};

// Convenience random number generator
template <typename T>
class RandGen
{
    mutable std::default_random_engine generator;
    std::uniform_int_distribution<T> distribution;

    constexpr unsigned make_seed() const {
        return static_cast<unsigned>(std::chrono::system_clock::now().time_since_epoch().count());
    }
public:
    RandGen(T min,T max) : generator(make_seed()),distribution(min,max) { }
    T operator ()() { return distribution(generator); }
};

// Printer class
class Printer
{
    std::string filename;
    template <class S>    
    friend Printer &operator<<(Printer &,S &&s);
public:
    Printer(const char *filename) : filename(filename) {}
};

template <class S>
Printer &operator<<(Printer &pm,S &&s) {
    std::cout << s;
    return pm;
}

// +------------+
// | Main Stuff |
// +------------+
void runtest(size_t run_length)
{
    static RandGen<size_t> word_sz_generator(10,20);
    static RandGen<int> rand_char_generator(0,25);

    size_t total_char_count = 0;
    std::vector<std::string> word_list;
    word_list.reserve(run_length);

    Printer printer("benchmark.dat");
    printer << "Running test... ";

    Timer timer; // start timer
    for (auto i = 0; i < run_length; i++) {

        size_t word_sz = word_sz_generator();
        std::string word;
        for (auto sz = 0; sz < word_sz; sz++) {
            word.push_back(static_cast<char>(rand_char_generator())+'a');
        }
        word_list.emplace_back(std::move(word));
        total_char_count += word_sz;
    }
    int64_t execution_time_usec = timer(); // stop timer

    printer << /*run_length*/ word_list.size() << " words,and " 
            << total_char_count << " total characters,were built in "
            << execution_time_usec/usec_to_sec << " seconds.\n";
}

int main(int argc,char **argv)
{
    constexpr size_t iterations = 30;
    constexpr size_t run_length = 50000000;

    for (auto i = 0; i < iterations; i++)
        runtest(run_length);

    return EXIT_SUCCESS;
}

第一类Timer,只是一个小的便利类(为了简洁而故意不是很好的功能),用于对代码进行计时.

我试着没有第二类RandGen(它只是生成随机值),但任何试图从测试代码中排除这一点都会使问题自动神奇地消失.所以,我怀疑这个问题与它有关.但我无法弄清楚如何.

对于这个问题,第三类打印机似乎完全没有必要,但再次,包括它似乎加剧了这个问题.

所以,现在我们归结为main()(只运行测试)和runtest().

runtest()是可怕的,所以请不要从“干净的代码”的角度来看待它.以任何方式更改它(例如将内部for循环移动到其自己的函数)会导致基准测试结果发生变化.最简单,最令人困惑的例子是最后一行：

printer << /*run_length*/ word_list.size() << " words,and " 
        << total_char_count << " total characters,were built in "
        << execution_time_usec/usec_to_sec << " seconds.\n";

在上面的行中,run_length和word_list.size()是相同的.矢量word_list的大小由run_length定义.但是,如果我按原样运行代码,我的平均执行时间为9.8秒,而如果我取消注释run_length并注释掉word_list.size(),则执行时间实际上会增加到平均10.6秒.我无法理解这种微不足道的代码变更如何影响整个程序的时间安排.

换一种说法…

9.8秒：

printer << /*run_length*/ word_list.size() << " words,were built in "
        << execution_time_usec/usec_to_sec << " seconds.\n";

10.6秒：

printer << run_length /*word_list.size()*/ << " words,were built in "
        << execution_time_usec/usec_to_sec << " seconds.\n";

我已经多次重复评论和取消注释上述变量,并多次重新运行基准测试.基准测试是可重复且一致的 – 即它们分别始终为9.8秒和10.6秒.

对于这两种情况,代码输出如下所示：

06004

任何有关导致这种差异的信息都将不胜感激.

笔记：

>即使从Printer类中删除未使用的std :: string文件名成员对象也会产生不同的基准测试结果 – 这样做可以消除(或减少不显着的比例)上面提供的两个基准测试之间的差异.
>使用g(在Ubuntu上)进行编译时,这似乎不是问题.虽然,我不能说明这一点;我在Ubuntu上的测试是在同一台Windows机器上的VM中,VM可能无法访问所有资源和处理器增强功能.
>我正在使用Visual Studio Community 2017(版本15.7.4)

>编译器版本：19.14.26431
>所有测试和报告的结果都是Release Build,64位

>系统：Win10,i7-6700K @ 4.00 GHz,32 GB RAM