说我有数以千计的对象,在这个例子中可以是电影.

我以许多不同的方式解析这些电影,收集参数,关键字和统计资料.我们叫他们的钥匙我还为每个键分配一个权重,范围从0到1,具体取决于频率,相关性,强度,分数等.

举个例子,这里有一些关键和重量的电影“世界末日”：

"Armageddon"
------------------
disaster       0.8
bruce willis   1.0
Metascore      0.2
imdb score     0.4
asteroid       1.0
action         0.8
adventure      0.9
...            ...

这些钥匙和重量可能有几千个,为了清楚起见,这是另一部电影：

"The Fast and the FurIoUs"
------------------
disaster       0.1
bruce willis   0.0
Metascore      0.5
imdb score     0.6
asteroid       0.0
action         0.9
adventure      0.6
...            ...

我称之为电影的指纹,我想用它们在我的数据库中查找类似的电影.

我也想象,如果我想要的话,可以插入电影以外的东西,如文章或Facebook个人资料,并为其指定一个指纹.但这不应该影响我的问题.

我的问题

所以我来了这么远,但现在我觉得很棘手.我想拿上面的指纹,把它变成一个容易比较和快速的东西.我尝试创建一个数组,其中索引0 =灾难,1 = bruce willis,2 = Metascore,它们的值是权重.

对于我上面的两部电影,它出现了这样的东西：

[ 0.8,1.0,0.2,... ]
[ 0.1,0.0,0.5,... ]

我尝试通过不同的方式比较,只是乘以：

public double CompareFingerprints(double[] f1,double[] f2)
{
    double result = 0;

    if (f1.Length == f2.Length)
    {
        for (int i = 0; i < f1.Length; i++)
        {
            result += f1[i] * f2[i];
        }
    }

    return result;
}

或比较：

public double CompareFingerprints(double[] f1,double[] f2)
{
    double result = 0;

    if (f1.Length == f2.Length)
    {
        for (int i = 0; i < f1.Length; i++)
        {
            result += (1 - Math.Abs(f1[i] - f2[i])) / f1.Length;
        }
    }

    return result;
}

等等.

这些都返回了非常令人满意的结果,但是它们都有一个共同的问题：他们比较两部电影非常有用,但实际上,当我想将单个电影指纹与数千个电影指纹进行比较时,相当耗时,感觉很糟糕的指纹存储在我的MSsql数据库中.特别地,如果它应该像自动完成一样工作,我想在几分之一秒内返回结果.

我的问题

我在这里有正确的做法,还是以一种非常低效的方式重塑车轮？我希望我的问题对于Stack Overflow来说不是很广泛,但是我已经把它缩小了一下,以下几点.

几个想法

我的指纹是否真的是一系列重量？
我应该看看哈希我的指纹吗？它可能有助于指纹存储,但比较复杂.我发现一些提示,这可能是一个有效的方法,通过使用Locality-sensitive hashing,但数学有点超出我的影响力.
>我应该从sql获取所有数千部电影,并使用结果,还是有办法将我的比较实现为SQL查询,只返回前100个命中？
>是sparse data representation的东西吗？ (谢谢Speed8ump)
>可以应用比较实际指纹或OCR时使用的方法吗？
>我听说有软件通过在数以千计的发表论文和以前的测试中发现相似之处来检测考试作弊.他们使用什么方法？

干杯!