至于散列,MD5非常快,并且保证为不同的内容提供不同的散列(即使它只是略有不同). CRC甚至更快,但不太可靠.
如果这些都不适合你,希望搜索“{Java | Javascript}网络爬虫”会给你一些想法.