java – 寻找快速,紧凑,可流式,多语言,强类型的序列化格式

前端之家收集整理的这篇文章主要介绍了java – 寻找快速,紧凑,可流式,多语言,强类型的序列化格式前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

我目前在我的Java项目中使用JSON(通过gzip压缩),我需要在磁盘上存储大量对象(数亿个).我每行有一个JSON对象,并禁止JSON对象中的换行符.通过这种方式,我可以逐行从磁盘流式传输数据,而无需一次读取整个文件.

事实证明,解析JSON代码(使用http://www.json.org/java/)比从磁盘上提取原始数据或解压缩它(我在运行中做)更大的开销.

理想情况下,我想要的是强类型序列化格式,我可以在其中指定“此对象字段是字符串列表”(例如),并且因为系统知道会发生什么,它可以快速反序列化.我也可以通过给别人“类型”来指定格式.

它还需要跨平台.我使用Java,但与使用PHP,Python和其他语言的人一起工作.

所以,回顾一下,它应该是:

>强力打字
> Streamable(即,逐位读取文件,而不必一次性将其全部加载到RAM中)
>跨平台(包括Java和PHP)
>快
>免费(如发言)

有什么指针吗?

最佳答案
您是否查看了Google协议缓冲区?:

http://code.google.com/apis/protocolbuffers/

它们是跨平台的(C,Java,Python),还有用于PHP的第三方绑定.它快速,相当紧凑和强类型.

这里还有各种格式之间有用的比较:

http://code.google.com/p/thrift-protobuf-compare/wiki/Benchmarking

您可能想要考虑Thrift或此处提到的其他一个.

猜你在找的Java相关文章