我试图用
PHP解析纯文本文档,但不知道如何正确地执行它.
我想分隔每个单词,为它们分配一个ID并以JSON格式保存结果.
我想分隔每个单词,为它们分配一个ID并以JSON格式保存结果.
示范文本：@H_502_3@
"Hello,how are you (today)"
这就是我现在正在做的事情：@H_502_3@
$document_array = explode(' ',$document_text);
json_encode($document_array);
[["Hello,"],["how"],["are"],["you"],["(today)"]]
如何确保空间保留在原位,并且符号不包含在单词中……@H_502_3@
[["Hello"],[",[" "],[" ("],["today"],[")"]]
我确定需要某种正则表达式…但不知道应用什么样的模式来处理所有情况……有什么建议吗？@H_502_3@
这实际上是一个非常复杂的问题,并且受到相当多的学术研究.这听起来很简单(只是在空格上分开！可能有一些标点规则……)但你很快就遇到了问题. “没有”一两个字？连字符怎么样？有些可能是一个词,有些可能是两个词.多个连续的标点符号怎么样？占有与报价？甚至确定一个句子的结尾也是不平凡的. (这只是一个句号吗？！)
这个问题是tokenisation之一,也是搜索引擎非常重视的话题.说实话,你应该真正选择用你选择的语言找到一个tokeniser.@H_502_3@
