solr创建索引、添加数据的关键是配置schema.xml文件,该文件中主要是完成配置数据源、索引字段、数据类型等定义。同时,该文件的配置直接影响到solr搜索的效率和准确性。
一、搜索类型FileType
name:指的是FileType的名字
class:指向org.apache.solr.analysis包里面对应的class名称,用来定义这个类型的行为
<types> <fieldType name="string" class="solr.StrField" sortMissingLast="true" /> <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/> <fieldtype name="binary" class="solr.BinaryField"/> <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/> <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/> <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/> <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" positionIncrementGap="0"/> <fieldType name="tint" class="solr.TrieIntField" precisionStep="8" positionIncrementGap="0"/> <fieldType name="tfloat" class="solr.TrieFloatField" precisionStep="8" positionIncrementGap="0"/> <fieldType name="tlong" class="solr.TrieLongField" precisionStep="8" positionIncrementGap="0"/> <fieldType name="tdouble" class="solr.TrieDoubleField" precisionStep="8" positionIncrementGap="0"/> <fieldType name="date" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0"/> <fieldType name="tdate" class="solr.TrieDateField" precisionStep="6" positionIncrementGap="0"/> <fieldType name="pint" class="solr.IntField"/> <fieldType name="plong" class="solr.LongField"/> <fieldType name="pfloat" class="solr.FloatField"/> <fieldType name="pdouble" class="solr.DoubleField"/> <fieldType name="pdate" class="solr.DateField" sortMissingLast="true"/> <fieldType name="sint" class="solr.SortableIntField" sortMissingLast="true" omitNorms="true"/> <fieldType name="slong" class="solr.SortableLongField" sortMissingLast="true" omitNorms="true"/> <fieldType name="sfloat" class="solr.SortableFloatField" sortMissingLast="true" omitNorms="true"/> <fieldType name="sdouble" class="solr.SortableDoubleField" sortMissingLast="true" omitNorms="true"/> <fieldType name="random" class="solr.RandomSortField" indexed="true" /> </types>注明了若干种搜索类型,字符串,数字,浮点,日期,布尔等。
通常,我们对自己定义的类型建立分析器analyzer,来更好的实现对字段更加准确的搜索功能。分析器通常由分词器tokenizer和过滤器filter组成。通常只有solr.TextField 类型的fieldtype允许定制分析器。通常有一下两种方法创建分析器。
方法一:使用任何 org.apache.lucene.analysis.Analyzer的子类进行设定。
<fieldtype name="nametext" class="solr.TextField"> <analyzer class="org.apache.lucene.analysis.WhitespaceAnalyzer"/> </fieldtype>
方法二:指定一个TokenizerFactory ,后面跟一系列的TokenFilterFactories(它们将按照所列的顺序发生作用)
<fieldtype name="text" class="solrTextField"> <analyzer> <tokenizer class="solr.solrStandardTokenizerFactory"/> <filter class="solr.solrStandardFilterFactory"/> <filter class="solr.solrLowerCaseFilterFactory"/> <filter class="solr.solrStopFilterFactory"/> <filter class="solr.solrPorterStemFilterFactory"/> </analyzer> </fieldtype>需要说明的一点是,Any Analyzer,TokenizerFactory,or TokenFilterFactory 应该用带包名的全类名进行指定,请确保它们位于Solr的classpath 路径下。对于 org.apache.solr.analysis.* 包下的类,仅仅通过solr.*就可以进行指定。
Solr提供的TokenizerFactories,如下:
solr.LetterTokenizerFactory | "I can't" | "I","can","t" | |
solr.WhitespaceTokenizerFactory | "I can" | "I","can" | |
solr.LowerCaseTokenizerFactory | "I can't" | "i","t" | |
solr.StandardTokenizerFactory | "I.B.M. cat's can't" |
ACRONYM: "I.B.M.",APOSTROPHE:"cat's",APOSTROPHE:"can't" | 目前仅仅只有StandardFilter对Token 的类型是敏感的。 |
solr.HTMLStripWhitespaceTokenizerFactory | solr.HTMLStripWhitespaceTokenizerFactory | ||
solr.HTMLStripStandardTokenizerFactory | 从结果中出去HTML标签,将结果交给StandardTokenizer处理 | ||
solr.PatternTokenizerFactory | 按照规则表达式样式对分本进行分词 |
Solr有哪些TokenFilterFactories,如下:
solr.StandardFilterFactory | 仅仅作用于由StandardTokenizer产生的Token |
solr.LowerCaseFilterFactory | |
solr.TrimFilterFactory | 去掉Token两端的空白符 |
solr.StopFilterFactory | 去掉如下的通用词,多为虚词。可通过words="stopwords.txt"来指定字符集 |
solr.KeepWordFilterFactory | 作用与solr.StopFilterFactory相反,保留词的列表也可以通过”word”属性进行指定 |
solr.LengthFilterFactory | 过滤掉长度在某个范围之外的词,有min="2" max="5"属性 |
solr.PorterStemFilterFactory | 采用Porter Stemming Algorithm算法去掉单词的后缀,例如将复数形式变成单数形式,第三人称动词变成第一人称,现在分词变成一般现在时的动词 |
solr.EnglishPorterFilterFactory | 关于句子主干的处理,其中的"protected"指定不允许修改的词的文件 |
solr.SnowballPorterFilterFactory | 关于不同语言的词干处理 |
solr.WordDelimiterFilterFactory | 关于分隔符的处理 |
solr.SynonymFilterFactory | 关于同义词的处理 |
solr.RemoveDuplicatesTokenFilterFactory | 避免重复处理 |
二、定义字段fields
name:字段名
type:之前定义过的各种FieldType
indexed:是否被索引
stored:是否被存储(如果不需要存储相应字段值,尽量设为false)
multiValued:是否有多个值(对可能存在多值的字段尽量设置为true,避免建索引时抛出错误)
compressed(true|false):是否使用gzip压缩存储(仅适用于compressable;TextField和StrField)
compressThreshold():保证压缩到不小于一个integer大小
omitNorms(true|false):当为true时,字段检索时被省略相关的规范
omitTermFreqAndPositions(true|false):当为true时,省略这一领域的长远频率,位置和有效载荷
termVectors(true|false):当设置true,会存储 term vector。当使用MoreLikeThis,用来作为相似词的field应该存储起来。
termPositions:存储 term vector中的地址信息,会消耗存储开销。
termOffsets:存储 term vector 的偏移量,会消耗存储开销。
<fields> <field name="id" type="integer" indexed="true" stored="true" required="true" /> <field name="name" type="text" indexed="true" stored="true" /> <field name="summary" type="text" indexed="true" stored="true" /> <field name="author" type="string" indexed="true" stored="true" /> <field name="date" type="date" indexed="false" stored="true" /> <field name="content" type="text" indexed="true" stored="false" /> <field name="keywords" type="keyword_text" indexed="true" stored="false" multiValued="true" /> <!--拷贝字段--> <field name="all" type="text" indexed="true" stored="false" multiValued="true"/> </fields>
三、拷贝字段copyField
将所有的 全文本 字段复制到一个字段中,以便进行统一的检索。
<copyField source="name" dest="all"/> <copyField source="summary" dest="all"/>
四、其他字段
<uniqueKey>id</uniqueKey>文档的唯一标识, 必须填写这个field(除非该field被标记required="false"),否则solr建立索引报错。
<defaultSearchField>text</defaultSearchField>如果搜索参数中没有指定具体的field,那么这是默认的域。优先级比solrconfig.xml中设置的requestHandler低。
<solrQueryParserdefaultOperator="OR" />配置搜索参数短语间的逻辑,可以是"AND|OR"。