solr配置schema.xml学习

前端之家收集整理的这篇文章主要介绍了solr配置schema.xml学习前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

solr创建索引、添加数据的关键是配置schema.xml文件,该文件中主要是完成配置数据源、索引字段、数据类型等定义。同时,该文件的配置直接影响到solr搜索的效率和准确性。

一、搜索类型FileType

name:指的是FileType的名字

class:指向org.apache.solr.analysis包里面对应的class名称,用来定义这个类型的行为

<types> 
    <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
	<fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/>
	<fieldtype name="binary" class="solr.BinaryField"/>
	<fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>
	<fieldType name="float" class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/>
	<fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
	<fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" positionIncrementGap="0"/>
	<fieldType name="tint" class="solr.TrieIntField" precisionStep="8" positionIncrementGap="0"/>
	<fieldType name="tfloat" class="solr.TrieFloatField" precisionStep="8" positionIncrementGap="0"/>
	<fieldType name="tlong" class="solr.TrieLongField" precisionStep="8" positionIncrementGap="0"/>
	<fieldType name="tdouble" class="solr.TrieDoubleField" precisionStep="8" positionIncrementGap="0"/>
	<fieldType name="date" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0"/>
	<fieldType name="tdate" class="solr.TrieDateField" precisionStep="6" positionIncrementGap="0"/>
	<fieldType name="pint" class="solr.IntField"/>
	<fieldType name="plong" class="solr.LongField"/>
	<fieldType name="pfloat" class="solr.FloatField"/>
	<fieldType name="pdouble" class="solr.DoubleField"/>
	<fieldType name="pdate" class="solr.DateField" sortMissingLast="true"/>
	<fieldType name="sint" class="solr.SortableIntField" sortMissingLast="true" omitNorms="true"/>
	<fieldType name="slong" class="solr.SortableLongField" sortMissingLast="true" omitNorms="true"/>
	<fieldType name="sfloat" class="solr.SortableFloatField" sortMissingLast="true" omitNorms="true"/>
	<fieldType name="sdouble" class="solr.SortableDoubleField" sortMissingLast="true" omitNorms="true"/>
	<fieldType name="random" class="solr.RandomSortField" indexed="true" />
</types> 
	
注明了若干种搜索类型,字符串,数字,浮点,日期,布尔等。

通常,我们对自己定义的类型建立分析器analyzer,来更好的实现对字段更加准确的搜索功能。分析器通常由分词器tokenizer和过滤器filter组成。通常只有solr.TextField 类型的fieldtype允许定制分析器。通常有一下两种方法创建分析器。

方法一:使用任何 org.apache.lucene.analysis.Analyzer的子类进行设定。

<fieldtype name="nametext" class="solr.TextField">
	<analyzer class="org.apache.lucene.analysis.WhitespaceAnalyzer"/>
</fieldtype>

方法二:指定一个TokenizerFactory ,后面跟一系列的TokenFilterFactories(它们将按照所列的顺序发生作用)
<fieldtype name="text" class="solrTextField">
   <analyzer>
     <tokenizer class="solr.solrStandardTokenizerFactory"/>
     <filter class="solr.solrStandardFilterFactory"/>
     <filter class="solr.solrLowerCaseFilterFactory"/>
     <filter class="solr.solrStopFilterFactory"/>
     <filter class="solr.solrPorterStemFilterFactory"/>
   </analyzer>
 </fieldtype>
需要说明的一点是,Any Analyzer,TokenizerFactory,or TokenFilterFactory 应该用带包名的全类名进行指定,请确保它们位于Solr的classpath 路径下。对于 org.apache.solr.analysis.* 包下的类,仅仅通过solr.*就可以进行指定。
Solr提供的TokenizerFactories,如下:

solr.LetterTokenizerFactory "I can't" "I","can","t"
solr.WhitespaceTokenizerFactory "I can" "I","can"
solr.LowerCaseTokenizerFactory "I can't" "i","t"
solr.StandardTokenizerFactory "I.B.M. cat's can't"
ACRONYM: "I.B.M.",APOSTROPHE:"cat's",APOSTROPHE:"can't" 目前仅仅只有StandardFilter对Token 的类型是敏感的。
solr.HTMLStripWhitespaceTokenizerFactory solr.HTMLStripWhitespaceTokenizerFactory
solr.HTMLStripStandardTokenizerFactory 从结果中出去HTML标签,将结果交给StandardTokenizer处理
solr.PatternTokenizerFactory 按照规则表达式样式对分本进行分词

Solr有哪些TokenFilterFactories,如下:

solr.StandardFilterFactory 仅仅作用于由StandardTokenizer产生的Token
solr.LowerCaseFilterFactory
solr.TrimFilterFactory 去掉Token两端的空白符
solr.StopFilterFactory 去掉如下的通用词,多为虚词。可通过words="stopwords.txt"来指定字符集
solr.KeepWordFilterFactory 作用与solr.StopFilterFactory相反,保留词的列表也可以通过”word”属性进行指定
solr.LengthFilterFactory 过滤掉长度在某个范围之外的词,有min="2" max="5"属性
solr.PorterStemFilterFactory 采用Porter Stemming Algorithm算法去掉单词的后缀,例如将复数形式变成单数形式,第三人称动词变成第一人称,现在分词变成一般现在时的动词
solr.EnglishPorterFilterFactory 关于句子主干的处理,其中的"protected"指定不允许修改的词的文件
solr.SnowballPorterFilterFactory 关于不同语言的词干处理
solr.WordDelimiterFilterFactory 关于分隔符的处理
solr.SynonymFilterFactory 关于同义词的处理
solr.RemoveDuplicatesTokenFilterFactory 避免重复处理

二、定义字段fields

name:字段名
type:之前定义过的各种FieldType
indexed:是否被索引
stored:是否被存储(如果不需要存储相应字段值,尽量设为false)
multiValued:是否有多个值(对可能存在多值的字段尽量设置为true,避免建索引时抛出错误

compressed(true|false):是否使用gzip压缩存储(仅适用于compressable;TextField和StrField)
compressThreshold():保证压缩到不小于一个integer大小
omitNorms(true|false):当为true时,字段检索时被省略相关的规范
omitTermFreqAndPositions(true|false):当为true时,省略这一领域的长远频率,位置和有效载荷
termVectors(true|false):当设置true,会存储 term vector。当使用MoreLikeThis,用来作为相似词的field应该存储起来。
termPositions:存储 term vector中的地址信息,会消耗存储开销。
termOffsets:存储 term vector 的偏移量,会消耗存储开销。

<fields>     
    <field name="id" type="integer" indexed="true" stored="true" required="true" />    
    <field name="name" type="text" indexed="true" stored="true" />     
    <field name="summary" type="text" indexed="true" stored="true" />     
    <field name="author" type="string" indexed="true" stored="true" />     
    <field name="date" type="date" indexed="false" stored="true" />     
    <field name="content" type="text" indexed="true" stored="false" />     
    <field name="keywords" type="keyword_text" indexed="true" stored="false" multiValued="true" />    
    <!--拷贝字段-->     
    <field name="all" type="text" indexed="true" stored="false" multiValued="true"/>    
</fields> 

三、拷贝字段copyField
将所有的 全文本 字段复制到一个字段中,以便进行统一的检索。

<copyField source="name" dest="all"/>     
<copyField source="summary" dest="all"/>   

四、其他字段
<uniqueKey>id</uniqueKey>
文档的唯一标识, 必须填写这个field(除非该field被标记required="false"),否则solr建立索引报错。
<defaultSearchField>text</defaultSearchField>
如果搜索参数中没有指定具体的field,那么这是默认的域。优先级比solrconfig.xml中设置的requestHandler低。
<solrQueryParserdefaultOperator="OR" />
配置搜索参数短语间的逻辑,可以是"AND|OR"。

猜你在找的XML相关文章