CentOS下搭建Solr及配置中文分词器
1. 什么是Solr?
Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。
- Solr是一个全文检索服务器,只需要进行配置就可以实现全文检索服务。
- Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单,用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档,Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求,然后对 Solr 返回Xml、json等格式的查询结果进行解析,组织页面布局。Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。
2. Solr的安装配置
2.1. 下载
从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz。Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage。还需要web容器tomcat。
2.2. 安装步骤及配置
第一步:安装Linux、jdk、tomcat。
solr 需要运行在一个servlet容器中,solr4.10.3要求jdk使用1.7以上,solr默认提供Jetty(java写的Servlet容器),本教程使用tocmat作为servlet容器,环境如下:
- solr:solr4.10.3
- jdk:jdk1.7.0_72
- tomcat:apache-tomcat-7.0.53
# 解压tomcat
tar -zxvf apache-tomcat-7.0.47.tar.gz
# 创建solr工作目录
mkdir /usr/local/solr
# 复制tomcat目录至solr工作目录
cp apache-tomcat-7.0.72 /usr/local/solr/tomcat -r
第二步:把solr的压缩包上传至服务器,并解压。
tar -zxvf solr-4.10.3.tgz.tgz
solr目录如下:
- bin:solr的运行脚本。
- contrib:solr的一些贡献软件、插件,用于增强solr的功能。
- dist:该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。
- docs:solr的API文档。
- licenses:solr相关的一些许可信息。
- example:solr工程的例子目录:
- example/solr:该目录是一个包含了默认配置信息的solr的Core目录
- example/multicore:该目录包含了在solr的multicore中设置的多个Core目录。
- example/webapps:该目录中包括一个solr.war,该war可作为solr的运行实例工程。
第三步:将solr部署到tomcat容器
# 1.把/root/software/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下,并改名为solr.war
cp solr-4.10.3.war /usr/local/solr/tomcat/webapps/solr.war
# 2.解压war包,启动tomcat自动解压,关闭tomcat,删除solr.war。
/usr/local/solr/tomcat/bin/startup.sh #启动tomcat
/usr/local/solr/tomcat/bin/shutdown.sh #关闭tomcat
rm -f /usr/local/solr/tomcat/webapps/solr.war #删除war包
# 3.把/root/software/solr-4.10.3/example/lib/ext 目录下所有的jar包复制到solr工程中。
cd /root/software/solr-4.10.3/example/lib/ext
cp * /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
# 4.创建solrhome。solrhome是存放solr服务器所有配置文件的目录。
cd /root/software/solr-4.10.3/example
cp -r solr /usr/local/solr/solrhome
#5. 修改solr工程的web.xml文件,告诉solr服务器solrhome的位置。
cd /usr/local/solr/tomcat/webapps/solr/WEB-INF
vim web.xml
第四步:启动tomcat
/usr/local/solr/tomcat/bin/startup.sh
tail -f /usr/local/solr/tomcat/logs/catalina.out #查看tomcat运行情况
通过打开浏览器在地址栏输入:服务器ip地址:8080/solr,测试solr是否可以打开,如果成功则可以看到:
2.3. Solr界面功能
3. 安装中文分词器
3.1. 上传IKAnalyzer的文件到linux服务器,配置schema.xml文件
#1.把分析器的jar包添加到solr工程中
cp IKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
#2.IKAnalyzer的配置文件,把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath中,如果没有classes目录则新建
cp IKAnalyzer.cfg.xml ext_stopword.dic mydict.dic /usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
#3.修改schema.xml文件,配置fieldType,需要在solrhome/collection1/conf/schema.xml中配置,在根节点里最下面配置如下:
<fieldType name="text_ik" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
3.2. 配置业务字段
可在继续在schema.xml文件配置相应的业务字段。如:
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="long" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category_name" type="string" indexed="true" stored="true" />
<field name="item_desc" type="text_ik" indexed="true" stored="false" />
<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_sell_point" dest="item_keywords"/>
<copyField source="item_category_name" dest="item_keywords"/>
<copyField source="item_desc" dest="item_keywords"/>
重启tomcat重新刷新地址,查看分词信息中的新添加的字段是否成功。