您的位置:首页 > 数据库 > Redis

框架 day80 涛涛商城项目-redis安装单机版solr,搭建搜索服务层,solrJ使用

2016-12-29 23:31 871 查看
淘淘商城第八天
 

讲师:入云龙

今天内容:

商品搜索功能:

1、使用solr实现。

2、搭建搜索服务层。

 

 

1  Solr实现全文搜索

1.1    Solr是什么?

Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。

Solr是一个全文检索服务器,只需要进行配置就可以实现全文检索服务。

 

1.2    Solr的安装及配置

Solr的版本:4.10.3

1.2.1  安装步骤

需要把solr服务器安装到linux环境:

第一步:安装linux、jdk、tomcat。

[root@bogon ~]# ll

total 8044

-rw-r--r--. 1 root root 8234674 Oct 27  2013 apache-tomcat-7.0.47.tar.gz

[root@bogon ~]# tar -zxfapache-tomcat-7.0.47.tar.gz

[root@bogon ~]# ll

total 8048

drwxr-xr-x. 9 root root    4096 Sep 10 17:55 apache-tomcat-7.0.47

-rw-r--r--. 1 root root 8234674 Oct 27  2013 apache-tomcat-7.0.47.tar.gz

[root@bogon ~]# mkdir /usr/local/solr

[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat

cp: omitting directory`apache-tomcat-7.0.47'

[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat -r

[root@bogon ~]# cd /usr/local/solr/

[root@bogon solr]# ll

total 4

drwxr-xr-x. 9 root root 4096 Sep 10 17:56tomcat

[root@bogon solr]#

第二步:把solr的压缩包上传到服务器。并解压。

第三步:把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war

[root@bogon dist]# cp solr-4.10.3.war/usr/local/solr/tomcat/webapps/solr.war

第四步:解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war.

第五步:把/root/solr-4.10.3/example/lib/ext目录下所有的jar包复制到solr工程中。

[root@bogon ext]# cp */usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/

第六步:创建solrhome。Solrhome是存放solr服务器所有配置文件的目录。

[root@bogon example]# pwd

/root/solr-4.10.3/example

[root@bogon example]# cp -r solr/usr/local/solr/solrhome

[root@bogon example]#

第七步:告诉solr服务器solrhome的位置(jndi)。

需要修改solr工程的web.xml文件。



第八步:启动tomcat



1.2.2  配置业务字段

1、在solr中默认是中文分析器,需要手工配置。配置一个FieldType,在FieldType中指定中文分析器。

2、Solr中的字段必须是先定义后使用。

1.2.2.1 中文分析器的配置

第一步:使用IK-Analyzer。把分析器的文件夹上传到服务器。

第二步:需要把分析器的jar包添加到solr工程中。

[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/

[root@bogon IK Analyzer 2012FF_hf1]#

第三步:需要把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。

/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes

 

[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer.cfg.xml ext_stopword.dic mydict.dic/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes

[root@bogon IK Analyzer 2012FF_hf1]#

 

注意:扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。

 

第四步:配置fieldType。需要在solrhome/collection1/conf/schema.xml中配置。

技巧:使用vi、vim跳转到文档开头gg。跳转到文档末尾:G

<fieldType name="text_ik" class="solr.TextField">

  <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>

</fieldType>

 



1.2.2.2 业务字段配置

业务字段判断标准:

1、在搜索时是否需要在此字段上进行搜索。例如:商品名称、商品的卖点、商品的描述

2、后续的业务是否需要用到此字段。例如:商品id。

 

需要用到的字段:

1、商品id

2、商品title

3、卖点

4、价格

5、商品图片

6、商品分类名称

7、商品描述

 

Solr中的业务字段:

1、id——》商品id

使用solr本身提供的:

<fieldname="id"type="string" indexed="true"stored="true"required="true" multiValued="false"/>

2、 

其他的对应字段创建solr的字段。

<field name="item_title" type="text_ik" indexed="true" stored="true"/>

<field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>

<field name="item_price"  type="long" indexed="true" stored="true"/>

<field name="item_image" type="string" indexed="false" stored="true" />

<field name="item_category_name" type="string" indexed="true" stored="true" />

<field name="item_desc" type="text_ik" indexed="true" stored="false" />

 

<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>

<copyField source="item_title" dest="item_keywords"/>

<copyField source="item_sell_point" dest="item_keywords"/>

<copyField source="item_category_name" dest="item_keywords"/>

<copyField source="item_desc" dest="item_keywords"/>

 

重新启动tomcat

 


1.3    维护索引库

添加:添加一个json格式的文件就可以。

修改:在solr中没有update,只需要添加一个新的文档,要求文档id和被修改文档的id一致。原理是先删除后添加。

删除:使用xml格式。



删除两种方法:

1、根据id删除:

<delete>

<id>test001</id>

</delete>

<commit/>

2、根据查询删除:

<delete>

<query>*:*</query>

</delete>

<commit/>

 

 

2  solrJ客户端

需要依赖solrj的jar包。

<!-- solr客户端 -->

          <dependency>

               <groupId>org.apache.solr</groupId>

               <artifactId>solr-solrj</artifactId>

          </dependency>

 

2.1    使用solrj的使用

public
class
SolrJTest {

 

     @Test

     public
void
addDocument() throws Exception {

          //创建一连接

          SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");

          //创建一个文档对象

          SolrInputDocument document =
new
SolrInputDocument();

          document.addField("id","test001");

          document.addField("item_title","测试商品2");

          document.addField("item_price", 54321);

          //把文档对象写入索引库

          solrServer.add(document);

          //提交

          solrServer.commit();

     }

    

     @Test

     public
void
deleteDocument() throws Exception {

          //创建一连接

          SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");

          //solrServer.deleteById("test001");

          solrServer.deleteByQuery("*:*");

          solrServer.commit();

     }

}

 

2.2    把商品信息导入到索引库

使用java程序读取mysql数据库中的商品信息,然后创建solr文档对象,把商品信息写入索引库。

需要发布一个服务。

 

为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。Taotao-search。

 

2.2.1  系统架构



2.2.2  创建taotao-search工程



2.2.3  Pom文件

需要依赖taottao-common工程

需要依赖的jar包:

Spring的jar包

Springmvc的jar包。

Solrj的jar包。

Mybatis的jar包。

 

参考taotao-rest工程。

 

<project
xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>

     <parent>

          <groupId>com.taotao</groupId>

          <artifactId>taotao-parent</artifactId>

          <version>0.0.1-SNAPSHOT</version>

     </parent>

     <groupId>com.taotao</groupId>

     <artifactId>taotao-search</artifactId>

     <version>0.0.1-SNAPSHOT</version>

     <packaging>war</packaging>

     <dependencies>

          <dependency>

               <groupId>com.taotao</groupId>

               <artifactId>taotao-manager-mapper</artifactId>

               <version>0.0.1-SNAPSHOT</version>

          </dependency>

          <!-- Spring -->

          <dependency>

               <groupId>org.springframework</groupId>

               <artifactId>spring-context</artifactId>

          </dependency>

          <dependency>

               <groupId>org.springframework</groupId>

               <artifactId>spring-beans</artifactId>

          </dependency>

          <dependency>

               <groupId>org.springframework</groupId>

               <artifactId>spring-webmvc</artifactId>

          </dependency>

          <dependency>

               <groupId>org.springframework</groupId>

               <artifactId>spring-jdbc</artifactId>

          </dependency>

          <dependency>

               <groupId>org.springframework</groupId>

               <artifactId>spring-aspects</artifactId>

          </dependency>

          <dependency>

               <groupId>javax.servlet</groupId>

               <artifactId>servlet-api</artifactId>

               <scope>provided</scope>

          </dependency>

          <dependency>

               <groupId>javax.servlet</groupId>

               <artifactId>jsp-api</artifactId>

               <scope>provided</scope>

          </dependency>

          <!-- solr客户端 -->

          <dependency>

               <groupId>org.apache.solr</groupId>

               <artifactId>solr-solrj</artifactId>

          </dependency>

     </dependencies>

     <build>

          <!-- 配置插件 -->

          <plugins>

               <plugin>

                    <groupId>org.apache.tomcat.maven</groupId>

                    <artifactId>tomcat7-maven-plugin</artifactId>

                    <configuration>

                         <port>8083</port>

                         <path>/</path>

                    </configuration>

               </plugin>

          </plugins>

     </build>

</project>

 

2.2.4  Web.xml

 

<?xml
version="1.0"
encoding="UTF-8"?>

<web-app
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

     xmlns="http://java.sun.com/xml/ns/javaee"xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"

     xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
     id="taotao"version="2.5">

     <display-name>taotao-search</display-name>

     <welcome-file-list>

          <welcome-file>index.html</welcome-file>

          <welcome-file>index.htm</welcome-file>

          <welcome-file>index.jsp</welcome-file>

          <welcome-file>default.html</welcome-file>

          <welcome-file>default.htm</welcome-file>

          <welcome-file>default.jsp</welcome-file>

     </welcome-file-list>

     <!-- 加载spring容器 -->

     <context-param>

          <param-name>contextConfigLocation</param-name>

          <param-value>classpath:spring/applicationContext-*.xml</param-value>

     </context-param>

     <listener>

          <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>

     </listener>

     <!-- 解决post乱码 -->

     <filter>

          <filter-name>CharacterEncodingFilter</filter-name>

          <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>

          <init-param>

               <param-name>encoding</param-name>

               <param-value>utf-8</param-value>

          </init-param>

     </filter>

     <filter-mapping>

          <filter-name>CharacterEncodingFilter</filter-name>

          <url-pattern>/*</url-pattern>

     </filter-mapping>

     <!-- springmvc的前端控制器 -->

     <servlet>

          <servlet-name>taotao-search</servlet-name>

          <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>

          <!-- contextConfigLocation不是必须的, 如果不配置contextConfigLocation,springmvc的配置文件默认在:WEB-INF/servlet的name+"-servlet.xml" -->

          <init-param>

               <param-name>contextConfigLocation</param-name>

               <param-value>classpath:spring/springmvc.xml</param-value>

          </init-param>

          <load-on-startup>1</load-on-startup>

     </servlet>

     <servlet-mapping>

          <servlet-name>taotao-search</servlet-name>

          <url-pattern>/search/*</url-pattern>

     </servlet-mapping>

</web-app>

 

2.2.5  框架整合

参考taotao-rest工程



2.3    导入商品数据

2.3.1  需要使用的表



2.3.2  Sql语句

SELECT

      a.id,

      a.title,

      a.sell_point,

      a.price,

      a.image,

      b.`name`category_name,

      c.item_desc

FROM

      tb_itema

LEFT JOIN tb_item_cat b ON a.cid = b.id

LEFT JOIN tb_item_desc c ON a.id =c.item_id

 

2.3.3  Dao层

需要创建一个mapper接口+mapper映射文件。名称相同且在同一目录下。

2.3.3.1 pojo

创建一个sql语句对应的pojo。

public
class
Item {

 

     private
String id;

     private
String title;

     private
String sell_point;

     private
long
price;

     private
String image;

     private
String category_name;

     private
String item_des;

}

 

2.3.3.2 接口定义



2.3.3.3 Mapper文件

<?xml
version="1.0"
encoding="UTF-8"?>

<!DOCTYPE
mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd"
>

<mapper
namespace="com.taotao.search.mapper.ItemMapper">

    

     <selectid="getItemList"resultType="com.taotao.search.pojo.Item">

          SELECT

               a.id,

               a.title,

               a.sell_point,

               a.price,

               a.image,

               b. NAME category_name

          FROM

               tb_item a

          LEFT JOIN tb_item_cat b ON a.cid = b.id

     </select>

 

</mapper>

 

2.3.4  Service层

功能:导入所有的商品数据。没有参数。返回结果TaotaoResult。从数据库中查询出所有的商品数据。创建一个SolrInputDocument对象,把对象写入索引库。

 

@Service

public
class
ItemServiceImpl implements ItemService {

 

     @Autowired

     private ItemMapper
itemMapper;

    

     @Autowired

     private SolrServer
solrServer;

    

     @Override

     public TaotaoResult importAllItems() {

          try {

              

               //查询商品列表

               List<Item> list =
itemMapper.getItemList();

               //把商品信息写入索引库

               for (Item
item : list) {

                    //创建一个SolrInputDocument对象

                    SolrInputDocument document =new SolrInputDocument();

                    document.setField("id",item.getId());

                    document.setField("item_title",item.getTitle());

                    document.setField("item_sell_point",item.getSell_point());

                    document.setField("item_price",item.getPrice());

                    document.setField("item_image",item.getImage());

                    document.setField("item_category_name",item.getCategory_name());

                    document.setField("item_desc",item.getItem_des());

                    //写入索引库

                    solrServer.add(document);

               }

               //提交修改

               solrServer.commit();

          } catch (Exceptione) {

               e.printStackTrace();

               return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));

          }

          return TaotaoResult.ok();

     }

 

}

 

applicationContext-solr.xml

<!-- 配置SolrServer对象 -->

     <!-- 单机版 -->

     <bean
id="httpSolrServer"
class="org.apache.solr.client.solrj.impl.HttpSolrServer">

          <constructor-argname="baseURL"value="${SOLR.SERVER.URL}"></constructor-arg>

     </bean>

 

2.3.5  Controller层

功能:发布一个rest形式的服务。调用Service的服务方法,把数据导入到索引库中,返回TaotaoResult。

 

Url:/search/manager/importall

@Controller

@RequestMapping("/manager")

public
class
ItemController {

    

     @Autowired

     private ItemService
itemService;

 

     /**

      * 导入商品数据到索引库

      */

     @RequestMapping("/importall")

     @ResponseBody

     public TaotaoResult importAllItems() {

          TaotaoResult result =itemService.importAllItems();

          return
result;

     }

}

 

修改pom文件,添加如下配置:

<build>  

     <resources>
               <resource>
                    <directory>src/main/java</directory>
                    <includes>
                         <include>**/*.properties</include>
                         <include>**/*.xml</include>
                    </includes>
                    <filtering>false</filtering>
               </resource>
               <resource>
                    <directory>src/main/resources</directory>
                    <includes>
                         <include>**/*.properties</include>
                         <include>**/*.xml</include>
                    </includes>
                    <filtering>false</filtering>
               </resource>
          </resources>
     </build>

 

3  搜索服务发布

3.1    需求分析

http形式的服务。对外提供搜索服务是一个get形式的服务。调用此服务时需要查询条件,分页条件可以使用page(要显示第几页)、rows(每页显示的记录数)。返回一个json格式的数据。可以使用TaotaoResult包装一个商品列表转换成json。

 

请求的url:/search/query/{查询条件}/{page}/{rows}

          /search/query?q={查询条件}&page={page}&rows={rows}

返回的结果:TaotaoResult包装商品列表。

 

3.2    Dao层

分析:尽可能的做的通用一些。参数应该是SolrQuery。返回商品列表、查询结果总记录数

 

查询测试:

@Test

     public
void
queryDocument()
throws
Exception {

          SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");

          //创建一个查询对象

          SolrQuery query = new SolrQuery();

          //设置查询条件

          query.setQuery("*:*");

          query.setStart(20);

          query.setRows(50);

          //执行查询

          QueryResponse response =
solrServer.query(query);

          //取查询结果

          SolrDocumentList solrDocumentList =response.getResults();

          System.out.println("共查询到记录:" +solrDocumentList.getNumFound());

          for (SolrDocumentsolrDocument :
solrDocumentList) {

               System.out.println(solrDocument.get("id"));

               System.out.println(solrDocument.get("item_title"));

               System.out.println(solrDocument.get("item_price"));

               System.out.println(solrDocument.get("item_image"));

              

          }

     }

 

返回结果pojo:

public
class
SearchResult {

 

     //商品列表

     private List<Item>
itemList;

     //总记录数

     private
long
recordCount;

     //总页数

     private
long
pageCount;

     //当前页

     private
long
curPage;

}

 

@Repository

public
class
SearchDaoImpl implements SearchDao {

    

     @Autowired

     private SolrServer
solrServer;

 

     @Override

     public SearchResult search(SolrQueryquery)
throws Exception {

          //返回值对象

          SearchResult result = new SearchResult();

          //根据查询条件查询索引库

          QueryResponse queryResponse =
solrServer.query(query);

          //取查询结果

          SolrDocumentList solrDocumentList =queryResponse.getResults();

          //取查询结果总数量

          result.setRecordCount(solrDocumentList.getNumFound());

          //商品列表

          List<Item> itemList = new ArrayList<>();

          //取高亮显示

          Map<String, Map<String, List<String>>> highlighting =queryResponse.getHighlighting();

          //取商品列表

          for (SolrDocumentsolrDocument :
solrDocumentList) {

               //创建一商品对象

               Item item = new Item();

               item.setId((String)
solrDocument.get("id"));

               //取高亮显示的结果

               List<String> list =
highlighting.get(solrDocument.get("id")).get("item_title");

               String title ="";

               if (list !=null &&
list.size()>0) {

                    title =list.get(0);

               } else {

                    title = (String)solrDocument.get("item_title");

               }

               item.setTitle(title);

               item.setImage((String)
solrDocument.get("item_image"));

               item.setPrice((long)solrDocument.get("item_price"));

               item.setSell_point((String)
solrDocument.get("item_sell_point"));

               item.setCategory_name((String)solrDocument.get("item_category_name"));

               //添加的商品列表

               itemList.add(item);

          }

          result.setItemList(itemList);

          return
result;

     }

 

}

3.3    Service层

功能:接收查询条件。查询条件及分页条件(page、rows),创建一个SolrQuery对象。指定查询条件、分页条件、默认搜索域、高亮显示。调用dao层执行查询。得到查询结果计算总页数。返回SearchResult对象。

@Service

public
class
SearchServiceImpl implements SearchService {

 

     @Autowired

     private SearchDao
searchDao;

     @Override

     public SearchResult search(StringqueryString,
intpage,
introws)
throws Exception {

          //创建查询对象

          SolrQuery query = new SolrQuery();

          //设置查询条件

          query.setQuery(queryString);

          //设置分页

          query.setStart((page - 1) *rows);

          query.setRows(rows);

          //设置默认搜素域

          query.set("df","item_keywords");

          //设置高亮显示

          query.setHighlight(true);

          query.addHighlightField("item_title");

          query.setHighlightSimplePre("<em style=\"color:red\">");

          query.setHighlightSimplePost("</em>");

          //执行查询

          SearchResult searchResult =searchDao.search(query);

          //计算查询结果总页数

          long
recordCount = searchResult.getRecordCount();

          long
pageCount = recordCount /
rows;

          if (recordCount %rows > 0) {

               pageCount++;

          }

          searchResult.setPageCount(pageCount);

          searchResult.setCurPage(page);

         

          return
searchResult;

     }

 

}

 

3.4    Controller层

接收查询参数:查询条件、page、rows

调用Service执行查询返回一个查询结果对象。

把查询结果包装到TaotaoResult中返回,结果是json格式的数据。

 

如果查询条件为空,返回状态码:400,消息:查询条件不能为空。

Page为空:默认为1

Rows 为空:默认为60

 

@Controller

public
class
SearchController {

 

     @Autowired

     private SearchServicesearchService;

    

     @RequestMapping(value="/query", method=RequestMethod.GET)

     @ResponseBody

     public TaotaoResult search(@RequestParam("q")StringqueryString,

               @RequestParam(defaultValue="1")Integerpage,

               @RequestParam(defaultValue="60")Integerrows) {

          //查询条件不能为空

          if (StringUtils.isBlank(queryString)) {

               return TaotaoResult.build(400,"查询条件不能为空");

          }

          SearchResult searchResult =null;

          try {

               searchResult =searchService.search(queryString,page,
rows);

          } catch (Exceptione) {

               e.printStackTrace();

               return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));

          }

          return TaotaoResult.ok(searchResult);

         

     }

    

}

 

扫描dao配置:



解决get乱码问题:

Tomcat默认的编码为ISO8859-1,需要转换成utf-8的编码。

或者
在controller中添加字符串编码转换逻辑



 

 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐