coreseek+php之sphinx扩展安装+php调用示例

coreseek+php之sphinx扩展安装+php调用示例

创建sphinx统计表，在coreseek_test库中执行。

[sql] view
plain copy







CREATE TABLE sph_counter

(

counter_id INTEGER PRIMARY KEY NOT NULL,

max_doc_id INTEGER NOT NULL

);

创建配置sphinx与mysql的配置文件

[plain] view
plain copy







# vi /usr/local/coreseek/etc/csft_mysql.conf

[plain] view
plain copy







#MySQL数据源配置，详情请查看：http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference

#源定义

source main

{

type = mysql

sql_host = localhost

sql_user = root

sql_pass = 123456

sql_db = coreseek_test

sql_port = 3306

sql_query_pre = SET NAMES utf8

sql_query_pre = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;

sql_query = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) #sql_query第一列id需为整数

#title、content作为字符串/文本字段，被全文索引 （注：执行报错的话把下面的几行注释掉）

sql_attr_uint = id #从SQL读取到的值必须为整数

sql_attr_uint = from_id #从SQL读取到的值必须为整数，不支持全文检索

sql_attr_uint = link_id #从SQL读取到的值必须为整数，不支持全文检索

sql_attr_uint = add_time #从SQL读取到的值必须为整数，不支持全文检索

sql_field_string = link_url #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string = company_name #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string = type_name #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string = trade_name #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string = email #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string = description #字符串字段(可全文搜索，可返回原始文本信息)

sql_query_info_pre = SET NAMES utf8 #命令行查询时，设置正确的字符集

sql_query_info = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time FROM hr_spider_company WHERE id=$id #命令行查询时，从数据库读取原始数据信息

}

source delta : main

{

sql_query_pre = SET NAMES utf8

sql_query = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

sql_query_post_index = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company

}

#index定义

index main

{

source = main #对应的source名称

path = /usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

docinfo = extern

mlock = 0

morphology = none

min_word_len = 1

html_strip = 0

#中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/

charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置，/符号结尾

charset_type = zh_cn.utf-8

}

index delta : main

{

source = delta

path = /usr/local/coreseek/var/data/delta

}

#全局index定义

indexer

{

mem_limit = 128M

}

#searchd服务定义

searchd

{

listen = 9312

read_timeout = 5

max_children = 30

max_matches = 1000

seamless_rotate = 0

preopen_indexes = 0

unlink_old = 1

pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

log = /usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

query_log = /usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

binlog_path = #关闭binlog日志

}

我的测试表名为hr_spider_company，你只需要根据实际需求更改为自己的表名即可。

调用命令列表：

启动后台服务（必须开启）

[plain] view
plain copy

# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

执行索引（查询、测试前必须执行一次）

[plain] view
plain copy

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

执行增量索引

[plain] view
plain copy

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate

合并索引

[plain] view
plain copy

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0

（为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0）

后台服务测试

[plain] view
plain copy

# /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf aaa

关闭后台服务

[plain] view
plain copy

# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop

自动化命令：

[plain] view
plain copy

crontab -e

[plain] view
plain copy

*/1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate

*/5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0

30 1 * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

以下任务计划的意思是：每隔一分钟执行一遍增量索引，每五分钟执行一遍合并索引，每天1:30执行整体索引。

Sphinx扩展安装安装

Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率的提升不是一点点！但php模块依赖于libsphinxclient包。

[第一步] 安装依赖libsphinxclient

[plain] view
plain copy

# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/

# ./configure --prefix=/usr/local/sphinxclient

configure: creating ./config.status

config.status: creating Makefile

config.status: error: cannot find input file: Makefile.in #报错configure失败

//处理configure报错

编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了：

# aclocal

# libtoolize --force

# automake --add-missing

# autoconf

# autoheader

# make clean

//从新configure编译

# ./configure

# make && make install

[第二步] 安装sphinx的PHP扩展

[plain] view
plain copy
http://pecl.php.net/package/sphinx
# wget http://pecl.php.net/get/sphinx-1.3.0.tgz
# tar zxvf sphinx-1.3.0.tgz

# cd sphinx-1.3.0

# phpize

# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient

# make && make install

# cd /etc/php.d/

# cp gd.ini sphinx.ini

# vi sphinx.ini

extension=sphinx.so

# service php-fpm restart

打开phpinfo看一下是否已经支持了sphinx模块。

php调用sphinx示例：

[php] view
plain copy

<?php

$s = new SphinxClient;

$s->setServer("127.0.0.1", 9312);

$s->setMatchMode(SPH_MATCH_PHRASE);

$s->setMaxQueryTime(30);

$res = $s->query("宝马",'main'); #[宝马]关键字，[main]数据源source

$err = $s->GetLastError();

var_dump(array_keys($res['matches']));

echo "<br>"."通过获取的ID来读取数据库中的值即可。"."<br>";

echo '<pre>';

var_dump($res);

var_dump($err);

echo '</pre>';

调用示例二：支持分页

[php] view
plain copy

<?php

header("Content-type: text/html; charset=utf-8");

require("./sphinxapi.php");

$s = new SphinxClient;

$s->setServer("192.168.252.132", 9312);

//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询

$s->setMatchMode(SPH_MATCH_ALL);

$s->setMaxQueryTime(30); //设置最大搜索时间

$s->SetArrayResult(false); //是否将Matches的key用ID代替

$s->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL

$s->SetRankingMode(SPH_RANK_BM25); //设置评分模式，SPH_RANK_BM25可能使包含多个词的查询的结果质量下降。

//$s->SetSortMode(SPH_SORT_EXTENDED); //发现增加此参数会使结果不准确

//$s->SetSortMode(SPH_SORT_EXTENDED,"from_id asc,id desc"); //设置匹配项的排序模式, SPH_SORT_EXTENDED按一种类似SQL的方式将列组合起来，升序或降序排列。

$weights = array ('company_name' => 20);

$s->SetFieldWeights($weights); //设置字段权重

$s->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits (便宜量,匹配项数目,查询的结果集数默认1000,阀值达到后停止)

//$s->SetFilter ( $attribute, $values, $exclude=false ); //设置属性过滤

//$s->SetGroupBy ( $attribute, $func, $groupsort="@group desc" ); //设置分组的属性

$res = $s->query('@* "汽车"','main','--single-0-query--'); #[宝马]关键字，[news]数据源source

//代码高亮

$tags = array();

$tags_name = array();

foreach($res['matches'] as $key=>$value){

$tags[] = $value['attrs'];

$company_name[] = $value['attrs']['company_name'];

$description[] = $value['attrs']['description'];

}

$company_name = $s->BuildExcerpts ($company_name, 'main', '汽车', $opts=array() ); //执行高亮，这里索引名字千万不能用*

$description = $s->BuildExcerpts ($description, 'main', '汽车', $opts=array() ); //执行高亮，这里索引名字千万不能用*

foreach($tags as $k=>$v)

{

$tags[$k]['company_name'] = $company_name[$k]; //高亮后覆盖

$tags[$k]['description'] = $description[$k]; //高亮后覆盖

}

// 高亮后覆盖

$i = 0;

foreach($res['matches'] as $key=>$value){

$res['matches'][$key] = $tags[$i];

$i++;

}

$err = $s->GetLastError();

echo '<pre>';

var_export($res);

var_export($err);

echo '</pre>';

******************************************************************************************************************

错误：FATAL: failedto lock pid file '/home/zhangjie_z.pt/local/sphinx/var/log/searchd.pid':Resource temporarily unavailable (searchd already running?)

意思就是你已经打开了一个search进程，你需要找到相关进程号ps -e|grep searchd，然后kill PID杀死之前的进程，再启动新进程）

启动 searchd 服务时提示如下错误：

index 'test1': search error: failed to open /var/lib/sphinx/test1.sph: sphinx 错误解决 index 'test1': search error: failed to open /var/lib/sphinx/test.sph:No such file or directory; NOT SERVING

这个错误可能是没有建立好索引导致的，所以 indexer --all 很重要

文章来源：http://blog.csdn.net/moqiang02/article/details/42027243