CoreSeek快速安装 sphinx

CoreSeek快速安装：

安装前，建议查看：源码包说明README；4.0/4.1版可参考3.2版本安装，步骤

相同；如遇到问题，请看详细安装说明。

##下载coreseek：coreseek 3.2.14：点击下载、coreseek 4.0.1：点击下载、

coreseek 4.1：点击下载
$ wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz $ 或者 http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.0.1-
beta.tar.gz
$ 或者 http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-
beta.tar.gz
$ tar xzvf coreseek-3.2.14.tar.gz 或者 coreseek-4.0.1-beta.tar.gz 或

者 coreseek-4.1-beta.tar.gz
$ cd coreseek-3.2.14 或者 coreseek-4.0.1-beta 或者 coreseek-4.1-beta

##前提：需提前安装操作系统基础开发库及mysql依赖库以支持mysql数据源和

xml数据源
##安装mmseg
$ cd mmseg-3.2.14
$ ./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决
$ ./configure --prefix=/usr/local/mmseg3
$ make && make install
$ cd ..

##安装coreseek
$ cd csft-3.2.14 或者 cd csft-4.0.1 或者 cd csft-4.1
$ sh buildconf.sh #输出的warning信息可以忽略，如果出现error则需要

解决
$ ./configure --prefix=/usr/local/coreseek --without-unixodbc --

with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --

with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql ##如果提示

mysql问题，可以查看MySQL数据源安装说明
$ make && make install
$ cd ..

##测试mmseg分词，coreseek搜索（需要预先设置好字符集为zh_CN.UTF-8，确

保正确显示中文）
$ cd testpack
$ cat var/test/test.xml #此时应该正确显示中文
$ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc

var/test/test.xml
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
$ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索
CoreSeek详细安装：
##详细安装测试说明文档
##如果您觉得以下步骤太麻烦，请即刻进入火线技术支持：专业技术支持、商

务合作联系方式
##
##以下文档，对32位（x86）、64位（amd64、x64）均可适用
##安装前，请查看以下列表对应操作系统页面，安装需要预先安装的软件，以

便后续安装测试可正常进行！
##依赖环境建议版本：（源码升级可参考设置环境，升级/安装系统基础依赖包

）
m4 >= 1.4.13
autoconf >= 2.65
automake >= 1.11
libtool >= 2.2.6b
Coreseek 安装测试BSD/Linux系统环境大全（内含需预装的软件列表和命令）

：
freebsd-6.4的实际测试环境和预装软件列表（32位与64位均实际测试支持）
freebsd-7.3的实际测试环境和预装软件列表（32位与64位均实际测试支持）
freebsd-8.0的实际测试环境和预装软件列表（32位与64位均实际测试支持）
RHEL5.5/5.3的实际测试环境和预装软件列表（32位与64位均实际测试支持）
CentOS-5.4的实际测试环境和预装软件列表（32位与64位均实际测试支持）
CentOS-5.5/5.6的实际测试环境和预装软件列表（32位与64位均实际测试支持

）
Fedora-12的实际测试环境和预装软件列表（32位实际测试支持，64位支持）
Fedora-13的实际测试环境和预装软件列表（32位与64位均实际测试支持）
debian-504的实际测试环境和预装软件列表（32位实际测试支持，64位支持）
ubuntu-9.10的实际测试环境和预装软件列表（32位实际测试支持，64位支持）
ubuntu-10.04的实际测试环境和预装软件列表（32位与64位均实际测试支持）
openSUSE-10.3的实际测试环境和预装软件列表（32位实际测试支持，64位支持

）
openSUSE-11.2的实际测试环境和预装软件列表（32位与64位均实际测试支持）
slackware-13.0的实际测试环境和预装软件列表（32位实际测试支持，64位支

持）
slackware-13.1的实际测试环境和预装软件列表（32位实际测试支持，64位支

持）
gentoo-10.1的实际测试环境和预装软件列表（32位实际测试支持，64位支持）
archlinux-2010的实际测试环境和预装软件列表（32位与64位均实际测试支持

）
##一、基础安装：（此时尚不支持MySQL，完成第二步数据源支持后就支持）

##完成后：提供xml数据源支持，中文检索支持
##
##download http://www.coreseek.cn/uploads/csft/3.2/coreseek-
3.2.14.tar.gz
$ tar xzvf coreseek-3.2.14.tar.gz

$ 请点击仔细查看README.txt##切换到root用户，确保拥有完整的权限来安装

软件$ su root##或者$ sudo root bash$ su -

$ cd coreseek-3.2.14

##中文测试环境检查：$ locale##以下为核心项，locale为zh_CN.UTF-8，就

可以正常显示和输入中文；locale设置功能由操作系统自身支持，BSD/Linux均

可开启；该功能，不是coreseek提供的！！！##如果不能正常显示中文，则后

面的中文测试部分无法正常进行，但不会影响coreseek的实际功能；

LANG=zh_CN.UTF-8 LC_ALL="zh_CN.UTF-8"
##如果显示的不是zh_CN.UTF-8，请参考以下网址进行设置：
##locale设置
##命令行显示中文
##putty显示中文
##SecureCRT显示中文

##确保可以正常显示，否则请检查当前环境的locale配置，以及当前环境或者

客户端已设置好支持UTF-8中文字符显示
$ cat testpack/var/test/test.xml

##安装coreseek开发的mmseg，为coreseek提供中文分词功能
$ cd mmseg-3.2.14
##ubuntu环境下，需要使用ACLOCAL_FLAGS="-I /usr/share/aclocal"

./bootstrap
$ ./bootstrap
$ ./configure --prefix=/usr/local/mmseg3
$ make && make install
##如果提示libtool: unrecognized option `--tag=CC' ，请查看libtool问题

解决方案
##安装完成后，mmseg使用的词典和配置文件，将自动安装

到/usr/local/mmseg3/etc中

##中文分词测试，如果显示不正常，请检查当前环境下的locale和UTF-8中文字

符显示设置
$ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt
中文/x 分/x 词/x 测试/x
中国人/x 上海市/x

Word Splite took: 1 ms.

##安装coreseek：
$ cd csft-3.2.14
##执行configure，进行编译配置：
$ sh buildconf.sh
$ ./configure --prefix=/usr/local/coreseek --without-python --

without-unixodbc --with-mmseg --with-mmseg-

includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-

libs=/usr/local/mmseg3/lib/ --without-mysql
##coreseek4.x/sphinx1.x，请将--without-mysql更改为--with-mysql
$ make && make install
##如果提示mysql问题，可以查看MySQL数据源安装说明
##可能遇到的问题：

##如果提示libtool: unrecognized option `--tag=CC' ，请查看libtool问题

解决方案

##有的系统下可能出现：expected `;' before

‘CSphTokenizer_UTF8SpaceSeg’，
##或者出现：configure: WARNING: unrecognized options: --with-mmseg,

--with-mmseg-includes, --with-mmseg-libs
##是因为你没有进行随后的sh buildconf.sh操作
##生成当前系统对应的编译配置文件
##需要使用以下指令：
$ sh buildconf.sh

## Linux环境下，如遇到pthread问题，请先直接执行以下指令在进行configur

：
$ LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
$ export LD_LIBRARY_PATH

## 如果出现undefined reference to `libiconv'的类似错误，可以按照如下

方法处理：
##方法一：（Linux使用）
## 直接执行：export LIBS="-liconv"
##然后make clean，再次configure后，进行编译安装make && make install
## 方法二：
## 首先configure，然后vim src/makefile
## 在其中搜索lexpat，在其后加上 -liconv
## 修改后该行应该为：-lexpat -liconv -L/usr/local/lib
## 然后再次make && make install
## 方法三：
## 首先configure，然后vim config/config.h
## 在其中搜索USE_LIBICONV，将其后的1修改为0
## 然后再次make && make install

##配置测试，测试是否可以正确运行
$ /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-

min.conf.dist
##以下为正常测试时的提示信息：
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file '/usr/local/coreseek/etc/sphinx-

min.conf.dist'...
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
##
##csft-4.0版显示：ERROR: nothing to do.
##
##至此，coreseek基础环境可以正常安装，我们可以开始后续的工作啦。
##注意：基础环境仅支持xml数据源；如需要mysql或者python数据源，请继续

按照下面的步骤操作！！！
##二、数据源支持：支持MySQL数据源##完成后：提供mysql数据源支持和xml数

据源支持##系统需要安装相关的基础依赖库，否则无法支持对应的功能

##freebsd6/7/8:$ pkg_add -r mysql50-client libxml2

expat##centos5.4/5.5: fedora12/13 : rhel5.5$ yum install mysql-devel

libxml2-devel expat-devel##debian5 : ubuntu9/10:$ apt-get install

mysql-client libmysqlclient15-dev libxml2-dev libexpat1-

dev##gentoo10:##安装环境自带了libmysqlclient libxml2

libexpat##opensuse10/11:##yast安装 libmysqlclient-devel libxml2

libxml2-devel libexpat-devel##slackware13.0/13.1:$ slapt-get --

install mysql libxml2 expat##archlinux-2010：$ pacman -S

libmysqlclient libxml2 expat
##重新编译安装coreseek，以支持mysql数据源和xml数据源
$ cd csft-3.2.14
$ make clean
$ ./configure --prefix=/usr/local/coreseek --without-unixodbc --

with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --

with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
##以上configure参数请正确拷贝，不要遗漏或者随意修改
$ make && make install

##如果出现错误提示：“ERROR: cannot find MySQL include files.......To

disable MySQL support, use --without-mysql option.“，可按照如下方法

处理：
##请找到头文件mysql.h所在的目录，一般是/usr/local/mysql/include，请替

换为实际的
##请找到库文件libmysqlclient.a所在的目录，一般是/usr/local/mysql/lib

，请替换为实际的
##configure参数加上：--with-mysql-includes=/usr/local/mysql/include

--with-mysql-libs=/usr/local/mysql/lib，执行后，重新编译安装
##三、coreseek中文全文检索测试

$ cd testpack
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf
##以下为正常情况下的提示信息：
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
##
##csft-4.0版显示：ERROR: nothing to do.
##
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
##以下为正常索引全部数据时的提示信息：（csft-4.0版类似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.075 sec, 101043 bytes/sec, 39.96 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

$ /usr/local/coreseek/bin/indexer -c etc/csft.conf xml
##以下为正常索引指定数据时的提示信息：（csft-4.0版类似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.069 sec, 109614 bytes/sec, 43.35 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

$ /usr/local/coreseek/bin/search -c etc/csft.conf
##以下为正常测试搜索时的提示信息：（csft-4.0版类似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
index 'xml': query '': returned 3 matches of 3 total in 0.093 sec

displaying matches:
1. document=1, weight=1, published=Thu Apr 1 22:20:07 2010,

author_id=1
2. document=2, weight=1, published=Thu Apr 1 23:25:48 2010,

author_id=1
3. document=3, weight=1, published=Thu Apr 1 12:01:00 2010,

author_id=2

words:

$ /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera

都提供了搜索服务
##以下为正常测试搜索关键词时的提示信息：（csft-4.0版类似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
index 'xml': query 'Twittter和Opera都提供了搜索服务 ': returned 3

matches of 3 total in 0.038 sec

displaying matches:
1. document=3, weight=24, published=Thu Apr 1 12:01:00 2010,

author_id=2
2. document=1, weight=4, published=Thu Apr 1 22:20:07 2010,

author_id=1
3. document=2, weight=3, published=Thu Apr 1 23:25:48 2010,

author_id=1

words:
1. 'twittter': 1 documents, 3 hits
2. '和': 3 documents, 15 hits
3. 'opera': 1 documents, 25 hits
4. '都': 2 documents, 4 hits
5. '提供': 0 documents, 0 hits
6. '了': 3 documents, 18 hits
7. '搜索': 2 documents, 5 hits
8. '服务': 1 documents, 1 hits

$ /usr/local/coreseek/bin/searchd -c etc/csft.conf
##以下为正常开启搜索服务时的提示信息：（csft-4.0版类似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc

(http://www.coreseek.com)

using config file 'etc/csft.conf'...
listening on all interfaces, port=9312
##如要停止搜索服务，请使用/usr/local/coreseek/bin/searchd -c

etc/csft.conf --stop
##如要已启动服务，要更新索引，请使用/usr/local/coreseek/bin/indexer

-c etc/csft.conf --all --rotate

##然后，请参考csft-3.2.14下api目录中的相关文件，使用PHP、Python、Ruby

、Java来测试搜索服务；也可以前往< ahref="/products-

install/step_by_step/">搜索服务建立三步曲，查看第三步使用PHP测试。

##四、继续
##通过以上步骤，coreseek已经安装测试完成，可以提供正常的xml数据源索引

以及提供对应的搜索服务了
##下一步工作，请查看手册，准备好mysql数据信息，以及进行mysql数据源的

测试，并在您的应用中调用搜索服务；mysql数据源的配置可参考

testpack/etc/csft_mysql.conf文件
中文分词核心配置
Coreseek 3.2/Sphinx(0.9.9)中文手册

##如有问题，请前往：http://www.coreseek.cn/forum/ 提问，我们将在第一

时间解答
##如果您需要获得专业的支持，请前往：http://www.coreseek.cn/contact/

与我们取得联系，洽谈支持与合作事宜

##祝您使用快乐！！！

附录：

##五、python数据源支持：
##FreeBSD操作系统：
$ cd /usr/ports/lang/python26;make install clean
##FreeBSD7/8也可以执行pkg_add -r python26快速安装
$ rehash
$ python
##正常情况下提示：
Python 2.6.4 (r264:75706, Feb 17 2010, 10:45:15)
[GCC 4.2.1 20070719 [FreeBSD]] on freebsd7
Type "help", "copyright", "credits" or "license" for more

information.
>>>
##按ctrl+D退出python2.6

##Linux操作系统：
##安装Python 2.6
##从Python 2.6下载Gzipped source tar ball (2.6)
##将Python-2.6.tgz解压后，直接编译安装
$ ./configure
$ make && make install
$ /usr/local/bin/python2.6
##正常情况下提示：
Python 2.6 (r26:66714, Mar 20 2012, 23:51:58)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-52)] on linux2
Type "help", "copyright", "credits" or "license" for more

information.
##按ctrl+D退出python2.6

$ mv /usr/bin/python /usr/bin/python.old
$ ln -s /usr/local/bin/python2.6 /usr/bin/python
$ /usr/bin/python
##此时应该出现与运行/usr/local/bin/python2.6一致的提示，表示python2.6

环境安装成功
$ export LIBS="-ldl -lutil -Xlinker -export-dynamic"
##Linux系统下设置python编译参数，不设置可能导致下面编译make时失败！
##
##使用yum的系统，请将/usr/bin/yum第一行的调用修改为

#!/usr/bin/python.old，确保yum可以正常使用
##

##
##重新安装coreseek，以支持mysql数据源、xml数据源和python数据源
$ cd csft-3.2.14
$ ./configure --prefix=/usr/local/coreseek --without-unixodbc --

with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --

with-mmseg-libs=/usr/local/mmseg3/lib/ --with-python
$ make && make install
##
##python 数据源安装支持完成。
##如果您对python数据源有实际需求，可以查看中文手册Python 数据源获取具

体细节！
##python数据源演示（测试索引前，请先测试脚本自身是否可以正确操作读取

数据）：演示1、演示2（需预先安装配置好python2.6连接mssql的包pymssql）

源码包内容说明：

目录说明：
csft-x.y.z：coreseek源代码
mmseg-i.j.k：mmseg源代码
testpack：测试配置和数据包

testpack测试说明：
目录说明：
api：api接口和测试脚本
etc：配置文件
etc/pysource：python数据源脚本
var：运行数据
var/data：索引文件
var/log：搜索日志
var/test：测试源数据

csft 通用测试：（3.2.x与4.x均支持）
配置1：
测试对象：xml数据源，中文分词与搜索
对应配置：etc/csft.conf
测试数据：var/test/test.xml
PHP程序：api/test_coreseek.php
在线说明：http://www.coreseek.cn/products-

install/install_on_bsd_linux/

配置2：
测试对象：xml数据源，单字切分与搜索
对应配置：etc/csft_cjk.conf
测试数据：var/test/test.xml
PHP程序：api/test_coreseek.php
在线说明：http://www.coreseek.cn/products-

install/ngram_len_cjk/

配置3：
测试对象：mysql数据源，中文分词与搜索
对应配置：etc/csft_mysql.conf
测试数据：var/test/documents.sql
PHP程序：api/test_coreseek.php
测试说明：请先将测试数据导入数据库，并设置好配置文件中的MySQL

用户密码数据库
在线说明：http://www.coreseek.cn/products-install/mysql/

配置4：
测试对象：python数据源，中文分词与搜索
对应配置：etc/csft_demo_python.conf
数据脚本：etc/pysource/csft_demo/__init__.py
PHP程序：api/test_coreseek.php
测试说明：请先安装Python 2.6 (x86)
在线说明：http://www.coreseek.cn/products-install/python/

配置5：
测试对象：python+mssql数据源，中文分词与搜索
对应配置：etc/csft_demo_python_pymssql.conf
数据脚本：etc/pysource/csft_demo_pymssql/__init__.py
PHP程序：api/test_coreseek.php
测试说明：请先安装Python 2.6 (x86)、pymssql（py2.6）
在线说明：http://www.coreseek.cn/products-install/python/

coreseek-4.y.z 新增测试：
配置6：
测试对象：RT实时索引，中文分词与搜索
对应配置：etc/csft_rtindex.conf
PHP程序：api/test_coreseek_rtindex.php
在线说明：http://www.coreseek.cn/products-install/rt-indexes/

配置7：
测试对象：RT实时索引，单字切分与搜索
对应配置：etc/csft_rtindex_cjk.conf
PHP程序：api/test_coreseek_rtindex.php
在线说明：http://www.coreseek.cn/products-install/rt-indexes/