PHP简单实现中文分词全文索引实例(tag专题)
2012-02-02 11:37
726 查看
相信很多人都研究过MYSQL的中文全文分词索引问题,目前MYSQL不支持中文全文索引,无奈~~~
网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的,对于一般的菜鸟根本不知道怎么使用,PHP中文分词有DDEDE的,DEDE的词库不是很强大,还算可以用吧!
还有一个是《SCWS - 简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用,虽然有人编译了Windows版的,但安装还是挺麻烦的,我尚未测试过!
//==========================
废话不多说了,首先去9streets下载分词算法函数和词库;下载地址:http://www.9streets.cn/userfiles/9streetssplit.rar
里面有详细的使用说明,我在这里举一个使用的例子;
MYSQL表名:music
字段:title,tag
<?php
require("lib_splitword_full.php");
$str = "这里是你要分词的内容,一般不要超过1024KB会好一点,否则会很慢!";
$sp = new SplitWord();//实例化
$dd = explode(" ",$sp->SplitRMM($str));
$i=0;
foreach ($dd as $key=>$var) {
if (strlen($var)>2)//UTF8编码的请设置为3,因为UTF8编码的中文一般为3个字节以上,过滤单个字不保存!
{
$str.=base64_encode($var)." ";//由于MYSQL不支持中文全文索引,所以在分词中我们必须把词转换成字母或者数字,这里我选择了base64编码
//当然大家还可以把中文转成区码,但我测试过区码的方法,感觉很一般,所以在这样我推荐大家使用base64
$i++;
}
if ($i>=50) break;//这里是设置你要存储多少个词组,如果是文章可能会有N多词组,你可以设置大一点,但如果你对标题分词的话,50个已经足够了!
//这样运行未编码得出来的结果:这里 分词 内容 一般 不要 超过 1024KB 一点 否则
//base64编码后的结果:1eLA7w== t9a0yg== xNrI3Q== 0ruw4w== srvSqg== s6y5/Q== MTAyNEtC 0ru14w== t/HU8g==
}
?>
这样我们就可以把分好词而且转换成编码的分词存进 tag 字段了,当然tag字段必须设置成全文索引 full text 而且数据表类型必须为MyISAM。
tag字段数据类型为CHAR和VARCHAR、text,有关如何创建MYSQL全文索引,大家可以搜索一下《mysql创建索引》遍地开花,到处都是!
下面的例子是根据TAG字段的内容进行全文索引查询:
<?php
include("Mysql.class.php");
$rs = $DB->get_one("select title,tag from music where id=$id");//根据ID读取title和tag字段内容
$title = $rs['title'];
$sql = $DB->query("select title,MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) AS score from music where MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) ORDER BY score DESC limit 21");//这里是查询20条相似的内容,而且按相似的排序,21是因为同一条记录都会匹配出来!
while ($rs = $DB->fetch_array($sql))
{
if ($rs['title']!=$title)
{
echo $rs['title']."<br>";
}
}
$DB->close();
?>
以上的例子就实现了PHP+MYSQL简单的中文分词全文索引!
说说wordpress和sablog在tag数据库结构设计和程序方面的差别
sablog的sablog_articles表
`keywords` varchar(120) NOT NULL default '',
keywords字段: 以 "," 分隔所有这篇文章使用到的tag
sablog的sablog_tags表
PHP代码
CREATE TABLE IF NOT EXISTS `sablog_tags` (
`tagid` int(11) unsigned NOT NULL auto_increment,
`tag` varchar(100) NOT NULL default '',
`usenum` int(11) NOT NULL default '0',
`aids` text NOT NULL,
PRIMARY KEY (`tagid`),
KEY `usenum` (`usenum`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 ;
tag字段: 存放tag名称
usenum字段: 存放使用这个tag的文章总数
aids字段: 以 "," 分隔所有使用这个tag的文章id
显示文章tag的时候,是这么写的
PHP代码
$tagdb = explode(',', $article['keywords']);
$articletags = $tmark = '';
for($i=0; $i<count($tagdb); $i++) {
$tagdb[$i] = trim($tagdb[$i]);
$articletags .= $tmark.'<a href="./?action=tags&item='.urlencode($tagdb[$i]).'">'.htmlspecialchars($tagdb[$i]).'</a>';
$tmark = ', ';
}
$article['tags'] = $articletags;
取出sablog_articles表keywords字段,explode后生成链接
显示相关文章的程序部份
PHP代码
$tags = $comma = '';
for($i=0; $i<count($tagdb); $i++) {
$tags .= $comma."'".addslashes($tagdb[$i])."'";
$comma = ',';
}
$query = $DB->query("SELECT aids FROM {$db_prefix}tags WHERE tag IN ($tags)");
$relaids = 0;
while ($tag = $DB->fetch_array($query)) {
$relaids .= ','.$tag['aids'];
}
$relids = explode(',', $relaids);
// 清除重复值的单元并删除当前ID
$relids = array_unique($relids);
$relids = array_flip($relids);
unset($relids[$articleid]);
$relids = array_flip($relids);
////////
$related_tatol = count($relids);
$relids = implode(',',$relids);
if ($related_tatol > 1 && $relids != $articleid) {
$order = in_array($options['related_order'], array('dateline', 'views', 'comments')) ? $options['related_order'] : 'dateline';
$query = $DB->query("SELECT articleid,title,views,comments FROM {$db_prefix}articles WHERE visible='1' AND articleid IN ($relids) ORDER BY ".$order." DESC LIMIT ".intval($options['related_shownum']));
$titledb=array();
while ($title = $DB->fetch_array($query)) {
$title['title'] = trimmed_title($title['title'], $options['related_title_limit']);
$titledb[] = $title;
}
unset($title);
$DB->free_result($query);
}
取出sablog_articles表keywords字段,生成取得aids的查询条件
$query = $DB->query("SELECT aids FROM {$db_prefix}tags WHERE tag IN ('tag1','tag2','tag3')");
从而得到所有包含tag1,tag2,tag3的文章id, 注意aids字段的内容,上面我已经说明了aids字段: 以 "," 分隔所有使用这个tag的文章id
wordpress则用到了4张表wp_posts, wp_terms, wp_term_relationships, wp_term_taxonomy
wordpress在新版里,数据库结构有了调整,结构和名称与以前的不一样,category和tag合并了,区别在wp_term_taxonomy里taxonomy字段
category则taxonomy字段内容为category
tag则taxonomy字段内容为post_tag
wp_posts里不存放任何tag数据
wp_terms表用于存放tag和category,结构如下
PHP代码
CREATE TABLE IF NOT EXISTS `wp_terms` (
`term_id` bigint(20) NOT NULL auto_increment,
`name` varchar(55) NOT NULL default '',
`slug` varchar(200) NOT NULL default '',
`term_group` bigint(10) NOT NULL default '0',
PRIMARY KEY (`term_id`),
UNIQUE KEY `slug` (`slug`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
`wp_terms`里的 term_id 和 `wp_term_taxonomy` 里的 term_id 关联
`wp_posts`里的 ID 和 wp_term_relationships 里的 object_id 关联
`wp_term_relationships`里的 term_taxonomy_id 和 `wp_terms` 里的 term_id 关联
先说到这吧,具体的去看数据库,熟练的程序员,由数据库结构,就能知道程序是怎么写的了
wordpress的tag数据库结构要清晰条理得多,sablog的tag数据库结构就不太利于维护,但对于2者在显示方面的性能,我还没有做测试
网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的,对于一般的菜鸟根本不知道怎么使用,PHP中文分词有DDEDE的,DEDE的词库不是很强大,还算可以用吧!
还有一个是《SCWS - 简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用,虽然有人编译了Windows版的,但安装还是挺麻烦的,我尚未测试过!
//==========================
废话不多说了,首先去9streets下载分词算法函数和词库;下载地址:http://www.9streets.cn/userfiles/9streetssplit.rar
里面有详细的使用说明,我在这里举一个使用的例子;
MYSQL表名:music
字段:title,tag
<?php
require("lib_splitword_full.php");
$str = "这里是你要分词的内容,一般不要超过1024KB会好一点,否则会很慢!";
$sp = new SplitWord();//实例化
$dd = explode(" ",$sp->SplitRMM($str));
$i=0;
foreach ($dd as $key=>$var) {
if (strlen($var)>2)//UTF8编码的请设置为3,因为UTF8编码的中文一般为3个字节以上,过滤单个字不保存!
{
$str.=base64_encode($var)." ";//由于MYSQL不支持中文全文索引,所以在分词中我们必须把词转换成字母或者数字,这里我选择了base64编码
//当然大家还可以把中文转成区码,但我测试过区码的方法,感觉很一般,所以在这样我推荐大家使用base64
$i++;
}
if ($i>=50) break;//这里是设置你要存储多少个词组,如果是文章可能会有N多词组,你可以设置大一点,但如果你对标题分词的话,50个已经足够了!
//这样运行未编码得出来的结果:这里 分词 内容 一般 不要 超过 1024KB 一点 否则
//base64编码后的结果:1eLA7w== t9a0yg== xNrI3Q== 0ruw4w== srvSqg== s6y5/Q== MTAyNEtC 0ru14w== t/HU8g==
}
?>
这样我们就可以把分好词而且转换成编码的分词存进 tag 字段了,当然tag字段必须设置成全文索引 full text 而且数据表类型必须为MyISAM。
tag字段数据类型为CHAR和VARCHAR、text,有关如何创建MYSQL全文索引,大家可以搜索一下《mysql创建索引》遍地开花,到处都是!
下面的例子是根据TAG字段的内容进行全文索引查询:
<?php
include("Mysql.class.php");
$rs = $DB->get_one("select title,tag from music where id=$id");//根据ID读取title和tag字段内容
$title = $rs['title'];
$sql = $DB->query("select title,MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) AS score from music where MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) ORDER BY score DESC limit 21");//这里是查询20条相似的内容,而且按相似的排序,21是因为同一条记录都会匹配出来!
while ($rs = $DB->fetch_array($sql))
{
if ($rs['title']!=$title)
{
echo $rs['title']."<br>";
}
}
$DB->close();
?>
以上的例子就实现了PHP+MYSQL简单的中文分词全文索引!
说说wordpress和sablog在tag数据库结构设计和程序方面的差别
sablog的sablog_articles表
`keywords` varchar(120) NOT NULL default '',
keywords字段: 以 "," 分隔所有这篇文章使用到的tag
sablog的sablog_tags表
PHP代码
CREATE TABLE IF NOT EXISTS `sablog_tags` (
`tagid` int(11) unsigned NOT NULL auto_increment,
`tag` varchar(100) NOT NULL default '',
`usenum` int(11) NOT NULL default '0',
`aids` text NOT NULL,
PRIMARY KEY (`tagid`),
KEY `usenum` (`usenum`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 ;
tag字段: 存放tag名称
usenum字段: 存放使用这个tag的文章总数
aids字段: 以 "," 分隔所有使用这个tag的文章id
显示文章tag的时候,是这么写的
PHP代码
$tagdb = explode(',', $article['keywords']);
$articletags = $tmark = '';
for($i=0; $i<count($tagdb); $i++) {
$tagdb[$i] = trim($tagdb[$i]);
$articletags .= $tmark.'<a href="./?action=tags&item='.urlencode($tagdb[$i]).'">'.htmlspecialchars($tagdb[$i]).'</a>';
$tmark = ', ';
}
$article['tags'] = $articletags;
取出sablog_articles表keywords字段,explode后生成链接
显示相关文章的程序部份
PHP代码
$tags = $comma = '';
for($i=0; $i<count($tagdb); $i++) {
$tags .= $comma."'".addslashes($tagdb[$i])."'";
$comma = ',';
}
$query = $DB->query("SELECT aids FROM {$db_prefix}tags WHERE tag IN ($tags)");
$relaids = 0;
while ($tag = $DB->fetch_array($query)) {
$relaids .= ','.$tag['aids'];
}
$relids = explode(',', $relaids);
// 清除重复值的单元并删除当前ID
$relids = array_unique($relids);
$relids = array_flip($relids);
unset($relids[$articleid]);
$relids = array_flip($relids);
////////
$related_tatol = count($relids);
$relids = implode(',',$relids);
if ($related_tatol > 1 && $relids != $articleid) {
$order = in_array($options['related_order'], array('dateline', 'views', 'comments')) ? $options['related_order'] : 'dateline';
$query = $DB->query("SELECT articleid,title,views,comments FROM {$db_prefix}articles WHERE visible='1' AND articleid IN ($relids) ORDER BY ".$order." DESC LIMIT ".intval($options['related_shownum']));
$titledb=array();
while ($title = $DB->fetch_array($query)) {
$title['title'] = trimmed_title($title['title'], $options['related_title_limit']);
$titledb[] = $title;
}
unset($title);
$DB->free_result($query);
}
取出sablog_articles表keywords字段,生成取得aids的查询条件
$query = $DB->query("SELECT aids FROM {$db_prefix}tags WHERE tag IN ('tag1','tag2','tag3')");
从而得到所有包含tag1,tag2,tag3的文章id, 注意aids字段的内容,上面我已经说明了aids字段: 以 "," 分隔所有使用这个tag的文章id
wordpress则用到了4张表wp_posts, wp_terms, wp_term_relationships, wp_term_taxonomy
wordpress在新版里,数据库结构有了调整,结构和名称与以前的不一样,category和tag合并了,区别在wp_term_taxonomy里taxonomy字段
category则taxonomy字段内容为category
tag则taxonomy字段内容为post_tag
wp_posts里不存放任何tag数据
wp_terms表用于存放tag和category,结构如下
PHP代码
CREATE TABLE IF NOT EXISTS `wp_terms` (
`term_id` bigint(20) NOT NULL auto_increment,
`name` varchar(55) NOT NULL default '',
`slug` varchar(200) NOT NULL default '',
`term_group` bigint(10) NOT NULL default '0',
PRIMARY KEY (`term_id`),
UNIQUE KEY `slug` (`slug`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
`wp_terms`里的 term_id 和 `wp_term_taxonomy` 里的 term_id 关联
`wp_posts`里的 ID 和 wp_term_relationships 里的 object_id 关联
`wp_term_relationships`里的 term_taxonomy_id 和 `wp_terms` 里的 term_id 关联
先说到这吧,具体的去看数据库,熟练的程序员,由数据库结构,就能知道程序是怎么写的了
wordpress的tag数据库结构要清晰条理得多,sablog的tag数据库结构就不太利于维护,但对于2者在显示方面的性能,我还没有做测试
相关文章推荐
- PHP中文分词的简单实现代码分享
- window环境下,php+sphinx+coreseek实现简单的中文全文搜索
- 用PHP实现简单的反向最大匹配中文分词(代码)
- PHP 中文分词及全文检索的实现
- lucene + IKAnalyzer 中文分词及索引,简单实例
- ucene + IKAnalyzer 中文分词及索引,简单实例
- 分享php中四种webservice实现的简单架构方法及实例
- 分享php中四种webservice实现的简单架构方法及实例
- PHP实现简单的万年历(实例)
- PHP实现模糊搜索中文分词
- 实现一个简单的mysql带权重的中文全文搜索
- 中文全文信息检索系统中索引项技术及分词系统的实现
- PHP实现AOP的雏形(通过一个简单的实例来理解PHP的AOP)
- 中文分词Java简单实现
- 使用DNode实现php和nodejs之间通信的简单实例
- 使用Discuz关键词服务器实现PHP中文分词
- php做的简单中文分词代码
- 简单的php中文转拼音的实现代码
- 中文全文信息检索系统中索引项技术及分词系统的实现