Solr数据库导入Data Import Handler
2015-08-13 17:38
246 查看
Data Import Handler
可以从数据库,网页地址等剑姬文档。
可以全量添加,也支持增量添加(只增加修改的内容)
使用DIH,需要3步重要的配置。
首先,向solrconfig中增加使用的jar包。
<lib dir="../../../contrib/dataimporthandler/lib" regex=".*\.jar" />
<lib dir="../../../dist/" regex="solr-dataimporthandler-.*\.jar" />
其次,再solrconfig中配置dataimport请求处理器
<requestHandler name="/dataimport"
class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
最后,为DIH提供一个data import的配置文件。上面定义为data-config.xml,目录为conf/的相对目录。
该文件包含所有数据源的引用,以及将数据转换成文档的步骤。支持多种数据源,复杂的转换逻辑(包括支持操作导入数据的脚本语言)
具体内容见Solr wiki
http://wiki.apache.org/solr/DataImportHandler
************************************************************************************************
*启动dih的例子
bin/solr -e dih
相关术语:
Datasource:数据源。例如数据库要提供数据库连接,用户名和密码
Entity:实体用来产生文档,数据库的实体就是表
Processor:实体处理器用于抽取数据,转成文档,加入索引。支持用户自定义Processor。
Transformer:转换器。用于改变字段,创建新字段,从一行生成多个文档等操作,支持自定义。
例子:example-DIH中db的例子。
配置文件是<dataConfig>标签的数据库转换配置,这个文件可以作为DIH处理器的参数。
DIH请求通过HTTP请求发送给solr
全量提交的参数
Property Writer
DIH配置文件的可选配置,用于定义日期格式和位置信息。详见文档。
*Entity Processors实体处理器,具体参数表见文档
可以从数据库,网页地址等剑姬文档。
可以全量添加,也支持增量添加(只增加修改的内容)
使用DIH,需要3步重要的配置。
首先,向solrconfig中增加使用的jar包。
<lib dir="../../../contrib/dataimporthandler/lib" regex=".*\.jar" />
<lib dir="../../../dist/" regex="solr-dataimporthandler-.*\.jar" />
其次,再solrconfig中配置dataimport请求处理器
<requestHandler name="/dataimport"
class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
最后,为DIH提供一个data import的配置文件。上面定义为data-config.xml,目录为conf/的相对目录。
该文件包含所有数据源的引用,以及将数据转换成文档的步骤。支持多种数据源,复杂的转换逻辑(包括支持操作导入数据的脚本语言)
具体内容见Solr wiki
http://wiki.apache.org/solr/DataImportHandler
************************************************************************************************
*启动dih的例子
bin/solr -e dih
相关术语:
Datasource:数据源。例如数据库要提供数据库连接,用户名和密码
Entity:实体用来产生文档,数据库的实体就是表
Processor:实体处理器用于抽取数据,转成文档,加入索引。支持用户自定义Processor。
Transformer:转换器。用于改变字段,创建新字段,从一行生成多个文档等操作,支持自定义。
例子:example-DIH中db的例子。
配置文件是<dataConfig>标签的数据库转换配置,这个文件可以作为DIH处理器的参数。
DIH请求通过HTTP请求发送给solr
全量提交的参数
Property Writer
DIH配置文件的可选配置,用于定义日期格式和位置信息。详见文档。
*Entity Processors实体处理器,具体参数表见文档
相关文章推荐
- Oracle中的comment on的用法
- Crontab 每天定时备份 MySQL
- MySql 定时任务 Event Scheduler
- 2015/8/13/客户端服务器数据库综合
- asp.net(C#)遍历memcached缓存对象
- 实战Memcached缓存系统(1)Memcached基础及示例程序
- postgresql 查数据库总大小(占用磁盘空间)
- asp.net Cache vs memcached
- Centos7安装配置Mongodb3
- sql字符串累加
- sql两个表联合更新
- SQLServer 可更新订阅数据在线架构更改(增加字段)方案
- EF中数据库切换为本地2~也许你只是少了个_log.ldf
- 自我保留-SQL操作EXCEL时HDR和IMEX的实际效果
- linux下一个oracle11G DG建立(一个):准备环境
- 11步教你选择最稳定的MySQL版本
- Oracle索引详解
- MySQL 存储引擎 MyISAM 与 InnoDB 的对比
- SQL中的取整函数FLOOR、ROUND、CEIL、TRUNC、SIGN
- [C#] zdbviewcs: 跨平台数据库查看器。支持SqlServer、Oracle、MySql等数据库