《A Tutorial on Automated Text Categorisation》NOTE

文档分类可以被看做是一个把{0， 1}中的值分配给决策矩阵的任务。

以种类为核心的分类方法（category-pivotedcategorisation CPC）和以文档为核心(document-pivotedcategorisatiion DPC)的分类方法。CPC比DPC用的更多。

文档分类的应用：

1. 信息获取中的自动索引

2. 文档管理

3. 文档过滤

4. 词义消岐

5. 分类网站的网页管理

文档分类里的机器学习方法

一、 训练集和测试集

二、 信息获取技术和文档分来

索引和降维

Tfidf权重函数：



为了使权重数值在[0, 1]区间里并且表示文档的向量是同等的长度，使用下面的公式：

特征选择

特征选择又叫做term space reduction (TSR)。从原有的特征集合里，选取若干特征来降维，又能是一个有效的表示。

主要方法有：



此外还有：

l Excepted Cross Entropy期望交叉熵

l Odd Radio 优势率

l Mutual Information 互信息

l Weight of Evidence for Text 文本证据权

特征提取

特征提取又叫重新参数化reparameterisation。这一步的目的是对特征进行分析综合，来最大化获得的效率。由于普遍存在着一词多义、同形异义、同义词的现象，创建人工选取的特征来解决这些问题。主要有两个方法：term clustering和latent semantic indexing.

term clustering

有两步：

1. 一个把词语归类的方法

2. 一个基于新的synthesized dimension的方法，来把原来的文档表示成一种新的表示方法。

latent semantic indexing

是一种降维技术。

构造一个分类器

有两步：

1. 定义一个函数

2. 定义一个阈值



构造一个函数的方法：

Parametric classifiers

主要有概率朴素贝叶斯分类器：

Non-parametric classifiers

Profile-based classifiers

主要有incremental分类器和batch分类器。

Example-based classifiers

主要有k-NN分类器：

Combining profile- and example-based classifiers

Classifier committees分类器集合

有两步：

决定阈值

主要方法有：

1. CSV thresholding，又叫probability thresholding

2. Proportional thresholding，又叫Pcut

3. Fixed thresholding，又叫k-perdoc

Evaluation issues for document categorization

略。^_^

ps:再也不想写笔记了，忒累。