如果你是pytorch的用户，可能你会很熟悉pytorch生态圈中专门预处理图像数据集的torchvision库。从torchtext这个名字我们也能大概猜到该库是pytorch圈中用来预处理文本数据集的库，但这方面的教程网络上比较少，今天我就讲讲这个特别有用的文本分析库。

简介
torchtext在文本数据预处理方面特别强大，但我们要知道ta能做什么、不能做什么，并如何将我们的需求用torchtext实现。虽然torchtext是为pytorch而设计的，但是也可以与keras、tensorflow等结合使用。官方文档地址 https://torchtext.readthedocs.io/en/latest/index.html

# 安装

!
pip3 install torchtext

自然语言处理预处理的工作流程：

1. Train/Validation/Test数据集分割

2. 文件数据导入（File Loading）

3. 分词（Tokenization） 文本字符串切分为词语列表

4. 构建词典(Vocab) 根据训练的预料数据集构建词典

5. 数字映射(Numericalize/Indexify) 根据词典，将数据从词语映射成数字，方便机器学习

6. 导入预训练好的词向量(word vector)

7. 分批(Batch) 数据集太大的话，不能一次性让机器读取，否则机器会内存崩溃。解决办法就是将大的数据集分成更小份的数据集，分批处理

8. 向量映射（Embedding Lookup） 根据预处理好的词向量数据集，将5的结果中每个词语对应的索引值变成 词语向量

上面8个步骤，torchtext实现了2-7。第一步需要我们自己diy，好在这一步没什么难度

一、数据集分割
一般我们做机器学习会将数据分为训练集和测试集，而在深度学习中，需要多轮训练学习，每次的学习过程都包括训练和验证，最后再进行测试。所以需要将数据分成训练、验证和测试数据。

1.1 参数解读
split_csv(infile, trainfile, valtestfile, seed, ratio)

• infile:待分割的csv文件

• trainfile:分割出的训练cs文件

• valtestfile：分割出的测试或验证csv文件

• seed:随机种子，保证每次的随机分割随机性一致

• ratio:测试（验证）集占数据的比例

经过上面的操作，我们已经构建出实验所需的数据：

• 训练数据（这里说的是dataset_train.csv而不是train.csv）

• 验证数据（dataset_train.csv）

• 测试数据（test.csv）。

二、分词
导入的数据是字符串形式的文本，我们需要将其分词成词语列表。英文最精准的分词器如下：

Run

三、 导入数据
torchtext中使用torchtext.data.TabularDataset来导入自己的数据集，并且我们需要先定义字段的数据类型才能导入。要按照csv中的字段顺序来定义字段的数据类型，我们的csv文件中有两个字段（label、text）

Run

<torchtext.data.dataset.TabularDataset

at
0
x120d8ab38

四、构建词典
根据训练（上面得到的train）的预料数据集构建词典。这两有两种构建方式，一种是常规的不使用词向量，而另一种是使用向量的。区别仅仅在于vectors是否传入参数

4.1 TEXT是Field对象，该对象的方法有

Run

词典-词语列表形式，这里只显示前20个

词典-字典形式

4.2 注意
train数据中生成的词典，里面有，这里有两个要注意:

• 是指不认识的词语都编码为

• 、german、father等都编码为0,这是因为我们要求词典中出现的词语词频必须大于50，小于50的都统一分配一个索引值。

词语you对应的词向量

4.3 计算词语的相似性
得用词向量构建特征工程时能保留更多的信息量（词语之间的关系）

• 这样可以看出词语的向量方向

• 是同义还是反义

• 距离远近。

而这里我们粗糙的用余弦定理计算词语之间的关系，没有近义反义关系，只能体现出距离远近（相似性）。

Run

[[
1.

0.83483314
]

[
0.83483314

1.

]]

五、get_dataset函数
相似的功能合并成模块，可以增加代码的可读性。这里我们把阶段性合并三四的成果get_dataset函数

from
torchtext
import
data

import
torchtext

import
torch

import
logging

LOGGER
=
logging
.
getLogger
(
"导入数据"
)

def
get_dataset
(
stop_words
=
None
):

#定义字段的数据类型

LABEL
=
data
.
LabelField
(
dtype
=
torch
.
float
)

TEXT
=
data
.
Field
(
tokenize
=
tokenize1
,

lower
=
True
,

fix_length
=
100
,

stop_words
=
stop_words
)

LOGGER
.
debug
(
"准备读取csv数据..."
)

train
,
valid
,
test
=
data
.
TabularDataset
.
splits
(
path
=
'data'
,

#数据所在文件夹

train
=
'dataset_train.csv'
,

validation
=
'dataset_valid.csv'
,

test
=

'test.csv'
,

format
=
'csv'
,

skip_header
=
True
,

fields
=

[(
'label'
,
LABEL
),(
'text'
,
TEXT
)])

LOGGER
.
debug
(
"准备导入词向量..."
)

vectors
=
torchtext
.
vocab
.
Vectors
(
name
=

'glove.6B.100d.txt'
,

cache
=

'data/'
)

LOGGER
.
debug
(
"准备构建词典..."
)

TEXT
.
build_vocab
(

train
,

max_size
=
2000
,

min_freq
=
50
,

vectors
=
vectors
,

unk_init
=
torch
.
Tensor
.
normal_
)

LOGGER
.
debug
(
"完成数据导入!"
)

return
train
,
valid
,
test
,
TEXT

get_dataset函数内部参数解读
data.Field(tokenize,fix_length)定义字段

• tokenize=tokenize1 使用英文的分词器tokenize1函数。

• fix_length=100 让每个文本分词后的长度均为100个词；不足100的，可以填充为100。超过100的，只保留100

data.TabularDataset.splits(train, validation,test, format,skip_header,fields)读取训练验证数据，可以一次性读取多个文件

• train/validation/test 训练验证测试对应的csv文件名

• skip_header=True 如果csv有抬头，设置为True可以避免pytorch将抬头当成一条记录

• fields = [('label', LABEL), ('text', TEXT)] 定义字段的类型，注意fields要按照csv抬头中字段的顺序设置

torchtext.vocab.Vectors(name, cache)导入词向量数据文件

• name= 'glove.6B.100d.txt' 从网上下载预训练好的词向量glove.6B.100d.txt文件（该文件有6B个词，每个词向量长度为100）

• cache = 'data/' 文件夹位置。glove文件存放在data文件夹内

TEXT.buildvocab(maxsize,minfreq,unkinit) 构建词典，其中

• max_size=2000 设定了词典最大词语数

• min_freq=50设定了词典中的词语保证最少出现50次

• unkinit=torch.Tensor.normal 词典中没有的词语对应的向量统一用torch.Tensor.normal_填充

六、分批次
数据集太大的话，一次性让机器读取容易导致内存崩溃。解决办法就是将大的数据集分成更小份的数据集，分批处理

def
split2batches
(
batch_size
=
32
,
device
=
'cpu'
):

train
,
valid
,
test
,
TEXT
=
get_dataset
()

#datasets按顺序包含train、valid、test三部分

LOGGER
.
debug
(
"准备数据分批次..."
)

train_iterator
,
valid_iterator
,
test_iterator
=
data
.
BucketIterator
.
splits
((
train
,
valid
,
test
),

batch_size
=
batch_size
,

sort
=

False
,

device
=
device
)

LOGGER
.
debug
(
"完成数据分批次!"
)

return
train_iterator
,
valid_iterator
,
test_iterator
,
TEXT

6.1参数解读
split2batches(batch_size=32, device=0)

• batch_size 每批次最多加入多少条评论

• device device='cpu'在CPU中运行，device='gpu' 在GPU中运行。普通电脑都只有CPU的 该函数返回的是BucketIterator对象

train_iterator
,
valid_iterator
,
test_iterator
,
TEXT

split2batches
()

train_iterator

Run

<torchtext.data.iterator.BucketIterator

at
0
x12b0c7898

查看train_iterator数据类型

type
(
train_iterator
)

torchtext
.
data
.
iterator
.
BucketIterator

6.2BucketIterator对象
这里以trainiterator为例（validiterator, test_iterator都是相同的对象）。因为本例中数据有两个字段label和text，所以

获取train_iterator的dataset

train_iterator
.
dataset

<torchtext.data.dataset.TabularDataset

at
0
x12e9c57b8
>

获取train_iterator中的第8个对象

train_iterator
.
dataset
.
examples
[
7
]

<torchtext.data.example.Example

at
0
x12a82dcf8

获取train_iterator中的第8个对象的lebel字段的内容

train_iterator
.
dataset
.
examples
[
7
].
label

'ham'

获取train_iterator中的第8个对象的text字段的内容

train_iterator
.
dataset
.
examples
[
7
].
text

[
'were'
,

'trying'
,

'to'
,

'find'
,

'chinese'
,

'food'
,

'place'
,

'around'
,

'here'
]

总结
到这里我们已经学习了torchtext的常用知识。使用本代码要注意：

• 我们假设数据集是csv文件，torchtext可以还可以处理tsv、json。但如果你想使用本代码，请先转为csv

• 本教程的csv文件只有两个字段，label和text。如果你的数据有更多的字段，记得再代码中增加字段定义

• 本教程默认场景是英文，且使用词向量。所以记得对应位置下载本教程的glove.6B.100d.txt。glove下载地址https://nlp.stanford.edu/projects/glove/