lua脚本对utf8字符串过滤中文字符
2016-07-11 21:02
471 查看
lua 的string库不支持处理utf-8编码的汉字。用lua要处理汉字还是很费劲的。
UTF8的编码规则:
1. 字符的第一个字节范围: 0x00—0x7F(0-127),或者 0xC2—0xF4(194-244); UTF8 是兼容 ascii 的,所以 0~127 就和 ascii 完全一致
2. 0xC0, 0xC1,0xF5—0xFF(192, 193 和 245-255)不会出现在UTF8编码中
3. 0x80—0xBF(128-191)只会出现在第二个及随后的编码中(针对多字节编码,如汉字)
这样我们可以利用lua强大的模式匹配,来实现我们要的效果,关键的处理有这么两个:
1.
local _, count = string.gsub(str, "[^\128-\193]", ""),
用来得到str中的字符数
2.
for uchar in string.gfind(str, "[%z\1-\127\194-\244][\128-\191]*") do
tab[#tab+1] = uchar
end,
用来把str中的每个字符映射到tab中
UTF8的编码规则:
1. 字符的第一个字节范围: 0x00—0x7F(0-127),或者 0xC2—0xF4(194-244); UTF8 是兼容 ascii 的,所以 0~127 就和 ascii 完全一致
2. 0xC0, 0xC1,0xF5—0xFF(192, 193 和 245-255)不会出现在UTF8编码中
3. 0x80—0xBF(128-191)只会出现在第二个及随后的编码中(针对多字节编码,如汉字)
这样我们可以利用lua强大的模式匹配,来实现我们要的效果,关键的处理有这么两个:
1.
local _, count = string.gsub(str, "[^\128-\193]", ""),
用来得到str中的字符数
2.
for uchar in string.gfind(str, "[%z\1-\127\194-\244][\128-\191]*") do
tab[#tab+1] = uchar
end,
用来把str中的每个字符映射到tab中
相关文章推荐
- C/C++遍历Lua中的table
- DevOps - What is DevOps and Evaluation metrics
- Lua游戏开发技能属性定义
- c与lua 相互调用
- 向量的叉乘 - 点到 直线距离 运用(lua代码)
- 向量运用。扇形(或三角形)碰撞检测判断。 lua代码
- 平衡二叉树的简单建立--示例
- lua 移植到 android 记录
- Koreader stardict字典下载 及 lua文件修改
- Andrew NG 《machine learning》week 6,class1 —Evaluating a Learning Algorithm
- c中调试lua,lua_dofile
- Lua GC API 操作
- leetcode: Evaluate Reverse Polish Notation
- Lua IDE
- Lua脚本语言简明入门教程
- LUA学习之一 初次接触
- sublime 安装关于lua的插件
- BabeLua配置
- 机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱
- Lua - 基础语法