lua中字符串过滤表情及特殊字符
2017-07-10 10:20
344 查看
原文地址:http://blog.csdn.net/allenjay11/article/details/53207888
首先,这个肯定是不行的,你如果让用户输入了,并且保存成功后,但是显示的却是?,这让人怎么理解,而且用户的体验肯定不好!于是,我就开始在网上百度,但是百度的结果不符合我的意思,我又请教了 –没有开花的树–这位大神。
其实他是有一篇文章中写到了,由于我们是用lua脚本在页面上对数据进行处理的,所以就直接参考了这篇文章,并且实验结果是十分成功的。
下面附上我从没有开花的树 的博客中相关的内容供大家参考!
lua5.3虽然支持utf-8,但是自带的string库不支持汉字的处理,而且lua的正则实现也比较鸡肋,很难匹配中文。所以文章讨论UTF-8字符集,中文汉字的表示方法,然后说明lua如何匹配UTF-8中文汉字。
如表:
因此,UTF-8可以用来表示字符编码最多的有效位数是31位,即x代表的位。除掉那些标志位(如每字节开头的10),UTF-8表示的与Unicode编码是对应的。
另外,Unicode兼容标准的ASCII字符集,只需要一个字节就可以表示所有ASCII码,ASCII码一共规定了128个字符的编码,所以实际只要7位表示。而对于1字节表示的UTF-8编码,字节开头是0,所以UTF-8表示的英文数字,跟ASCII字符集表示的是一样的。
其中,0x4E00 用二进制表示为 100111000000000
换成UTF-8码就是 11100100 10111000 10000000,即 228, 184, 128
同理,0x9FA5为 11101001 10111110 10100101,即 233, 190, 165
可以看出,中文UTF-8编码用3个字节表示。
这里以一个例子说明,比如我要过滤特殊字符,保留中文、英文和数字。
首先,这个肯定是不行的,你如果让用户输入了,并且保存成功后,但是显示的却是?,这让人怎么理解,而且用户的体验肯定不好!于是,我就开始在网上百度,但是百度的结果不符合我的意思,我又请教了 –没有开花的树–这位大神。
其实他是有一篇文章中写到了,由于我们是用lua脚本在页面上对数据进行处理的,所以就直接参考了这篇文章,并且实验结果是十分成功的。
下面附上我从没有开花的树 的博客中相关的内容供大家参考!
lua5.3虽然支持utf-8,但是自带的string库不支持汉字的处理,而且lua的正则实现也比较鸡肋,很难匹配中文。所以文章讨论UTF-8字符集,中文汉字的表示方法,然后说明lua如何匹配UTF-8中文汉字。
初识UTF-8
UTF-8是Unicode的一种实现,是一种变长字节编码方式。对于某一个字符的UTF-8编码,如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的位数,其余各字节均以10开头。UTF-8最多可用到6个字节。如表:
因此,UTF-8可以用来表示字符编码最多的有效位数是31位,即x代表的位。除掉那些标志位(如每字节开头的10),UTF-8表示的与Unicode编码是对应的。
另外,Unicode兼容标准的ASCII字符集,只需要一个字节就可以表示所有ASCII码,ASCII码一共规定了128个字符的编码,所以实际只要7位表示。而对于1字节表示的UTF-8编码,字节开头是0,所以UTF-8表示的英文数字,跟ASCII字符集表示的是一样的。
中文UTF-8
通常都说到,汉字范围从0x4E00到0x9FA5,这是指Unicode编码。对于UTF-8还要做转换。其中,0x4E00 用二进制表示为 100111000000000
换成UTF-8码就是 11100100 10111000 10000000,即 228, 184, 128
同理,0x9FA5为 11101001 10111110 10100101,即 233, 190, 165
可以看出,中文UTF-8编码用3个字节表示。
lua匹配UTF-8汉字
前面分析了中文UTF-8的编码范围了,所以lua只要用 string.byte(s, i) 取到字符的byte值(字符集通常记 code point)。比较第一个字节是228-233,而且接下来两个字节都是 128-191,就可以简单认定为中文了。这里以一个例子说明,比如我要过滤特殊字符,保留中文、英文和数字。
function filter_spec_chars(s) local ss = {} for k = 1, #s do local c = string.byte(s,k) if not c then break end if (c>=48 and c<=57) or (c>= 65 and c<=90) or (c>=97 and c<=122) then table.insert(ss, string.char(c)) elseif c>=228 and c<=233 then local c1 = string.byte(s,k+1) local c2 = string.byte(s,k+2) if c1 and c2 then local a1,a2,a3,a4 = 128,191,128,191 if c == 228 then a1 = 184 elseif c == 233 then a2,a4 = 190,c1 ~= 190 and 191 or 165 end if c1>=a1 and c1<=a2 and c2>=a3 and c2<=a4 then k = k + 2 table.insert(ss, string.char(c,c1,c2)) end end end end return table.concat(ss) end
相关文章推荐
- lua中过滤表情以及特殊字符
- lua 字符串过滤,特殊字符过滤
- (手机表情过滤) Emoji与unicode特殊字符的处理
- C#创建目录,文件名过滤特殊字符串,非法字符
- java 使用正则来过滤字符串中的特殊字符
- Java 使用正则表达式过滤字符串中的特殊字符
- iOS 字符串转JSON去除特殊字符的方法(去除表情)
- lua--对字符串中的特殊字符进行转义
- lua 字符串 正则表达式 转义 特殊字符
- lua脚本对utf8字符串过滤中文字符
- jQuery过滤特殊字符及JS字符串转为数字
- 使用正则表达式过滤字符串中的特殊字符
- .net 过滤json等字符串里的特殊字符
- JavaScript代码判断输入的字符串是否含有特殊字符和表情代码实例
- Java过滤特殊字符和表情
- .net 字符串过滤标记(包括HTML,脚本,数据库关键字,特殊字符的源码)
- Servlet过滤字符串的HTML特殊字符
- JavaScript代码判断输入的字符串是否含有特殊字符和表情代码实例
- iOS 过滤json字符串中的特殊字符