Python中利用set去除列表(list)重复元素

Python的set类型和其他语言类似，是一个无序不重复元素集，基本功能包括关系测试和消除重复元素。

    如果我们要处理一些数据，需要去除掉重复元素，比如列表a = [5, 2, 5, 1, 4, 3, 4]，可以用如下方式实现

a = [5, 2, 5, 1, 4, 3, 4]  
print list(set(a)) 

    Python中set集合对象还支持union(联合[|])、intersection(交[&])、difference(差[-])和sysmmetric difference(对称差集^)等数学运算。如下：

a = set('abracadabra')  
b = set('alacazam')  
 
# a包含且b包含的字符  
print a & b  
print a.intersection(b)  
# a包含或b包含的字符  
print a | b  
print a.union(b)  
# a包含且b不包含的字符  
print a - b  
print a.difference(b)  
# a包含且b不包含的字符和b包含且a不包含的字符  
print a ^ b  
print a.symmetric_difference(b) 

     当然，Python中关于set的操作类型还有很多，这里就不一一列举了。如果一个文本中有重复的元素，我们应该如何去除呢，文本内容如下：

[root@linuxidc ]# cat done.txt   
linuxidc  
linuxidc  
linuxidc  
  http://www.linuxidc.com/   http://www.linuxidc.com/ 
    Python利用set去除重复元素的方式，如下：

In [1]: print '\n'.join(set(open('done.txt').read().split('\n')))  
 
linuxidc   http://www.linuxidc.com/  
 
In [2]: print ''.join(set([x for x in open('done.txt').readlines() if x.strip()!='']))  
linuxidc   http:///www.linuxidc.com/