数据分割与处理
开发工具与关键技术:VS C# 作者:宋永烨 撰写时间:2019/4/23
数据上到控制器后,当用户需要保存时,需要将数据保存到数据库或指定的文件夹内,而由于数据显示时需要放在一起(指文档上传后的显示),但保存时需要分开储存,所以需要将上传后的数据进行分割,然后处理,只有将文件处理好,才能将它准确的保存到指定的地址
一、数据分割
分割前先判断数据是否为空,防止保存了空的数据
对url编码的字符串进行解码并返回一个字符串
由于a标签是封闭标签,所以a可以用正则直接匹配出整个标签,包括a标签的所有内容,然后再匹配空的实体字符,最后将它替换为空即可实现删除所有a标签
将字符串修改成读取的正则可以读取到的格式,例如上图的将匹配换行标签后的任意个(0或更多个)空格一个大写的A-Z之间的字符,任意个空格,中英文符号的点与中文符号的顿号,之后
创建一些接收所需数据的字段
搜索符合正则的字符的与两个换行符
将获取到的符合规则的字符按照所需的规则进行切割出所有所需的字段,循环执行,之后将不需要的数据全部替换为空,再将接收的值添加到接收的字段
由于答案的范围有限制,所以需要判断大难的范围是否超过选项支持的最大范围,不超过则添加到接收的字段
二、数据处理
查询部分表并赋值给声明数据类型的变量
查询出数据关联的表,逐一赋值给变量,查询的表与剪切之后赋值的变量的数据类型对应的表对应,然后再获取与这些数据有相同键的表,获取它的字段,为了将剪切后添加在变量中的数据放入有对应字段的变量中
通过声明变量获取到PW_Title的所有字段并赋值给变量,然后将剪切后的获取到的数据的集合添加到创建的用于接收的变量中,并获取这些表的主键,最后添加到之前定义的变量listTitles中,为最后的保存做准备
三、去除自身重复
将数据分割并处理后的数据差不多可以保存,但在保存之前还需要判断自身是否重复,判断的流程为,创建一个接收的新的集合,取出一个变量与新集合中已有的数据进行比较,如果存在,就不将这条数添加到新集合,如果不存在则添加到新集合,通过循环将它全部进行验证.
创建一个新的用于接收所有不重复数据的集合,通过foreach获取变量listTitles中的所有数据并赋值给item(每循环一次获取一条数据);
创建一个用于判断的变量,默认为true,在每次循环时,当blNotExsit为true即真的不存在,就可与保存,由于取出之后还需要进行判断,所以还要嵌套一个循环,循环的主体不变,获取值的变量不同而已
判断变量的一些不能重复的字段是否重复,是,则将实体是否存在的变量赋值为false即试题不是不存在就是存在,就不保存项目并跳出这次循环,判断下一个是否重复
之后判断试题是否存在,如果不存在就添加到新的集合中,
注意,由于第一个判断时,新集合是空的,所以在判断试题重复之前,需要判断试题是否是第一道题,如果是,则直接添加到新的集合中
代码来源与老师
- Pregel:基于图分割的图结构数据并行处理
- excel导入数据并做字符分割处理
- PHP csv大量数据导出分割处理
- FCN语义分割训练自己数据不收敛处理记录
- 正则表达式分割字符串但是不分割字符串中引号中间的数据,处理CSV文件必备!!
- Python入门-17、18、19、20:数据类型及转换,字符串补充(分割,带单位输出数据),处理异常操作的语句
- kiiti分割的数据及其处理
- 图像分割—基于图像数据的自动选择阈值(基本全局阈值处理方法)
- vtk 体绘制后分割(如何处理自己的数据)
- JSON 数据(集合数据)到服务端的处理
- Python NumPy-快速处理数据
- logstash filter 处理json数据按原始数据字段数据存储
- 基因数据处理38之dbSnpId到omimId的映射表
- 使用python处理百万条数据分享(适用于java新手)
- iModel中对从存储过程获取报表数据的处理思考
- 异步处理数据成功后调用UIAlterView,在还没有调用出UIAlterView的时候,退出当前页
- scikit-learn数据预处理fit_transform()与transform()的区别(转)
- 不会做特征工程的 AI 研究员不是好数据科学家!上篇 - 连续数据的处理方法 本文作者:s5248 编辑:杨晓凡 2018-01-19 11:32 导语:即便现代机器学习模型已经很先进了,也别
- Excel 处理重复数据的几种方法
- 20. 数据集参数刷新无法置空处理(3.9)