您的位置:首页 > 大数据 > 人工智能

终于完成几个淘宝采集相关产品(http://www.9zhai.net/)

2015-07-01 09:30 453 查看

相关介绍

鉴于淘宝商家对一些淘宝商品数据有很大的需求,如商品标题,价格,库存,图片及其他一些的信息,从而达到一些监控的目的

基于Ecshop,EcMall,ShopNc等系统的采集

这篇文章是这几天的工作的一些记录

基本架构

整个应用基于传统的C/S结构:采集核心业务放在服务器端,对外提供相应的接口,客户端根据不同的用户提出不同的需求,后台采集后用相应的json串传递到前端,前端进行相应的解析

Client端和Server端基于WebService服务的概念,前后端基于Json格式数据传输,所以对于编程语言并不要求前后端一致,还是不错的

基于第二点,先谈Server端,Server提供采集的核心任务, 因为动态语音在解析方面有得天独厚的优势,所以整个系统尽量采用动态语言,但是像Js这种语言又有一些局限性,所以后台我们采用了一种C#/Js的互相支持的的模式,下面会有一些介绍这两种语言的调用方式

Client端,因为是一种WebService模式,前端可以根据用户的不同需求使用不同的合适的语言,如果监控系统,可以使用WinForm(后面会说一种),而如EcShop,EcMall这种Web系统插件,就直接使用php语言

Client端发来的请求可以看做一个个不同的任务,使用消息队列实现异步,至于消息队列的好处,请戳这里



最近因为实习培训的事情,这部分博客暂时搁在这,后面再写
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: