批量下载凡客诚品的图片

凡客诚品的模特图片很多还是很pp的，有收藏癖想下载怎么办呢？自己动手。凡客的网页做的还是很简洁的，我没学过web相关的东西，所以只好用最原始的办法，正则表达式匹配html文件里的链接，幸好网站没用啥花哨技术。

程序现在只支持从大类页面开始解析，比如衬衫分类的http://www.vancl.com/CategoryList-1548-1--1/ChenShan.html，支持翻页，会把这个大类下面所有商品的所有大图下载下来，可惜的是不能分辨图片是衣服还是模特。要下载多个分类的话就再写个批处理，手工把每个大类的网址输进去。

下面是源代码，C#写的，下载部分直接用了WebClient类，所以效率很低，慢慢下吧。异常处理部分是后来硬加上去的，写的很烂，凑合用吧。

纯粹为了好玩写的，请勿滥用。如果你把图片挪作它用被凡客找上门的话，本人概不负责。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.IO;
using System.Text.RegularExpressions;
namespace VANCLpic
{
class Program
{
static void Main(string[] args)
{
if (args.Length != 1)
{
Console.WriteLine("Usage: VANCLpic [URL]/nExample: VANCLpic http://www.vancl.com/CategoryList-1548-1--1/ChenShan.html"); return;
}
// 分类页面
String pageUrl = args[0];
Console.WriteLine("下载分类页面中...");
String page = null;
try
{
WebClient wc = new WebClient();
Stream pageStream = wc.OpenRead(pageUrl);
StreamReader sr = new StreamReader(pageStream);
page = sr.ReadToEnd();
pageStream.Close();
sr.Close();
wc.Dispose();
}
catch
{
Console.WriteLine("下载错误：" + pageUrl);
}
if (page != null)
{
String title = Regex.Match(page, "(?<=<title>)[^/a]*(?=</title>)").Value.Trim();
Console.WriteLine("/t" + title);
// 改变工作目录
title = validFileName(title);
Directory.CreateDirectory(title);
System.Environment.CurrentDirectory = System.Environment.CurrentDirectory + "/" + title;
// 处理首页
processProductList(pageUrl);
}
Console.WriteLine("全部下载完成");
}
static String validFileName(String name)
{
if (name.Contains('//'))
{
name = name.Replace('//', ' ');
}
if (name.Contains('/'))
{
name = name.Replace('/', ' ');
}
if (name.Contains(':'))
{
name = name.Replace(':', ' ');
}
if (name.Contains('*'))
{
name = name.Replace('*', ' ');
}
if (name.Contains('?'))
{
name = name.Replace('?', ' ');
}
if (name.Contains('/"'))
{
name = name.Replace('/"', ' ');
}
if (name.Contains('<'))
{
name = name.Replace('<', ' ');
}
if (name.Contains('>'))
{
name = name.Replace('>', ' ');
}
if (name.Contains('|'))
{
name = name.Replace('|', ' ');
}
return name;
}
static void processProductList(string pageUrl)
{
Console.WriteLine("下载产品列表中...");
String page = null;
try
{
WebClient wc = new WebClient();
Stream pageStream = wc.OpenRead(pageUrl);
StreamReader sr = new StreamReader(pageStream);
page = sr.ReadToEnd();
pageStream.Close();
sr.Close();
wc.Dispose();
}
catch
{
Console.WriteLine("下载错误：" + pageUrl);
}
if (page != null)
{
Console.WriteLine("产品列表页面下载完成");
// 产品列表段
Match listProduct = Regex.Match(page, "<div id=/"listProduct/" >.*</div>");
// 单个产品的地址
MatchCollection matches = Regex.Matches(listProduct.Value, "(?<=<a href="/" mce_href="/"")//S*(?=/")");
// 去除重复
HashSet<String> productUrls = new HashSet<string>();
foreach (Match url in matches)
{
productUrls.Add(url.Value);
}
Console.WriteLine("共计" + productUrls.Count + "个产品");
// 处理每个产品
int counter = 0;
foreach (String url in productUrls)
{
Console.WriteLine("处理产品" + (counter++) + "中...");
downloadProduct(url);
}
// 判断是否有下一页
Match nextPage = Regex.Match(page, "(?<=<dd class=/"pageDown/"><a href=/")[^/"]*(?=/")");
if (nextPage.Value != String.Empty)
{
Console.WriteLine("下一页");
String nextPageUrl = "http://www.vancl.com" + nextPage.Value;
processProductList(nextPageUrl);
}
}
}
static void downloadProduct(String pageUrl)
{
try
{
WebClient wc = new WebClient();
Stream pageStream = wc.OpenRead(pageUrl);
StreamReader sr = new StreamReader(pageStream);
String page  = sr.ReadToEnd();
Console.WriteLine("/t产品页面下载完成");
// 大图链接
Match entry = Regex.Match(page, "/Product/Pic.aspx.*(?=/")");
String picturePage = "http://www.vancl.com" + entry.Value;
// 图片列表页面
pageStream = wc.OpenRead(picturePage);
sr = new StreamReader(pageStream);
page = sr.ReadToEnd();
MatchCollection matches = Regex.Matches(page, "(?<=<a href=")[^" mce_href=")[^"]*(?=')");
Console.WriteLine("/t共计" + matches.Count + "张图片");
// 下载每张图片
int counter = 0;
foreach (Match url in matches)
{
Console.WriteLine("/t下载图片" + (counter++) + "中...");
String fileName = url.Value.Substring(url.Value.LastIndexOf('/') + 1);
try
{
wc.DownloadFile(url.Value, fileName);
}
catch
{
Console.WriteLine("图片下载错误：" + url.Value);
}
}
pageStream.Close();
sr.Close();
wc.Dispose();
}
catch
{
Console.WriteLine("下载错误：" + pageUrl);
}
}
}
}