[20170305]使用JAVA实现Http多线程下载
2017-03-12 19:05
405 查看
本周任务是用java实现http的多线程(非断点续传)下载;
现在网络带宽动辄百兆的环境下,http下载工具相信已经很少人想得起了,大多数情况下浏览器自带的下载功能已经能够满足需要;
现在使用工具多是用于某些特定的协议比如BT比如磁力链,或者是迅雷/腾讯等自家的下载链接;
但是网龄比较大的网友可能对2000年前后拨号上网(56k modern),500kb的adsl时代记忆犹新,不稳定并且低速率的带宽使得多线程/断点续传成为当时的刚需;
先来看看JAVA怎么实现单线程下载的:
/**
*
*/
package com.coderising.download;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
/**
* @author Administrator
*
*/
public class TestDownload {
/**
* @param args
*/
public static void main(String[] args) {
String URL_PATH = "http://src.onlinedown.net/Public/images/bigsoftimg/120000/q113222.jpg";
String DEST_PATH = "D://bt/javaDownloadTest.jpg";
try {
URL url = new URL(URL_PATH);
URLConnection conn = url.openConnection();
int length = conn.getContentLength();
System.out.println("GetLenght returned="+length);
InputStream inputStream = conn.getInputStream();
FileOutputStream fileOutputStream = new FileOutputStream(DEST_PATH);
int len = 0;
int totalLen = 0;
byte[] data = new byte[1024];
while((len = inputStream.read(data)) != -1) {
totalLen+=len;
fileOutputStream.write(data, 0, len);
}
System.out.println("Total len="+totalLen);
inputStream.close();
fileOutputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
要点是:
1.URL中打开connection
2.从Connection中获得InputStream
3.从InputStream读取并写入到本地文件
单线程的情况下我们不太关心总体文件的长度,因为一直沿着InputStream读出来知道输入流的结尾就没错了;
多线程的情况下我们需要注意的几点:
1.需要使用HTTP文件头设置请求的range,因此不能使用默认的URLConnection而是HttpUrlConnection
HttpURLConnection conn = (HttpURLConnection)this.url.openConnection();
conn.setRequestMethod("GET");
conn.setConnectTimeout(30*1000);
conn.setRequestProperty("Range", "bytes="+startPos+"-"+endPos);2.从HttpUrlConnection 获取 总长度并合理分段
length = conn.getContentLength();3.多个线程同时启动下载并写入到同一个本地文件的不同位置,使用RandomAcccessFile
File f = new File(this.filePath);
try {
if(!f.exists()){
f.createNewFile();
}
RandomAccessFile raf = new RandomAccessFile(f, "rw");
byte[] ba = conn.read(startPos, endPos);//The byte Array read from connection inputStream
System.out.println("["+this.getName()+"]ByteArray length="+ba.length+",endPos-startPos+1="+(endPos-startPos+1));
raf.seek(startPos);
raf.write(ba, 0, endPos-startPos+1);
finished = true;
System.out.println("["+this.getName()+"]DownloadThread-startPos="+startPos+"-endPos="+endPos+":download completed");
} catch (IOException e) {
e.printStackTrace();
}
其他要做的就是等待所有线程下载结束之后推出进程。
现在网络带宽动辄百兆的环境下,http下载工具相信已经很少人想得起了,大多数情况下浏览器自带的下载功能已经能够满足需要;
现在使用工具多是用于某些特定的协议比如BT比如磁力链,或者是迅雷/腾讯等自家的下载链接;
但是网龄比较大的网友可能对2000年前后拨号上网(56k modern),500kb的adsl时代记忆犹新,不稳定并且低速率的带宽使得多线程/断点续传成为当时的刚需;
先来看看JAVA怎么实现单线程下载的:
/**
*
*/
package com.coderising.download;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
/**
* @author Administrator
*
*/
public class TestDownload {
/**
* @param args
*/
public static void main(String[] args) {
String URL_PATH = "http://src.onlinedown.net/Public/images/bigsoftimg/120000/q113222.jpg";
String DEST_PATH = "D://bt/javaDownloadTest.jpg";
try {
URL url = new URL(URL_PATH);
URLConnection conn = url.openConnection();
int length = conn.getContentLength();
System.out.println("GetLenght returned="+length);
InputStream inputStream = conn.getInputStream();
FileOutputStream fileOutputStream = new FileOutputStream(DEST_PATH);
int len = 0;
int totalLen = 0;
byte[] data = new byte[1024];
while((len = inputStream.read(data)) != -1) {
totalLen+=len;
fileOutputStream.write(data, 0, len);
}
System.out.println("Total len="+totalLen);
inputStream.close();
fileOutputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
要点是:
1.URL中打开connection
2.从Connection中获得InputStream
3.从InputStream读取并写入到本地文件
单线程的情况下我们不太关心总体文件的长度,因为一直沿着InputStream读出来知道输入流的结尾就没错了;
多线程的情况下我们需要注意的几点:
1.需要使用HTTP文件头设置请求的range,因此不能使用默认的URLConnection而是HttpUrlConnection
HttpURLConnection conn = (HttpURLConnection)this.url.openConnection();
conn.setRequestMethod("GET");
conn.setConnectTimeout(30*1000);
conn.setRequestProperty("Range", "bytes="+startPos+"-"+endPos);2.从HttpUrlConnection 获取 总长度并合理分段
length = conn.getContentLength();3.多个线程同时启动下载并写入到同一个本地文件的不同位置,使用RandomAcccessFile
File f = new File(this.filePath);
try {
if(!f.exists()){
f.createNewFile();
}
RandomAccessFile raf = new RandomAccessFile(f, "rw");
byte[] ba = conn.read(startPos, endPos);//The byte Array read from connection inputStream
System.out.println("["+this.getName()+"]ByteArray length="+ba.length+",endPos-startPos+1="+(endPos-startPos+1));
raf.seek(startPos);
raf.write(ba, 0, endPos-startPos+1);
finished = true;
System.out.println("["+this.getName()+"]DownloadThread-startPos="+startPos+"-endPos="+endPos+":download completed");
} catch (IOException e) {
e.printStackTrace();
}
其他要做的就是等待所有线程下载结束之后推出进程。
相关文章推荐
- 使用JAVA实现HTTP多线程下载
- 使用java实现http多线程下载
- 使用java实现http多线程下载
- 使用java实现http多线程下载
- 使用java实现http多线程下载
- 使用HttpURLConnection实现多线程下载
- 使用XStream注解实现Java对象与XML互相转换的代码示例---转自:http://www.blogjava.net/bolo
- Java使用Socket实现发送http头并获取响应
- JAVA使用HttpUrlConnection实现自动上传文
- Java / Android 基于Http的多线程下载的实现
- Java使用Http实现网络图片的下载
- java提高篇(六)_使用序列化实现对象的拷贝 转自 http://cmsblogs.com
- java实现http多线程下载
- JAVA:使用HTTP的get()方法来实现网络数据的读取
- Java / Android 基于Http的多线程下载的实现
- Java / Android 基于Http的多线程下载的实现
- JAVA使用HttpUrlConnection实现自动上传文件
- 使用java实现http多线程断点下载文件(二)
- JAVA使用HttpUrlConnection实现自动上传文件
- Android 使用HttpURLConnection 实现多线程下载