libcurl smtp发送邮件附件大小限制问题

原文链接：http://codingfan.cn/index.php/archives/14/

问题

最近项目上有自动发送邮件的需求， 便用libcurl封装了个，发送hello world是ok的， 测试attachment的时候， 发现报错：read function returned funny value， 而且只要body或者attachment超过16k左右就报错

分析过程

翻看libcurl源码找到对应位置：

CURLcode Curl_fillreadbuffer(struct connectdata *conn, int bytes, int *nreadp)
{
struct SessionHandle *data = conn->data;
size_t buffersize = (size_t)bytes;

...

//fread_func为用户实现的读取buffer的回调函数
nread = (int)data->set.fread_func(data->req.upload_fromhere, 1,
buffersize, data->set.in);
...
else if((size_t)nread > buffersize) {
/* the read function returned a too large value */
*nreadp = 0;
failf(data, "read function returned funny value");
return CURLE_READ_ERROR;
}

调用处：

static CURLcode readwrite_upload(struct SessionHandle *data,
struct connectdata *conn,
struct SingleRequest *k,
int *didwhat)
{
...
result = Curl_fillreadbuffer(conn, BUFSIZE, &fillcount);
...
}

可以看出buffersize 即BUFSIZE为固定大小16348， 当满足回调函数返回值大于该数值，就会报错。

再看看回调函数的实现：

struct WriteThis
{
int pos;
int counter;
std::vector<std::string> data;
};

static size_t read_callback(void *ptr, size_t size, size_t nmemb, void *userp)
{
struct WriteThis *pooh = (struct WriteThis *)userp;
const char *data;

if (size*nmemb < 1)
return 0;

data = text[pooh->counter];

if (data)
{
size_t len = strlen(data);
memcpy(ptr, data, len);
pooh->counter++; /* advance pointer */
return len;
}
return 0;                         /* no more data left to deliver */
}

很明显， 数组的任意一项大于该值，就会出错， 也就解释了为什么body或者attachment超出16k就会报错了

既然不支持大文件（不过16k居然能算大文件）， 那我们就考虑chunk up分片读， 修改成如下， 解决问题：

#define CHUNCK_SIZE 1024 * 10
size_t CurlSmtp::read_callback(void *ptr, size_t size, size_t nmemb, void *userp)
{
struct WriteThis *pooh = (struct WriteThis *)userp;
const char *data;

if(size * nmemb < 1)
return 0;

const std::string& str = pooh->data[pooh->counter];
if(pooh->counter < pooh->data.size()) {
size_t len = str.size();
int size = len - pooh->pos;
if (len < CHUNCK_SIZE || size <= CHUNCK_SIZE)
{
memcpy(ptr, str.c_str() + pooh->pos, size);
pooh->counter++; /* advance pointer */
pooh->pos = 0;
return size;
}
else
{
memcpy(ptr, str.c_str() + pooh->pos, CHUNCK_SIZE);
pooh->pos += CHUNCK_SIZE;
return CHUNCK_SIZE;
}

}
return 0;
}

总结， libcurl的设计中， 默认只支持每次读取16k左右大小的buffer（包括读取smtp协议头， 消息体， 附件等）， 一旦超过尺寸， 就需要考虑分片

工具源码：curlsmtp