redis队列处理文件并发(日志处理)
2016-08-28 14:01
811 查看
多线程操作同一个文件时会出现并发问题。解决的一个办法就是给文件加锁(lock),但是这样的话,一个线程操作文件时,其它的都得等待,这样的话性能非常差。
另外一个解决方案,就是先将数据放在队列中,然后开启一个线程,负责从队列中取出数据,再写到文件中。using log4net;
using RedisMvcApp.Models;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Web;
using System.Web.Http;
using System.Web.Mvc;
using System.Web.Optimization;
using System.Web.Routing;
namespace RedisMvcApp
{
// 注意: 有关启用 IIS6 或 IIS7 经典模式的说明,
// 请访问 http://go.microsoft.com/?LinkId=9394801
public class MvcApplication : System.Web.HttpApplication
{
protected void Application_Start()
{
log4net.Config.XmlConfigurator.Configure();//获取Log4Net配置信息(配置信息定义在Web.config文件中)
AreaRegistration.RegisterAllAreas();
WebApiConfig.Register(GlobalConfiguration.Configuration);
FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
RouteConfig.RegisterRoutes(RouteTable.Routes);
BundleConfig.RegisterBundles(BundleTable.Bundles);
//通过线程开启一个线程,然后不停的从队列中或数据
string filePath = Server.MapPath("/Log/");
ThreadPool.QueueUserWorkItem(o =>
{
while (true)
{
try
{
// if (MyExecptionAttribute.ExceptionQueue.Count > 0)
if (MyExecptionAttribute.redisClent.GetListCount("errorException") > 0)
{
// Exception ex= MyExecptionAttribute.ExceptionQueue.Dequeue();//从队列中拿出数据
string errorMsg = MyExecptionAttribute.redisClent.DequeueItemFromList("errorException");//从Redis队列中取出异常数据
//if (ex != null)
if(!string.IsNullOrEmpty(errorMsg))
{
//构建成一个完整的路径
// string fileName = filePath + DateTime.Now.ToString("yyyy-MM-dd").ToString() + ".txt";
//string execptionMsg = ex.ToString();
// File.AppendAllText(fileName, errorMsg, Encoding.Default);//将异常写到文件中。
ILog logger = LogManager.GetLogger("czbkError");
logger.Error(errorMsg);//将异常信息写到Log4Net中.
}
else
{
Thread.Sleep(30);
}
}
else
{
Thread.Sleep(30);//避免了CPU空转。
}
}
catch (Exception ex)
{
//MyExecptionAttribute.ExceptionQueue.Enqueue(ex);
MyExecptionAttribute.redisClent.EnqueueItemOnList("errorException", ex.ToString());
}
}
}, filePath);
}
}
}
本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1685342
另外一个解决方案,就是先将数据放在队列中,然后开启一个线程,负责从队列中取出数据,再写到文件中。using log4net;
using RedisMvcApp.Models;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Web;
using System.Web.Http;
using System.Web.Mvc;
using System.Web.Optimization;
using System.Web.Routing;
namespace RedisMvcApp
{
// 注意: 有关启用 IIS6 或 IIS7 经典模式的说明,
// 请访问 http://go.microsoft.com/?LinkId=9394801
public class MvcApplication : System.Web.HttpApplication
{
protected void Application_Start()
{
log4net.Config.XmlConfigurator.Configure();//获取Log4Net配置信息(配置信息定义在Web.config文件中)
AreaRegistration.RegisterAllAreas();
WebApiConfig.Register(GlobalConfiguration.Configuration);
FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
RouteConfig.RegisterRoutes(RouteTable.Routes);
BundleConfig.RegisterBundles(BundleTable.Bundles);
//通过线程开启一个线程,然后不停的从队列中或数据
string filePath = Server.MapPath("/Log/");
ThreadPool.QueueUserWorkItem(o =>
{
while (true)
{
try
{
// if (MyExecptionAttribute.ExceptionQueue.Count > 0)
if (MyExecptionAttribute.redisClent.GetListCount("errorException") > 0)
{
// Exception ex= MyExecptionAttribute.ExceptionQueue.Dequeue();//从队列中拿出数据
string errorMsg = MyExecptionAttribute.redisClent.DequeueItemFromList("errorException");//从Redis队列中取出异常数据
//if (ex != null)
if(!string.IsNullOrEmpty(errorMsg))
{
//构建成一个完整的路径
// string fileName = filePath + DateTime.Now.ToString("yyyy-MM-dd").ToString() + ".txt";
//string execptionMsg = ex.ToString();
// File.AppendAllText(fileName, errorMsg, Encoding.Default);//将异常写到文件中。
ILog logger = LogManager.GetLogger("czbkError");
logger.Error(errorMsg);//将异常信息写到Log4Net中.
}
else
{
Thread.Sleep(30);
}
}
else
{
Thread.Sleep(30);//避免了CPU空转。
}
}
catch (Exception ex)
{
//MyExecptionAttribute.ExceptionQueue.Enqueue(ex);
MyExecptionAttribute.redisClent.EnqueueItemOnList("errorException", ex.ToString());
}
}
}, filePath);
}
}
}
本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1685342
相关文章推荐
- 文件并发(日志处理)--队列--Redis+Log4Net
- 【.Net】文件并发(日志处理)--队列--Redis+Log4Net
- 文件并发(日志处理)--队列--Redis+Log4Net
- MVC 4中使用ServiceStack.Redis实现Redis队列【错误日志并发处理】
- 文件并发(日志处理)--队列--Redis+Log4Net
- 文件并发(日志处理)--队列--Redis+Log4Net
- PHP中利用redis实现消息队列处理高并发请求--简洁代码实现效果
- PHP中利用redis实现消息队列处理高并发请求
- 基于Swoole和Redis实现的并发队列处理系统
- 【Redis】redis+php处理高并发,很好的教程||附上 php的文件锁
- 基于Swoole和Redis实现的并发队列处理系统
- PHP中利用redis实现消息队列处理高并发请求
- android 写行为日志到SD卡 并发处理 异步写入数据到文件不影响界面响应时间
- ORACLE联机日志文件丢失或损坏的处理方法
- SQL Server日志文件总结及日志满的处理
- Oracle系统紧急故障处理(数据文件、日志文件以及表空间损坏的处理)
- sql server日志文件总结及日志满的处理办法
- SQL Server日志文件总结及日志满的处理
- Oracle - Oracle系统紧急故障处理(数据文件、日志文件以及表空间损坏的处理)
- SQL SERVER日志文件总结及日志满的处理办法