一个关于多线程对象释放的问题

最近做一个项目，碰到一个对象释放问题：

模型是这样的，多个线程操作一个对象，对象提供出来的接口是线程安全的，然后多个线程将对象加到线程池队列中等待执行，

然后问题就出来了，代码如下。

while(t->m_running){

if(__SEMTAKE(j->m_semaphoreQue, 500)){
continue;
}

if(!t->m_running){
break;
}

IStream * s = NULL;
{
__LOCK(j->m_mutexQue);
if(!j->m_queTask.empty()){
s = j->m_queTask.front();
j->m_queTask.pop_front();
}
}

if(s){
(s)->TransferStream();
}
}

IStream就是那个对象，当别的线程进行删除操作时，怎么保证这个对象可以安全删除，也就是这个对象没有别的线程在引用了。

智能指针似乎可以解决这个问题，除了智能指针，

有人说com技术的引用计数器，那个操作起来比较复杂，计数器需加锁，

会导致程序的架构有点改动，还有别的方法吗？