Java中生产者消费者模型

生产者消费者问题是研究多线程程序时绕不开的经典问题之一，
它描述是有一块缓冲区作为仓库，生产者可以将产品放入仓库，消费者则可以从仓库中取走产品。
解决生产者/消费者问题的方法可分为两类:

采用某种机制保护生产者和消费者之间的同步；

在生产者和消费者之间建立一个管道。

第一种方式有较高的效率，并且易于实现，代码的可控制性较好，属于常用的模式。
第二种管道缓冲区不易控制，被传输数据对象不易于封装等，实用性不强。
同步问题核心在于：如何保证同一资源被多个线程并发访问时的完整性。
常用的同步方法是采用信号或加锁机制，保证资源在任意时刻至多被一个线程访问。
Java语言在多线程编程上实现了完全对象化，提供了对同步机制的良好支持。
在Java中一共有四种方法支持同步，其中前三个是同步方法，一个是管道方法。

wait() / notify()方法

await() / signal()方法

BlockingQueue阻塞队列方法

PipedInputStream / PipedOutputStream 本文介绍前三种方法

1. 生产者消费者模型1 ProducerConsumerWaitNotifyTest
2. 生产者消费者模型2 ProducerConsumerAwaitSignalTest
3. 生产者消费者模型3 ProducerConsumerBlockingQueueTest

1. 生产者消费者模型1 ProducerConsumerWaitNotifyTest

package cn.altman.producerconsumer1.test;

/**
 * Created by xuzhihua on 1/8/2018.
 * 生产者消费者模型测试
 * 使用 wait() notify() 方法
 wait() / nofity()方法是基类Object的两个方法，也就意味着所有Java类都会拥有这两个方法，这样，我们就可以为任何对象实现同步机制。
 wait()方法：当缓冲区已满/空时，生产者/消费者线程停止自己的执行，放弃锁，使自己处于等等状态，让其他线程执行。
 notify()方法：当生产者/消费者向缓冲区放入/取出一个产品时，向其他等待的线程发出可执行的通知，同时放弃锁，使自己处于等待状态。
 */

import java.util.LinkedList;

/**
 * 仓库类Storage实现缓冲区
 */
class Storage{
    // 仓库最大存储量
    private final int MAX_SIZE = 100;
    //  仓库存储的载体
    private LinkedList<Object> list = new LinkedList<Object>();
    
    // 生产num个产品
    public void produce(int num){
        // 同步代码段
        synchronized(list){
            // 如果仓库剩余容量不足
            while (list.size() + num > MAX_SIZE){
                System.out.println("[要生产的产品数量]: "+num +
                        "\t库存量: " + list.size() +
                        "\t 仓库最大容量: " + MAX_SIZE +
                        "\t暂时不能执行生产任务");
                try{
                    // 由于条件不满足，生产阻塞
                    list.wait();
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            }
            // 生产条件满足情况下 生产num个产品
            for (int i = 1; i <= num; ++i){
                list.add(new Object());
            }
            System.out.println("[已经生产产品数]: " + num +
                    "\t现仓储容量: " + list.size());
            list.notifyAll();
        }
    }
    // 消费num个产品
    public void consume(int num){
        // 同步代码段
        synchronized (list){
            // 如果仓库存储量不足
            while (list.size() < num){
                System.out.println("[要消费的产品数量]: "+ num +
                        "\t现库存量: " + list.size() +
                        "\t暂时不能执行消费任务");
                try{
                    // 由于条件不满足，消费阻塞
                    list.wait();
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            }
            // 消费条件满足情况下，消费num个产品
            for (int i = 1; i <= num; ++i){
                list.remove();
            }
            System.out.println("[已经消费产品数]: "+ num +
                    "\t现库存量: " + list.size());
            list.notifyAll();
        }
    }
    // get/set方法
    public int getMAX_SIZE() {return MAX_SIZE;}
    public LinkedList<Object> getList() {return list;}
    public void setList(LinkedList<Object> list) {this.list = list;}
}

/**
 * 生产者类Procducer继承线程类Thread
 */
class Producer extends Thread{
    // 每次生产的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Producer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        produce(num);
    }
    // 调用仓库Storage的生产函数
    public void produce(int num){
        storage.produce(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}

/**
 * 消费者类Consumer继承线程类Thread
 */
class Consumer extends Thread{
    // 每次消费的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Consumer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        consume(num);
    }
    // 调用仓库Storage的消费函数
    public void consume(int num){
        storage.consume(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}
/**
 * 测试类 测试生产者消费者模型
 * */
public class ProducerConsumerWaitNotifyTest {
    public static void main(String[] args) {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }

输出结果

2. 生产者消费者模型2 ProducerConsumerAwaitSignalTest

package cn.altman.producerconsumer2.test;

/**
 * Created by xuzhihua on 1/8/2018.
 * 生产者消费者模型测试
 * 使用 await() signal() 方法
 在JDK5.0之后，Java提供了更加健壮的线程处理机制，包括同步、锁定、线程池等，它们可以实现更细粒度的线程控制。
 await()和signal()就是其中用来做同步的两种方法，它们的功能基本上和wait() / nofity()相同，完全可以取代它们，
 但是它们和新引入的锁定机制Lock直接挂钩，具有更大的灵活性。
 通过在Lock对象上调用newCondition()方法，将条件变量和一个锁对象进行绑定，进而控制并发程序访问竞争资源的安全
 */


import java.util.LinkedList;
import java.util.concurrent.locks.Condition;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;

/**
 * 仓库类Storage实现缓冲区
 */
class Storage{
    // 仓库最大存储量
    private final int MAX_SIZE = 100;
    // 仓库存储的载体
    private LinkedList<Object> list = new LinkedList<Object>();
    // 锁
    private final Lock lock = new ReentrantLock();
    // 仓库满的条件变量
    private final Condition full = lock.newCondition();
    // 仓库空的条件变量
    private final Condition empty = lock.newCondition();
    
    // 生产num个产品
    public void produce(int num){
        // 获得锁
        lock.lock();
        // 如果仓库剩余容量不足
        while (list.size() + num > MAX_SIZE){
            System.out.println("[要生产的产品数量]: "+num +
                    "\t库存量: " + list.size() +"" +
                    "\t 仓库最大容量: " + MAX_SIZE +
                    "\t暂时不能执行生产任务");
            try{
                // 由于条件不满足 生产阻塞
                full.await();
            }catch (InterruptedException e){
                e.printStackTrace();
            }
        }
        // 生产条件满足情况下，生产num个产品
        for (int i = 1; i <= num; ++i){
            list.add(new Object());
        }
        System.out.println("[已经生产产品数]: " + num +
                "\t现仓储容量: " + list.size());
        // 唤醒其他所有线程
        full.signalAll();
        empty.signalAll();
        // 释放锁
        lock.unlock();
    }
    // 消费num个产品
    public void consume(int num){
        // 获得锁
        lock.lock();
        // 如果仓库存储量不足
        while (list.size() < num){
            System.out.println("[要消费的产品数量]: "+ num +
                    "\t现库存量: " + list.size() +
                    "\t暂时不能执行消费任务");
            try{
                // 由于条件不满足，消费阻塞
                empty.await();
            }catch (InterruptedException e){
                e.printStackTrace();
            }
        }
        // 消费条件满足情况下，消费num个产品
        for (int i = 1; i <= num; ++i){
            list.remove();
        }
        System.out.println("[已经消费产品数]: "+ num +
                "\t现库存量: " + list.size());
        // 唤醒其他所有线程
        full.signalAll();
        empty.signalAll();
        // 释放锁
        lock.unlock();
    }
    // set/get方法
    public int getMAX_SIZE() {return MAX_SIZE;}
    public LinkedList<Object> getList() {return list;}
    public void setList(LinkedList<Object> list) {this.list = list;}
}
/**
 * 生产者类Procducer继承线程类Thread
 */
class Producer extends Thread{
    // 每次生产的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Producer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        produce(num);
    }
    // 调用仓库Storage的生产函数
    public void produce(int num){
        storage.produce(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}

/**
 * 消费者类Consumer继承线程类Thread
 */
class Consumer extends Thread{
    // 每次消费的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Consumer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        consume(num);
    }
    // 调用仓库Storage的消费函数
    public void consume(int num){
        storage.consume(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}

public class ProducerConsumerAwaitSignalTest {
    public static void main(String[] args) {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }
}

输出结果

3. 生产者消费者模型3 ProducerConsumerBlockingQueueTest

package cn.altman.producerconsumer3.test;

/**
 * Created by xuzhihua on 1/8/2018.
 * 生产者消费者模型测试
 * 使用 BlockingQueue阻塞队列方法
 BlockingQueue是JDK5.0的新增内容，它是一个已经在内部实现了同步的队列，实现方式采用的是我们第2种await() / signal()方法。
 它可以在生成对象时指定容量大小。它用于阻塞操作的是put()和take()方法。
 put()方法：类似于我们上面的生产者线程，容量达到最大时，自动阻塞。
 take()方法：类似于我们上面的消费者线程，容量为0时，自动阻塞。 */

import java.util.concurrent.LinkedBlockingQueue;

/**
 * 仓库类Storage实现缓冲区
 */
class Storage{
    // 仓库最大存储量
    private final int MAX_SIZE = 100;
    // 仓库存储的载体
    private LinkedBlockingQueue<Object> list = new LinkedBlockingQueue<Object>(MAX_SIZE);
    // 生产num个产品
    public void produce(int num){
        // 如果仓库剩余容量为0
        if (list.size() == MAX_SIZE){
            System.out.println("[库存量]: " + MAX_SIZE +
                    "/t暂时不能执行生产任务");
        }
        // 生产条件满足情况下，生产num个产品
        for (int i = 1; i <= num; ++i){
            try{
                // 放入产品 自动阻塞
                list.put(new Object());
            }catch (InterruptedException e){
                e.printStackTrace();
            }
            System.out.println("[现仓储量]: " + list.size());
        }
    }
    // 消费num个产品
    public void consume(int num){
        // 如果仓库存储量不足
        if (list.size() == 0){
            System.out.println("[库存量]: 0" +
                    "\t暂时不能执行消费任务");
        }
        // 消费条件满足情况下 消费num个产品
        for (int i = 1; i <= num; ++i){
            try{
                // 消费产品 自动阻塞
                list.take();
            }catch (InterruptedException e){
                e.printStackTrace();
            }
        }
        System.out.println("[现仓储量]: " + list.size());
    }
    // set/get 方法
    public int getMAX_SIZE() {return MAX_SIZE;}
    public LinkedBlockingQueue<Object> getList() {return list;}
    public void setList(LinkedBlockingQueue<Object> list) {this.list = list;}
}

/**
 * 生产者类Procducer继承线程类Thread
 */
class Producer extends Thread{
    // 每次生产的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Producer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        produce(num);
    }
    // 调用仓库Storage的生产函数
    public void produce(int num){
        storage.produce(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}

/**
 * 消费者类Consumer继承线程类Thread
 */
class Consumer extends Thread{
    // 每次消费的产品数量
    private int num;
    // 所在放置的仓库
    private Storage storage;
    // 构造函数 设置仓库
    public Consumer(Storage storage){
        this.storage = storage;
    }
    // 线程run函数
    public void run(){
        consume(num);
    }
    // 调用仓库Storage的消费函数
    public void consume(int num){
        storage.consume(num);
    }
    // get/set方法
    public int getNum() {return num;}
    public void setNum(int num) {this.num = num;}
    public Storage getStorage() {return storage;}
    public void setStorage(Storage storage) {this.storage = storage;}
}
public class ProducerConsumerBlockingQueueTest {
    public static void main(String[] args) {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }
}

输出结果