[编程基础]异步,并发,协程原理

linux操作系统在设计上将虚拟空间划分为用户空间和内核空间,两者做了隔离是相互独立的,用户空间给应用程序使用,内核空间给内核使用。

1。异步

应用程序和内核

内核具有最高权限,可以访问受保护的内存空间,可以访问底层的硬件设备。而这些是应用程序所不具备的,但应用程序可以通过调用内核提供的接口来间接访问或操作。所谓的常见的IO模型就是基于应用程序和内核之间的交互所提出来的。以一次网络IO请求过程中的read操作为例,请求数据会先拷贝到系统内核的缓冲区(内核空间),再从操作系统的内核缓冲区拷贝到应用程序的的地址空间(用户空间)。而从内核空间将数据拷贝到用户空间的过程中,会经历两个阶段:
- 等待数据准备
- 拷贝数据
也正是因为有了这两个阶段,才提出来各种网络I/O模型。

同步和异步

同步:在发出一个同步调用时,在没有得到结果之前,该调用就不返回
异步:在发出一个异步调用后,调用者不会立刻得到结果,该调用就返回了

同步和异步的概念描述的是应用程序与内核的交互方式,同步是指应用程序发起I/O请求后需要等待或者轮询内核I/O操作完成后才能继续执行;而异步是指应用程序发起I/O请求后仍继续执行,当内核I/O操作完成后会通知应用程序,或者调用应用程序注册的回调函数。就是函数执行来同步操作,那后面的程序就在这个同步操作没有结束,是不会再执行的。执行来异步操作,就是不管你操作有没有结束,函数后续的都会继续执行。

阻塞和非阻塞

阻塞调用:是指调用结果返回之前,调用者会进入阻塞状态等待。只有在得到结果之后才会返回
非阻塞调用:是指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。

阻塞和非阻塞的概念描述的是应用程序调用内核IO操作的方式,阻塞是指I/O操作需要彻底完成后才返回用户空间,而非阻塞是指I/O操作被调用后立刻返回用户一个状态值,无需等到I/O操作完成。而这里主要将的是结果的概念。如果阻塞操作没有完成,就任何返回值都没有。非阻塞的话,不管有没有完成,都会给一个返回值的。
常见的网络I/O模型大概四种
1. 同步阻塞IO(Blocking IO)
2. 同步非阻塞IO(Non-blocking IO)
3. IO多路复用(IO Multiplexing)
4. 异步IO(Asynchronous IO)

IO多路复用

多路I/O复用模型是利用select,poll,epll可以同时监察多个流的I/O事件的能力,在空闲的时候,会把当前线程阻塞掉,当有一个或多个流有I/O事件时,就从阻塞态中唤醒,于是程序就会轮询一遍所有的流(epoll是指轮询那些真正发出流事件的流),并且只依次顺序的处理就绪的流,这种做法就避免流大量的无用操作。这里“多路”指的是多个网络连接,“复用”指的是复用同一线程。采用多路I/O复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗)。IO多路复用用的是异步阻塞。
#二,并发
并发,在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行。
并发和并行但区别:
- 并发(concurrency):逻辑上具备同时处理多个任务但能力。
- 并行(parallesim):物理上在同一时刻执行多个并发任务,依赖多核处理器等物理设备。
多线程或多进程是并行的基本条件但是单线程也可用到协程做到并发。通常情况下,用多进程来实现分布式和负载平衡,减轻单进程垃圾回收压力;用多线程抢夺更多的处理器资源;用协程来提高处理器时间片利用率。现代系统中,多核CPU可以同时运行多个不同的进程或者线程。所以并发程序可以是并行的,也可以不是。

三,协程

1,线程模型

在现代计算机结构中,先后提出过两种线程模型:用户级线程(user-level threads)和内核级线程(kernel-level threads)。所谓用户级线程是指:应用程序在操作系统提供的单个控制流的基础上,通过在某些控制点(比如系统调用)上分离出一些虚拟的控制流,从而模拟多个控制流的行为。由于应用程序对指令流的控制能力相对较弱,所以用户级线程之间的切换往往受线程本身行为以及线程控制点选择的影响。线程是否能公平的获得处理器时间取决于这些线程的代码特征。而且,支持用户级线程的应用程序代码很难做到跨平台移植,以及对于多线程模型的透明。用户级线程模型的优势是线程切换效率高,因为它不涉及系统内核模式和用户模式之间的切换;另一个好处是应用程序可以采用适合自己特点的线程选择算法,可以根据应用程序的逻辑来定义线程的优先级,当线程数量很大时,这一优势尤为明显。但是这同样会增加应用程序代码的复杂性。有一些软件包可以减轻程序员的负担。
内核级线程往往指操作系统提供的线程语义,由于操作系统对指令流有完全的操控能力,甚至可以通过硬件中断来强迫一个进程或线程暂停执行,以便把处理器时间移交给其他进程或线程,所以,内核级线程有可能应用各种算法来分配处理器时间。线程可以有优先级,高优先级的线程被优先执行,它们可以抢占正在执行的低优先级线程。在支持线程语义的操作系统中,处理器的时间通常通常是按线程而非进程来分配,因此,系统有必要维护一个全局的线程标,在线程表中记录每个线程的寄存器,状态以及其他一些信息。然后系统在适当的时候挂起一个正在执行的线程,选择一个新的线程在当前处理器上继续执行。由于时间点的执行代码可能分布在操作系统的不同位置,所以在现代操作系统中,线程调度往往比较复杂,其代码通常分布在内核模块的各处
内核级线程的好处是:应用程序无须考虑是否要在适当的时候把控制权交给其他线程,不必担心自己霸占处理器而导致其他线程得不到处理器时间。应用程序只要按照正常的指令流来实现自己的逻辑就好了,内核会妥善地处理好线程之间共享处理器的资源分配问题。然而,这种对应用程序的便利也是有代价的,即,所有的线程切换都是在内核模式下完成的,因此,对于在用户模式下运行的线程来说,一个线程被切换出去,以及下次轮到它的时候再被切换进来,要设计两种模式切换:从用户模式切换到内核模式,在从内核模式切换回用户模式
除了线程切换的开销是一个考虑因素以外,线程的创建和删除也是一个重要的考虑指标。当线程的数量较多时,这部分的开销是相当可观的,虽然线程的创建和删除比起进程要轻量得多,但是一个进程内建立起一个线程的执行环境,数据结构的初始化工作,以及完成与系统环境相关的一些初始化工作,这些负担是不可避免的。另外线程数量较多时,伴随而来的线程切换开销也必然随之增加。所以,当应用程序或者系统进程需要的线程数量可能比较多的时候,通常可采用线程池为一种优化措施。
在支持内核级线程的系统环境中,进程可以容纳多个线程,这导致了多线程程序设计模型,由于多个线程在同一个进程环境中,它们共享了几乎所有的资源,所以线程之间的通信要方便和高效得多,这往往是进程间通信所无法比拟的,但是,这种便利性也很容易使线程之间因同步不正确而导致数据破坏,而且这种错误存在不确定性,因而相对来说难以发现和调试。

2,什么是协同式和抢占式

许多协同式多任务操作系统,也可以看成协程运行系统。说到协同式多任务系统,一个常见的误区是认为协同式调度比抢占式调度“低级”,因为我们所熟悉的操作系统都是从协同式调度过度到抢占式多任务系统的。实际上,调度方式并无高下,完全取决于应用场景。抢占式系统允许操作系统剥夺进程执行权限,抢占控制流,因而天然适合服务器和图像操作系统,因为调度器可以优先保证对用户交互和网络事件的快速相应。协同式调度则等到进程时间片用完或系统调用时转移执行权限,因此适合实时或分时等等对运行时间有保障的系统。
另外,抢占式系统依赖于CPU的硬件支持。因为调度器需要“剥夺”进程的控制权,就意味着调度器需要运行在比普通进程高的权限上,否则任何任何“流氓”进程都可以去剥夺其他进程了。只有CPU支持了执行权限后,抢占式才成为可能。而协同式多任务适用于那些没有处理器权限支持的场景,这些场景包含资源受到限制的嵌入式系统和实时系统。在这些系统中,程序均以协程的方式运行。调度器负责控制流的让出和恢复。通过协程的模型,无需硬件支持,我们就可以在一个“简陋”的处理器上实现一个多任务的系统。

协程的基本概念

“协程”可以理解为纯用户态的线程,其通过协作而不是抢占来进行切换。相对于进程或者线程,协程所有的操作都可以在用户态完成,创建和切换的消耗更低。总的来说,协程为协同任务提供来一个运行时抽象,这种抽象非常适合于协同多任务调度和数据流处理。在现代操作系统和编程语言中,因为用户态线程切换比内核态线程小,协程成为来一种轻量级的多任务模型。
从编程角度上看,协程的思想本质上就是控制流的主动让出和恢复机制,迭代器常被用来实现协程,所以大部分的语言实现的协程都有yield关键字。

协程,进程,线程的特点以及区别

进程

  • 进程是资源分配的最小单位
  • 进程间不共享内存,每个进程拥有自己独立的内存
  • 进程间可以通过信号,信号量,共享内存,通道,队列等来通信
  • 新开进程开销大,并且CPU切换进程成本也大
  • 进程由操作系统调度
  • 多进程方式比多线程更加稳定

线程

  • 线程是进程执行流的最小单位
  • 线程来自于进程,一个进程下可以开多个线程
  • 每个线程都有自己一个栈,不共享栈,但多个线程能共享一个属于进程但堆
  • 线程因为是在一个进程内,所以内存可以共享
  • 线程也是由操作系统调度,线程是CPU调度的最小单位
  • 新开线程开销成本比进程小,CPU切换线程成本也比进程小
  • 某个线程发生致命错误的时候,会导致整个进程崩溃
  • 进程间读写变量存在锁的问题处理起来相对麻烦

协程

  • 对于操作系统来说只有,进程,线程,协程是有应用程序显式调度,非抢占式
  • 协程的执行最终还是要靠线程,应用程序来调度协程选择合适的线程来获取执行权
  • 切换非常快,开销成本低。一般占用栈大小原小于线程,所以可以开更多的协程
  • 协程比线程更轻量级

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注