如何在Python 的线程中运行协程

发表于:2020-2-27 09:30

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:kingname    来源:未闻Code

#
Python
  在一篇文章理解Python异步编程的基本原理这篇文章中,我们讲到,如果在异步代码里面又包含了一段非常耗时的同步代码,异步代码就会被卡住。
  那么有没有办法让同步代码与异步代码看起来也是同时运行的呢?方法就是使用事件循环的.run_in_executor()方法。
  我们来看一下 Python 官方文档[1]中的说法:
  那么怎么使用呢?还是以非常耗时的递归方式计算斐波那契数列的这个函数为例:
   def sync_calc_fib(n):
  if n in [1, 2]:
  return1
  return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)
  async def calc_fib(n):
  result = sync_calc_fib(n)
  print(f'第 {n} 项计算完成,结果是:{result}')
  return result
  我们现在需要用 aiohttp 访问一个延迟5秒的网页,同时计算斐波那契数列第36项。
  首先我们看看单独计算第36项需要5秒钟:
  我们再来看看如果直接把这计算斐波那契数列和请求网站的两个异步任务放在一起“并行”,实际时间是两个任务的时间叠加:
  具体原因我在上一篇文章里面已经做了说明。
  现在,我想让两个任务“同时运行”,于是就可以这样修改代码:
   import aiohttp
  import asyncio
  import time
  from concurrent.futures import ThreadPoolExecutor
  async def request(sleep_time):
  async with aiohttp.ClientSession() as client:
  resp = await client.get(f'http://127.0.0.1:8000/sleep/{sleep_time}')
  resp_json = await resp.json()
  print(resp_json)
  def sync_calc_fib(n):
  if n in [1, 2]:
  return 1
  return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)
  def calc_fib(n):
  result = sync_calc_fib(n)
  print(f'第 {n} 项计算完成,结果是:{result}')
  return result
  async def main():
  start = time.perf_counter()
  loop = asyncio.get_event_loop()
  with ThreadPoolExecutor(max_workers=4) as executor:
  tasks_list = [
  loop.run_in_executor(executor, calc_fib, 36),
  asyncio.create_task(request(5))
  ]
  await asyncio.gather(*tasks_list)
  end = time.perf_counter()
  print(f'总计耗时:{end - start}')
  asyncio.run(main())
  运行效果如下图所示:
  在5秒钟的时间,就把计算斐波那契数列和请求5秒延迟的网站都做完了。
  实现这样的转变,关键的代码就是:loop.run_in_executor(executor, calc_fib, 36)
  其中的 loop就是主线程的事件循环(event loop),它是用来调度同一个线程里面的多个协程。
  executor是我们使用ThreadPoolExecutor(max_workers=4)创建的一个有4个线程的线程池,calc_fib是一个耗时的同步函数,36是传入calc_fib的参数。loop.run_in_executor(executor, calc_fib, 36)的意思是说:
  把calc_fib函数放到线程池里面去运行
  给线程池增加一个回调函数,这个回调函数会在运行结束后的下一次事件循环把结果保存下来。
  请注意上图中红色箭头对应的calc_fib这是一个同步函数,请与上一篇文章中的异步函数区分开。run_in_executor的第二个参数需要是一个同步函数的函数名。
  在上面的例子中,我们创建的是有4个线程的线程池。所以这个线程池最多允许4个阻塞式的同步函数“并行”。

      上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号