为什么使用 PyCharm 运行用例成功却无法退出?

发表于:2022-3-15 10:03

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:Prodesire    来源:稀土掘金

  前言
  前段时间由于将项目使用的某 SDK 进行了升级,在使用 PyCharm+unittest 运行一个用例时,能运行并输出果,却一直无法退出用例。随着排查的深入,发现是此 SDK 中的线程在“作祟”。
  用简单的代码复现
  简单起见,下面这段代码(Python 2)包含了简单的线程逻辑和一个用例,来复现遇到的问题:
  # coding: utf-8
  import threading
  import time
  import unittest
  def tick():
      while True:
          print('tick')
          time.sleep(3)
  t = threading.Thread(target=tick)
  t.start()
  class TestString(unittest.TestCase):
      def test_upper(self):
          self.assertEqual('foo'.upper(), 'FOO')

  这段代码开启了一个线程,每隔 3 秒输出 tick。另一方面,定义了一个用例,判断字符串的upper()方法。如果删除线程逻辑,用例能正常结束;反之,PyCharm 显示用例执行成功,却一直无法退出用例,如下图所示:
  为什么不能退出?
  运行用例前一定会开启新线程,执行 tick()  函数,由于此函数使用 while  循环不断输出字符串,不难推断出是用例框架在退出时一直等待线程结束,进而导致用例无法退出。
  为了验证这个想法,不妨查看 PyCharm 运行用例的入口代码。不同的操作系统、PyCharm(社区版、专业版)和单测框架下用例入口文件路径都有所不同。Mac 上的 PyCharm 社区版针对 unittest 的用例入口文件路径为 "/Applications/PyCharm CE.app/Contents/plugins/python-ce/helpers/pycharm/_jb_unittest_runner.py" ,该文件内容如下:
  # coding=utf-8
  import os
  import sys
  from unittest import main
  from _jb_runner_tools import jb_start_tests, jb_doc_args, JB_DISABLE_BUFFERING, PROJECT_DIR
  from teamcity import unittestpy
  if __name__ == '__main__':
      path, targets, additional_args = jb_start_tests()
      args = ["python -m unittest"]
      if path:
          assert os.path.exists(path), "{0}: No such file or directory".format(path)
          if sys.version_info > (3, 0) and os.path.isfile(path):
              # In Py3 it is possible to run script directly which is much more stable than discovery machinery
              # For example it supports hyphens in file names PY-23549
              additional_args = [path] + additional_args
          else:
              discovery_args = ["discover", "-s"]
              # Unittest in py2 does not support running script directly (and folders in py2 and py3),
              # but it can use "discover" to find all tests in some folder (optionally filtering by script)
              if os.path.isfile(path):
                  discovery_args += [os.path.dirname(path), "-p", os.path.basename(path)]
              else:
                  discovery_args.append(path)
              discovery_args += ["-t", PROJECT_DIR]  # To force unit calculate path relative to this folder
              additional_args = discovery_args + additional_args
      elif targets:
          additional_args += targets
      args += additional_args
      jb_doc_args("unittests", args)
      # Working dir should be on path, that is how unittest work when launched from command line
      sys.path.insert(0, PROJECT_DIR)
      sys.exit(main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING))

  前面的逻辑主要是在组合运行用例的参数,对本文遇到的问题而言最关键是最后一行 main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING),这里的main 就是 unittest.TestProgram ,而相关核心内容如下:
  class TestProgram(object):
      """A command-line program that runs a set of tests; this is primarily
         for making test modules conveniently executable.
      """
      USAGE = USAGE_FROM_MODULE
      # defaults for testing
      failfast = catchbreak = buffer = progName = None
      def __init__(self, module='__main__', defaultTest=None, argv=None,
                      testRunner=None, testLoader=loader.defaultTestLoader,
                      exit=True, verbosity=1, failfast=None, catchbreak=None,
                      buffer=None):
          ...
          self.exit = exit
          ...
          self.parseArgs(argv)
          self.runTests()
      def runTests(self):
          ...
          self.result = testRunner.run(self.test)
          if self.exit:
              sys.exit(not self.result.wasSuccessful())

  PyCharm 的 _jb_unittest_runner.py 调用 main() (即 TestProgram())时,没有传入 exit 参数, 因此取默认值 True ,在指定 runTests()  运行用例的最后,根据用例结果决定退出码(0或1),进而调用 sys.exit() 退出用例执行进程。在此处打断点会发现一直卡在此句。
  sys.exit() 的作用是退出当前线程,如果其他线程并没有结束,进程自然就不会结束。很显然,tick 函数所在的线程并没有被显式退出,就导致用例已被运行成功,却无法退出的现象。
  该如何解决?
  既然明白了原因,解决思路也就呼之欲出。
  方法一:运行用例时不执行线程逻辑
  如果执行周期性任务的线程逻辑并非用例所需,可通过环境变量、配置文件等方式进行控制,在运行用例时不执行线程逻辑,进而避免用例无法退出。
  方法二:显式退出进程而不是线程
  使用 os._exit(n) 退出进程。需要注意的是,这种方式并不会调用清理逻辑、刷新标准IO缓存等,它通常用于fork()后的子进程中。由于单元测试对进程无特殊要求,此处将之测试用例一般是不会引起副作用。
  我们可以简单修改下 _jb_unittest_runner.py  最后的逻辑,显式指定 exit=False ,即不让 unittest 调用 sys.exit() ,而是在外部调用 os._exit()。
  prog = main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING, exit=False)
  os._exit(not prog.result.wasSuccessful())

  方法三:优雅地退出线程
  _jb_unittest_runner.py  在用例运行结束时向当前进程发送 SIGKILL  信号,用例线程收到此信号时,执行清理逻辑(如果需要的话)优雅退出,进而退出进程。这种方法会专门再开一篇详细讲讲,本篇知道这种思路即可。
  总结
  如果通过 PyCharm 执行用例时触发了运行周期性任务的线程逻辑,那么就会导致用例执行完成却无法退出。原因在 sys.exit() 用于退出当前线程而非进程,如果某线程并没有退出,就会造成进程无法退出。而解决方法无外乎三种,不执行线程逻辑、退出进程或者优雅退出线程。

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号