source: sasview/test/utest_sasview.py @ f00072f

ESS_GUIESS_GUI_DocsESS_GUI_batch_fittingESS_GUI_bumps_abstractionESS_GUI_iss1116ESS_GUI_iss879ESS_GUI_iss959ESS_GUI_openclESS_GUI_orderingESS_GUI_sync_sascalcmagnetic_scattrelease-4.2.2ticket-1009ticket-1094-headlessticket-1242-2d-resolutionticket-1243ticket-1249ticket885unittest-saveload
Last change on this file since f00072f was 9e308a3, checked in by Paul Kienzle <pkienzle@…>, 7 years ago

tweak utests so it is slightly easier to identify and run failing tests

  • Property mode set to 100755
File size: 3.9 KB
Line 
1#!/usr/bin/env python
2from __future__ import print_function
3
4import os
5import subprocess
6import re
7import sys
8
9import logging
10import logging.config
11LOGGER_CONFIG_FILE = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'logging.ini')
12logging.config.fileConfig(LOGGER_CONFIG_FILE)
13logger = logging.getLogger(__name__)
14
15try:
16    import xmlrunner
17except:
18    logger.error("xmlrunner needs to be installed to run these tests")
19    logger.error("Try easy_install unittest-xml-reporting")
20    sys.exit(1)
21
22# Check whether we have matplotlib installed
23HAS_MPL_WX = True
24try:
25    import matplotlib
26    import wx
27except ImportError:
28    HAS_MPL_WX = False
29
30SKIPPED_DIRS = ["sasrealspace", "calculatorview"]
31if not HAS_MPL_WX:
32    SKIPPED_DIRS.append("sasguiframe")
33
34#COMMAND_SEP = ';'
35#if os.name == 'nt':
36#    COMMAND_SEP = '&'
37
38def run_tests(dirs=None, run_all=False):
39    test_root = os.path.abspath(os.path.dirname(__file__))
40    run_one_py = os.path.join(test_root, 'run_one.py')
41    passed = 0
42    failed = 0
43    n_tests = 0
44    n_errors = 0
45    n_failures = 0
46
47    for d in (dirs if dirs else os.listdir(test_root)):
48
49        # Check for modules to be skipped
50        if d in SKIPPED_DIRS:
51            continue
52
53
54        # Go through modules looking for unit tests
55        module_dir = os.path.join(test_root, d, "test")
56        if os.path.isdir(module_dir):
57            for f in os.listdir(module_dir):
58                file_path = os.path.join(module_dir,f)
59                if os.path.isfile(file_path) and f.startswith("utest_") and f.endswith(".py"):
60                    module_name,_ = os.path.splitext(f)
61                    code = '"%s" %s %s'%(sys.executable, run_one_py, file_path)
62                    proc = subprocess.Popen(code, shell=True, stdout=subprocess.PIPE, stderr = subprocess.STDOUT)
63                    std_out, std_err = proc.communicate()
64                    std_out, std_err = std_out.decode(), (std_err.decode() if std_err else None)
65                    #print(">>>>>> standard out", file_path, "\n", std_out, "\n>>>>>>>>> end stdout", file_path)
66                    #sys.exit()
67                    m = re.search("Ran ([0-9]+) test", std_out)
68                    if m is not None:
69                        n_tests += int(m.group(1))
70                        has_tests = True
71                    else:
72                        has_tests = False
73
74                    has_failed = "FAILED (" in std_out
75                    m = re.search("FAILED \(.*errors=([0-9]+)", std_out)
76                    if m is not None:
77                        n_errors += int(m.group(1))
78                    m = re.search("FAILED \(.*failures=([0-9]+)", std_out)
79                    if m is not None:
80                        n_failures += int(m.group(1))
81
82                    if has_failed or not has_tests:
83                        failed += 1
84                        modpath = os.path.join(module_dir, module_name+".py")
85                        print("Result for %s: FAILED    %s"
86                              % (module_name, os.path.relpath(modpath, os.getcwd())))
87                        #print(std_out)
88                    else:
89                        passed += 1
90                        print("Result for %s: SUCCESS" % module_name)
91
92    print("\n----------------------------------------------")
93    if n_tests == 0:
94        print("No tests.")
95    else:
96        print("Results by test modules:")
97        print("    PASSED: %d" % passed)
98        ratio = 100.0*failed/(failed+passed)
99        print("    FAILED: %d    (%.0f%%)" % (failed,ratio))
100
101        print("Results by tests:")
102        print("    Tests run:    %d" % n_tests)
103        print("    Tests failed: %d" % n_failures)
104        print("    Test errors:  %d" % n_errors)
105    print("----------------------------------------------")
106
107    return failed
108
109if __name__ == '__main__':
110    run_all = (len(sys.argv) > 1 and sys.argv[1] == '-all')
111    dirs = sys.argv[1:] if not run_all else sys.argv[2:]
112    if run_tests(dirs=dirs, run_all=run_all)>0:
113        sys.exit(1)
Note: See TracBrowser for help on using the repository browser.