Add retrying of failed tests by default to reduce flaky tests (#5461)
authorAlexander Köplinger <alex.koeplinger@outlook.com>
Thu, 31 Aug 2017 15:04:23 +0000 (17:04 +0200)
committerGitHub <noreply@github.com>
Thu, 31 Aug 2017 15:04:23 +0000 (17:04 +0200)
commit7455e7cffc0ae0d05117516ce72750875b828cf8
treeaa313bd48a797e645a6daed9becf4141aaa5ed39
parent0eb6e77c84d4008627c2610e528a91714ad81ab8
Add retrying of failed tests by default to reduce flaky tests (#5461)

Whenever a test fails we retry it five times and then decide the
overall result based on that. If three or more of the five retries
fail too then the overall result is FAIL, two or lower means PASS.

We're modifying nunitlite here so this only works for those tests
right now, we'd need to add it to the other test runners too.
external/nunit-lite
mcs/tools/nunit-lite/NUnitLite/nunitlite.dll.sources