[acceptance-tests] Integrate Roslyn, CoreCLR and ms-test-suite into acceptance-tests

This commit integrates the CoreCLR, Roslyn and ms-test-suite (which is Xamarin-internal, but should just print a warning for someone without access).
Running the tests suites can be done with 'make check-coreclr', 'make check-roslyn' and 'make check-ms-test-suite', or all of them with make check in the acceptance-tests folder.
They won't run on a top-level make check though, which is intended until every test suite is fixed.

This uses a custom submodule system that doesn't rely on git submodules (which are annoying when the repo is large and we only need them for tests). Instead we can fetch repositories on demand.

History (before squashing into smaller chunks):

- Rename check-{testsuite} make target to validate-{testsuite}. The former can be easily confused with the "check" target that runs the tests.
- Move acceptance-tests Makefile to automake, so we can avoid hardcoding paths
- Copy System.Console facade to CoreCLR IL test directories. Otherwise most of the IL tests fail as they rely on the System.Console assembly reference.
- Update README.md to mention the tests
- Use $(MAKE) instead of plain make and pass -C instead of cd'ing to directory
- Exit when the repository can't be cloned and print a note about the ms-test-suite repo. The ms-test-suite repo is Xamarin-internal so it'll error out in public.
- Integrate MS CoreCLR runtime tests into Mono's test infrastructure
- Get rid of intermediate msg file and pipe straight to git
- Rename README to CONFIG since we don't store metadata in readme.md anymore
- Fix comparison in versions.mk to be sh compliant. It relied on bashism before.

[acceptance-tests] Add code from xamarin/mono extensions branch

This provides a "git submodule"-like tool which can be used to
checkout optional repositories.

[tests] Add a new --testsuite-name parameter to managed test runner

Use it for the gshared tests, they were all (over-)writing the same TestResults_runtime.xml before.

[tests] Add a new --expected-exit-code option to the managed test-runner

Merge pull request #2136 from esdrubal/uridotsegment

[System] Fixed dots trimmed from segments.

jit] Replace a few more #ifdefs with flags.

Fix the build.

[jit] Add a new MonoBackend structure which will contain backend constants/functions. Move the arch specific flags from MonoCompile to this structure.

jit] Replace a few more #ifdefs with MonoCompile flags.

[jit] Replace a few more #ifdefs with MonoCompile flags.

[jit] Replace a few arch-specific #ifdef blocks with MonoCompile flags.

[jit] Add flags to MonoCompile to allow the removal of arch-specific ifdefs from the jit code. Add a mini_init_cfg () function to initialize them using the arch defines.

[threads] Fix another sleep compilation error on win32

One case was missed in 2ad1993b516244d0ae242a2eaa795d561f8ac02a

Make the thread dump code safe by doing only async safe operations when a thread is suspended.

[threads] Fix sleep compilation error on win32

Merge pull request #2139 from akoeplinger/symbolicate-test-fix

[mono-symbolicate] Skip tests if AOT isn't supported by the current arch

Fixes build

Merge pull request #2144 from dlech/patch-1

Fix filename in header

Fix filename in header

[amd64] Allow returning of structs in register pairs.

[llvm] Fix returning of values in a register pair.

[llvm] Fix JIT support.

[runtime] Disable the emission of stubs debug info on apple, its no longer supported by clang.

Merge pull request #2143 from akoeplinger/refactor-mono-security-providers

[Mono.Security.Providers] Refactor providers into distinct folders

Bump reference source

[corlib] Implement UnsafeEnumCastLong

[bcl] Update to 4.6 referencesource

[Mono.Security.Providers] Refactor providers into distinct folders

Build the two libraries Mono.Security.Providers.DotNet and Mono.Security.Providers.NewSystemSource just like
every other class library instead of duplicating the logic into the subfolders.

This also fixes "make dist".

[WinForms] ComboBox, ListBox and TextBox should use Control Foreground+Background

They have been using Window Foreground+Background so far which make them unreadable
on systms with dark themes. This change makes them behave.

[TLS]: Make ValidationResult.MonoSslPolicyErrors nullable.

(cherry picked from commit abfac54c47312c00f22fffef821f8889cbc67098)
(cherry picked from commit ccb7bfc930f4265b685eada8e73ee81acaae5963)

[System]: Remove the TrustEvaluateSsl(MX.X509CertificateCollection...) overloads.

We now use SSCX.X509Certificate2Collection in ChainValidationHelper.

Merge pull request #2141 from akoeplinger/fix-wrong-disableaot-define

[runtime] Rename DISABLE_AOT_COMPILER back to DISABLE_AOT

[Process] Do not use Exited as it's racy with Start and BeginOutputReadLine/BeginErrorReadLine

The issue can arise if the Process is going to run faster than the call
between Start and BeginOutputReadLine/BeginErrorReadLine. To increase
the chance of the race happening, insert a Thread.Sleep (1000) between
Start and BeginOutputReadLine/BeginErrorReadLine.

This race exists because the WaitForExit in the background thread in the
Process, will first wait the process to finish, then try to wait for the
output to finish, but it will be null as BeginOutputReadLine has not been
called yet, then try to wait on error (same issue as output), and finally
call the Exited event, which will close the stdout and stderr TextWriter.
The call to BeginOutputReadLine and BeginErrorReadLine will finally happen
(which is still correct as the output and error of the Process has not
been closed yet), then calling the OutputDataReceived and ErrorDataReceived
callbacks which will try to write to the closed stdout and stderr
TextWriter.

Simply enqueuing a ThreadPool work item, which will wait for the process
to exit manually, simply resolve this issue, as we guarantee that the
call to WaitForExit happens after BeginOutputReadLine/BeginErrorReadLine,
and is not racing with it.

[corlib] Add few reference source dependencies

All MARTIN_FIXME's have been taken care of.

[Mono.Security]: Check 'CertificateValidationHelper.SupportsX509Chain' before attempting to compute the chain.

Computing the X509Chain is not supported on OS X and iOS because the OS does
not give us access to the root certificates - this would throw an Exception
at runtime.

(cherry picked from commit 44d34a17c1bf305e39bcfc277cc7add48560d899)
(cherry picked from commit 504328ec43d9d917c1f140ecf89f253ab2be39ec)

Forgot to remove one MARTIN_FIXME.

[msvc] Remove left over project guid from mono.sln

The project was removed from the solution in 735fc51cc092ef89ca08b8304c582af0bf60b8e4, but one instance was missed.
This should fix the Windows build on Jenkins.

[mono-symbolicate] Skip AOT tests if AOT isn't supported by the current arch

This fixes Jenkins errors on architectures like s390x which don't support AOT.

[runtime] Rename DISABLE_AOT_COMPILER back to DISABLE_AOT

The original rename in c4aa103e486ac7116d78be3f3efecf49bfd29335 was done by accident,
the rest of the codebase still used the old name so disabling AOT didn't actually work.

Renaming this back to the original name and fix a few instances where methods weren't added
in the DISABLE_AOT case.

This allows a `--enable-minmal=aot` build to succeed and actually work.

Revert "[process] Use same behavior as .NET"

It broke the android build

This reverts commit c688b8c84ca3b26a1025a2194314183d2a880086.

[runtime] Simplify the caching of gshared generic params now that they point to their parent gparam.

[runtime] Add a new MonoGSharedGenericParam structure as an extension of the MonoGenericParamFull structure, put the 'parent' field there.

[amd64] Split the valuetype argument passing code into win64 and non-win64 versions to simplify both.

[aot] Create constrained gparams using the same mini_get_shared_gparam () function used by the rest of the code, so its properly unique-ed.

[io-layer] Remove Sleep and SleepEx

[io-layer] Remove GetCurrentThreadId

[runtime] Remove dead code

[sdb] Fix state initialization of suspended threads to work when the debugger thread is not attached. Fixes #34750

The problem happens because thread_interrupt runs in the debugger thread (suspend initiator).

thread_interrupt then calls mono_thread_state_init_from_monoctx which collects the state of the current thread
which is definitely not what we wanted.

There used to be some compensation code after calling mono_thread_state_init_from_monoctx to actually init the state properly.
This is why it worked, at all.

Thew problem is that the debugger thread now might not attach at all under some circumstances, which would trigger
mono_thread_state_init_from_monoctx to return FALSE and trip into the assert.

The fix is to simply not use mono_thread_state_init_from_monoctx at all, just copy the state from data. This fix has the
bonus of getting the domain correctly.

Merge pull request #2113 from ludovic-henry/coop-socket-abort

[socket] Make blocking syscall abortable on signal-less platforms

Merge pull request #2123 from kumpera/verifier-fix

[verifier] Fix the verifiers to handle Roslyn style fixed blocks.

Fix MSVC build after 16570265149730ec6a4760cc0fa34decc1a9d981

Merge pull request #2127 from joelmartinez/mdoc-multiassembly-squashed

[mdoc] `multiassembly` option for duplicated types

[process] Use same behavior as .NET

Merge pull request #2137 from fplucas/patch-1

Fixing the broken icon of centos-s390x

Fixing the broken icon of centos-s390x

[System] Fixed dots trimmed from segments.

Before .NET 4.5 dots were trimmed from the end of uri path segments.

In .NET 4.5 IRI parsing is enabled by default and dot are no longer
trimmed from the end of path segments.

This commit disables dot trimming when Uri.IriParsing is true.

Fixes #29864.

Merge pull request #2134 from akoeplinger/bug-34334

[interpreter] Implement comparing string values in (Not)EqualInstruction

[runtime] Switch ARM backend use to use g_print instead of printf.

Sorry about the churn, the previous commit contained an unintended chunk.

Revert "[runtime] Switch ARM backend use to use g_print instead of printf."

This reverts commit 8e9f93be24f2b8b744f9ad31292f3f74a5caf411.

[runtime] Switch ARM backend use to use g_print instead of printf.

[runtime] Simplify ARM mono_arch_flush_icache.

We do not support compiling with older versions of GCC anymore so most of this should be just dead code.

[amd64] Remove the special casing of TYPEDBYREF in the amd64 backend, its not needed.

[llvmonly] Call methods in the same assembly directly.

[llvmonly] Update comments.

[llvmonly] Use the PreserveAll calling convention for the init functions.

[llvmonly] Factor out the initialization code into separate helper functions to save space.

[ppdb] Check that PE file timestamp as well when matching assemblies and pdb files.

Revert "[System]: WebConnection: improve chunked reads and async callbacks."

This reverts commit 9027f0ad28bf733ebb8ac9964c78c22853ca93c7.

[System/TLS]: Switch to the new ChainValidationHelper.

* Removed Mono.Security.Protocol.Tls.ValidationResult, use
  Mono.Security.Interface instead.  This is an API breaking
  change, but you can fix your application by simply adding
  the new using directive.

  The rationale behind this is to avoid a dependency on the
  Mono.Security.Protocol.Tls namespace when building and
  related classes when building the new TLS stack.

* Enable ChainValidationHelper in WebConnection, LegacySslStream
  and SslStream.

  The custom conditionals that were previously required for the
  mobile profiles are now gone as ChainValidationHelper already
  handles that internally.

* This is an internal API, the public front-end is
  Mono.Security.Interface.CertificateValidationHelper.

  CertificateValidationHelper can be used to access the system
  certificate validator on OS X and iOS; we do not compute the
  X509Chain on these platforms as it's not supported by the OS.

(cherry picked from commit 9713f35878dd90fe87423b5052b4f82ddc0b87f0)

[llvmonly] Add more preinitialized got slots, refactor the code which emits them a little.

[ppdb] Update to spec version v1.0. Fix decoding of line number info.

[ppdb] Update the code which checks whenever the assembly and the pdb files match to spec v1.0.

[System/TLS]: Add obsolete ChainValidationHelper.ctor(HttpWebRequest).

This will be removed again laster, but allows us to do a two-step switch
by first switching to the new ChainValidationHelper, then switching to
MonoTlsProvider and friends.

(cherry picked from commit f2e98e82f04dbaa72e48c37d72407000c197fbcb)

[System]: API cleanup; make MonoTlsStream.SelectClientCertificate() private static.

(cherry picked from commit 8a79bdc2add36cb3da2834dc371499fd94d1737f)
(cherry picked from commit 13168150a77f722afee51df86ba029c91f21ee0c)

[interpreter] Implement comparing string values in (Not)EqualInstruction

When comparing a string with null the other checks in the interpreter for type equality didn't catch this case
and this ultimately resulted in a NotImplementedException in EqualInstruction and NotEqualInstruction.

The fix is to handle the TypeCode.String case in those instructions.
We don't need to do it for CreateLifted() as that method only applies for Nullable<T> types which doesn't make sense for string.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=34334

[System]: WebConnection: improve chunked reads and async callbacks.

Make sure we always complete the async operations on error and
also send callbacks outside the lock.

(cherry picked from commit 9027f0ad28bf733ebb8ac9964c78c22853ca93c7)

Fix the build.

[runtime] Fix the configure check for stdc++/c++.

[aot] Fix the build when llvm is not enabled.

[runtime] Reworked coop GC stack handling in platforms with restricted access to register contexts.

Merge pull request #2106 from lambdageek/dev/bug-29108-part1

GetCallingAssembly() skip past reflection. Fix #29108 - part 1

Test that Assembly.GetCallingAssembly() skips MethodBase.Invoke()

GetCallingAssembly() skip past reflection. Fix #29108 - part 1

[runtime] Workaround signal() configure check in Android.

So, I broke this on Android back in https://github.com/mono/mono/commit/d3726dcde9ef373157cd533ce8091cdde89dfa8e.

Turns out signal() is defined inline in Android:

static __inline__ __sighandler_t signal(int s, __sighandler_t f)
{
    return bsd_signal(s,f);
}

So we need to hardcode the define in case we're on an Android platform.

Fixes BclTests on Android:

I/mono-stdout( 1200): UnixSignalTest
F/        ( 1200): signal() is not supported by this platform
F/libc    ( 1200): Fatal signal 6 (SIGABRT) at 0x000004b0 (code=-6), thread 1215 (Instrumentation)

[llvmonly] Fix the build.

[aot] Rework the handling of preinitialized got slots, instead of hardcoding their offsets into the code, initialize them the same way the other got slots are initialized, by decoding a MonoJumpInfo structure for them, and resolving them using mono_resolve_patch_target ().

[mscorlib] DateTime, DateTimeOffset, bring Unix time APIs from CoreCLR

[llvmonly] Skip initalization of methods if they only reference shared got entries.

[llvmonly] Emit initialization code for a method only if it uses got slots or its type has a cctor.

[process] Wait for process completion before waiting for stdout/stderr

This fixes a race condition between the calls to Start and
BeginOutputReadLine/BeginErrorReadLine. This was triggered by the fact
that the call to WaitForExit (in StartBackgroundWaitForExit called by
Start_noshell) could be faster that the call to
BeginOutputReadLine/BeginErrorReadLine, leading to a null async_output,
which would make the WaitForExit call not wait for the output to finish.
This could make the call to Exited happen before a call to
OutputDataReceived/ErrorDataReceived.

To trigger this issue more reliably, you can simply add a sleep at the
beginning of AddInput in ProcessAsyncReader.

[runtime] Link against the same c++ standard library as used by llvm.

Remove another MARTIN_FIXME.

(cherry picked from commit 9737322c86939f1b5e0da085697bddb7827cc06d)

[System]: Remove two MARTIN_FIXME's.

This adds ChainValidationHelper to the build, but it's not
actually used yet.

(cherry picked from commit 214bf577d36808fc8ffc050027376c37b8920346)

[System]: Add AndroidPlatform.TrustEvaluateSsl(X509Certificate2Collection...) overload.

(cherry picked from commit 34eefeb172055f10d8d6ca7b91cb719cfe812b64)

[System]: Add OSX509Certificates.TrustEvaluateSsl(X509Certificate2Collection,string) overload.

When switching to Mono.Net.Security.ChainValidationHelper, we will use
X509Certificate2Collection instead of MSX.X509CertificateCollection; keep
both version for the moment.

(cherry picked from commit 1f004d8e7a8391785d4ae8fcb0270f9be9d522c8)

[System]: Use 'ServerCertValidationCallback' in ServicePointManager.

This is a new internal wrapper class defined in
external/referencesource/System/net/System/Net/ServicePointManager.cs

It wraps the RemoteCertificateValidationCallback, capturing the
current ExecutionContext.

(cherry picked from commit c1695a55dc9a55f6b344bfc4c91991bd1f04c046)

Put back "[Mono.Security.Providers]: Add to the top-level build."

This reverts commit f05603553e04c853685a3dfd063e4bd6c38afcf2.

[Mono.Security/build]: Add custom monodroid_Mono.Security.dll.sources.

Includes everything from Mono.Security.dll.sources except for the
new Mono.Security.Interface APIs, which are built inside System.dll
on mobile.

(cherry picked from commit df1adee67802417381280c097f3f8f17bbd48f66)

Add tests for #34598