Merge pull request #2081 from BrzVlad/feature-concurrent-work

Concurrent sgen improvements

[acceptance-tests] Output test list to file in chunks

On Jenkins we get a "make: execvp: /bin/sh: Argument list too long" error while executing the coreclr-runtest-basic target.
Since the shell doesn't like echoing our (very) big list of CoreCLR tests in one go, we need to split it up into chunks of
100 entries to hopefully avoid that.

Merge pull request #2191 from LogosBible/mono_amd64_have_tls_get

Add support for version of pthread_getspecific when launching from Xc…

Add support for version of pthread_getspecific when launching from Xcode with LLDB attached.

[trace] Synchronize output

[mono] Rename NUnit xml result files to TestResult-{0}.xml convention

This is the convention used in other parts of the repo like mcs/, so we should try to be consistent here.

[acceptance-tests] Remove some tests that were removed upstream

Also bump coreclr to pick up latest commit.

[threads] Remove assertion on `info` for socket syscall abort

This would trigger a crash with XS on clean process exit, due to the
assertion at socket-io.c:2757.

This fixes bug 35429

[System.Core] Make sure DateTime.AddDays() is preserved by the linker in a test

We use the method in the code instead of just via reflection.
This allows the test to work on iOS device builds.

[mcs] Add codegen for try-finally block with unreachable closing brace. Fixes #35401

Merge pull request #2186 from ruediger-stevens/master

Exception serializes the InnerException as System.Exception

[acceptance-tests] Reenable some tests now that #35410 is fixed

[mcs] add new test

[mcs] Add sbyte type to the list of valid cast tokens. Fixes #35410

Exception serializes the InnerException as System.Exception not as it's run-time type.

This makes serialization consistent with deserialization (where the InnerException is already retrieved as System.Exception explicitly).
Additionally it may allow serializers more options in serializing inner exceptions (i.e. fall back to System.Exception if the specific exception is not serializable itself).

Merge pull request #2185 from akoeplinger/json-move

[System.ServiceModel.Web] Remove old copy of S.R.Serialization.Json

Fix an obsolete comment.

[System.ServiceModel.Web] Move System.Runtime.Serialization.Json tests into System.Runtime.Serialization assembly

That's where they belong on .NET 4.5+

Additionally, add a test case from https://bugzilla.xamarin.com/show_bug.cgi?id=4230

[System.ServiceModel.Web] Remove old copy of System.Runtime.Serialization.Json

We don't need this here anymore since it moved to System.Runtime.Serialization.dll in
.NET 4.5 and 54f7c82d2b1ef2bedbf90c262fda28654727a5c9.

This copy is just confusing and not even built anymore, so delete it.

[Mono.Security]: Add 'MonoTlsSettings.TrustAnchors' and 'CertificateValidationHelper.SupportsTrustAnchors'.

This is currently only supported on iOS and Mac (check 'CertificateValidationHelper.SupportsTrustAnchors')
and will pass a set of trusted root certificates to the OS validation function.  Use for self-signed
certificates instead of providing a custom callback.

[acceptance-tests] Pull in new CoreCLR tests added upstream

A bunch of tests were added in the upstream repo, add those to the source listings.

There's a suite of tests in the CoreMangLib folder which are mostly testing corelib,
added a separate target "coreclr-runtest-coremanglib" for it and renamed the existing
target to "coreclr-runtest-basic".

Build and link all cs testcases with the coreclr-testlibrary.dll which enables a
few more tests to run.

[acceptance-tests] Bump coreclr to pick up 3b2969dffe191b03f1ac85a9c1e62417c9b7833b:

[acceptance-tests] Add prefix in commit message for the bump commit helper

Additionally remove 'git pull', it doesn't work when no tracking branch is set and I can easily pull myself if I want to.

Put back "[Mono.Security.Providers.OldTls]: Include all the sources from the old TLS implementation here."

The build problem should now be fixed.

This reverts commit 5a7c0a0d4cec82028e0f3ecbea59179da2ee0c78.

[System/TLS]: In ChainValidationHelper, remove the overloads taking 'Mono.X509' certificates.

[Mono.Security]: On mobile, 'Mono.Security.Interface.CertificateValidationHelper' becomes public in System.dll.

Revert "[Mono.Security.Providers.OldTls]: Include all the sources from the old TLS implementation here."

This does not build on Mobile yet.

This reverts commit 9147778ee89b9bbc1935f6a43cf132d00220cf71.

[Mono.Security.Providers.OldTls]: Include all the sources from the old TLS implementation here.

[System]: Cleanup 'ChainValidationHelper', moving the actual validation code into a new class.

The actual validation code now lives in 'SystemCertificateValidator', whereas
'ChainValidationHelper' contains all the glue code which deals with 'ServicePointManager',
user-supplied callbacks, etc.

Merge pull request #2152 from joelmartinez/mdoc-preserver

[mdoc] Marking `MDocPreserve` Obsolete.

[sdb] Add a fastpath to process_single_step_inner () for single stepping during invokes.

[llvm] Add names for some temporary variables representing got slots.

[System/TLS]: On desktop, allow dynamic loading of the TLS Provider at runtime.

To do this, set the MONO_TLS_PROVIDER environment variable to either "default",
"newtls", "oldtls" or the full assembly-qualified type name of the MonoTlsProvider
(in this case, the class needs to derive from MonoTlsProvider and have a public
parameterless constructor and it needs to be installed in the GAC).

[coop] Fix typo for gc unsafe region enter/exit

The idea is to get the address of the top of the stack, so passing a
value is meaninless. This was a typo. It also fixes libtest.c which
used an outdated signature.

[Mono.Security]: Add new MonoTlsProviderFactory.CreateHttpListener() API to create a HttpListener.

This new method lets you create a 'HttpListener' and specify the X509Certificate2 to use
(so you don't have to put it into ~/.config/.mono/httplistener) as well as an optional
'MonoTlsProvider' and optional 'MonoTlsSettings'.

Merge pull request #2180 from kumpera/loader-error-cleanup

This is a small batch of MonoError cleanups.

[System]: Use the new 'MonoTlsProvider' framework in 'HttpListener'.

This makes 'HttpListener' use 'SslStream', which can now switch the
TLS implementation at runtime.

[System/TLS]: In LegacySslStream, call SslServerStream's .ctor and request, but not require a client certificate.

In SslStream.AuthenticateAsServer(), setting 'clientCertificateRequired' to true will ask for a client
certificate and - if the client does not provide one - invoke the 'RemoteCertificateValidationCallback'
with null and 'SslPolicyErrors.RemoteCertificateNotAvailable' - but resume the handshake if this callback
returns true.

Fix windows build.

[llvm] Cleanup the code in process_call () a bit.

Oops, also need to set it when cloning.

[Mono.Security]: Add 'MonoTlsSettings.EnabledProtocols' property.

This is currently only used by the new TLS code, but allows to override
the protocol.

[NewSystemSource]: Pass down the 'IMonoTlsProvider' to SSPIWrapper.

This should fix the issue where you pass 'NewTlsProvider' as custom provider
without installing it as the default.

Merge pull request #2182 from lewurm/fix-arm-build

mini-llvm: fix wrong usage

mini-llvm: fix wrong usage

[tests] Adjust MathTest double epsilon value

The double.Epsilon value represent the smallest value that double is
able to represent. And that is diferent from the machine epsilon, which
is the smallest difference between two double values.

The second is equal to 2 ^ (-52), because there are 52bits to
represent the mantissa in a IEEE 754 double.

[llvm] Split sig_to_llvm_sig () into two versions, one which takes an LLVMCallInfo argument, and one which doesn't.

Comment-out [HostProtection] attribute in SslStream.cs, it seems to be causing problems.

[runtime] Disable the -Wreturn-stack-address clang warning.

[threads] Fix warning on Linux

s390x-codegen.h - Initial SIMD support
cpu-s390x.md - Add gc-safe-point instruction
mini-ops.h - Add TARGET_S390X for gc-safe-point
mini-s390x.c - Initial SIMD support; Fix floating point conversion
mini-s390x.h - Initial SIMD support

[mono-error] Introduce mono_metadata_parse_type_checked variant that uses MonoError.

[mono-error] Introduce MonoError in compare_type_literals.

[metadata] Remove dead MonoParseTypeMode argument from non public functions.

[loader-error] mono_metadata_parse_method_signature is no longer used by the runtime, so remove loader error handling from it.

[llvm] Clean up the naming convention in the backend. 'module' refers to a MonoLLVMModule while 'lmodule' refers to a LLVMModuleRef. Some other small cleanups.

[llvm] Merge LLVMCallInfo and LLVMSigInfo.

[System]: Replace the 'SslStream' implementation with a proxy that's using the 'MonoTlsProvider' layer.

This allows consumers of the 'SslStream' class to take full advantage of
the new TLS switcher code.

[Mono.Security]: It is legal for a TlsClientCertificate message to contain no certificates.

Fix the build, the stub for mono_llvm_cpp_throw_exception () was inside a DISABLE_JIT ifdef block.

Fix my last commit.

[Mono.Security]: Rename 'MonoTlsSettings.ServerCertificateValidationCallback' into 'RemoteCertificateValidationCallback'.

This callback is also used to validate client-certificates when using SslStream in server-mode.

Don't pass a 'null' hostname to the system validator as it would crash.

Kill dead code.

[runtime] Handle the conditional compilation of llvm-runtime.cpp at the automake level since including a c++ file into a c project seems to cause linking problems on some platforms.

[runtime] Add a configure check for unwind.h

[profiler] Avoid a crash at shutdown by installing the assembly unload hook for the 'start_unload' event instead of the 'end_unload' event, the latter receives a mostly freed assembly.

[threads] Use runtime flag to enable cooperative suspend

To enable cooperative suspend, simply set the MONO_ENABLE_COOP
environment variable.

Merge pull request #2179 from BogdanovKirill/enummodulesfix

[Processes] Memory leak fix in EnumProcessModules function

Fix the build.

Use 'using SD = System.Diagnostics' to avoid ambiguous references.

[test-runner] Improve output

[Process] Catch the closing of handle

[Process] Do not count the output/error wait in the timeout of WaitForExit

[runtime] Fixed the non-LLVM build.

Fix the windows build.

[threads] Fix race between async suspend and compensation

The race only happens on Posix with unified suspend.

The chain of event is the following:
- T1 suspend the world (calls `sgen_unified_suspend_stop_world`)
- T2 is async suspended
- T2 execute suspend_signal_handler:
 - T2 finish async suspend
 - T2->suspend_can_continue is set to FALSE as the thread is detaching
 - T2 notify T1 via `mono_threads_notify_initiator_of_suspend`
 - T2 is yielded (via the OS scheduler, or forced via a `sleep`)
- T1 returns from `mono_threads_wait_pending_operations`
- T1 does its stuff
- T1 restart the world
- T1 (or any another thread, except for T2) suspend the world (it does not
  necessarily uses `sgen_unified_suspend_stop_world`)
- T2 is async suspended: incrementation of T2->suspend_count to 2, but it is
    not signalled because it is already in ASYNC_SUSPENDED state
- T2 wakes up (for any reason) and execute compensation <- ERROR: suspend_count != 1

This race can happen because when async suspending, we notify the
suspendor before executing the compensation, in this case for a thread
which is detaching. By simply post-ponning the notification, just after
the compensation, we eliminate this race.

[acceptance-tests] Write list of CoreCLR tests into file and pass it to test-runner

This shaved about 30 seconds off the time until the test-runner started on my machine compared to
passing the tests in the command line directly (we have *lots* of CoreCLR tests).

[test-runner] Add a new --input-file option for reading the test list from a file

[test-runner] Fix bug in commandline option parsing

i+i doesn't make sense, it should be i+1 (the next argument after the current one).

[tests] Add coreclr GC stress tests

[tests] Try to fix finalizer-wait

[tests] Fix Math.Pow precision bug on Android

[Processes] Memory leak fix in EnumProcessModules function

The main point is that get_process_name_from_proc's result string is never released.

This change is released under the MIT license.

[profiler] Disable 'time went backwards' debug message.

While this would have indicated a bug in the past, it's perfectly normal now
due to how we synthesize TYPE_JIT events to ensure sane event ordering.

[runtime] Use Unwind_Backtrace only on platforms which support it.

[llvmonly] Add support for direct calls to icalls.

[System/TLS]: Don't crash when we're called without user-supplied certificate validator.

[acceptance-tests] Move CoreCLR submodule reference to Mono fork

Oops, there is no README.md

Oops, forgot to add to the top-level Makefile for mobile.

[test-runner] Filter out invalid XML chars before writing to XML

The test-runner crashed sometimes when running the CoreCLR testsuite with the following exception:
"System.ArgumentException: '', hexadecimal value 0x0F, is an invalid character." when trying to
emit the NUnit xml.

The stacktrace of one of the failing tests contained the character 0x0F which is invalid in XML,
we now filter out those invalid chars.

[Mono.Security.Providers.OldTls]: New assembly.

This provides a 'MonoTlsProvider' for Mono's existing TLS implementation.

It's simply a public frontend for the internal 'LegacySslStream' class.

[System]: Make internals visible to Mono.Security.Providers.OldTls.

[sgen] Fix marking of cards on 64bit

[sgen] Fix call to `InterlockedCompareExchange()`.

This fixes random crashes on `sgen-weakref-stress.exe`.

[linker] match type pattern with nested types

 - this way the following xml will match all the types in the assembly
   MyAssembly

    <linker>
        <assembly fullname="MyAssembly">
            <namespace type="*" />
        </assembly>
    </linker>

   before this change it will only match the types defined in main
   module and none of the nested types

[acceptance-tests] Append a suffix to the CoreCLR IL tests

Some of the tests have both a test.il and test.cs in the same folder, which means we would
generate an .exe with the same name and overwriting one of them.

This is avoided by appending a _il suffix to the IL tests.

Merge pull request #2163 from xmcclure/image-audit

Mempool reference-auditing feature in checked builds

This introduces three macros, to be used in place of a simple pointer assignment when working with images or imagesets:

CHECKED_METADATA_WRITE_PTR - Use this to assign a pointer when it points from memory hosted by an image or imageset to another.
CHECKED_METADATA_WRITE_PTR_LOCAL - Use this to assign a pointer when it points from memory noted by an image or imageset to itself.
CHECKED_METADATA_WRITE_PTR_EXEMPT - Use this to assign a pointer in memory hosted by an image or imageset, but which the audit feature cannot correctly check at this time (this is the case when an image must contain a pointer to something that is not located in a mempool, such as a constant string). This is so that at least we know where these exceptions to the audits are.

In non-checked mode, each of these is a simple assignment. In checked mode, they walk the graph of references between images to make sure invariants related to ref_count are not violated.