[sgen] Documentation about future-proofing the binary protocol.

We want to use the binary protocol to measure GC pause times in the
benchmarking suite.  To make that easier and be able to go back and
(re-)benchmark older versions, we'd like the binary protocol format to
be backwards compatible.

Add a new Moono_GetStackTraces method to Thread which can be used to obtain stack traces for all running threads.

Remove a few more 'using System.Reflection's.

[Mono.Security]: Use the new 'NoReflectionHelper' instead of reflection in 'MonoTlsProviderFactory'.

[sgen] Add some bridge documentation.

Merge pull request #2170 from alexanderkyte/mini_llvm_archfix

[runtime] Fix support for amd64 in mini-llvm-cpp.cpp

[runtime] Fix support for amd64 in mini-llvm-cpp.cpp

[System]: Add internal 'Mono.Net.Security.NoReflectionHelper' class to avoid reflection use.

Remove 'using System.Reflection'.

[Mono.Security]: Access System.dll's internals directly instead of using reflection.

[System]: Make internals visible to Mono.Security.

[test-runner] Fix a few more hardcoded test suite names

Missed those in 04bdf3b9332a4707d196b65deda1fdfba1b88a30

[test-runner] Wait synchronously for process exit

There was still a race for the last processes, where we could not
correctly wait for them to exit, before closing the StreamWriter for
stdout and stderr.

Merge pull request #2168 from BillSeurer/llvm

[ppc] Activate llvm for power

[ppc] Activate llvm for power

Merge pull request #2165 from lambdageek/dev/marshal-fix

[coop] update native call marshalling to pass thread state transition functions a stack ptr arg.

[socket] Use syscall abort mechanism properly

The crash only occurs on Posix platforms.

The assertion error in `mono_threads_begin_global_suspend`
"pending_suspends != 0" arised because of a unproper use of the syscall
abort mechanism.

The signal would have to be send out of a global suspend context, but
in case the call to `mono_threads_pthread_kill` would fail in
`mono_threads_core_abort_syscall`, then we would add a pending
operation, thus increasing the `pending_suspends` counter. But as we
wouldn't call for `mono_threads_wait_pending_operations`, we would never
have a chance to decrement this counter. So next time we would try to
call `mono_threads_begin_global_suspend` we would hit this assertion
error.

The fix is simply to call the abort from inside a global suspend
context, and making sure to wait on pending operations afterwards.

[socket] Enable Shutdown on socket disposal only on specific platforms

This breaks Linux, because a shutdown will cause a recv/recvfrom on the
remote host to return without an error.

This would trigger in System.Net.Sockets.SocketTest.ConnectedProperty.

[msvc] Manually update .defs, don't use update-defs Make target

Revert "[msvc] Update the DLL export definition files."

This reverts commit 90cb172eb8c160f46781d189d3baf25f06496b1d.

[msvc] Update the DLL export definition files.

[coop] update native call marshalling to pass thread state transition functions a stack ptr arg.

mono_threads_prepare_blocking, mono_threads_finish_blocking,
mono_threads_reset_blocking_start, mono_threads_reset_blocking_end all
take a stack pointer argument.  Update the native and managed wrappers
to pass it to them.

[runtime] Add a check for PE images to mono_method_body_get_object().

Fix the build.

[runtime] Move the MONO_ENV_OPTIONS parsing code to driver.c

Export mono_image_load_cli_header/load_metadata from image.c

Merge pull request #2162 from alexrp/master

[profiler] Disable the hack to attempt to get code start/size info.

[corlib] Add non-overlapping buffer MemoryCopy implementation

[profiler] Disable the hack to attempt to get code start/size info.

This is causing crashes by poking into runtime internals, and since we no
longer need this for anything critical, disable it.

https://bugzilla.xamarin.com/show_bug.cgi?id=35171

Merge pull request #2158 from akoeplinger/fix-winforms-tests

[WinForms] Update tests to match recent changes to Control Foreground+Background

Merge pull request #2154 from BrennanConroy/bug_30018

More robust get_address_info

[threads] Print more information in case of error in global suspend

Merge pull request #2149 from directhex/absolute-path-for-xcopy

[msvc] Use fully qualified path for xcopy

[WinForms] Update tests to match recent changes to Control Foreground+Background

The colors were updated in https://github.com/mono/mono/commit/f412b5529e560bca594e0c29a47f32dcfb252820,
but the tests weren't. This fixes them.

[Mono.Security]: Mark 'HttpsClientStream' as obsolete.

[System]: Remove some dead internal code.

Merge pull request #2122 from lambdageek/dev/bug-26384

In Type.FullName, escape ,+&@*[]\ with blackslash. Closes #26384

Merge pull request #2155 from akoeplinger/bug-34334-pr

[interpreter] Relax check for forcing compilation for built-in structs

[System]: Use MonoTlsProvider API in WebConnection.

[System]: Use MonoTlsProvider API in FtpWebRequest and SmtpClient.

[interpreter] Relax check for forcing compilation for built-in structs

Method calls on structs like DateTime wouldn't work before,
even though we know we don't have self mutating structs in mscorlib.

Fixes part 2 of https://bugzilla.xamarin.com/show_bug.cgi?id=34334

[reflection] Test for ModuleBuilder.GetType(String) with escaped names

[reflection] ModuleBuilder, TypeBuilder escaped type identifiers patch

1. Use the System.TypeSpec parser to parse components of the type name,
then call out to native code to apply the modifiers, as before.

2. TypeName and TypeIdentifier abstractions to hide display name / internal name strings

Update ModuleBuilder and TypeBuilder to use TypeIdentifier and TypeName
internally in all places that don't need to talk to native code.

3. Change ModuleBuilder.name_cache from Hashtable to Dictionary<TypeName, TypeBuilder>

[corlib] Test Type.FullName and Type.GetType() with special characters.

Make sure that type names that include +,&*[]\ are properly escaped and
unescaped when displaying and parsing.

[corlib] ves_icall_Type_GetNestedTypes unescape special chars in wanted nested type name.

[corlib] System.TypeSpec.Parse unclosed square brackets wrong exn.

Throw ArgumentException on "Foo[," instead of ArrayIndexOutOfBoundsException.

[corlib] System.TypeSpec.Parse escaped characters

[corlib] handle special characters in Type.FullName and Type.GetType(string)

Type.FullName escapes ,+&*[]\ with a leading backslash.
Type.GetType(typeName) strips escaping backslashes from typeName during parsing.

[tuner] Properly preserve AesCryptoServiceProvider.

[merged by rodo from monodroid - the mentioned test is not included here]

Fixes: https://xamarin.desk.com/agent/case/35534

Commit 5ca3cb4b wasn't propertly tested (doh!).

The problem with Aes and AesCryptoServiceProvider is that there's a
cross-assembly dependency: Aes is in mscorlib, while
AesCryptoServiceProvider is in System.Core. The
PreserveCrypto.ProcessSystemCore() method didn't properly handle this
setup.

Fix the linker, and add a test to Hello.

WARNING: The test sucks. In particular, to "test" this fix you need to
run the app and then grep the `adb logcat` output for:

# DownloadDataTaskAsync complete; status=RanToCompletion; exception=

If the status is anything else, or the exception is non-null, it's
busted.

FURTHERMORE, it's only useful in Release apps, not Debug apps.
(No linker in Debug apps.)

The reason for the need to grep is that there's no sane mechanism to
wait until the Task has completed before checking the status of the
Task, and throwing an exception from within the continuation wouldn't
do anything.

FIXME: The real problem is that Task.Wait() blocks forever and never
returns. This needs further investigation.

https://bugzilla.xamarin.com/show_bug.cgi?id=12681

[tuner] handle the case with multiple "preserve" attributes

 - when more than one "preserve" attribute is set (see IsPreservedAttribute),
   make sure we handle all of them and not just last one
 - fixes https://bugzilla.xamarin.com/show_bug.cgi?id=19391
 - example code which suffered from this issue:

    [Preserve(AllMembers=true)]
    [DataContract]
    public class TestClass
    {
      ...
    }

  later when a method from this class was queried using the reflection,
  it wasn't available as it was linked out

[runtime] Factor out the PE image loading code into a separate MonoImageLoader object.

[mcs] Fix inference of dynamic type used as a constructed type. Fixes #34898

[runtime] Fix a possible buffer overflow in get_process_module ().

[amd64] Remove some dead code.

Revert "[amd64] Allow returning of structs in register pairs."

This reverts commit c41b5a47ad24fc359a092fe9023fc82f68cdf198.

Revert this as it breaks IronJS tests:

https://bugzilla.xamarin.com/show_bug.cgi?id=35102

[mcs] Add additional doc reset after property initializers. Fixes #35087

[acceptance-tests] Fix tarball build and rename "check" target to "check-full"

The acceptance-tests folder wasn't getting included in the tarball, adding the folder
to the SUBDIRS in the top-level Makefile.am fixes this. Additionally, EXTRA_DISTFILES
doesn't work outside of mcs/ so rename it to EXTRA_DIST.

Since we don't want a top-level "make check" to recurse into acceptance-tests just yet,
rename the check target to check-full so nothing gets run by default.

Fixes mobile build

[mdoc] Update expected test results after private members change in mscorlib

[System.Runtime.Caching] Update test due to .net fixes

[system.componentmodel.dataannotations] Fix incorrect IsValid_Object_ValidationContext_CrossCallsWithNIEX test

[msvc] Use fully qualified path for xcopy

There are still nasty issues with $PATH vs %PATH% for builds spawned by a system service, this should hopefully fix the last one

[system.data] Remove empty ending character from resource constants

[gsharedvt] Inflate methods properly in one case. Fixes #34926.

Merge pull request #2148 from akoeplinger/remove-old-runtime-versions

[runtime] Remove explicit support for v4.0.30128 and v4.0.20506

[runtime] Remove explicit support for v4.0.30128 and v4.0.20506

These versions were still binding to the 4.0 mscorlib, which is a reference-only assembly now
and isn't intended for being used at runtime.

This issue manifested itself when someone used e.g. <supportedRuntime version="v4.0.20506"/> in
the app.config, causing the runtime to try loading that version and then bailing out with
"Corlib not in sync with this runtime: expected corlib version 117, found 111." (with 111 being
the corlib version at the time the reference assemblies were generated).

The fix is to remove the specific versions from the supported_runtimes array, causing programs
to automatically use the newest version instead.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=34675

Other reports:

https://youtrack.jetbrains.com/issue/TW-42700
https://youtrack.jetbrains.com/issue/TW-41337
http://stackoverflow.com/questions/29988698/teamcity-nunitlauncher-running-on-linux-mono-gives-corlib-not-in-sync-with-th

[llvm] Fix the handling of r4 arguments during calls. Fixes #35044.

Bump reference source.

[runtime] Remove unused MONO_IS_CROSS_COMPILE define.

[acceptance-tests] Convert Ruby script to Python

Most of the other scripts in the repo use Python and we decided to converge on that one.

[acceptance-tests] Integrate Roslyn, CoreCLR and ms-test-suite into acceptance-tests

This commit integrates the CoreCLR, Roslyn and ms-test-suite (which is Xamarin-internal, but should just print a warning for someone without access).
Running the tests suites can be done with 'make check-coreclr', 'make check-roslyn' and 'make check-ms-test-suite', or all of them with make check in the acceptance-tests folder.
They won't run on a top-level make check though, which is intended until every test suite is fixed.

This uses a custom submodule system that doesn't rely on git submodules (which are annoying when the repo is large and we only need them for tests). Instead we can fetch repositories on demand.

History (before squashing into smaller chunks):

- Rename check-{testsuite} make target to validate-{testsuite}. The former can be easily confused with the "check" target that runs the tests.
- Move acceptance-tests Makefile to automake, so we can avoid hardcoding paths
- Copy System.Console facade to CoreCLR IL test directories. Otherwise most of the IL tests fail as they rely on the System.Console assembly reference.
- Update README.md to mention the tests
- Use $(MAKE) instead of plain make and pass -C instead of cd'ing to directory
- Exit when the repository can't be cloned and print a note about the ms-test-suite repo. The ms-test-suite repo is Xamarin-internal so it'll error out in public.
- Integrate MS CoreCLR runtime tests into Mono's test infrastructure
- Get rid of intermediate msg file and pipe straight to git
- Rename README to CONFIG since we don't store metadata in readme.md anymore
- Fix comparison in versions.mk to be sh compliant. It relied on bashism before.

[acceptance-tests] Add code from xamarin/mono extensions branch

This provides a "git submodule"-like tool which can be used to
checkout optional repositories.

[tests] Add a new --testsuite-name parameter to managed test runner

Use it for the gshared tests, they were all (over-)writing the same TestResults_runtime.xml before.

[tests] Add a new --expected-exit-code option to the managed test-runner

Merge pull request #2136 from esdrubal/uridotsegment

[System] Fixed dots trimmed from segments.

jit] Replace a few more #ifdefs with flags.

Fix the build.

[jit] Add a new MonoBackend structure which will contain backend constants/functions. Move the arch specific flags from MonoCompile to this structure.

jit] Replace a few more #ifdefs with MonoCompile flags.

[jit] Replace a few more #ifdefs with MonoCompile flags.

[jit] Replace a few arch-specific #ifdef blocks with MonoCompile flags.

[jit] Add flags to MonoCompile to allow the removal of arch-specific ifdefs from the jit code. Add a mini_init_cfg () function to initialize them using the arch defines.

[threads] Fix another sleep compilation error on win32

One case was missed in 2ad1993b516244d0ae242a2eaa795d561f8ac02a

Make the thread dump code safe by doing only async safe operations when a thread is suspended.

[threads] Fix sleep compilation error on win32

Merge pull request #2139 from akoeplinger/symbolicate-test-fix

[mono-symbolicate] Skip tests if AOT isn't supported by the current arch

Fixes build

Merge pull request #2144 from dlech/patch-1

Fix filename in header

Fix filename in header

[amd64] Allow returning of structs in register pairs.

[llvm] Fix returning of values in a register pair.

[llvm] Fix JIT support.

[runtime] Disable the emission of stubs debug info on apple, its no longer supported by clang.

Merge pull request #2143 from akoeplinger/refactor-mono-security-providers

[Mono.Security.Providers] Refactor providers into distinct folders

Bump reference source

[corlib] Implement UnsafeEnumCastLong

[bcl] Update to 4.6 referencesource

[Mono.Security.Providers] Refactor providers into distinct folders

Build the two libraries Mono.Security.Providers.DotNet and Mono.Security.Providers.NewSystemSource just like
every other class library instead of duplicating the logic into the subfolders.

This also fixes "make dist".

[WinForms] ComboBox, ListBox and TextBox should use Control Foreground+Background

They have been using Window Foreground+Background so far which make them unreadable
on systms with dark themes. This change makes them behave.

[TLS]: Make ValidationResult.MonoSslPolicyErrors nullable.

(cherry picked from commit abfac54c47312c00f22fffef821f8889cbc67098)
(cherry picked from commit ccb7bfc930f4265b685eada8e73ee81acaae5963)