[System] Rewrite Dns tests so that failures don't cause the process to crash.

Previously the tests were written so that some failures might occur on the
threadpool in methods that did not catch exceptions. In that case the process
would terminate due to an unhandled exception. So rewrite the tests to catch
exceptions in any code that doesn't run on the main thread, and forward those
exceptions to the main thread.

Also wait for async operations to complete on the main thread, and remove
asserts that are not supposed to be hit.

[mcs] Move type constraints checks after base type definition. Fixes #44212

Merge pull request #3536 from henricm/fix-machinename-ignorecase

Ignoring case for MachineName in EventLogTest

Set DefaultPersistentConnectionLimit to 10 for Xamarin.Android

This is to make it the same as the Xamarin.iOS setting and
fixes https://bugzilla.xamarin.com/show_bug.cgi?id=7467

[runtime] Rename IMT thunks to 'trampolines'. NFC. (#3555)

[io-layer] Extract Mutex, Semaphore and Event (#3553)

* [metadata] Move mutex managed support to seperate file

* [mutex] Extract CreateMutex

* [mutex] Extract ReleaseMutex

* [mutex] Extract OpenMutex

* [mutex] Extract wapi_mutex_abandon

* [mutex] Extract MonoW32HandleOps for mutex and named mutex

* [io-layer] Extract wapi_search_handle_namespace

* [metadata] Move semaphore managed support to seperate file

* [semaphore] Move _WapiHandle_sem and _WapiHandle_namedsem to semaphores.h

* [semaphore] Extract CreateSemaphore

* [semaphore] Extract ReleaseSemaphore

* [semaphore] Extract OpenSemaphore

* [semaphore] Extract MonoW32HandleOps

* [metadata] Move event managed support to seperate file

* [event] Extract CreateEvent

* [event] Remove dead code PulseEvent

* [event] Extract SetEvent

* [event] Extract ResetEvent

* [event] Extract OpenHandle

* [event] Extract MonoW32HandleOps

* [w32handle] Extract namespace locking

* [io-layer] Inline only use of wapi_shm_sem_lock/wapi_shm_sem_unlock

[hybrid-aot] Add runtime support (#3556)

* [aot-compiler] Add generic class and gsharedvt for hybrid AOT mode

* [aot-compiler] Remove dead code

* [hybrid-aot] Add --hybrid-aot for future use

[threads] Import mono_thread_info_set_priority (#3543)

* [mono-threads] Remove MonoThreadParm.creation_flags

* [mono-threads] Remove MonoThreadParm.priority and set to MONO_THREAD_PRIORITY_NORMAL by default

* [threads] Wrap use of mono_thread_info_(get|set)_priority

* [threads] Store priority on MonoInternalThread

* [threads] Import mono_thread_info_set_priority

* [mono-threads] Remove MonoThreadParm

[System] Don't compress custom http headers in httplistener response. Fixes #34715

[runtime] Pass the initial context to mono_walk_stack_with_ctx () in mono_stack_walk_async_safe (). Hopefully fixes #44164.

Merge pull request #3534 from BrzVlad/fix-conc-gcstress-mem

[sgen] Fix conc gcstress mem

Merge pull request #3541 from kumpera/add-tas-to-threading

[abort] Reduce the race window when doing Monitor:Enter.

Bump version to 4.9.0

Merge pull request #3549 from lewurm/arm64-icache-big-little-fix

[arm64] fixes around icache flushing

This fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39859

The problem in `emit_thunk` and the workarounds for the Cortex A53 errata are unrelated to the bug above, but they don't hurt either.

The basic problem that we see is that the Exynos 8890 SoC (shipped for example in the world edition of the Samsung Galaxy S7) is a big.LITTLE architecture with two different CPUs, four of each. `__clear_cache` of GCC [1], the built-in that we use to flush the instruction cache, correctly reads the cache line sizes for data- and instruction cache from the CPU and then caches that result. However, the two CPUs on the Exynos 8890 have two different cache line sizes for the instruction cache (128 bytes vs. 64 bytes): If we happen to initialize the cache line sizes with the larger one, we only flush every other cache line if the code runs on the second CPU model.

Neither V8 [2] and LLVM [3] do caching of the cache line sizes, but just read it every time from the register.  We have a slightly different solution, where we cache _and_ read the value every time and try to determine a global minimum across CPUs, in case we get scheduled to a different CPU by the kernel during the flushing loop.

[1] https://android.googlesource.com/toolchain/gcc/+/master/gcc-4.9/libgcc/config/aarch64/sync-cache.c#33
[2] https://github.com/v8/v8/commit/fec99c689b8587b863df4a5c4793c601772ef663
[3] https://github.com/llvm-mirror/compiler-rt/blob/ff75f2a0260b1940436a483413091c5770427c04/lib/builtins/clear_cache.c#L146

Merge pull request #3535 from henricm/fix-always-use-preamble-length

Removing hard coded preamble length

[sgen] Free major sections in bulk also on 64bit

On coreclr-gcstress this reduces the OS vmem maps by more than half.

[sgen] Adjust free-ing of empty blocks

After sweep, depending on the computed allowance, we are freeing empty blocks so that we still keep around enough blocks to fill that allowance (to avoid repeated vmaps).

On both collectors this had the problem that the allowance also accounts for LOS space, which we shouldn't account for in major section heuristics (which means that in LOS intensive benchmarks we only free major sections after the LOS shrinks).

On the concurrent collector, where we have a negative allowance adjustment depending on the duration of the concurrent mark (in order to mimic serial memory usage), we can have very small allowances at the end of a major collection, even 0. This means that we would reserve no empty blocks for later use.

We solve these issues by reserving empty blocks relative to the amount of current alive blocks, which is also the basis of how we compute the allowance in the first place.

[runtime] Replace uses of alloc functions with glib variants

[utils] Fix internal allocator header size.

The header is always just a pointer.

[runtime] Counters for allocated virtual memory.

Merge pull request #3552 from DavidKarlas/getScopeChanges

[Debugger] GetLocals was throwing NullReferenceException(li.scopes_start) if ran against older runtime

[Debugger] GetLocals was throwing NullReferenceException(li.scopes_start) if ran against older runtime
Added logic to make sure user of API handles version checking when calling GetScope
Made properties in LocalScope class public

[threads] Correct the spin waiting in 'sleep_interruptable' (#3544)

After https://github.com/mono/mono/commit/089c47f1c07bf250d76c36e04675569fc6f5b4ba#diff-e7e458b6256eaa730c145f14a666652aR1141
the code started to use nanoseconds instead of milliseconds. The problem was that this caused 'sleep_interruptable' to spin wait the last millisecond before the wait was over, https://bugzilla.xamarin.com/show_bug.cgi?id=44132.

Fix https://bugzilla.xamarin.com/show_bug.cgi?id=44132

Merge pull request #3550 from alexrp/revert-tp-monitor

Revert "[threadpool-ms] Switch Monitor thread to a MonoThreadInfo (#3538)"

Revert "[threadpool-ms] Switch Monitor thread to a MonoThreadInfo (#3538)"

This reverts commit 2f88b8eb5a6f0108288a878f515c53b72637a88b.

There is a subtle problem with turning the monitor thread into a simple
MonoThreadInfo: It creates worker threads via mono_thread_create_internal (),
which allocates the thread object from the GC. No thread can allocate from
the GC unless it's actually attached, which the worker thread is not when
created with just mono_threads_create ().

[runtime] Remove some dead code.

[arm64] use `dc civac` instead of `dc cvau`

suggested workaround for some Cortex A53 bugs, inspired by V8:
https://github.com/v8/v8/commit/fec99c689b8587b863df4a5c4793c601772ef663

[arm64] manually flush icache

should fix https://bugzilla.xamarin.com/show_bug.cgi?id=39859

[arm64] flush whole emitted thunk

[threadpool-ms] Switch Monitor thread to a MonoThreadInfo (#3538)

Remove a debug printf.

Add missing file.

[sdb] Add a MethodMirror:GetScopes () method which returns scope information.

[threads] Add specific field to check size (#3542)

[threadpool-ms] Replace win32 semaphore by coop semaphore (#3519)

[mono-threads] Fix lifetime of MonoThreadInfo->handle (#3539)

This handle should have a total of maximum 3 copies:
 - in MonoThreadInfo->handle
 - in the return value of mono_threads_create_thread
 - in MonoInternalThread->handle (if it's a managed thread)

Before, there would always be 2 references (in MonoThreadInfo->handle and another another for MonoInternalThread->handle), even if it would be referenced at one place only (MonoThreadInfo->handle), which would lead to a handle leak.

We also need to duplicate the returned handle, to avoid having a use-after-free of the handle (in case the thread exits before we access that handle)

[llvm] Disable llvm again for methods with large basic blocks in non-llvm-only mode, the workaround doesn't seem to work. Fixes #42395.

Merge pull request #3540 from kumpera/abort-on-gerror

[logging] Fix g_error not aborting.

Once we enabled g_log redirection, we stopped aborting as the new handlers didn't behave like eglib.

Merge pull request #3528 from BrzVlad/fix-sgen-check-before-collections

[sgen] Fix sgen debug flags

[runtime] Reduce the race window when aborting Monitor:Enter.

If you abort a thread that is doing a Monitor:Enter, if the syscall abort lands before
the target thread start waiting it will block in a non aletable way.

To address that, we start by waiting in an alertable way and if interrupted we
decide to continue or not based on whether an abort can start.

Additionally, when alertable, we CAS the thread state to catch early Thread:Abort
calls that set the state by did not managed to init it.

This fixes a rare deadlock on tests/monitor-abort.exe.

[threads] Add mono_threads_is_ready_to_be_interrupted helper to figure out whether a thread is ready to be interrupted.

[threading] Introduce mono_thread_test_and_set_state to manipulate thread state.

Unconditional state transitions are really bad since they don't allow threads
to coordinate between themselves.

[logging] Fix g_error not aborting.

[threads] Factor common attach code in mono_thread_attach_internal (#3530)

* [threads] Allocate StartInfo in create_thread

* [threads] Put start_notify semaphore in StartInfo

* [threads] Factor common attach code in mono_thread_attach_internal

* [threads] Use same registered mechanism as mono-threads

Merge pull request #3537 from ntherning/fix-failing-ThreadTest-tests-on-windows

Remove Assert.Fail() calls in ThreadTest when running on Windows

Remove Assert.Fail() calls in ThreadTest when running on Windows

The tests that fail like this actually work just fine on Mono on Windows.
Added the NotDotNet category to the CurrentThread_Domains() test since it
fails on .NET.

Ignoring case for MachineName in EventLogTest

Avoid race condition between domain unload and threadpool. (#3491)

* Avoid race condition between domain unload and threadpool.

Previous logic only ensured that domain->threadpool_jobs was 0.
There was a race condition as follows:
* worker jobs are queued into ThreadPoolDomain outstanding_request's
* domain unload starts
* domain->threadpool_jobs is 0 so unload proceeds
* queued jobs are processed from the ThreadPoolDomain outstanding_request's
* the domain can be set/entered by worker threads since
  mono_domain_set only fails for domains with state of MONO_APPDOMAIN_UNLOADED,
  while our domain is in the MONO_APPDOMAIN_UNLOADING state
* jobs are now being unexpectedly run in domain that is being shutdown

* Fix a hang when unloading the domain.

This change applies the diff from ludovic-henry to correct the hang.

https://gist.github.com/ludovic-henry/6c8a4bc8951091c0ef36df2e52d5e32e

Removing hard coded preamble length

For some reason preamble length was asumed to be 3 when cp 65001
instead of always looking att the preamble length of the encoding.
This resulted in responses cropped by 3 chars on windows.

Merge pull request #3532 from alexrp/profiler-stress-tests

[acceptance-tests] Add profiler-stress suite.

[acceptance-tests] Add profiler-stress suite.

Merge pull request #3531 from alexrp/master

[profiler} Don't crash if a zero sampling frequency is given.

[profiler} Don't crash if a zero sampling frequency is given.

Moving WSAGetLastError calls closer to socket operation (#3450)

* When doing async connect on windows, connect returns `WSAEINPROGRESS`
which needs to be returned to managed code for correct handling. However
on Windows, last error gets reset before `WSAGetLastError` is called.
This fix moves all `WSAGetLastError` calls up closer to the socket
operation to make sure correct error code is returned to the managed code.

* Making sure `TcpNoDelay` is set to false for IPv4 by default and
that `DualMode` is default for IPv6.

* Making sure option value is set to 0 before calling getsockopt
because on Windows, a `BOOL` option value (eg TcpNoDelay) is returned
as a one byte value and the other bytes are left untouched which resulted
in TcpNoDelay always seemed to be true.

* Fixed so `TF_REUSE_SOCKET` is set only if `reuse` parameter is set
when disconnecting a socket.

Merge pull request #3511 from henricm/fix-no-socket-reuse

Not reusing sockets in dual mode tests

[threads] Remove CREATE_SUSPENDED (#3529)

* [threads] Remove use of CREATE_SUSPENDED for domain unload thread

* [threads] Remove use of CREATE_SUSPENDED for managed thread

* [threads] Remove CREATE_SUSPENDED

Merge pull request #3526 from alexrp/master

[sgen] Don't consider managed write barriers to be critical methods.

[sgen] Make sure we don't sweep a block if we're not supposed to

If the sweeping mechanism has been triggered by a major collection, then the iteration will wait for the general sweeping to finish and also for the sweeping of all the blocks. If this isn't the case (we are doing a major collection) we will iterate over the current state of the heap, some objects being bound to die during the collection, and the callback must account for this.

It doesn't make much sense to explicitly attempt to iterate without trying to sweep blocks that can be swept.

Rename local file into socket_fd (#3524)

This is to avoid hiding the static gint `file` and to better understand the code.

Merge pull request #3509 from ludovic-henry/iolayer-extract-threading

[mono-threads] Keep cleaning up mono-threads after iolayer extraction

[sgen] Don't consider managed write barriers to be critical methods.

When we emit calls to them, we also emit an OP_DUMMY_USE instruction to keep
the object alive, so it is OK for the GC to interrupt write barriers now.

[sgen] Remove unused and potentially wrong case from major object iteration

We never enter this case since we never iterate over the major objects without requiring to sweep, while a sweep is running. Even if we would be in this case, we directly access the mark bits which can be cleared at the same time by another thread sweeping the block, so we could miss live objects.

[sgen] Fix mod union consistency check

We don't need a mod union to mark an object with concurrent mark&sweep.

[sgen] Don't do remset consistency checks during majors

It doesn't make sense to check the remset during a major since majors dont use the cardtable and we clear it at the start. So we will obviously have missing remsets. For the debugging concurrent case, we should use the mod union consistency checks instead.

[sgen] Don't verify the heap after a major

We would need to deal with scanning forwarded objects and dead objects which is not worth it. Only verify the heap at the start of a collection, as indicated by the name of the flag.

[sgen] Fix missing remsets with verify before collections

When verifying the heap we need to have the set of pinned objects otherwise we can observe missing remsets if suspended between the store and the write barrier. If we don't have the set of pinned objects, allow missing remsets.

[mono-threads] Have error in case we cannot set thread priority

[mono-threads] Fix win32 to posix priority conversion

[mono-threads] Store handle related data in MonoThreadInfo

[mono-threads] Assert that we do not try to signal the handle multiple times

Merge pull request #3518 from akoeplinger/fix-fileiopermission

[corlib] Ensure FileIOPermission ctor is not called on mobile

[corlib] Ensure FileIOPermission ctor is not called on mobile

After https://github.com/mono/mono/pull/3452 was merged, the LinkSdkRegressionTest.SecurityDeclaration
test in XI started failing:

```
[FAIL] LinkSdkRegressionTest.SecurityDeclaration :   FileIOPermissionAccess
  Expected: null
  But was:  <System.Security.Permissions.FileIOPermissionAccess>

  at LinkSdk.LinkSdkRegressionTest.SecurityDeclaration () [0x00033] in /Users/builder/data/lanes/1411/2a96404f/source/xamarin-macios/tests/linker-ios/link sdk/LinkSdkRegressionTest.cs:990
  at (wrapper managed-to-native) System.Reflection.MonoMethod:InternalInvoke (System.Reflection.MonoMethod,object,object[],System.Exception&)
  at System.Reflection.MonoMethod.Invoke (System.Object obj, System.Reflection.BindingFlags invokeAttr, System.Reflection.Binder binder, System.Object[] parameters, System.Globalization.CultureInfo culture) [0x00038] in /Users/builder/data/lanes/1411/2a96404f/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/corlib/System.Reflection/MonoMethod.cs:305
```

Due to the added call in the PR the linker preserved FileIOPermissionAccess enum,
which is apparently something we want to avoid.

Since according to https://github.com/mono/mono/pull/3452#discussion_r76384945 the only point of calling the
FileIOPermission is validating that the path doesn't contain invalid characters (mostly an issue on Windows),
I decided to just copy those checks as it's way cleaner.

Merge pull request #3525 from henricm/fix-access-level-get-token

Using max level allowed when getting current token

Using max level allowed when getting current token

Reference source of WindowsIdentity is using `MAXIMUM_ALLOWED`
as desired level by default when getting current token.
Changing to same behaviour to enable duplicate and impersonation
to be made on the token retrieved by GetCurrentToken.

[mcs/Makefile] make the 'btest' (bootstrap test) target work again

[jit] Unify the handling of 'error' and 'exc' in the llvm-only and non llvm-only runtime invoke code. Fixes #41961.

Better handle marshaling of packed types (#3508)

* This improves the marshaling for packed classes and class involved in an inheritance hierarchy.
* Similar changes were made in the Unity fork of mono across a number of commits.
* The tests here have been taken from the repo and converted to work as NUnit tests in Mono.

[jit] Emit a dummy call after calls to Type.GetType () in llvm-only mode to prevent clang from transforming the call to a tail call which would cause the stack walk done by GetType () to find the wrong frame. Fixes #41956.

Merge pull request #3521 from ntherning/fix-failures-in-RegistryKeyTest-on-windows

Fix for failures in RegistryKeyTest on Windows

Merge pull request #3520 from ntherning/fix-ModuleTest-too-long-temp-folder-path-on-windows

Prevent ModuleTest failures due to too long temp folder path on Windows

Fix for failures in RegistryKeyTest on Windows

Refcatored Win32RegistryApi.SetValue() to accept uint/byte/etc values for
DWord registry values.

Added handling of ERROR_CHILD_MUST_BE_VOLATILE errors to GenerateException().

Centralized MarkedForDeletion error handling to GenerateException().

Fixed tests which create volatile subkeys in RegistryKeyTest which used the
same key names but didn't clean up properly.

Merge pull request #3505 from ntherning/fix-resource-lookup-in-ResourceReaderTest-on-mono-on-windows

Lookup of test resource files in ResourceReaderTest fails on Windows

Prevent ModuleTest failures due to too long temp folder path on Windows

On Windows the TearDown() cannot delete the temp folder since it contains
loaded assemblies. The next time the test is run it will create a temp folder
inside the previous folder. After a number of runs the temp folder path will
approach the ~260 max path supported on Windows and some of the methods will
start failing.

This patch changes the way the temp folder is created and reduces the depth in
the same way as AssemblyTest was patched to fix a similar issue in
b90617e7b7a9ecd501abc65d171d97163ce4ee3d.

[sgen] Remove unused parameter

We never do nursery collections as part of the concurrent finishing pause

Lookup of test resource files in ResourceReaderTest fails on Windows

Removed the differing code paths in FixtureSetUp() when running on non-Windows
platforms vs when running Mono on Windows or on .NET. The path previously
taken only on non-Windows platforms has been verified to work as expected on
both Mono on Windows and on .NET.

[Dataflow] Bump timeouts in TransformBlockTest.DeferredUsage

It failed a couple of times according to the babysitter logs with the following error:

```
MESSAGE:
Expected and actual are both <System.Int32[10]>
  Values differ at index [1]
  Expected: -1
  But was:  0
```

Bump timeouts a little bit to see if this helps.

Merge pull request #3514 from ntherning/more-reliable-g_get_home_dir-on-windows

Prefer SHGetKnownFolderPath() in g_get_home_dir() over HOMEDRIVE/HOMEPATH environment variables

Merge pull request #3517 from alexrp/master

[man] Update mprof-report.1 to cover new profiler options.

Prefer SHGetKnownFolderPath() in g_get_home_dir() over HOMEDRIVE/HOMEPATH
environment variables

Relying on the HOMEDRIVE/HOMEPATH environment variables is fragile as those
variables don't always have to be set. One such scenario is when running on a
Jenkins slave. When not set g_get_home_dir() in eglib would return NULL which
led to a crash in ves_icall_System_Environment_InternalGetHome().

This patch changes g_get_home_dir() to first try to call
SHGetKnownFolderPath() to get the current user's profile directory (i.e. home
dir). If that fails it falls back to the USERPROFILE environment variable. If
that isn't available the function will fallback to the original behavior and
try with HOMEDRIVE/HOMEPATH.

[man] Update mprof-report.1 to cover new profiler options.

Also reformat some sections a bit.

[SRE] Move the resolving of user types to managed code, the runtime was not using write barriers. (#3515)

[runtime] Fix a C&P problem introduced by d4052c556399c2ef72c79088c05a8ad6913647a6.

[SRE] Remove empty TypeBuilder:setup_generic_class () icall.

[runtime] Remove the stub of ves_icall_TypeBuilder_create_internal_class ().

[corlib] Fix the signature of a few SRE icalls, they already receive a TypeBuilder as the 'this' argument.

Merge pull request #3446 from lambdageek/bug-42584

[loader] Check for ReferenceAssemblyAttribute when loading

[mcs] Adjust correctly newline counter inside pragma warning

[corlib] Add timeout to failing test

Merge pull request #3506 from ntherning/make-ZoneTest-succeed-on-mono-on-windows

Make Zone.CreateFromUrl() work with URLs like file://C:\foo\bar

Merge pull request #3452 from ntherning/fix-AppDomainSetupTest-on-windows

Validate AppDomainSetup.ApplicationBase path more like .NET does