Merge pull request #3106 from lambdageek/dev/monoerror-unhandled

[runtime] Okay to raise MonoError in thread start functions.

[System] Fixes crash during implicit file uri parsing with unicode characters

Merge pull request #3161 from ntherning/use_msvc_built_libtest_dll_for_runtime_tests_on_windows

Use the MSVC built libtest.dll when running the P/Invoke tests in mono/tests/ on Windows

Use the MSVC built libtest.dll when running the P/Invoke tests in mono/tests/
on Windows. Updates the tests-config.in file with Windows specific <dllmap>
elements that map 'libtest' to the MSVC built libtest.dll for the current
architecture. test-runner.cs has been modified to accept a --config option to
be able to use a specific config file. Makefile.am now configures test-
runner.exe to use the tests-config config when running the tests.

[runtime] Don't raise ArgumentNullException in mono_monitor_enter_fast (#3158)

Just return that you couldn't enter the monitor and let the slow path handle it.

Fixes [#41705](https://bugzilla.xamarin.com/show_bug.cgi?id=41705)

[System.Net.Http] Fix CFNetworkHandler.CookieContainer not to return null (#3141)

* [System.Net.Http] Fix CFNetworkHandler.CookieContainer not to return null

This aligns the handler with the managed HttpClientHandler [1] and make
it easier to switch between them without additional or conditional code.

[1] https://github.com/mono/mono/blob/14f8acced5bbb2f6d55fb3e7800382700bcc65eb/mcs/class/System.Net.Http/System.Net.Http/HttpClientHandler.cs#L97

[runtime] Avoid building the tools dir when cross-compiling, some tools don't seem to compile.

[amd64] Handle native types correctly in mono_arch_get_llvm_call_info ().

[jit] Add some missing opcodes to MONO_IS_SETCC.

Merge pull request #3152 from ntherning/use_env_configured_mono_exe_in_runtime_tests

Make mono/tests/Makefile.am use MONO_EXECUTABLE if set

[mscorlib] Better handling of unix timezones which have offset not specified in whole minutes. Fixes #41492

[tools] Add a few missing files to the tarball

Those turned out to be missing when building tools/ was enabled by default.
Also ignore some stuff in .gitignore

[runtime] Fix MonoError lifecycle in do_try_exec_main (#3145)

The do_try_exec_main function is always called in contexts where any
exception from doing the invoke is going to be stored in the exc outarg.
That means any MonoError will be handled locally by do_try_exec_main.
So we don't need a MonoError argument, we just need an inner_error.

Merge pull request #3144 from Unity-Technologies/fix-recursive-property-call

Fix recursive property call in MonoSslStreamImpl

Merge pull request #3154 from lambdageek/fix-initmessage-linker

[linker] Add MonoMethodMessage::InitMessage to mscorlib descriptor

[linker] Add MonoMethodMessage::InitMessage to mscorlib descriptor

That method gets called from the runtime, it shouldn't be linked out.

[tests] Bump timeout in sleep.exe

We're seeing it randomly fail on Wrench with durations of 1550 - 1800ms.
Talked to Zoltan, this might be normal so bumping the timeout to reduce the failure rate.

[System] Read all values of unknown/uncommon headers with multiple entries. Fixes #41552

[runtime] Ensure uniqueness of icall wrappers (#3143)

The llvmonly backend will use `mono_aot_init_gshared_method_this`
and other initializers to initialize methods. These will transitively call
`mono_icall_get_wrapper_full` when icall wrappers are needed.

The init functions will set the
initialized flag after initialization. They set it in a non-atomic manner. This means that
in a multithreaded environment, it's possible to call the functions
twice.

When `mono_icall_get_wrapper_full` is called without this patch, the
pointers to wrappers it gets from `mono_marshal_get_icall_wrapper`
will not have the same addresses. They will hash to the same value
though.

This will lead to them not being found or inserted by
`find_aot_method_in_amodule`.
The fact that we already have a value with this hash means that
the new wrapper doesn't get inserted. The fact that the pointers differ
mean that we don't say that we've found our desired wrapper.

This leads to an assertion in `mono_icall_get_wrapper_full`
crashing the runtime.

Since we intend to have the semantics of a wrapper for each icall,
this change uses a cache to ensure uniqueness. The observed crashes
do not happen when this change is applied.

Merge pull request #3151 from akoeplinger/fix-islocal

[System] Fix HttpListenerRequestTest.HttpRequestIsLocal intermittently failing

Modifies mono/tests/Makefile.am to pass along the value set in the
MONO_EXECUTABLE env variable to test-runner.exe using the --runtime command
line parameter. Defaults to 'mono' which is also the defult in test- runner.cs
if no --runtime argument is given.

[runtime] Move 'pedump' to tools/pedump, build tools by default. (#3133)

* [runtime] Move 'pedump' to tools/pedump, build tools by default.

* Add missing file.

* [runtime] Mark mono_opcodes[] with MONO_API.

* [runtime] Build monograph when sgen is supported instead of boehm.

* [runtime] Link monograph against the static runtime libraries.

* [runtime] Use the same SUBDIRS/DIST_SUBDIRS for the CROSS_COMPILING case.

Merge pull request #3140 from esdrubal/syscall_details

[runtime] Fixed interruptible wapi_sendfile part2.

[System] Fix HttpListenerRequestTest.HttpRequestIsLocal intermittently failing

We're seeing the following exception on devices in CI:

```
[FAIL] HttpListenerRequestTest.HttpRequestIsLocal : System.Net.Sockets.SocketException : Could not resolve host 'XQA-AppleTV-1'
  at System.Net.Dns.Error_11001 (System.String hostName) [0x00000] in /Users/builder/data/lanes/1381/d8287824/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/System/System.Net/Dns.cs:292
  at System.Net.Dns.GetHostByName (System.String hostName) [0x00024] in /Users/builder/data/lanes/1381/d8287824/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/System/System.Net/Dns.cs:419
  at System.Net.Dns.GetHostEntry (System.String hostNameOrAddress) [0x00061] in /Users/builder/data/lanes/1381/d8287824/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/System/System.Net/Dns.cs:380
  at System.Net.Dns.GetHostAddresses (System.String hostNameOrAddress) [0x00065] in /Users/builder/data/lanes/1381/d8287824/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/System/System.Net/Dns.cs:406
  at MonoTests.System.Net.HttpListenerRequestTest.HttpRequestIsLocal () [0x00006] in /Users/xamarinqa/QABot/data/lanes/2441/d8287824/source/xamarin-macios/external/mono/mcs/class/System/Test/System.Net/HttpListenerRequestTest.cs:197
  at (wrapper managed-to-native) System.Reflection.MonoMethod:InternalInvoke (System.Reflection.MonoMethod,object,object[],System.Exception&)
  at System.Reflection.MonoMethod.Invoke (System.Object obj, System.Reflection.BindingFlags invokeAttr, System.Reflection.Binder binder, System.Object[] parameters, System.Globalization.CultureInfo culture) [0x00038] in /Users/builder/data/lanes/1381/d8287824/source/xamarin-macios/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/src/mono/mcs/class/corlib/System.Reflection/MonoMethod.cs:309
```

From looking at the code, resolving the hostname to IP addresses via DNS fails so the test doesn't even run.
We don't care where the local IPs come from so we can use an alternative way of getting them - via querying the network interfaces.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=41671

PS: fixed a hardcoded port while I was touching the code

Merge pull request #2921 from lewurm/lower-typechecks-later

[mini] lower typechecks later

lower typecheck instructions later in the compilation, so we've a chance to do high-level optimization after `method-to-ir`

Merge pull request #3121 from lambdageek/dev/managed-init_message

Rewriite `MonoMethodMessage::InitMessage` in managed code

Change icall
`System.Runtime.Remoting.Messaging/MonoMethodMessage::InitMessage` to
managed code.

Also update `mono_message_init()` to invoke `InitMessage`.

[sgen] Inform on configure and --version when the concurrent GC is the default.

[mini] execute decompose_typechecks only if there's a typecheck operation

[mini] comment about empty BBs for graph visualization

[mini] do decomposition of typechecks later in the compilation pipeline

[method-to-ir] get rid of additional reg introduced for `isinst` and `castclass`

[mini] add time tracking for decompose_typechecks pass

[mini] decompose `isinst` and `castclass` in a later pass

[cfgdump] insert NOP in empty basic blocks in order to not confuse graph dumper

[debug] print class name for OP_{isinst,castclass}

[mini] introduce OP_{isinst,castclass}

Merge pull request #3136 from BrzVlad/fix-stw-stopped

[sgen] Don't try to stop a stopped world

[runtime] Switch mono_message_init to invoke managed

Invoke the managed
System.Runtime.Remoting.Messaging.MonoMethodMessage::InitMessage method.

[corlib] Implement MonoMethodMessage::InitMessage in managed

Change icall
System.Runtime.Remoting.Messaging/MonoMethodMessage::InitMessage to
managed code.

Merge pull request #3127 from alexrp/arm32-on-arm64

[arm] Correctly detect hardware features when running as arm32 on arm64 hardware.

Merge pull request #3137 from BrzVlad/fix-sgen-critical-region

[sgen] Exit the critical section also on the slowpath of managed allocators

Merge pull request #3142 from henricm/fix-for-win-mono_string_to_utf8

Using mono_marshal_free n mono_string_builder_to_utf8

`mono_string_builder_to_utf16` is allocating using `mono_marshal_alloc` which, on windows, allocates memory using `CoTaskMemAlloc`. This buffer was then released in `mono_string_builder_to_utf8` using `g_free` which resulted in a crash since that's a different memory on windows. The fix in this PR makes sure `mono_marshal_free` is called instead which has the correct behaviour and results in a `CoTaskMemFree` on windows.

[mcs] Add probing conversion for FormattableString. Fixes #41575

Fix recursive property call in MonoSslStreamImpl

Merge pull request #3085 from lateralusX/jlorenss/win-x64-pinvoke-empty-struct

Fix for non GCC win x64 calling convention when passing empty structs over pinvoke.

Making sure mono_marshal_free is used instead of g_free in mono_string_builder_to_utf8

Merge pull request #3139 from akoeplinger/dns-test

[System] Make ServicePointTest.DnsRefreshTimeout test more reliable

We are still seeing quite rare failures of this test:

```
HostEntry should result in the same IPHostEntry object.
  Expected: same as <System.Net.IPHostEntry>
  But was:  <System.Net.IPHostEntry>

+++++++++++++++++++
STACK TRACE:
at MonoTests.System.Net.ServicePointTest.DnsRefreshTimeout () [0x00045] in /Users/builder/jenkins/workspace/test-mono-mainline/label/osx-i386/mcs/class/System/Test/System.Net/ServicePointTest.cs:228
at (wrapper managed-to-native) System.Reflection.MonoMethod:InternalInvoke (System.Reflection.MonoMethod,object,object[],System.Exception&)
at System.Reflection.MonoMethod.Invoke (System.Object obj, System.Reflection.BindingFlags invokeAttr, System.Reflection.Binder binder, System.Object[] parameters, System.Globalization.CultureInfo culture) [0x00038] in /Users/builder/jenkins/workspace/test-mono-mainline/label/osx-i386/mcs/class/corlib/System.Reflection/MonoMethod.cs:309
```

Since the test is only checking if expiring of the cached DNS lookup works, we don't really need to use an external domain name for this as "localhost" works just fine as well and typically doesn't trigger a DNS query which makes the test more reliable against network issues.

@monojenkins merge

[mcs] Recognize indexer with accessors using different names. Fixes #41602

[runtime] Fixed interruptible wapi_sendfile part2.

Fixed issue where underlying system without HAVE_SENDFILE
would not interrupt while sending a file even when the socket was
set as a non blocking one.

[System] Make ServicePointTest.DnsRefreshTimeout test more reliable

We are still seeing quite rare failures of this test:

```
HostEntry should result in the same IPHostEntry object.
  Expected: same as <System.Net.IPHostEntry>
  But was:  <System.Net.IPHostEntry>

+++++++++++++++++++
STACK TRACE:
at MonoTests.System.Net.ServicePointTest.DnsRefreshTimeout () [0x00045] in /Users/builder/jenkins/workspace/test-mono-mainline/label/osx-i386/mcs/class/System/Test/System.Net/ServicePointTest.cs:228
at (wrapper managed-to-native) System.Reflection.MonoMethod:InternalInvoke (System.Reflection.MonoMethod,object,object[],System.Exception&)
at System.Reflection.MonoMethod.Invoke (System.Object obj, System.Reflection.BindingFlags invokeAttr, System.Reflection.Binder binder, System.Object[] parameters, System.Globalization.CultureInfo culture) [0x00038] in /Users/builder/jenkins/workspace/test-mono-mainline/label/osx-i386/mcs/class/corlib/System.Reflection/MonoMethod.cs:309
```

Since the test is only checking if expiring of the cached DNS lookup works, we don't really need to use an external domain name for this
as "localhost" works just fine as well and typically doesn't trigger a DNS query which makes the test more reliable against network issues.

Merge pull request #3138 from akoeplinger/fix-win

[metadata] Fix Windows gcc build break

[mcs] Bump ikvm to fix assembly unification rules

[arm] Correctly detect hardware features when running as arm32 on arm64 hardware.

[metadata] Fix Windows gcc build break

After 680fe21e6952ba6dc73ad89095b34ebb3a9bfc86 it failed with:

```
coree.c: In function '_CorExeMain':
coree.c:200:2: error: implicit declaration of function 'mono_runtime_run_main_checked' [-Werror=implicit-function-declaration]
  mono_runtime_run_main_checked (method, argc, argv, &error);
  ^
[...]
Makefile:2137: recipe for target 'libmonoruntime_la-coree.lo' failed
make[3]: *** [libmonoruntime_la-coree.lo] Error 1
```

[sgen] Scatterplot option for gcpauseviz.

[sgen] Exit the critical section also on the slowpath of managed allocators

We were not exiting the critical section on this code path. This was leading to hangs at stw since the native code would take locks when compiling the code.

[sgen] Don't try to stop a stopped world

On domain unload we were calling sgen_perform_collection even though we had a stopped world, when finishing a running concurrent collection.

Merge pull request #3135 from kumpera/enable_conc_gc_on_mainline_archs

[jenkins] Make the concurrent GC the default on mainline archtectures.

[jenkins] Make the concurrent GC the default on mainline archtectures.

Merge pull request #3090 from alexanderkyte/remove_deprecated_assertions

[mobile_static] Remove deprecated assertions

[corlib] Fix tests for watchOS. (#3131)

[llvm] Enable support for the atomic store intrinsics when running with llvmonly.

Merge pull request #3117 from alexrp/master

Fix a few socket test failures on Android

[runtime] Okay to raise MonoError in thread start functions.

They just trigger the unhandled exception handlers.

Merge pull request #3093 from lambdageek/dev/monoerror-exec

[runtime] Mark mono_runtime_{run,exec}_main external only.

[sockets] Correctly report that Linux supports double binding for UDP, even on old kernels.

[mcs] Improve betterness changes in b12385e9fdedd5b146d00a56687c886a647e1865

[System] Fixes compiler warning

[System] Make SocketAsyncTest.SendAsync give more helpful failures.

[build] Add llvm folder to SUBDIRS/DIST_SUBDIRS

This ensures all the right files are packaged in the tarball.

Merge pull request #3122 from akoeplinger/fix-41530

[System] Make TimerTest.EnabledInElapsed more reliable

Merge pull request #3120 from esdrubal/syscall_details

Fixes SendAsyncFile flaky failures

[runtime] Only print out the value of MONO_EXTRA_CONFIGURE_FLAGS when it is set.

Merge pull request #3118 from kumpera/fix_getname

[corlib] Handle user Assembly subclass and Assembly::GetName.

[System] Make TimerTest.EnabledInElapsed more reliable

We were seeing intermittent failures on devices like:

```
[FAIL] TimerTest.EnabledInElapsed :   #1 loss of events
  Expected: True
  But was:  False

  at MonoTests.System.Timers.TimerTest.EnabledInElapsed () <0x33b168 + 0x0014f> in <filename unknown>:0
  at (wrapper managed-to-native) System.Reflection.MonoMethod:InternalInvoke (System.Reflection.MonoMethod,object,object[],System.Exception&)
  at System.Reflection.MonoMethod.Invoke (System.Object , BindingFlags , System.Reflection.Binder , System.Object[] , System.Globalization.CultureInfo ) <0x66d400 + 0x000b7> in <filename unknown>:0
```

Since OS scheduling and GCs can influence the exact timing of the timer intervals sleeping for 200ms is likely just too short.
Instead of bumping the timeout, I decided to rewrite the test to not rely on Thread.Sleep ().
I also added another test which verifies setting AutoResetEvent=false stops the timer event from firing after the first one,
which was implicitly tested before by the other test.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=41530

Merge pull request #3114 from alexanderkyte/mono_conf_gc

[runtime] Add configuration for the default sgen gc mode

Merge pull request #3112 from akoeplinger/test-runner-nofile

[test-runner] Write stdout/stderr into StringBuilder instead of an intermediate file

More updates

[corlib] Handle user Assembly subclass and Assembly::GetName.

Remove UnprotectedGetName and replace with overriding of GetName.

dotnet throws NIE if you subclass Assembly and call GetName on it.
We hard crashed.

Fix make dist

It got broken when the versions.py file was moved around in d110f526706b7c4880ca916e2dfbab93138871cd.
Also add the new locations to EXTRA_DIST so they get distributed too.

Merge pull request #3119 from kumpera/fix-getname-and-shadowcopy

[corlib] Take shadow copying when computing CodeBase in Assembly::GetName.

Merge pull request #3082 from alexanderkyte/no_alloc_klass_error

[runtime] Set klass-error-based MonoError state without allocating

[mobile_status] Fix nullable type ambiguity that nunit-lite complains about

[mobile_static] Remove use of CollectionAssert, missing in nunit-lite

[mobile_static] Remove uses of deprecated Assertion.cs nunit helper.

Merge pull request #3110 from BrzVlad/fix-complex-conc-scan

[sgen] Fix concurrent scan of complex objects

[Socket] Check for SocketOptionLevel.Socket before checking for SocketOptionName.ReuseAddress.

Without doing this, the check would consider a valid option name like
IpTimeToLive to be the same as ReuseAddress, as they share the same enum
value.

Fixes SocketTest.TtlChange and SocketTest.UdpMulticasTimeToLive on Android and
other platforms that don't support ReuseAddress.

Merge pull request #3124 from mono/revert-2734-master

Revert "Enhance log tracing"

Revert "Enhance log tracing"

[runtime] Add environment variable to pass additional configure options

[runtime] Add new configure option for default sgen GC mode

[amd64] Fix an off-by-one in the dyn call code.

Llvm submodule (#3108)

* Move the versions.mk infrastructure to scripts/submodules so it can be used elsewhere too.

* Add a conditional submodule for llvm.

* Fix commit messages emitted by the bump- targets.

* Use a anonymous git url for llvm.

[runtime] Fixed interruptible wapi_sendfile.

Before closing a socket we try to interrupt and wait for all socket
pending system calls to return. For that we set the socket as non
blocking which makes the system calls to return with EAGAIN\EWOULDBLOCK.

This issue was caught by System.Net.Sockets.SocketTest.SendAsyncFile
that was intermittently failing, we were only able to reproduce it while
running multiple test suites in parallel. We now can say that it only failed when
the the socket was closed and the sendfile was waiting for the OS to
allocate enough resources to send the file.

This was fixed by changing wapi_sendfile to return on EAGAIN.

[System] Improved "Could not abort" exception.

Stack traces of blocked threads are now displayed on the exception.

The threads stacktraces are only stored when MONO_TESTS_IN_PROGRESS env
var is set to yes.

[runtime][mobile_static] Add flag for rgctx_fetch_trampolines and use it (#3088)

* [runtime] Add commandline option for rgctx fetch trampolines.

* [mobile_static] Increase the number of trampolines

Smaller adjustments based on PR feedback.

[runtime] Call mono_class_init () for classes in mono_class_is_subclass_of (). Fixes #41466.

[corlib] Take shadow copying when computing CodeBase in Assembly::GetName.

Merge pull request #3116 from alexrp/master

Some improvements to the profiler makefile