Merge pull request #2884 from ludovic-henry/fix-process-hasexited

[Process] Fix HasExited for non-child process

[Process] Fix HasExited for non-child process

NativeMethods.GetExitCodeProcess would inherently be broken on Unix platforms for non-child processes as it can't succesfully get the exit code. This would in turn break Process.HasExited, which should not break, as it is possible to check if a non-child process is alive or dead.

[Process] Set haveProcessHandle to true when setting m_processHandle

Revert "Fix missing CommonCrypto/Makefile.include in "make dist" tarballs"

Needed due to Marek's CommonCrypto changes

This reverts commit c0ea8090525213e5236568f1ae494fac17fdd27b.

Revert "Revert "[Mono.Security] Fixes wrong path in makefile""

This reverts commit b0c6a92785e5590af777a29600130ff5adb27e30.

Revert "Revert "[build] Clean up common crypto build""

This reverts commit ba9d141ed8b7680d812e54f5db8adf19e1a3d4f4.

[Mono.Security] Fixes build

use native realpath() function (#2877)

Instead of opening a file for the sole purpose of calling
F_GETPATH on the resulting descriptor, we can just use the
native realpath() function; as a side benefit, this also works
on *BSD where F_GETPATH isn't supported.

Merge pull request #2879 from lewurm/undo-breaking-changes

Undo breaking changes

@monojenkins merge

Revert "[build] Clean up common crypto build"

This reverts commit ecd2f512ced44cd6c6e48594aa27435d0e64eecc.

Revert "[Mono.Security] Fixes wrong path in makefile"

This reverts commit 90611f918522633f3d88aff0d54980c6f275f0f6.

[arm] Use a direct branch in the krait workaround to avoid clang generating extra code and moving it before the inline assembly block. Fixes #40239.

Move remaining System.Net.Http pieces from mono-extensions to mono

Discussed with @rolfbjarne, these were missed in the initial import of the mono-extension sources.

Merge pull request #2874 from lateralusX/jlorenss/win-x64-support

jlorenss/win x64 support

Initial fixes needed in order to get pass on mono regression tests for windows x64 visual studio build,

--regression basic.exe basic-float.exe basic-long.exe basic-calls.exe objects.exe arrays.exe basic-math.exe exceptions.exe iltests.exe devirtualization.exe generics.exe basic-simd.exe

Before fixes there were failures in basic.exe, exceptions.exe and objects.exe for windows x64  Visual studio build.

Failures in basic.exe and exceptions.exe was due to a mix up of signal defines on windows platform in Visual Studio build  where SIGILL and SIGFPE was defined differently in different source files causing incorrect signal handler to be invoked at runtime, causing incorrect thrown .NET exception. Fix is to make sure signal.h is always included giving the same value for SIGILl and SIGFPE over all source files.

Failures in objects.exe test_0_mul_ovf_regress_36052 caused a stack overflow crash when running togehter with branch optimization mode. This was due to incorrect lowering of x64 test instruction when optimization moved over to use R8 instead of RAX and current lowering didn't handle that correctly meaning that the actual test was performed against wrong register causing a loop that caused a stack overflow error. The specific amd64 codegen , amd64_test_reg_imm, is currently only used on x64 windows platform for the stackalloc call.

[Mono.Security] Fixes wrong path in makefile

[build] Clean up common crypto build

Update X509CertificateImplApple.

[corlib]: Add X509CertificateImpl.GetNativeAppleCertificate().

In SSCX.OSX509Certificates.GetCertificate(), we cannot simply use
'X509Certificate.Handle' because it may point to something that's
not a SecCertificate.

(cherry picked from commit 3fc068f7e283a3d7e2e78ff2d0e3cec492c87cc6)

Merge pull request #2800 from BrzVlad/feature-lazy-sweep

[sgen] Enable lazy sweep by default

[sgen] Enable lazy sweep by default

[sgen] Concurrently sweep blocks also in the lazy sweep case

In the lazy sweep case, the sweep job doesn't sweep the blocks. Instead, the blocks are swept when they are actually needed (when we want to allocate in the block, scan the block etc.). This delays the mutator or increases the nursery pauses. Try to sweep as many blocks as possible concurrently, immediately after we finish the sweep job.

Merge pull request #2822 from BrzVlad/feature-lshift-decomposition

[jit] Decompose long immediate shifts

[corlib] Handle CreateDirectory with relative paths. Fixes #40187

Bump reference source

Merge pull request #2872 from alexrp/timer-dispose2-test

[corlib] Fix TimerTest.TestDispose2 () test.

[corlib] SymbolType from reference source. Fixes #39911

Fixed incorrect lowering on x64 for test instruction when register r8-r15 where used.
Currently only triggered by objects.exe regression test on windows x64 with branch opt, since stackalloc gets lowered to this test and branch will start using R8 instead of RAX for the test.

Fixed issue on x64 windows Visual Studio builds where signal define values got mixedup.
Caused incorrect exception behavior and failures in basic.exe, exceptions.exe regression test on x64 windows. This was due to the fact that some source files didn't include signal.h while others did. In case where signal.h was not included incompatible defines were used for SIGILL and SIGFPE in mini-amd64.h.

Bump referencesource

[corlib] Fix TimerTest.TestDispose2 () test.

Merge pull request #2870 from madewokherd/arginfo

x86 cleanups for register arguments

Best I can tell, cinfo->args and cfg->args need to be independent before implementing calling conventions where some arguments are in registers, at least if we want to do it cleanly. Also, storing the argument offset in a cfg->args instruction that claims to be for a register seems hacky and confusing to me.

[sgen] Fix compare function

[runtime] Avoid printing out the corlib version when running -v --version, it requires a working runtime. Fixes #40175.

[runtime] Fix the build of cominterop.c with DISABLE_JIT.

Merge pull request #2802 from BrzVlad/feature-evacuation-opt2

[sgen] Reduce number of evacuated objects

[x86] Don't use the inst_offset field of OP_REGVAR arguments.

[x86] Store CallInfo in MonoCompileArch structure.

[build] Remove unused lib paths

[mcs] Dynamic context in constructor initializers or field initializers is static. Fixes #40088

Merge pull request #2819 from BrzVlad/fix-major-log

[sgen] Fix major size logging

[jit] Decompose long immediate shifts

We decompose them as part of the cprop pass to handle more immediates and to further propagate copies.

The native backend of some architectures (for example x86) may support long shifts with specialized instructions. Even there, this still makes immediate shifts 2 times faster because long ops are poorly handled by the jit.

On arm, where we were emulating, this makes long immediate shifts 3-5 times faster.

Merge pull request #2867 from alexrp/sgen-block-size-ppc

[sgen] Set ARCH_MIN_MS_BLOCK_SIZE to 64k on both ppc32 and ppc64.

This fixes a problem that was happening on Debian ppc32 build machines. Since
they are set up as a 32-bit userland on a 64-bit kernel, Mono would be compiled
with an ARCH_MIN_MS_BLOCK_SIZE value of 16k. However, at runtime, the system
page size would be 64k (due to the 64-bit kernel with PPC_64K_PAGES set).

Signed-off-by: `Alex Rønne Petersen <alexrp@xamarin.com>`

Merge pull request #2866 from alexrp/solaris-10-tls

[configure] Use __thread instead of pthread TLS on Solaris/x86.

[mcs] Use Array.Empty for empty arrays when available

[mcs] Tie-breaking rules are applied also for non-equivalent parameter types. Fixess #40183

[mcs] Add tie breaking rule when candidate is in expanded form only and best has default arguments

Merge pull request #2868 from akoeplinger/maccore-fixes

[metadata] Ifdef out an icall that is not available in the DISABLE_REFLECTION_EMIT case

It caused errors like the following on the maccore builds:

```
  CCLD     libmonosgen-2.0.la
Undefined symbols for architecture armv7k:
  "_mono_reflection_get_custom_attrs_blob_checked", referenced from:
      _ves_icall_System_Reflection_Emit_CustomAttributeBuilder_GetBlob in libmonoruntimesgen.a(libmonoruntimesgen_la-icall.o)
ld: symbol(s) not found for architecture armv7k
```

---

This is the last patch required for getting maccore master to build again with mono master.

@monojenkins merge

Compiler-less mkbundle support in Mono.

This is the support that makes it so that mkbundle can create self-contained executables without requiring a native toolchain to be present. Also is the foundation to allow cross-compilation of self-contained executables.

This works by concatenating the runtime with the various dependencies and configuration files, attaching a directory at the end of the file and a signature to flag this as a runtime that has embedded resources in the executable file itself.

This works by modifying the runtime startup to check for a special signature at the end of the main executable, if it is not present, execution resumes as usual. Otherwise a directory is read from the end of the file which contains both the kind of file (assembly, configuration file, and so on), as well as pointer to the contents in the file. Then the regular Mono APIs to load resources are used to load these.This is the support that makes it so that mkbundle can create self-contained executables without requiring a native toolchain to be present. Also is the foundation to allow cross-compilation of self-contained executables.

This works by concatenating the runtime with the various dependencies and configuration files, attaching a directory at the end of the file and a signature to flag this as a runtime that has embedded resources in the executable file itself.

This works by modifying the runtime startup to check for a special signature at the end of the main executable, if it is not present, execution resumes as usual. Otherwise a directory is read from the end of the file which contains both the kind of file (assembly, configuration file, and so on), as well as pointer to the contents in the file. Then the regular Mono APIs to load resources are used to load these.

[metadata] Ifdef out an icall that is not available in the DISABLE_REFLECTION_EMIT case

It caused errors like the following on the maccore builds:

```
  CCLD     libmonosgen-2.0.la
Undefined symbols for architecture armv7k:
  "_mono_reflection_get_custom_attrs_blob_checked", referenced from:
      _ves_icall_System_Reflection_Emit_CustomAttributeBuilder_GetBlob in libmonoruntimesgen.a(libmonoruntimesgen_la-icall.o)
ld: symbol(s) not found for architecture armv7k
```

Merge pull request #2865 from akoeplinger/maccore-fixes

A few small fixes for maccore

[sgen] Set ARCH_MIN_MS_BLOCK_SIZE to 64k on both ppc32 and ppc64.

This fixes a problem that was happening on Debian ppc32 build machines. Since
they are set up as a 32-bit userland on a 64-bit kernel, Mono would be compiled
with an ARCH_MIN_MS_BLOCK_SIZE value of 16k. However, at runtime, the system
page size would be 64k (due to the 64-bit kernel with PPC_64K_PAGES set).

Signed-off-by: Alex Rønne Petersen <alexrp@xamarin.com>

[configure] Use __thread instead of pthread TLS on Solaris/x86.

Fixes: https://bugzilla.xamarin.com/show_bug.cgi?id=32020

Tested on Solaris/x86 by Rainer Orth <ro@CeBiTec.Uni-Bielefeld.DE>.

[mini] Add a stub for mono_arch_create_handler_block_trampoline to tramp-arm64.c

Otherwise it's not defined in the DISABLE_JIT case.

[metadata] reflection.c: add missing MonoError parameter for mono_reflection_lookup_dynamic_token

It was missed in the recent refactoring in 96373eb62e4a73876b5ded49449ccb0fd16c40e8

[metadata] Guard access to mb->locals_list with DISABLE_JIT ifdef

The field is only available when DISABLE_JIT is not defined.

[build] Remove EXTENSION_include and _exclude from library.make

We do not have any .sources or .exclude.sources in mono-extensions anymore so this is no longer needed.

Merge pull request #2864 from cptjazz/python3_compatibility

Make versions script compatible to python3: Add () when using `print'.

Merge pull request #2854 from alexrp/lock-free-queue-docs

[utils/lfq] Clarify and document the lock-free queue API.

Make versions script compatible to python3: Add () when using `print'.

[sgen] Evacuate from emptier blocks to fuller ones

We don't evacuate from full blocks. When it comes to blocks that have free slots, instead of evacuating all of them to a new set of blocks, aim to keep the fuller blocks around and evacuate the emptier ones into them.

[sgen] Don't evacuate full blocks

Merge pull request #2851 from mono/mono-symbolicate-ikvm-master

[mono-symbolicate] Use IKVM.Reflection instead of System.Reflection

[mcs] Codegen of try-catch-finally with await inside both try and catch. Fixes #39866

Merge pull request #2860 from lewurm/fix-cfgdump-related-stuff

Fix `cfgdump` related stuff

[jit] include cfgdump.h in common_sources

[cfg-dump] fix warning

Merge pull request #2856 from alexrp/profiler-fix-sem

[profiler] Fix incorrect initial writer semaphore value.

This was used during debugging. I forgot to revert it back to 0 before posting
the pull request (#2838). This led to ~3-5% more CPU usage by the writer thread
than actually necessary; it now sits around 0-1% for typical workloads.

[utils/lfq] Clarify and document the lock-free queue API.

[corlib]: Add internal callback to 'X509Helper' to use System's X509Helper2.

(cherry picked from commit 5eaf4db0918f4e59c47b22e6379236a55f6c813e)

[Mono.Security]: Cleanup 'CertificateValidationHelper'.

The overloaded GetValidator() which takes both 'MonoTlsSettings'
and 'MonoTlsProvider' is actually used by the test suite, so let's
keep it public.

(cherry picked from commit 0977d531d2579c9051a6a2e6d0cb47e4f720bea4)

Merge pull request #2857 from malaterre/master

Remove an undefined behavior

Found using gcc -fsanitize=bounds

[ci] Don't use babysitter on Windows/cygwin

babysitter generates some temp paths in python when running under cygwin, which breaks down
when those paths are passed to the native Windows mono.exe during testing:

    Exception in TestRunnerThread ---> System.IO.DirectoryNotFoundException: Could not find a part of the path "C:\cygdrive\c\WINDOWS\TEMP\tmpC4K5yK\babysitter_report_current_test_file.txt".

[System]: Use MonoTlsProviderFactory.GetDefaultProviderInternal() to cache the result.

(cherry picked from commit 6d41d1562f6cec0da94229fb33e0c42ae2bf22e9)

Remove an undefined behavior

Found using gcc -fsanitize=bounds

Merge pull request #2855 from malaterre/master

Remove a simple memory leak

[profiler] Fix incorrect initial writer semaphore value.

This was used during debugging. I forgot to revert it back to 0 before posting
the pull request (#2838). This led to ~3-5% more CPU usage by the writer thread
than actually necessary; it now sits around 0-1% for typical workloads.

Remove a simple memory leak

Merge pull request #2852 from alexrp/master

[profiler] Fix usage of the lock-free queue API.

* Free nodes hazardously.
* No need to unpoison nodes since we're not reusing them.
* Fix memory leak when emptying coverage queues.

[profiler] Fix a warning.

[profiler] Fix usage of the lock-free queue API.

* Free nodes hazardously.
* No need to unpoison nodes since we're not reusing them.
* Fix memory leak when emptying coverage queues.

Merge pull request #2850 from madewokherd/inetpton

[configure] Also check that inet_pton is defined when building for Windows.

[utils/hp] Export mono_thread_hazardous_try_free () for use in the profiler.

[ci] Remove quotes from windows msbuild command

Turns out it wasn't the right fix.

[ci] Don't enable the mobile profiles on the community archs

It only takes time and e.g. causes issues if e.g. AOT doesn't work.

Remove unused Mono.Cecil references

[mono-symbolicate] Use IKVM.Reflection instead of System.Reflection
This is so that the tool can work independently of runtime assembly resolution (ie. to load alternate corlibs)

Merge pull request #2788 from lambdageek/dev/monoerror-reflection-no-more-raise

[reflection] No more mono_*_raise_*

No more `mono_error_raise_exception` and `mono_raise_exception` in `reflection.c`

Merge pull request #2769 from lewurm/jit-cfg-dump

[jit] mini IR dumping feature for IGV

related doc PR: https://github.com/mono/website/pull/189

[Mono.Security]: Add new internal 'MonoTlsProvider' APIs.

(cherry picked from commit c02a885bd62631c4ff5cde5443f1b1e0cdccc237)

[BoringTls]: Register via 'MonoTlsProviderFactory'.

(cherry picked from commit e43a5f73320fbde80c36ed294ea1ba7b06cf58bb)

Merge pull request #2824 from lambdageek/dev/monoerror-icalls-noraise

[runtime] Set pending exception in icalls instead of raising.

[configure] Also check that inet_pton is defined when building for Windows.

The version of mingw-w64 on Debian wheezy has this symbol in its libraries
but not its headers.

Merge pull request #2848 from alexrp/master

[libgc] Fix broken AC_TRY_COMPILE() invocation in configure.ac.

Fixes: https://bugzilla.xamarin.com/show_bug.cgi?id=40144

Tested on PowerPC by `Mathieu Malaterre <malat@debian.org>`.

[SRE] Remove uses of mono_error_raise_exception

1. icall `mono_image_module_basic_init`
2. icall `mono_reflection_sighelper_get_signature_local`
3. icall `mono_reflection_sighelper_get_signature_field`
4. API function mono_module_get_object
5. API function mono_type_get_object
6. API function mono_method_get_object
7. API function mono_field_get_object
8. API function mono_property_get_object
9. API function mono_event_get_object

[reflection] Remove last uses of mono_raise_exception

1. static function `create_custom_attr` (set MonoError exception instance)
2. icall `mono_reflection_resolve_custom_attribute_data` (set pending
exception from MonoError). Also rename it to
ves_icall_System_Reflection_CustomAttributeData_ResolveArgumentsInternal
3. icall `mono_reflection_bind_generic_method_parameters` (set pending
exception from MonoError)  Not renaming this one because it's actually
used for two icalls:
System.Reflection.Emit.MethodBuilder.MakeGenericMethod and System.Reflection.MonoMethod.MakeGenericMethod_impl

[SRE] MonoError-ize reflection_methodbuilder_to_mono_method

[SRE] MonoError-ize mono_reflection_create_generic_class

Change icall name to
ves_icall_System_Reflection_Emit_TypeBuilder_create_generic_class

Give mono_reflection_create_generic_class a MonoError argument,
and get rid of the redundant mono_reflection_create_generic_class_checked

[ci] Fall back to timeout command if babysitter doesn't work

Some Jenkins workers (e.g. the s390x one) have an earlier python version installed where the babysitter doesn't work.
Fall back to timeout in those cases.

[BoringTls]: Merge the work branch.

* Mono.Security.Interface.ICertificateValidator2:
  new internal interface, deriving from ICertificateValidator.

* Mono.Security.Interface.CertificateValidationHelper:
  the internal GetValidator() now returns ICertificateValidator2.

* Mono.Security.Interface.MonoTlsProvider:
  make HasCustomSystemCertificateValidator and InvokeSystemCertificateValidator()
  internal and use ICertificateValidator2.

* Mono.Net.Security.ChainValidator:
  implement ICertificateValidator2; we may now be called with a
  fully-built X509Chain.

* corlib, System, Mono.Security:
  add [assembly: InternalsVisibleTo].

[ci] Escape run-step.sh invocations, for paths with spaces in