Merge pull request #2863 from alexrp/windows-critsect-debug-info

[utils/mutex] Initialize Win32 critical sections without debug info.

[offsets-tool] Fix path to Options.cs

Merge pull request #2919 from lewurm/random-mini-stuff

Random mini stuff

@monojenkins merge

[io-layer] Fail to modification time if it's beyond the limit allowed by the system. Fixes #40368

This is the case for 32bits OSX that uses 32bits time_t for everything.

Merge pull request #2821 from lambdageek/dev/monoerror-assembly

[assembly loader] Don't raise in mono_assembly_open_full and mono_assembly_load_with_partial_name

Merge pull request #2910 from cptjazz/compiler_warnings

Fix undefined behaviour in left-shift.

This PR fixes a left-shift that relied on undefined behaviour.

Clang emitted the following warning (prior to this patch):
```
sgen-descriptor.c:189:54: warning: shifting a negative signed value is undefined [-Wshift-negative-value]
   return desc | VECTOR_SUBTYPE_REFS | ((gssize)(-1) << 16);
                                        ~~~~~~~~~~~~ ^
```

[debug] print exception name for conditional exception OP

Merge pull request #2814 from lambdageek/dev/monoerror-appdomain

[appdomain] Cleanup MonoError code

1. Assert in mono_get_corlib_version instead of raising an exn.
2. Don't raise in mono_domain_create_appdomain external API function.
3. Assert in mono_domain_assembly_postload_search instead of raising.
4. Don't raise in mono_domain_fire_assembly_load.
5. Use mono_error_set_pending_exception in
   ves_icall_System_AppDomain_InternalGetProcessGuid
6. Dont' raise in unload_thread_main, populate unload_data instead.

Bump version in configure.ac

[marshal] use meaningful constant instead of hard coded value

[jit] Fix the linking of bblocks in mono_replace_ins () by avoiding iterating over an array which is modified in place by mono_unlink_bblock ().

[tools] Add aot offsets generation tool.

List of original contributors:

Marek Habersack <grendel@twistedcode.net>
João Matos <joao@tritao.eu>
Zoltan Varga <vargaz@gmail.com>
Rolf Bjarne Kvinge <rolf@xamarin.com>

Merge pull request #2916 from ludovic-henry/fix-40306

[threadpool-io] Fix crash on shutdownin System.Net.Sockets.Socket:Close_internal

Merge pull request #2915 from poedgirl/master

Added support for SHA256, 384 and 512 in AuthenticodeDeformatter.

Due to the changes introduced by Microsoft to require signing with stronger algorithms, SHA-256, SHA-384 and SHA-512 support was needed.

This change is released under the MIT license.

[threadpool-io] Fix crash on shutdownin System.Net.Sockets.Socket:Close_internal

There could be a race between System.Net.Sockets.Socket:Close_internal and the io threadpool cleanup, which would lead to a native crash. That's because the io threadpool cleanup would clean the mutex, condition variables as well as close the sockets.

The easiest way to fix that is by cleaning only what's going to stop the runtime from shutting down, and in this case the background selector thread. The same is done for the threadpool where we just shutdown the monitor thread and the worker threads.

Added support for SHA256, 384 and 512 in AuthenticodeDeformatter.

Due to the changes introduced by Microsoft to require signing with stronger algorithms, SHA-256, SHA-384 and SHA-512 support was needed.

This change is released under the MIT license.

Merge pull request #2897 from kumpera/marshal_fixes

[marshal] Ensure marshal code emit the right indirect store when dealing with ref types.

The marshal code was using CEE_STIND_I for a lot of ref stores. This would not
generate a WB and is a heap corruption vector.

Implement mono_threads_core_set_name() on NetBSD (#2914)

Part of man-page showing this interface:

PTHREAD_GETNAME_NP(3)      Library Functions Manual      PTHREAD_GETNAME_NP(3)

NAME
     pthread_getname_np - get and set descriptive name of a thread

LIBRARY
     POSIX Threads Library (libpthread, -lpthread)

SYNOPSIS
     #include <pthread.h>

     int
     pthread_getname_np(pthread_t thread, char *name, size_t len);

     int
     pthread_setname_np(pthread_t thread, const char *name, void *arg);

   -- pthread_setname_np(3)

Merge pull request #2913 from krytarowski/netbsd-support-11

Remove stale file in the repository

Remove stale file in the repository

The .orig files are traditionally files of patch(1) and diff(1) tools.
Remove stale file Makefile.orig as it is generating false positives for
grabbing patches from a directory tree.

Merge pull request #2912 from krytarowski/netbsd-support-10

Remove unportable shell construct detected on NetBSD

Merge pull request #2911 from akoeplinger/handleref

[metadata] Don't require HandleRef in domain.c

In 1da6b7629701e71afed2a28c86e7a9cb0f2c6f07 loading of System.Runtime.InteropServices.HandleRef
was changed from optional to required. This caused errors in the maccore tests:

```
MONO_PATH=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/64/Build /Users/builder/data/lanes/1411/5ca65b46/source/maccore/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/bin/arm64-darwin-mono-sgen --debug -O=gsharedvt  --aot=mtriple=arm64-ios,data-outfile=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/System.arm64.aotdata,static,asmonly,direct-icalls,full,dwarfdebug,no-direct-calls,outfile=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/System.dll.arm64.s "/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/64/Build/System.dll"
Runtime critical type System.Runtime.InteropServices.HandleRef not found
AOT Compilation exited with code 134, command:
```

@monojenkins merge

Remove unportable shell construct detected on NetBSD

[metadata] Don't require HandleRef in domain.c

In 1da6b7629701e71afed2a28c86e7a9cb0f2c6f07 loading of System.Runtime.InteropServices.HandleRef
was changed from optional to required. This caused errors in the maccore tests:

```
MONO_PATH=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/64/Build /Users/builder/data/lanes/1411/5ca65b46/source/maccore/_ios-build/Library/Frameworks/Xamarin.iOS.framework/Versions/git/bin/arm64-darwin-mono-sgen --debug -O=gsharedvt  --aot=mtriple=arm64-ios,data-outfile=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/System.arm64.aotdata,static,asmonly,direct-icalls,full,dwarfdebug,no-direct-calls,outfile=/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/System.dll.arm64.s "/Users/builder/data/lanes/1411/5ca65b46/source/maccore/msbuild/tests/MyKeyboardExtension/obj/iPhone/Debug/mtouch-cache/64/Build/System.dll"
Runtime critical type System.Runtime.InteropServices.HandleRef not found
AOT Compilation exited with code 134, command:
```

Merge pull request #2908 from krytarowski/netbsd-support-8

Add new ./configure target & xtarget: arm*-netbsd*-eabi*

Merge pull request #2907 from krytarowski/netbsd-support-7

Improve NetBSD target handling in ./configure

Merge pull request #2906 from krytarowski/netbsd-support-6

Welcome to ARM ucontext registers on NetBSD

[tests/verifier] Fix a few issues in the Makefile

gmcs and ilasm2 are no longer distributed with Mono.

The run-test step had several issues that prevented it from running,
e.g. the comments caused "unexpected end of line" issues on OSX.

Merge pull request 2899 from krytarowski/netbsd-support-1

Improve shell portability on NetBSD

The "test" command, as well as the "[" command, are not required to know
the "==" operator.

Comparing with empty strings ("") might lead to unspecified results.

Replace unportable shell loops:
    for I in {2..6}; do ..; done
with POSIX ones:
    I=2; while [ $I -le 6 ]; do ..; I=$((I + 1)); done

Fix undefined behaviour in left-shift.

Add new ./configure target & xtarget: arm*-netbsd*-eabi*

Example GNU triplets:

evbarm 7.0 NetBSD ignored arm arm-unknown-netbsdelf7.0
evbarm 7.0 NetBSD ignored armeb armeb-unknown-netbsdelf7.0
evbarm 7.0 NetBSD ignored earmv6 armv6-unknown-netbsdelf7.0-eabi
evbarm 7.0 NetBSD ignored earmv6eb armv6eb-unknown-netbsdelf7.0-eabi
evbarm 7.0 NetBSD ignored earmv6hf armv6-unknown-netbsdelf7.0-eabihf
evbarm 7.0 NetBSD ignored earmv6hfeb armv6eb-unknown-netbsdelf7.0-eabihf
evbarm 7.0 NetBSD ignored earmv7 armv7-unknown-netbsdelf7.0-eabi
evbarm 7.0 NetBSD ignored earmv7eb armv7eb-unknown-netbsdelf7.0-eabi
evbarm 7.0 NetBSD ignored earmv7hf armv7-unknown-netbsdelf7.0-eabihf
evbarm 7.0 NetBSD ignored earmv7hfeb armv7eb-unknown-netbsdelf7.0-eabihf

-- http://git.savannah.gnu.org/cgit/config.git/tree/testsuite/config-guess.data

For now support just EABI targets (available since ARMv4).

Improve NetBSD target handling in ./configure

Stop hardcoding libc and linbintl versions.
Add support for libsqlite and libsqlite3.

Welcome to ARM ucontext registers on NetBSD

Improve shell portability on NetBSD

The "test" command, as well as the "[" command, are not required to know
the "==" operator.

Comparing with empty strings ("") might lead to unspecified results.

Replace unportable shell loops:
    for I in {2..6}; do ..; done
with POSIX ones:
    I=2; while [ $I -le 6 ]; do ..; I=$((I + 1)); done

Merge pull request #2900 from krytarowski/netbsd-support-2

Fix shell portability in configure.ac for NetBSD

Merge pull request #2904 from krytarowski/netbsd-support-5

Include <errno.h> for errno on NetBSD

Merge pull request #2898 from ludovic-henry/fix-process-hasexited

[corlib] Fix WaitHandle.Wait{One,Any,All} when runtime returns WAIT_FAILED

Merge pull request #2905 from directhex/force-dpkg-architecture

[jenkins] Force build arch = dpkg arch, on Debian systems

[jenkins] Force build arch = dpkg arch, on Debian systems

Autotools misdetects architecture when using chroots, e.g. tries to do an x86_64 build on an x86_64 system in an i386 chroot

Merge pull request #2901 from krytarowski/netbsd-support-3

Define access to R8-R11 regs in ucontext on NetBSD/AMD64

[System] Replace websocket echo test server with corefx one (#2902)

echo.websocket.org is down since yesterday. Let's use the one that corefx uses for now.

Include <errno.h> for errno on NetBSD

The <sys/errno.h> header on NetBSD declares only a list of ERROR values.

This fixes the following build issue:

In file included from ../../mono/utils/mono-proclib.h:7:0,
                 from mono-proclib.c:8:
mono-proclib.c: In function 'mono_cpu_usage':
mono-proclib.c:893:54: error: 'errno' undeclared (first use in this function)
   g_error ("getrusage() failed, errno is %d (%s)\n", errno, strerror (errno));
                                                      ^
../../eglib/src/glib.h:600:70: note: in definition of macro 'g_error'
 #define g_error(...)    do { g_log (G_LOG_DOMAIN, G_LOG_LEVEL_ERROR, __VA_ARGS__); for (;;); } while (0)
                                                                      ^
mono-proclib.c:893:54: note: each undeclared identifier is reported only once for each function it appears in
   g_error ("getrusage() failed, errno is %d (%s)\n", errno, strerror (errno));
                                                      ^
../../eglib/src/glib.h:600:70: note: in definition of macro 'g_error'
 #define g_error(...)    do { g_log (G_LOG_DOMAIN, G_LOG_LEVEL_ERROR, __VA_ARGS__); for (;;); } while (0)

Define access to R8-R11 regs in ucontext on NetBSD/AMD64

Fix shell portability in configure.ac for NetBSD

[corlib] Fix WaitHandle.Wait{One,Any,All} when runtime returns WAIT_FAILED

In case the runtime would fail to wait on the wait handle(s), we would still return true, as if the WaitHandle was successfully signaled

Merge pull request #2890 from mono/alexischr/remove-managed-alloc-string-zeroing

[sgen] Remove unnecessary and wrong IL code on string managed allocators

[System] Remove MONO_X509_ALIAS

[System] Remove PrebuiltSystem alias (it's not needed with any modern mcs)

Merge pull request #2417 from razzfazz/guard_substr

handle path stripping correctly for root of watched tree

Merge pull request #2889 from mono/alexischr/canary-sizecalc-change-impact

[sgen] "align-up" requested allocation sizes within the managed alloc…

[runtime] Fix warnings.

Merge pull request #2894 from marek-safar/mono.security

[build] Fixes Mono.Security dependency

[marshal] Ensure marshal code emit the right indirect store when dealing with ref types.

The marshal code was using CEE_STIND_I for a lot of ref stores. This would not
generate a WB and is a heap corruption vector.

Merge pull request #2893 from kumpera/fix_29585

Fix #29585.

@monojenkins merge.

[mono-api-html] Fix path in csproj.

[mcs] Better error message for conflict of types with the same name

[build] Fixes Mono.Security dependency

Merge pull request #2887 from lewurm/fix-jit-pass-name

[jit] fix stats name for method_to_ir pass

we settled for underscores

@monojenkins merge.

Merge pull request #2885 from ntherning/fix_test_op_il_seq_point_sh_on_cygwin_2_4_1

Fixes for  'make check-seq-points' on Cygwin

Merge pull request #2878 from kumpera/mach_fixes

Add retry logic to mach function calls.

[mcs] No optional parameters tie breaking rules for delegates overload resolution

Add regression test.

[corlib] Fix CspParametersTest.Ctor test

This essentially reapplies ae2f50e57fb39a005a80303d21a956e89ec36a8b which was inadvertently changed back in 27f07c8095e50cc8be3c5155fcc929a119267db0.

It started failing again after 255ce320b0da31b6e50cef084a4079039ccb39d6 reapplied a fix that was also inadvertently removed (https://github.com/mono/referencesource/commit/8c7937a9e7cc3f61f9ceb6a9d6f19fefdf1672b0).

[runtime] Fix mono_class_inflate_generic_method_full_checked handle of partially inflated generic methods. Fixes #29585.

The problem here was that the function was not correctly setting is_generic when handling partially inflated methods.

The working scenario was method 'Foo<A>::Bar<B>' inflated with (Something<Else>;)[1] resulting in Foo<Something<Else>>::Bar<B>.

This would work because the is_generic check would verify that the supplied context has no method_inst, thus had to remain a GMD.

The problematic one would be inflating Foo<Something<A>>::Bar<B> with (Else;) resulting too in Foo<Something<Else>>::Bar<B>.

To handle this, we would first extract the root method definition [2] and then inflate the original method context with the supplied
context. So we end up with Foo<A>::Bar<B> and inflate (Something<A>;B) with (Else;) resulting in (Something<Else>;B) *1*.

Finally, we would inflate Foo<A>::Bar<B>  with that new context, resulting in Foo<Something<Else>>::Bar<B>.

The resulting method is the same in both scenarios, but context used for inflation is different in that in the second case
it includes the GMD method instantiation (The B in *1*).

This would trip up the computation of whether we ended up with a GMD or not.

The right check, though, is not whether the inflation context has a method instantiation or not, but whether the resulting method
has the same method context as the root GMD[2].

This affected #29585 since disabling some optimizations triggered things to be inflated in different ways.

[1] (Something<Else>;) means a context with a class instantiation and no method instantiation
[2] The GMD defined on the GTD.

[jit] fix stats name for method_to_ir pass

we settled for underscores

[sgen] Remove unnecessary and wrong IL code on string managed allocators
This appears to have been copied from Boehm, but here we are not responsible for zeroing.
Also, 's->chars [len]' is not the same as 'align_up (s + size) - 2', so this was corrupting canaries.

[sgen] "align-up" requested allocation sizes within the managed allocator, instead of sometimes before.
All code paths will still align-up the size to be allocated, but now it's easier to gather the real size of an object.

[aot] Enable gsharedvt by default only when using --aot=full or --aot==llvmonly.

Merge pull request #2888 from xmcclure/serialize-exception-bump

Bump corlib version number following PR#2875

Bump corlib version number following PR#2875

Merge pull request #2875 from xmcclure/serialize-exception

Support SerializeObjectState for System.Exception (bug #39824)

Bump to include referencesource/8c7937a9e7cc3f61f9ceb6a9d6f19fefdf1672b0. Fixes #38712

Merge pull request #2803 from BrzVlad/feature-conc-pinned-scan

[sgen] Scan pinned objects in nursery as part of concurrent mark

Objects pinned in the nursery can hide behind them a large graph of objects in the heap which is never scanned because we don't follow references in the nursery. After precleaning, we scan the latest set of pinned objects (while locking in order to make sure that the set doesn't change, so none are moved).

[MACH] Add retry logic to all mach api calls in the case of interruption.

One overlooked aspect of mach is that its calls are interruptible and
we never really accounted for that.

This problem turned up when sampling at high frequency as they would
start to randomly fail.

[OSX] Drop more support for OSX 10.5 and earlier.

10.5 is ancient enough at this point. Remove code dealing with the exception server
that is not needed after it.

Renamed SEP variable to PLATFORM_PATH_SEPARATOR.

* Fixes 'diff: /dev/fd/63: Not a directory' errors when running
  'make check-seq-points' on Cygwin 2.4.1 64-bit.
* Added removal of *.exe.dll to the clean_aot() function to delete AOT output
  from previous 'make check-seq-points' runs.
* Use ';'' as separator in MONO_PATH if running under Cygwin rather than ':'.

[sgen] Scan pinned objects in nursery as part of concurrent mark

Objects pinned in the nursery can hide behind them a large graph of objects in the heap which is never scanned because we don't follow references in the nursery. After precleaning, we scan the latest set of pinned objects (while locking in order to make sure that the set doesn't change, so none are moved).

Fix the referencesource submodule commit

Merge pull request #2884 from ludovic-henry/fix-process-hasexited

[Process] Fix HasExited for non-child process

[Process] Fix HasExited for non-child process

NativeMethods.GetExitCodeProcess would inherently be broken on Unix platforms for non-child processes as it can't succesfully get the exit code. This would in turn break Process.HasExited, which should not break, as it is possible to check if a non-child process is alive or dead.

[Process] Set haveProcessHandle to true when setting m_processHandle

Revert "Fix missing CommonCrypto/Makefile.include in "make dist" tarballs"

Needed due to Marek's CommonCrypto changes

This reverts commit c0ea8090525213e5236568f1ae494fac17fdd27b.

Revert "Revert "[Mono.Security] Fixes wrong path in makefile""

This reverts commit b0c6a92785e5590af777a29600130ff5adb27e30.

Revert "Revert "[build] Clean up common crypto build""

This reverts commit ba9d141ed8b7680d812e54f5db8adf19e1a3d4f4.

[Mono.Security] Fixes build

use native realpath() function (#2877)

Instead of opening a file for the sole purpose of calling
F_GETPATH on the resulting descriptor, we can just use the
native realpath() function; as a side benefit, this also works
on *BSD where F_GETPATH isn't supported.

Merge pull request #2879 from lewurm/undo-breaking-changes

Undo breaking changes

@monojenkins merge

Revert "[build] Clean up common crypto build"

This reverts commit ecd2f512ced44cd6c6e48594aa27435d0e64eecc.

Revert "[Mono.Security] Fixes wrong path in makefile"

This reverts commit 90611f918522633f3d88aff0d54980c6f275f0f6.

Support SerializeObjectState for System.Exception (bug #39824)

Per current .NET, exception serialization may be implemented using the
SerializeObjectState event. Use of this approach is mandatory for
certain classes, such as HttpRequestException subclasses. Mono does
not support it. The solution is to switch out our System.Exception
implementation for the referencesource one.

To accommodate this, classes that access System.Exception internal
fields directly must switch to the new field names; a new support
method is added to System.Environment; the "security level" methods
and icall are added to MonoCMethods; and the field order in
_MonoException must be adjusted. A new test is also added in the
System.Runtime.Serialization assembly.

[arm] Use a direct branch in the krait workaround to avoid clang generating extra code and moving it before the inline assembly block. Fixes #40239.

Move remaining System.Net.Http pieces from mono-extensions to mono

Discussed with @rolfbjarne, these were missed in the initial import of the mono-extension sources.

Merge pull request #2874 from lateralusX/jlorenss/win-x64-support

jlorenss/win x64 support

Initial fixes needed in order to get pass on mono regression tests for windows x64 visual studio build,

--regression basic.exe basic-float.exe basic-long.exe basic-calls.exe objects.exe arrays.exe basic-math.exe exceptions.exe iltests.exe devirtualization.exe generics.exe basic-simd.exe

Before fixes there were failures in basic.exe, exceptions.exe and objects.exe for windows x64  Visual studio build.

Failures in basic.exe and exceptions.exe was due to a mix up of signal defines on windows platform in Visual Studio build  where SIGILL and SIGFPE was defined differently in different source files causing incorrect signal handler to be invoked at runtime, causing incorrect thrown .NET exception. Fix is to make sure signal.h is always included giving the same value for SIGILl and SIGFPE over all source files.

Failures in objects.exe test_0_mul_ovf_regress_36052 caused a stack overflow crash when running togehter with branch optimization mode. This was due to incorrect lowering of x64 test instruction when optimization moved over to use R8 instead of RAX and current lowering didn't handle that correctly meaning that the actual test was performed against wrong register causing a loop that caused a stack overflow error. The specific amd64 codegen , amd64_test_reg_imm, is currently only used on x64 windows platform for the stackalloc call.

[Mono.Security] Fixes wrong path in makefile

[build] Clean up common crypto build

Update X509CertificateImplApple.

[corlib]: Add X509CertificateImpl.GetNativeAppleCertificate().

In SSCX.OSX509Certificates.GetCertificate(), we cannot simply use
'X509Certificate.Handle' because it may point to something that's
not a SecCertificate.

(cherry picked from commit 3fc068f7e283a3d7e2e78ff2d0e3cec492c87cc6)

Merge pull request #2800 from BrzVlad/feature-lazy-sweep

[sgen] Enable lazy sweep by default

[sgen] Enable lazy sweep by default