[msvc] Update csproj files (#4163)

.NET allows each finalizer thread up to 2 seconds to complete and 40 seconds for all threads to complete. However, mono just allows 2 seconds for all finalizers. Some complex applications easily exceed this and this results in thread aborts to be invoked. This fix is simplistic as it simply replaces the 2 seconds with 40 without addressing the 2 seconds per finalizer thread. This problem is more complex but this fix will circumvent the problem until a final option is designed and implemented. (#4162)

configure.ac: import makedev() and friends from <sys/sysmacros.h> (#4170)

Current glibc's <sys/types.h> headers are included into
many C standard headers.

The problem here is that makedev()/major()/minor() macros
defined in <sys/sysmacros.h> leak into C standard headers
and poison global namespace.

The plan is to get rid of <sys/sysmacros.h> inclusion
in <sys/types.h>:
    https://sourceware.org/ml/libc-alpha/2015-11/msg00253.html

On such system without implicit <sys/sysmacros.h> mono fails
to build as:

  CC       libmonoruntime_la-w32process-unix-default.lo
w32process-unix-default.c: In function 'mono_w32process_get_modules':
w32process-unix-default.c:225:12: error: implicit declaration of function 'makedev' [-Werror=implicit-function-declaration]
   device = makedev ((int)maj_dev, (int)min_dev);
            ^~~~~~~

autoconf has a AC_HEADER_MAJOR macro to autodetect
header for major() and friends.

This change switches to AC_HEADER_MAJOR.

Signed-off-by: Sergei Trofimovich <siarheit@google.com>

[test-runner] Try to dump threads on timeout with lldb and gdb

[mini] Inline only use of mono_runtime_syscall_fork

[mini] Factor duplicates mono_gdb_render_native_backtraces

[threadpool] Remove assertion on RequestWorkerThread failure (#4167)

We observed that this assertion would sometimes be triggered on CI in case of intensive load. This would be possible because we wouldn't necessarily decrease the outstanding_request in a new worker. To decrease resource usage, we also want to limit the amount of new worker we request.

[threadpool] Use threadpool->threads instead of threadpool->counters to wait on cleanup (#4146)

[jit] Enable tests for the Vector<T> intrinsics. (#4157)

[llvm] Fix the mapping of simd types to llvm types when using -O=-simd.

[llvm] Add back support for OP_TLS_GET.

[runtime] Fix Mach ARM assert.

This changes mono_mach_arch_get_thread_fpstate_size to return a value,
rather than asserting. The actual float state isn't used yet. This also
assumes NEON, which may not be correct.

[simd] Fix the exception thrown by Vector<T>.CopyTo () on a failed bounds check.

[aot] Bump AOT file format version due to changes to patch infos etc.

[threads] Ensure thread is still alive when detaching it

If the compiler optimized it so that we would unregister the thread->thread_pinning_ref GC root before we would destroy the thread fields, we could run into "* Assertion at threads.c:1081, condition 'thread->suspended' not met"

[runtime] Remove old unused defines/prototypes

[build] Remove PEAPI from library profiles

[build] Update list of aoted images in mcs mode

[System.Numerics.Vectors] Update to the latest CoreFX version

[System.Numerics.Vectors] Enable Vector on desktop profile

Bump corefx

[corlib] Override virtual DSA.HashData() methods in DSACryptoServiceProvider (#4150)

The methods were added in .NET 4.6 but couldn't be done abstract so instead
they were added virtual which just throws an exception telling you to override
it in the subclass.

We implemented this for RSACryptoServiceProvider in https://github.com/mono/mono/pull/3770
(the methods were already overriden in that case because we moved to referencesource)
but DSACryptoServiceProvider is still using the Mono code so we need to
implement it there too.

Fix a warning.

Revert "[build] Update list of aoted images in mcs mode"

This reverts commit 59b8a5d3bae8f55c7fa31080a0c1b9e88d4419b8.

It breaks the mcs build:

```
20:35:27 MONO_PATH='./../../class/lib/build/' > build_aot.log 2>&1 /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/runtime/mono-wrapper --aot=bind-to-runtime-version,outfile=/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Collections.Immutable.dll.so --debug /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Collections.Immutable.dll || (cat build_aot.log; exit 1)
20:35:27 Failed to load method 0x6000001 from '/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/System.Collections.Immutable.dll' due to Could not load file or assembly 'System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a' or one of its dependencies. assembly:System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a type:<unknown type> member:<none>.
20:35:27 Run with MONO_LOG_LEVEL=debug for more information.
20:35:27 AOT of image /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Collections.Immutable.dll failed.
20:35:27 Mono Ahead of Time compiler - compiling assembly /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/System.Collections.Immutable.dll
20:35:27 AOTID 368C895D-F9C7-38E7-C0BA-F9B6964CD1A0
20:35:27
make[7]: *** [/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Reflection.Metadata.dll.so] Error 1
20:35:27 make[7]: *** Waiting for unfinished jobs....
20:35:27 Failed to load method 0x6000001 from '/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/System.Collections.Immutable.dll' due to Could not load file or assembly 'System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a' or one of its dependencies. assembly:System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a type:<unknown type> member:<none>.
20:35:27 Run with MONO_LOG_LEVEL=debug for more information.
20:35:27 AOT of image /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Collections.Immutable.dll failed.
20:35:27 Mono Ahead of Time compiler - compiling assembly /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/System.Collections.Immutable.dll
20:35:27 AOTID 368C895D-F9C7-38E7-C0BA-F9B6964CD1A0
20:35:27 make[7]: *** [/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools//System.Collections.Immutable.dll.so] Error 1
20:35:27 Failed to load method 0x600000c from '/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/csc.exe' due to Could not load file or assembly 'System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a' or one of its dependencies. assembly:System.Runtime, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a type:<unknown type> member:<none>.
20:35:27 Run with MONO_LOG_LEVEL=debug for more information.
20:35:27 AOT of image /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/csc.exe failed.
20:35:27 Mono Ahead of Time compiler - compiling assembly /mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/external/roslyn-binaries/Microsoft.Net.Compilers/Microsoft.Net.Compilers.1.3.2/tools/csc.exe
20:35:27 AOTID 44CBE5F8-37FA-0F68-B472-47E2F4209FC5
20:35:27 System.Collections.Immutable.dll
20:35:27 AOTID 368C895D-F9C7-38E7-C0BA-F9B6964CD1A0
20:35:33 make[7]: Leaving directory `/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/mcs/class/aot-compiler'
20:35:33 make[6]: Leaving directory `/mnt/jenkins/workspace/test-mono-mainline-mcs/label/ubuntu-1404-amd64/mcs/class/aot-compiler'
20:35:33 make[6]: *** [do-all] Error 2
```

[msvc] Update csproj files (#4151)

[build] Update list of aoted images in mcs mode

[System.Core] Add CryptoServiceProviders to mobile

[Facades] Move IncrementalHash to System.Security.Cryptography.Algorithms facade

It looks like the type won't be part of .net for anytime soon

[corlib] Fixes warning

[process] Fix process-unref-race.exe (#4144)

* [process] Rename MonoProcess to Process as it's not public anymore

* [process] Replace setting process->pid = 0 by process->signalled = TRUE

* [process] Remove processes_mutex lock when unrefing process->handle

We do not need to synchronize it here because we do not modify `processes`, and the only other place where we access process->handle is before adding it to `processes`.

* [process] Fix race condition

Without this memory barrier `process->next = processes` and `processes = process` could be reordered, and when accessing `processes` in mono_sigchld_signal_handler, we could observe a NULL processes->next. This would make us not find a pid in `processes`, and because of the posix API, we would never mark this process as exited.

This would trigger a hang in `process-unref-race.exe` test.

Thank you to @kumpera for the help figuring this out!

[s390x] Fix build

[aot] fix linker invocation for llvm mode on linux

clang++ should only be used for llvm_only (aka. bitcode) mode.

this is a follow up fix for:
https://github.com/mono/mono/commit/7d238ddd5edeeb42cec5e07b6d6527d16332f921
and
https://github.com/mono/mono/commit/fc5305d2af1b6891b05cb82342bf92d4659546e1

fixes https://bugzilla.xamarin.com/show_bug.cgi?id=46375

[tools] Add resx2sr internal tool

Merge pull request #4014 from BrzVlad/feature-tls-refactor

[runtime] thread local storage refactor

[arm64] Mark MONO_CONTEXT_GET_CURRENT () as clobbering x16.

Fix build break due to Cecil API change

https://github.com/jbevain/cecil/commit/42db79cc16f1cbe8dbab558904e188352dba2b41

[xbuild] Bump buildtools to get support for netstandard 1.6

https://github.com/mono/buildtools/commit/9b6ee8686be55a983d886938165b6206cda50772

[system] Remove port number from TLS Server Name Identification (SNI). Fixes #46549 (#4120)

The port number should not be included along the host name. Otherwise
the server will refuse the connection (and we'll throw). This is a
problem when servers are not using the default (443) SSL/TLS port.

ref: https://bugzilla.xamarin.com/show_bug.cgi?id=46549

The BTLS provider was fixed but the old MonoTLS (managed) provider had
the same issue.

Another PR will be made to fix AppleTLS in xamarin-macios repo [2]

[1] https://github.com/mono/mono/pull/3939
[2] https://bugzilla.xamarin.com/show_bug.cgi?id=45994

Bump cecil to get portable pdb fix

[arm] Resurrect inlined fast tls

Only on desktop linux, where we now inline aeabi_read_tp.

[arm64] Resurrect inlined fast tls

[x86] Resurrect inlined fast tls

[runtime] Global debug option for using fallback tls

[amd64] Resurrect inlined fast tls

By default all platforms will call into native getters/setters whenever they need to get access tls value. On certain platforms we can try to be faster than this and avoid the call. We call this fast tls and each platform defines its own way to achieve this. Fast tls should normally be inlined, otherwise there is little point to doing anything else in the first place (on linux, __thread access is 2-3 instructions, on mac pthread_getspecific is 2 instructions, other platforms also having decent implementations).  For this, a platform has to define MONO_ARCH_HAVE_FAST_TLS, and provide alternative getters/setters for a MonoTlsKey. In order to have fast getter/setters, the platform has to declare a way to fetch an internal offset (MONO_THREAD_VAR_OFFSET) which is stored in the tls module, and in the arch specific file probe the system to see if we can use the offset initialized here. If these run-time checks don't succeed we just use the fallbacks.

In case we would wish to provide fast inlined tls for aot code, we would need to be sure that, at run-time, these two platform checks would never fail otherwise the tls getter/setters that we emitted would not work. Normally, there is little incentive to support this since tls access is most common in wrappers and managed allocators, both of which are not aot-ed by default. So far, we never supported inlined fast tls on full-aot systems.

[runtime] Refactor and unify tls access

The purpose of this commit is to unify tls access across all platforms. We had tls information spread out throughout the entire code which was guarded with many defines/capabilities which made very hard to follow what was going on. Also this made switching between pthread and __thread very unstable since there were a lot of dependencies between different pieces of the tls infrastructure. Also it was not very clear what happens if one of the tls pieces failed.

Now we are moving all the tls variables to a single module that provides getters/setters and initialization API. Runtime code now knows that we can always access a tls variable (from managed code, we just do a nowrapper icall into the same global geters/setters). Even though we used to these type of calls all around before, it is worth mentioning that runtime should account for a thread to be in this type of unregistered code without m2n wrapper and no register jinfo.

On average this makes common tls intensive methods (m2n wrappers and managed allocator) 20% slower, with potential for more regression if we use tls getters/setters recklessly. As a consequence we will re-enable the most important pieces of fast tls code in the future.

[exception] do not wrap SIGILL into a managed exception

there is not much point in trying to recover from it and even worse,
wrapping it into a managed exception might hide it if the application is
sloppy with exception handling (cf. Pokémon Exception Handling).

[exception] rename mono_handle_native_sigsegv -> mono_handle_native_crash

[exception] pass signal as string already to mono_handle_native_sigsegv

Merge pull request #4139 from lambdageek/bug-49686

[sre] Implement DynamicMethod.GetCustomAttributes() and IsDefined() (Fixes #49686)

Merge pull request #4110 from BrzVlad/fix-sgen-win32

[sgen] Fix sgen win32

[jit] Add a workaround to avoid a crash in mini_above_abort_threshold () when using bitcode.

[process] Remove useless FIXME

[arm64] Save the fp regs in MONO_CONTEXT_GET_CURRENT (). (#4121)

[threadpool] Assert that we do not overflow ThreadPoolCounter starting and working fields (#4138)

[threadpool] Fix `MonoTests.runtime.unload-appdomain-on-shutdown.exe` (#4135)

* [threadpool] Increase and decrease refcount when removing domain

* [threadpool] Fix unload-appdomain-on-shutdown.exe

If the threadpool is not initialized, there is no need to initialize it, as no worker is going to start in the domain because mono_domain_is_unloading would return TRUE.

[sre] Implement DynamicMethod.GetCustomAttributes() and IsDefined ()

Per .NET documentation, DynamicMethod does not support custom attributes
exception the MethodImplAttribute pseudo-custom attribute.

Also change GetMethodImplementationFlags to include NoInlining as on .NET

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=49686

[test] Test for System.Linq.Expressions.MethodCallExpression with a DynamicMethod

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=49686

Revert "[ci] Move mcs switch for Win32 builds into the run-jenkins.sh script"

This reverts commit 2b8d9bdb0850d98ed65f025a4cdcb4ca3f1eaa19.

[sgen] Don't suspend thread in wow64 transition

The stack pointer provided by GetThreadContext is not reliable.

[test] Test for System.Reflection.Emit.DynamicMethod.GetCustomAttributes

[sgen] binary protocol on windows

[runtime] Fix prototype of functions

These functions are cast and invoked as a MonoThreadStart (which requires to receive on arg, return one arg and be WINAPI on windwos), which could lead to cconv problems if the prototype is not matching.

Fix a warning.

[amd64] Return from the altstack before handling native sigsegvs. This will make backtrace () actually work.

[jit] Pass '-nx' to gdb when printing native backtraces so it doesn't read .gdbinit, thus making it more deterministic.

Remove the debian-snapshot submodule

Jo said it's no longer used. We're using the following repos now:

https://github.com/mono/linux-packaging-mono
https://github.com/mono/linux-packaging-mono-snapshot

[msvc] Update csproj files (#4136)

Revert "Fix a warning."

This reverts commit b498facf7cebade5762d79f28cd102a5ed120bc5.

Fix a warning.

[threads] Destroy thread->suspended before removing the GC root to thread (#4133)

[build] Print CSC when compiling with roslyn

Reduces confusion about why the log contains lines starting with MCS
even when using roslyn.

[xbuild] publicsign and delaysign cannot be used at same time

[xbuild] Add a workaround for not yet implemented full /keyfile signing using csc

[unwind] reduce frame size of mono_unwind_frame ()

on arm32 it goes down from 5120 bytes to 676 bytes in terms of frame
size.

[Microsoft.CSharp] Tweaks 76f97e30731d6c98f21771b516b78399185c1c51 to not call new API from Microsoft.CSharp. Fixes #47353

This is a workaround for runtime assembly loading bug always preferring local assembly

[xbuild] Convert pbdonly to portable debug mode

[System] Always use mcs as CodeDOM backend compiler

[build] Add System.ValueTuple to bootstrap facades

Don't remove the roslyn binaries in "make dist" for now

Should help fix the package builds on Jenkins.

Add unimplemented Transaction.PromoteAndEnlistDurable (#4129)

Which was added to .NET 4.5.2.

[simd] Add intrinsics support for Vector<T>.CopyTo ().

[msvc] Update csproj files (#4128)

[Facades] Add System.ValueTuple facade (#4125)

[arm64] Handle fp regs in mono_sigctx_to_monoctx () on linux, recent gcc versions generate code which store object references in them, so sgen now requires this. (#4127)

[threadpool] Split domain and worker management (#4117)

* [threadpool] Remove `-ms` suffix

* [threadpool] Split domain and worker management

This will allow us to use native threadpool more easily: we will simply have to implement a threadpool worker with the specific API.

On windows, we will use the Win32 Threadpool, and on OSX we will explore using GCD (Grand Central Dispatch).

[threads] Inline thread_cleanup into mono_thread_detach_internal (#4119)

Expose mono_build_root to mcs build system

In an out-of-tree build the Makefile which contains get-monolite-latest
doesn't exist in the source directory (which $(topdir)/.. would point to)
but in the build directory.

In order to invoke get-monolite-latest we need to actually call the Makefile
in the correct directory which requires exposing the build directory to the
mcs build system.

[configure] fix out-of-tree-build with roslyn

[runtime] Add write barriers for FindFirstFile/FindNextFile icalls (#4114)

We were seeing crashes like [1] or [2] after https://github.com/mono/mono/pull/4042 was merged.
While debugging the issue I found out that when instead of using `out data.cFileName` for passing
the string through the the icall I use a temporary field and assign the result to `data` later on
the crash went away. It also worked if I made the `WIN32_FIND_DATA` class a struct instead.

I talked to @ludovic-henry and he was able to figure out what was going on (many thanks!):

> It seems to be a missing wbarrier
> and that would also explains why it would work with a struct, but not with a class
> so it would work with a struct, because `out data.filename` would be a `MonoString**` to the thread stack,
> and that would work because we would always scan the thread stack
> and it wouldn’t work with a class, because `out data.filename` would be a `MonoString**` to the heap
>
> and because we have a generational GC, if `data` is in the “old” heap (and because we are missing this write barrier),
> we would never scan `data`, thus freeing the `data.filename` string object, and as soon as you are trying to access it,
> well you access garbage
>
> with the write barrier, we will make sure to scan the `data` object, and not loose the reference to `data.filename`

[1] https://jenkins.mono-project.com/job/test-mono-mainline/label=osx-amd64/5422/parsed_console/log_content.html#WARNING1
[2] https://jenkins.mono-project.com/job/test-mono-mainline/label=osx-amd64/5419/parsed_console/log_content.html#WARNING1
[3] https://github.com/mono/mono/blob/dd88ff52e2f130ee188661a34794aa7c7b564fa8/mcs/class/referencesource/mscorlib/system/io/filesystemenumerable.cs#L280

[System] Add new test

[MacSDK] Include 'opt' as a PATH-available binary

[runtime] Use MonoBoolean instead of gboolean in monitor icalls. Add new internal variants for the ones which are exported. (#4109)

[jenkins] Rename runtime presets to match CI tags

[ci] Simplify run-jenkins.sh script variables (#4111)

Get rid of WORKSPACE which is set by Jenkins, this allows one to
more easily run the run-jenkins.sh script locally e.g. on cygwin.

The only thing that needs to be passed in is CI_TAGS and label.

[ci] Run aot-test on more platforms (#4108)

* [ci] Run aot-test on more platforms

Now that https://github.com/mono/mono/pull/4096 is merged, we should be able to run it on Linux too.

* [ci] Don't run aot-test on Windows

It's broken there.

[jenkins] Add `bitcode` CI tag and rename `bitcode_aot_only` runtime preset to `bitcode`

[jenkins] Add `aot_llvm` and `aot` CI tag as well as `aot` runtime preset

[jenkins] Add fullaot_llvm CI tag and rename aot_only to fullaot

[jenkins] Fix order of CI tags

[jenkins] Add hybridaot_llvm CI tag and rename aot_preferred to hybrid