Merge pull request #2983 from akoeplinger/fix-bug40462

[corlib] Ignore DirectoryNotFoundException in FileStreamTest.OpenCharDeviceRepeatedly test

[corlib] Ignore DirectoryNotFoundException in FileStreamTest.OpenCharDeviceRepeatedly test

It seems that older iOS6 devices don't allow access to /dev, as a DirectoryNotFoundException is
thrown when accessing /dev/zero in the FileStreamTest.OpenCharDeviceRepeatedly test there.

Ignore this exception and the test in those cases.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=40462

Merge pull request #2981 from rolfbjarne/fix-rebuild-offsets-tool

[offsets-tool] Only create the .stamp-clone file if the clone succeeds.

[offsets-tool] Only create the .stamp-clone file if the clone succeeds.

This makes rebuilds work if the clone was cancelled.

[System]: Lazy-init X509ChainPolicy.ExtraStore when called from SystemCertificateValidator.  Fixes #40899.

AppleTLS supports a lazily-initialized X509Certificate, but not X509Certificate2 so
we need to fall-back to using Mono.Security.X509 whenever we need an X509Certificate2.
To avoid unnecessary fallbacks, the private Mono.Net.Security APIs use X509Certificate
instead of X509Certificate2.

Since 'ExtraStore' returns X509Certificate2Collection, we need to convert these to
X509Certificate2.

(cherry picked from commit 05e2372339b8d0b6065376096216b91098c88a8b)

Merge pull request #2978 from ludovic-henry/coop-fix-reset-blocking

[threads] Fix reset blocking state transition

Merge pull request #2933 from ludovic-henry/referencesource-monitor

[corlib] Import System.Threading.Monitor

[mcs] More tweaks to undefined tie-breaking rules. Fixes #40945

[llvmonly] Avoid sharing refs and intptrs in gsharedvt wrappers, it doesn't work yet.

[llvmonly] Disable linkonce methods, they don't work yet.

[runtime] Check for a null argument in mono_monitor_enter_v4_fast () before calling mono_monitor_try_enter_internal (), the latter would set a pending exception, but the JITted code calling enter_v4_fast () doesn't check for it.

[jit] Set the real_offset of inlined bblocks to the il offset where the method was inlined, so get_most_deep_clause () in llvm works correctly with inlined methods.

[llvmonly] Transform the error returned by init_method () into an exception and throw it, it can be an exception thrown by a cctor.

[threads] Fix reset blocking state transition

There would previously be a race between reset blocking and a STW, that would happen as follow:
 - T1 goes into blocking - T1 state is BLOCKING(0)
 - T2 suspends T1  - T1 state is BLOCKING(1)
 - T1 does a reset blocking -> T1 state is SELF SUSPEND REQUESTED
 - T2 calls `mono_thread_info_get_suspend_state` on T1 --- SIGABRT as we cannot get suspend state when state is SELF SUSPEND REQUESTED
 - T1 does polling -> T1 state is SELF SUSPENDED

The fix is for reset blocking to work like done blocking: switch to BLOCKING AND SUSPENDED.

Use available memory instead of physical memory as metric for allocation-heavy tests

We were seeing issues on the new Jenkins Azure boxes which had 7GB of physical memory but only about 1GB free at the time of the test, so it'd fail.
Checking the available memory should fix this.

Merge pull request #2967 from lambdageek/dev/coop-threadpool-exceptions5

[runtime] Pending exception takes precedence over Thread.Abort ()

Merge pull request #2954 from lambdageek/dev/monoerror-field_static_get_value

MonoError for mono_field_static_get_value

[runtime] Pending exception takes precedence over Thread.Abort ()

If there's a pending exception and an AbortRequested, the pending
excpetion should be thrown.

This fixes threadpool-exceptions5.cs in coop mode.

There are two situations where this could happen.

1. Like threadpool-exception5.cs we have a threadpool worker thread
  request an abort and then its async callback runs and throws an
  exception.  In this case apparently the async callback's exception
  should be allowed to unwind and hit the unhandled exception handler.

2. A thread catches ThreadAbortException and then posts a pending
  exception of some other excpetion from the catch clause.  In this case
  we unwind that other exception, and when it's caught we rethrow the
  abort.

[System] Cleanup uri tests

[runtime] MonoError-ize mono_field_static_get_value

Mark it external only.  Runtime should use mono_field_static_get_value_checked.

[runtime] MonoError-ize mono_field_static_get_value_for_thread

[runtime] MonoError-ize get_default_field_value

[runtime] MonoError-ize mono_get_constant_value_from_blob

[arm] Enable native types for Xamarin.WatchOS.dll too. Enable Unwind_Backtrace support on watchos.

[llvm] Enable OP_LADD_OVF opcodes on 32 bit platforms too. Avoid optimizing long shift opcodes when using llvm. Enable support for hardfp calling conventions on arm.

[arm] Use the hardfp abi on watchos.

[ppdb] Avoid using pdb files for assemblies which are not compiled by csc using /debug:portable. Fixes #40886.

[llvm] Add support for OP_GC_SAFE_POINT.

[arm] Align the stack correctly in the gsharedvt trampoline on platforms with frame alignment greater than 8 (watchos).

[arm] Define MONO_ARCH_DISABLE_HW_TRAPS on watchos.

[System]: Fix certificate validation with empty hostname.

When the system certificate validator is invoked with an empty hostname
(caller does not want us to validate the hostname), then we need to pass
null to SecPolicyCreateSSL() and not the empty string.

(cherry picked from commit f29804d149bed8032dabd862c9823bf5e74b0db4)

[System]: Add comment to the obsoletion of Mono-specific ServicePointManager APIs.

(cherry picked from commit 1b4921b57321cbb353951e23c9841d7c7b6ce3b7)

[System]: Obsolete the Mono-specific cipher suite callbacks in ServicePointManager.

(cherry picked from commit fa75386bb88de96d58487673885b969c9d784f30)

[corlib]: Cleanup X509Helper.Import().

Only attempt the automatic PEM->DER conversion when no password was given
and make this version of X509Helper.Import() also take care of the fallback.

(cherry picked from commit 63a214c3f02c6ac28d19a8ca95f7f39c1e31a072)

Merge pull request #2968 from lambdageek/dev/coop-unify-jit_thread_attach

[runtime] Unify codepath in mono_jit_thread_attach

[runtime] Unify codepath in mono_jit_thread_attach

Previously we had separate codepaths in mono_jit_thread_attach for coop
and non-coop modes.

Now there's a common codepath for attaching the thread, and separate
code paths for performing coop state machine transitions and computing
the return value cookie.

Fixes Mono.Debugger.Soft tests under coop.

Merge pull request #2963 from ludovic-henry/fix-unified-suspend

[threads] Fix some unified suspend bugs

[sgen] Fix possible race condition between world stop and restart

[sgen] Do not skip starting and detaching thread during suspend

By skipping thread which have a NULL domain or lmf, we would also skip threads which are in RUNNING mode, but which are still attaching to the runtime. They could have in practice called `mono_thread_info_attach`, without having executed any managed code or set a domain yet. Because we would simply discard the suspending for these threads, we could potentially not suspend them, meaning they would keep running, even potentially run some managed code, while the GC is still running.

To fix that, we need to slightly modify the expectation of sgen STW when using unified suspend. The non-unified expectation of sgen STW would be that even if a thread has a non-initialized domain or lmf, it should still be suspended, but not scanned. The unified expectation of sgen STW would be that if a thread has a non-initialized domain or lmf, then the thread shouldn't be suspended. That second behaviour works well if we only consider that the domain or lmf could be non-initialized when the thread is detaching, but that consideration is just wrong. The main example is the beginning of `start_wrapper_internal` (in threads.c:637), where we have non-initialized domain and lmf, but where the thread is in RUNNING state, and about to access some managed memory.

[threads] Correct comment

[sgen] Improve STW debugging output

[threads] Make debugging output consistent

Other THREAD_SUSPEND_DEBUG would print the native thread TID, instead of the MonoThreadInfo*

[threads] Increase state machine verbosity when crashing

[threads] Fix segfault

[suspend] Don't try to suspend an already suspended thread

[threads] Fix compilation warning

[sgen] Add some assertion for stack start and end

[tests] Add sgen-new-threads-dont-join-stw-2

[threads] Be more verbose in the case of an error

[runtime] Use utils mono_thread_info_yield

Merge pull request #2948 from ludovic-henry/coop-n2m-eh-callback

[marshal] Add EH callback for native-to-managed wrapper

Merge pull request #2965 from lambdageek/dev/checked-pinvoke3

[coop] Allow BLOCKING->DETACHED transition

Fix the cross compiler build.

Merge pull request #2964 from ludovic-henry/sgen-monocontext

[MonoContext] Migrate remaining architectures + [sgen] Kill USE_MONO_CTX and ARCH_NUM_REGS

Merge pull request #2966 from marek-safar/oid

[System] Oid from referencesource

[corlib]: Try to convert the certificate from PEM to DER in X509Helper.Import().

Merge pull request #2928 from alexrp/master

[profiler] Fix profiler compilation under bitcode.

[System] Oid from referencesource. Fixes #40646 and other incompabilities

[corlib] Import System.Threading.Monitor

Merge pull request #2955 from ludovic-henry/mono_msec_ticks-overflow

[runtime] Fix potential overflow when using mono_msec_ticks

[coop] Allow BLOCKING->DETACHED transition.

On coop, an OS thread can go
STARTING->BLOCKING->RUNNING->BLOCKING->DETACHED.

For ordinary managed threads BLOCKING->DETACHED is still a bug like
before, but hopefully the checked build machinery will help us to catch
those situations.

[checked] Use correct reset blocking cookie when attaching OS threads

When checked build is running with GC checking, it uses a non-zero
integer cookie instead of the thread info pointer.

This fixes pinvoke3.cs test_43_thread_attach() in checked coop builds.

[marshal] Add EH callback for native-to-managed wrapper

This is going to be used by Xamarin.iOS to convert a managed exception to an Obj-C exception. We need this as if we don't do that, the managed exception mechanism will unwind native stack, which can lead to undefined behavior. By converting to an Obj-C exception, we let the native exception mechanism do what it's supposed to do.

[marhsal] Always generate try { ... } finally { ... } in native-to-managed wrapper

[corlib] Update locale tables. Fixes #40697

Merge pull request #2962 from marek-safar/referencesource-submodule-move

Submodule referencesource removal

[aot] Emit EmptyArray<enum>:.cctor () instances since mcs now generates accesses to EmptyArray<enum>.Value for new enum[0] expressions.

[sgen] Kill USE_MONO_CTX and ARCH_NUM_REGS

[MonoContext] Make cross compiler a specific case

[sgen] Make Sparc use MonoContext

[sgen] Make PowerPC use MonoContext

[runtime] Fix potential overflow when using mono_msec_ticks

Because mono_msec_ticks would previously return the number of milliseconds since boot time, it would overflow after ~49 days. That would mean that anywhere you would use it, you would need to be careful of arithmetic overflow.

By simply returning a gint64 we will not overflow before ~30k years.

Fixes bug https://bugzilla.xamarin.com/show_bug.cgi?id=38666

Remove referencesource submodule and move sources to mcs/class/referencesource

This simplified PR workflow and makes branching easier

Update after merge conflicts

Unify error handling added in fdebd8a4d709002bb499555c35e1dfd3834e2f4f

Raise an UnauthorizedAccessException on FileInfo.Delete with a directory

When FileInfo was imported in https://github.com/mono/mono/commit/bdd0de7ee52d9675dada0d19985b9daf4edab5bc the check in Delete()
got removed that raised an UnauthorizedAccessException when the FileInfo object holds a path to a directory instead of a file.

It happened to pass the MonoTests.System.IO.FileInfoTest.Delete_Directory test on OSX because unlink returns EPERM there
which got turned into the expected UnauthorizedAccessException, but on Linux it returns EISDIR so the test would fail.

Fix is to put the explicit check for directory back.

Mono friendly FileInfo

Mono friendly FileSystemInfo

Fix WaitHandle.Wait{One,Any,All} when runtime returns WAIT_FAILED

In case the runtime would fail to wait on the wait handle(s), we would still return true, as if the WaitHandle was successfully signaled.

Remove MONO_X509_ALIAS

Re-apply compatibility fix from 42504b8af5a0bf7f012e6c40668659ca45fd4e22, it was eaten up by the .NET 4.6 merge. Fixes #38712

Fix HasExited for non-child process

NativeMethods.GetExitCodeProcess would inherently be broken on Unix platforms for non-child processes as it can't succesfully get the exit code. This would in turn break Process.HasExited, which should not break, as it is possible to check if a non-child process is alive or dead.

Adapt System.Exception to be usable by Mono

SymbolType in reflection only profiles

Mono friendly SymbolType

Better error message for missing codeset assembly

Fixes hardcoded Windows path in Serialization compiler

More DISABLE_CAS_USE tweaks

Add CSC_SDK_PATH_DISABLED workaround

Mono friendly RuntimeEnvironment

Add feature option to build without System.Runtime.Serialization

Replace string resource key names with local constants

Import System.Threading.WaitHandle

Remove Marshal.GetHRForLastWin32Error call from Diagnostics.Process

GetHRForLastWin32Error breaks the build on AOT, and even on non-AOT is unimplemented.

Revert "[mscorlib] Undo part 3d0e1b71993dd236db78290852a62e9ed3218216 of which breaks build"

This reverts commit 0cb499950a7ae61c62c433c8cce353d535dbd09e.

Undo part 3d0e1b71993dd236db78290852a62e9ed3218216 of which breaks build

Mono friendly MethodInfo

Import System.Diagnostics.Process

Disable AppContextDefaults

fixing display of asmx help page (#37137)

if MONO_BROKEN_CONFIGURATION_DLL is defined, make sure that actualPath always gets set