Merge pull request #2971 from BrzVlad/feature-cross-binprot

[sgen] Cross platform binary protocol grep

Merge pull request #2986 from akoeplinger/fix-mono310-bootstrapping

[System] Rename variable to fix bootstrapping with Mono 3.10 mcs

[corlib] Put back instance creation using activation attributes. Fixes #40758

Merge pull request #2982 from ludovic-henry/fix-cross-monocontext

Revert "[MonoContext] Make cross compiler a specific case"

Merge pull request #2985 from akoeplinger/fix-bug39305

[corlib] Make CountdownEventTests.Signal_Concurrent more reliable

[arm] Implement hardfp support in gsharedvt. Store the caller/callee CallInfo into GSharedVtCallInfo and iterate over it instead of extending the slot based code for simplicity.

[System] Rename variable to fix bootstrapping with Mono 3.10 mcs

We were seeing compilation errors like this:

```
System.Security.Cryptography.X509Certificates/X509EnhancedKeyUsageExtension.cs(71,20): error CS0135: `oid' conflicts with a declaration in a child block
System.Security.Cryptography.X509Certificates/X509EnhancedKeyUsageExtension.cs(74,17): (Location of the symbol related to previous error)
Compilation failed: 1 error(s), 38 warnings
make[9]: *** [../../class/lib/basic/secxml/System.dll] Error 1
```

The new foreach variables introduced in 4a6e5d24e174b9d2860300503b4a79396d7ae96d with the same "oid" name as the global constant apparently confused the older mcs compiler.

Rename them to avoid this.

[corlib] Make CountdownEventTests.Signal_Concurrent more reliable

We were seeing random failures of the test in the iOS simulator and devices.

Looking at the test, it seems to me like the 1000ms timeout is just too short. In a single iteration we're
enqueuing 500 threadpool workitems and effectively give each of them just 2ms to run and signal the CountdownEvent.

Indeed I can easily repro this in the simulator on my box if I lower the timeout to 900ms.
This may be a side effect of the new threadpool which starts threads more conservatively afaik.

Bumping the timeout should fix this.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39305

Merge pull request #2973 from marek-safar/rs-Uri

[System] Uri handling from reference source

[System] Uri handling from reference source

Fixes many issues in our uri handling

[arm] Remove the unfinished nacl codegen code.

[arm] Implement hardfp support for dyncalls.

[arm] Fix float32 + hardfp support.

Merge pull request #2983 from akoeplinger/fix-bug40462

[corlib] Ignore DirectoryNotFoundException in FileStreamTest.OpenCharDeviceRepeatedly test

[MonoContext] Fix sgen STW cross compilation

[corlib] Ignore DirectoryNotFoundException in FileStreamTest.OpenCharDeviceRepeatedly test

It seems that older iOS6 devices don't allow access to /dev, as a DirectoryNotFoundException is
thrown when accessing /dev/zero in the FileStreamTest.OpenCharDeviceRepeatedly test there.

Ignore this exception and the test in those cases.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=40462

Revert "[MonoContext] Make cross compiler a specific case"

This reverts commit 09ae5b01c1fabcf3ca39a918d92fdd25457f0b12.

This would break the XA and XI builds

Merge pull request #2981 from rolfbjarne/fix-rebuild-offsets-tool

[offsets-tool] Only create the .stamp-clone file if the clone succeeds.

[offsets-tool] Only create the .stamp-clone file if the clone succeeds.

This makes rebuilds work if the clone was cancelled.

[System]: Lazy-init X509ChainPolicy.ExtraStore when called from SystemCertificateValidator.  Fixes #40899.

AppleTLS supports a lazily-initialized X509Certificate, but not X509Certificate2 so
we need to fall-back to using Mono.Security.X509 whenever we need an X509Certificate2.
To avoid unnecessary fallbacks, the private Mono.Net.Security APIs use X509Certificate
instead of X509Certificate2.

Since 'ExtraStore' returns X509Certificate2Collection, we need to convert these to
X509Certificate2.

(cherry picked from commit 05e2372339b8d0b6065376096216b91098c88a8b)

Merge pull request #2978 from ludovic-henry/coop-fix-reset-blocking

[threads] Fix reset blocking state transition

Merge pull request #2933 from ludovic-henry/referencesource-monitor

[corlib] Import System.Threading.Monitor

[mcs] More tweaks to undefined tie-breaking rules. Fixes #40945

[llvmonly] Avoid sharing refs and intptrs in gsharedvt wrappers, it doesn't work yet.

[llvmonly] Disable linkonce methods, they don't work yet.

[runtime] Check for a null argument in mono_monitor_enter_v4_fast () before calling mono_monitor_try_enter_internal (), the latter would set a pending exception, but the JITted code calling enter_v4_fast () doesn't check for it.

[jit] Set the real_offset of inlined bblocks to the il offset where the method was inlined, so get_most_deep_clause () in llvm works correctly with inlined methods.

[llvmonly] Transform the error returned by init_method () into an exception and throw it, it can be an exception thrown by a cctor.

[sgen] Support binary protocol cross platform grep-ing across platforms with unequal word sizes

[sgen] Pack structs for binary protocol entries

We save space and support cross platform grep-ing across platforms with the same word size.

[sgen] Split protocol entry grep from argument parsing

[sgen] Extract entry stream code into new file

[sgen] Use types with explicit size for protocol entries, on the reader end

[threads] Fix reset blocking state transition

There would previously be a race between reset blocking and a STW, that would happen as follow:
 - T1 goes into blocking - T1 state is BLOCKING(0)
 - T2 suspends T1  - T1 state is BLOCKING(1)
 - T1 does a reset blocking -> T1 state is SELF SUSPEND REQUESTED
 - T2 calls `mono_thread_info_get_suspend_state` on T1 --- SIGABRT as we cannot get suspend state when state is SELF SUSPEND REQUESTED
 - T1 does polling -> T1 state is SELF SUSPENDED

The fix is for reset blocking to work like done blocking: switch to BLOCKING AND SUSPENDED.

Use available memory instead of physical memory as metric for allocation-heavy tests

We were seeing issues on the new Jenkins Azure boxes which had 7GB of physical memory but only about 1GB free at the time of the test, so it'd fail.
Checking the available memory should fix this.

Merge pull request #2967 from lambdageek/dev/coop-threadpool-exceptions5

[runtime] Pending exception takes precedence over Thread.Abort ()

Merge pull request #2954 from lambdageek/dev/monoerror-field_static_get_value

MonoError for mono_field_static_get_value

[runtime] Pending exception takes precedence over Thread.Abort ()

If there's a pending exception and an AbortRequested, the pending
excpetion should be thrown.

This fixes threadpool-exceptions5.cs in coop mode.

There are two situations where this could happen.

1. Like threadpool-exception5.cs we have a threadpool worker thread
  request an abort and then its async callback runs and throws an
  exception.  In this case apparently the async callback's exception
  should be allowed to unwind and hit the unhandled exception handler.

2. A thread catches ThreadAbortException and then posts a pending
  exception of some other excpetion from the catch clause.  In this case
  we unwind that other exception, and when it's caught we rethrow the
  abort.

[System] Cleanup uri tests

[runtime] MonoError-ize mono_field_static_get_value

Mark it external only.  Runtime should use mono_field_static_get_value_checked.

[runtime] MonoError-ize mono_field_static_get_value_for_thread

[runtime] MonoError-ize get_default_field_value

[runtime] MonoError-ize mono_get_constant_value_from_blob

[arm] Enable native types for Xamarin.WatchOS.dll too. Enable Unwind_Backtrace support on watchos.

[llvm] Enable OP_LADD_OVF opcodes on 32 bit platforms too. Avoid optimizing long shift opcodes when using llvm. Enable support for hardfp calling conventions on arm.

[arm] Use the hardfp abi on watchos.

[ppdb] Avoid using pdb files for assemblies which are not compiled by csc using /debug:portable. Fixes #40886.

[llvm] Add support for OP_GC_SAFE_POINT.

[arm] Align the stack correctly in the gsharedvt trampoline on platforms with frame alignment greater than 8 (watchos).

[arm] Define MONO_ARCH_DISABLE_HW_TRAPS on watchos.

[System]: Fix certificate validation with empty hostname.

When the system certificate validator is invoked with an empty hostname
(caller does not want us to validate the hostname), then we need to pass
null to SecPolicyCreateSSL() and not the empty string.

(cherry picked from commit f29804d149bed8032dabd862c9823bf5e74b0db4)

[System]: Add comment to the obsoletion of Mono-specific ServicePointManager APIs.

(cherry picked from commit 1b4921b57321cbb353951e23c9841d7c7b6ce3b7)

[System]: Obsolete the Mono-specific cipher suite callbacks in ServicePointManager.

(cherry picked from commit fa75386bb88de96d58487673885b969c9d784f30)

[corlib]: Cleanup X509Helper.Import().

Only attempt the automatic PEM->DER conversion when no password was given
and make this version of X509Helper.Import() also take care of the fallback.

(cherry picked from commit 63a214c3f02c6ac28d19a8ca95f7f39c1e31a072)

Merge pull request #2968 from lambdageek/dev/coop-unify-jit_thread_attach

[runtime] Unify codepath in mono_jit_thread_attach

[runtime] Unify codepath in mono_jit_thread_attach

Previously we had separate codepaths in mono_jit_thread_attach for coop
and non-coop modes.

Now there's a common codepath for attaching the thread, and separate
code paths for performing coop state machine transitions and computing
the return value cookie.

Fixes Mono.Debugger.Soft tests under coop.

Merge pull request #2963 from ludovic-henry/fix-unified-suspend

[threads] Fix some unified suspend bugs

[sgen] Fix possible race condition between world stop and restart

[sgen] Do not skip starting and detaching thread during suspend

By skipping thread which have a NULL domain or lmf, we would also skip threads which are in RUNNING mode, but which are still attaching to the runtime. They could have in practice called `mono_thread_info_attach`, without having executed any managed code or set a domain yet. Because we would simply discard the suspending for these threads, we could potentially not suspend them, meaning they would keep running, even potentially run some managed code, while the GC is still running.

To fix that, we need to slightly modify the expectation of sgen STW when using unified suspend. The non-unified expectation of sgen STW would be that even if a thread has a non-initialized domain or lmf, it should still be suspended, but not scanned. The unified expectation of sgen STW would be that if a thread has a non-initialized domain or lmf, then the thread shouldn't be suspended. That second behaviour works well if we only consider that the domain or lmf could be non-initialized when the thread is detaching, but that consideration is just wrong. The main example is the beginning of `start_wrapper_internal` (in threads.c:637), where we have non-initialized domain and lmf, but where the thread is in RUNNING state, and about to access some managed memory.

[threads] Correct comment

[sgen] Improve STW debugging output

[threads] Make debugging output consistent

Other THREAD_SUSPEND_DEBUG would print the native thread TID, instead of the MonoThreadInfo*

[threads] Increase state machine verbosity when crashing

[threads] Fix segfault

[suspend] Don't try to suspend an already suspended thread

[threads] Fix compilation warning

[sgen] Add some assertion for stack start and end

[tests] Add sgen-new-threads-dont-join-stw-2

[threads] Be more verbose in the case of an error

[runtime] Use utils mono_thread_info_yield

[sgen] Remove old unused defines

Merge pull request #2948 from ludovic-henry/coop-n2m-eh-callback

[marshal] Add EH callback for native-to-managed wrapper

Merge pull request #2965 from lambdageek/dev/checked-pinvoke3

[coop] Allow BLOCKING->DETACHED transition

Fix the cross compiler build.

Merge pull request #2964 from ludovic-henry/sgen-monocontext

[MonoContext] Migrate remaining architectures + [sgen] Kill USE_MONO_CTX and ARCH_NUM_REGS

Merge pull request #2966 from marek-safar/oid

[System] Oid from referencesource

[corlib]: Try to convert the certificate from PEM to DER in X509Helper.Import().

Merge pull request #2928 from alexrp/master

[profiler] Fix profiler compilation under bitcode.

[System] Oid from referencesource. Fixes #40646 and other incompabilities

[corlib] Import System.Threading.Monitor

Merge pull request #2955 from ludovic-henry/mono_msec_ticks-overflow

[runtime] Fix potential overflow when using mono_msec_ticks

[coop] Allow BLOCKING->DETACHED transition.

On coop, an OS thread can go
STARTING->BLOCKING->RUNNING->BLOCKING->DETACHED.

For ordinary managed threads BLOCKING->DETACHED is still a bug like
before, but hopefully the checked build machinery will help us to catch
those situations.

[checked] Use correct reset blocking cookie when attaching OS threads

When checked build is running with GC checking, it uses a non-zero
integer cookie instead of the thread info pointer.

This fixes pinvoke3.cs test_43_thread_attach() in checked coop builds.

[marshal] Add EH callback for native-to-managed wrapper

This is going to be used by Xamarin.iOS to convert a managed exception to an Obj-C exception. We need this as if we don't do that, the managed exception mechanism will unwind native stack, which can lead to undefined behavior. By converting to an Obj-C exception, we let the native exception mechanism do what it's supposed to do.

[marhsal] Always generate try { ... } finally { ... } in native-to-managed wrapper

[corlib] Update locale tables. Fixes #40697

Merge pull request #2962 from marek-safar/referencesource-submodule-move

Submodule referencesource removal

[aot] Emit EmptyArray<enum>:.cctor () instances since mcs now generates accesses to EmptyArray<enum>.Value for new enum[0] expressions.

[sgen] Kill USE_MONO_CTX and ARCH_NUM_REGS

[MonoContext] Make cross compiler a specific case

[sgen] Make Sparc use MonoContext

[sgen] Make PowerPC use MonoContext

[runtime] Fix potential overflow when using mono_msec_ticks

Because mono_msec_ticks would previously return the number of milliseconds since boot time, it would overflow after ~49 days. That would mean that anywhere you would use it, you would need to be careful of arithmetic overflow.

By simply returning a gint64 we will not overflow before ~30k years.

Fixes bug https://bugzilla.xamarin.com/show_bug.cgi?id=38666

Remove referencesource submodule and move sources to mcs/class/referencesource

This simplified PR workflow and makes branching easier

Update after merge conflicts

Unify error handling added in fdebd8a4d709002bb499555c35e1dfd3834e2f4f

Raise an UnauthorizedAccessException on FileInfo.Delete with a directory

When FileInfo was imported in https://github.com/mono/mono/commit/bdd0de7ee52d9675dada0d19985b9daf4edab5bc the check in Delete()
got removed that raised an UnauthorizedAccessException when the FileInfo object holds a path to a directory instead of a file.

It happened to pass the MonoTests.System.IO.FileInfoTest.Delete_Directory test on OSX because unlink returns EPERM there
which got turned into the expected UnauthorizedAccessException, but on Linux it returns EISDIR so the test would fail.

Fix is to put the explicit check for directory back.

Mono friendly FileInfo

Mono friendly FileSystemInfo

Fix WaitHandle.Wait{One,Any,All} when runtime returns WAIT_FAILED

In case the runtime would fail to wait on the wait handle(s), we would still return true, as if the WaitHandle was successfully signaled.