[sgen] Fix mod union consistency check

We don't need a mod union to mark an object with concurrent mark&sweep.

[sgen] Don't do remset consistency checks during majors

It doesn't make sense to check the remset during a major since majors dont use the cardtable and we clear it at the start. So we will obviously have missing remsets. For the debugging concurrent case, we should use the mod union consistency checks instead.

[sgen] Don't verify the heap after a major

We would need to deal with scanning forwarded objects and dead objects which is not worth it. Only verify the heap at the start of a collection, as indicated by the name of the flag.

[sgen] Fix missing remsets with verify before collections

When verifying the heap we need to have the set of pinned objects otherwise we can observe missing remsets if suspended between the store and the write barrier. If we don't have the set of pinned objects, allow missing remsets.

[sgen] Remove unused parameter

We never do nursery collections as part of the concurrent finishing pause

Merge pull request #3418 from BrzVlad/fix-arm64-finalizer-wait

[arm64] Fix atomics

[arm64] Add sequential memory constraint to swap, cas and add

Previously we were wrongly trying to achieve this by doing a load-acq followed by a store-rel. Assuming we have memory access on address A (before) and C (after) while the atomic operation happens on address B, the order of the instructions would look like this :

[A], [B]load, load-acq, store-rel, [B]store, [C]

In this case a reordering of memory accesses like the following is possible, which clearly breaks the desired constraints :

[B]load, load-acq, [C], [A], store-rel, [B]store

In order to provide the sequential memory constraint we could emit the barriers like this instead :

[A], membar, [B]load, [B]store, membar, [C]

We can additionally save an instruction and emit the barriers like this instead (this is also what gcc does) :

[A], [B]load, store-rel, [B]store, membar, [C]

In this case we only need to worry about the relation between memory accesses on A and the loading of B. We need to consider what happens if B is loaded before the access on A is fulfilled. This only matters if we load an older value for B (rather than the one visible by other threads) before A. In that case the erroneous store will fail due to using exclusive stores. At the retry the value read from B will be the right one.

[mcs] Fix wrong range check for pragma warning CSxxx. Fixes #43471

Merge pull request #3415 from ludovic-henry/net_2_1-to-mobile

[mcs] Replace NET_2_1 by MOBILE

[arm64] Add full memory sequencing to atomic loads when necessary

Loads with acquire semantics guarantee that following memory accesses are not reordered with the load. Add full membar before it to ensure full sequencing.

[arm64] Add full memory sequencing to atomic stores when necessary

Stores with release semantics guarantee that previous memory accesses are not reordered with the store. Add a full membar after it to ensure full sequencing.

Merge pull request #3412 from ntherning/fix-stack-alignment-issue-in-handler-block-trampoline-on-win64

Fixes stack alignment issue in handler_block_trampoline on Win64

[mcs] Remove dead code

[mcs] Replace NET_2_1 by MOBILE

NET_2_1 is also defined whenever we define MOBILE, so they have the same effect. Silverlight was 2.1 but it's been dead for a while now, and we do not even support it.

Fixes stack alignment issue in handler_block_trampoline on Win64

On Win64 Mono doesn't (yet) implement fast JIT TLS (mono_get_jit_tls_offset()
returns -1). This means that the code in
mono_arch_create_handler_block_trampoline() takes the code path in the "else"
which is the same code path taken when AOT compiling. The code generated in
this code path manipulates the stack pointer to ensure it's aligned properly
according to the ABI (RSP-8 is 16-byte aligned on function entry) for the AOT
case where the mono_handler_block_guard_trampoline() C function is called
directly from the handler_block_trampoline.

This patch unifies the JIT and AOT generated code to be as similar as possible
and gets rid of the fast path. There's no need for this code to be fast. The
handler_block_trampoline will after this patch call
mono_handler_block_guard_trampoline() directly, both in JIT and in AOT mode,
and then jump back to the saved return address itself rather than let the
MONO_TRAMPOLINE_HANDLER_BLOCK_GUARD generic trampoline do this.

The tests mono/tests/finally_block_ending_in_dead_bb.exe and
mono/tests/block_guard_restore_aligment_on_exit.exe trigger this bug.

Merge pull request #3401 from BrzVlad/fix-managed-alloc2

[sgen] Fix managed alloc

Merge pull request #3410 from lateralusX/jlorenss/vs2015-test-debug-projects

Visual Studio test/debug mono runtime utility projects.

[mkbundle] add support for distributing I18N encoding files and improved the man page

[aot] Fallback to slowpath managed alloc if we fail to create the normal one

The slowpath managed allocator doesn't require any tls support.

Fixes #42169.

[sgen] Unify tls access across with/without HAVE_KW_THREAD platforms

Simplify code by always accessing tlab information and inside_critial_region through the SgenThreadInfo pointer. This also fixes potential failure to detect that we are in a critical region within the managed allocator.

[aot] Don't aot methods that use tls on HAVE_KW_THREAD platforms

MONO_THREAD_VAR_OFFSET definitions don't work when loading mono as a dynamic library. This means that we need to be conservative and don't aot code that contains these tls chunks.

In the future, we should remove HAVE_KW_THREAD altogether and use only pthread since it simplifies the code alot.

[runtime] Fix unhandled exception fatal error message. Fixes #43410 (#3404)

Partially revert bcbd0ac0c018b0a68caa63ac1135052b2082f468

Bump binary-reference-assemblies

[bcl] Remove wrong ReferenceAssemblyAttribute(s)

Visual Studio test/debug mono runtime utility projects.

Added a couple of new/updated test/debug Visual Studio utility projects.
These projects can be used to quicker get up to speed when there is a need
to run/test/debug mono runtime tests inside Visual Studio debugger.

Added utility projects can be used to run mini regression tests using JIT as
well as compile/run full AOT:ed versions of mini regression tests or other assemblies.
The different .prop files are also organized so they can be reused when adding additional
run/test/debug projects going forward.

[System] Change WebRequest::BeginGetRequestStream driven IAsyncResult::CompletedSynchronously to match .net. Fixes #32374

[tests] Move constant-division.cs to the BASE_TEST_MOBILE_STATIC_NOT_SUPPORTED group

It relies on System.Reflection.Emit which means it doesn't work on mobile_static.

mono_os_cond_timedwait: fix function name in g_error string (#3407)

It should say gettimeofday, not pthread_cond_timedwait. (This appears to
be a copy-and-paste error.)

[ServiceModel] Don't throw in dummy InstanceContext constructor on mobile/xammac_4_5

Otherwise the NotImplementedException would prevent instantiating the class even though
we just use it as a dummy object on mobile.

[System] Report an error instead of success when proxy authentication is required. Fixes #19594

[linker] Update mscorlib.xml to include some Mono.RuntimeStructs

Followup to
https://github.com/mono/mono/commit/70d7f5e35059bdb64d3c6b7e42d7ad5120b476d6

Fix the full-aot build.

Merge pull request #3403 from ntherning/fix-handler-block-trampoline-crash-on-win64

Fixes illegal CALL emitted in handler_block_trampoline on Win64

[System] Put back handling of direct ip addresses to ServicePoint::HostEntry (removed in 932359f). Fixes #42864

[mcs] Avoid agressive generic members inflation from using static. Fixes #43400

Fixes illegal CALL emitted in handler_block_trampoline on Win64.

The code in mono_arch_create_handler_block_trampoline() in tramp-amd64.c emits
a relative CALL which calls the mono_amd64_handler_block_trampoline_helper()
functions via:

  amd64_call_code (code, mono_amd64_handler_block_trampoline_helper)

This macro however only works properly for offsets less than 32-bits. For
64-bit offsets it truncates the offset to a 32-bit number. On Win64 the offset
in this case is always a number larger than 2^32. The emitted CALL will jump
to an illegal address causing a crash.

This patch changes the emitted code sequence to load the address of
mono_amd64_handler_block_trampoline_helper() to RAX and then calls the address
in RAX.

The test mono/tests/finally_block_ending_in_dead_bb.exe triggered this bug.
After this patch the test still crashes but in a new way related to another
bug.

[linker] Bring various descriptors that were updated in iOS, but not on desktop Mono

[linker] Update descriptors for mscorlib to include the new _ThreadPoolWaitCallback

[runtime] Cleanup naming of SRE icalls. NFC. (#3402)

Name the icall functions ves_icall_<TypeName>_<MethodName>. Move the SRE icalls to reflection.c from icall.c.

[mcs] Don't reset temporary stack fields too early. Fixes #43265

[reflection] Don't crash when building dynamic custom attributes on dynamic types (Fixes #43291) (#3399)

* [corlib] Regression test for non-visible custom attributes.

See https://bugzilla.xamarin.com/show_bug.cgi?id=43291

* [reflection] Don't crash when building dynamic custom attributes on dynamic types (Fixes #43291)

1. Don't dereference a NULL custom attribute ctor, throw a type load
   exception.
2. When building MonoCustomAttrInfo from an array of
   MonoReflectinoCustomAttr*, compute the number of
   non-visible (non-public) attributes correctly, and make sure to
   iterate over all the attributes when populating the result array.

Fixes [#43291](https://bugzilla.xamarin.com/show_bug.cgi?id=43291)

* [reflection] Marginally better TLE for custom attrs

At least include a message about what went wrong when trying to
construct a custom attribute from a type that isn't finished yet.

[runtime] Fix warnings.

Fix the build.

Use the desktop version of MonoTlsProviderFactory.CreateDefaultProviderImpl()
in the 'mobile_static' profile.

Merge pull request #3396 from ntherning/fix-async-exc-compilation-on-windows

Fix the failure of the async-exc-compilation.exe test on Windows

Fix empty hostname in GetHostByName on windows (#3397)

[bcl] Fix netstandard mistake in WebHeaderCollection

I accidentally added this in 3c3ef17376f5b4e71ac024210672e2d0484f3419 because I missed that on
full .NET this class inherits from NameValueCollection which provides `this[string name]` already
(the diff tool showed it as missing because it didn't take this into account).

Merge pull request #3398 from henricm/fix-for-test-helpers-symlink

Removing symlink of TestHelpers.cs

Removing symlink of TestHelpers.cs

[jit] Add missing special case for div with mul optimization

The algorithm does not handle the -1, 0 and 1 special divisors.

Fix the failure of the async-exc-compilation.exe test on Windows.

The test fails due an ArgumentException being thrown when the catch handler in
the test's Run() method tries to write to the console. The ArgumentException
is thrown in EncodingTable.GetCodePageFromName(string) since the encoding name
passed to it is null. Normally this exception would be caught and the default
encoding would fall back to UTF8. However, since the thread is aborted the
ThreadAbortException will be rethrown and terminates the test with an uncaught
exception. I have verified that the same behavior is seen on OS X if I mock up
the default encoding code to throw the same ArgumentException.

This patch adds a call to Thread.ResetAbort() just before the call to
Console.WriteLine() in the catch handler. This removes the abort status of the
thread and avoids the rethrow of the ThreadAbortException.

Merge pull request #3394 from mono/netstandard

NetStandard 1.6 members matching

[bcl] Define NETSTANDARD in xammac profile as well

Merge pull request #2332 from BrzVlad/feature-div-with-mul

[jit] Optimize divisions by immediate

[Facades] Remove wrong facades

[Facades] Update version numbers

[Facades] System.Security.Cryptography.Algorithms on netstandard profiles only

[bcl] Update to match NETStandard 1.6 members

[jit] Enable division by constant optimization on 32 bit

[arm] Implement OP_BIGMUL

[tests] Add random immediate division test

[jit] Register counter for number of optimized divisions

[jit] Optimize signed division by constant

[jit] Optimize unsigned division by constant

[corcompare] Use only C# known parameter type attributes for methods signatures

[System]: Use 'HttpWebRequest.Host' for certificate host name validation.

(cherry picked from commit 5200955033c4319de06d83df32be62199a2654c2)

[System]: Add new internal X509Certificate2Impl.IntermediateCertificates.

(cherry picked from commit 8ed20455a569513c49d69bc3fd2f618ae184faac)

[System]: Add private Mono.Net.Security APIs which will be shared between AppleTls and BoringTls.

(cherry picked from commit 934a577a943e2195974b2e631d6f833f894ad227)

[System]: Cleanup the internal MonoTlsProviderFactory and prepare for BTLS.

(cherry picked from commit b919768e1af329ad56e034239dcc91dd634df9d9)

Merge pull request #3389 from lambdageek/bug-43099

[coop] Temporarily restore MonoThreadInfo when TLS destructor runs.  Fixes #43099

[mcs] More reliable tests

Merge pull request #3388 from ntherning/fix-thread-priority-on-windows

Fix getting/setting thread priority on Windows

[mkbundle] Fix --fetch-target to not require an assembly, embed the proper assembly when --cross RUNTIME is used

[handles] offsets-tool should include MonoObjectHandlePayload

Complements 3c053143903c9927e7a31b4341f5a11f06cef69f

Merge pull request #3390 from alexanderkyte/fix_nunitlite_build_state

[nunitlite] Pass greedily, not fail greedily

[nunitlite] Pass greedily, not fail greedily

[coop] Fix MONO_HANDLE_PAYLOAD_OFFSET() for cross-compilation

- fix MONO_HANDLE_PAYLOAD_OFFSET when MONO_STRUCT_OFFSET expands to
 token-pasting
- add MonoObjectPayloadHandle decl to object-offset.h machinery.

Merge pull request #2780 from alexanderkyte/seq_point_optimize

[runtime] Implement performant unbounded-depth sequence point search

[marshal] Ensure uses_handles is initialized.

[coop] Temporarily restore MonoThreadInfo when TLS destructor runs.  Fixes #43099

We need a valid MonoThreadInfo in the TLS key while we run
unregister_thread because we may need to block the thread when it tries
to take the sgen GC mutex.

Fixes [#43099](https://bugzilla.xamarin.com/show_bug.cgi?id=43099)

[mono-api-html] Show assembly version differences

Merge pull request #3213 from henricm/fix-for-win-securestring-to-bstr

Fix for win securestring to bstr

Fix getting/setting thread priority on Windows

The mono_threads_platform_get_priority()/mono_threads_platform_set_priority()
functions in mono-threads-windows.c assume the "handle" member has been set in
the MonoThreadInfo struct passed to it but it's always NULL. This patch
implements mono_threads_suspend_register() in the same file which sets the
"handle" member at thread registration time, like it's done in
mono-threads-posix.c.

This patch also makes sure the priority of a new thread is set as expected
when the Thread.Priority property has been changed prior to the thread being
started.

Also added a test method to mono/tests/priority.cs which tests that the
priority of the main thread is Normal by default and that it can be changed as
expected.

The changes in this patch fixes the failures in mono/tests/priority.exe on
Windows i386 and x64.

[mcs] Report second level references mismatch only for really used references. Fixes #42702

Merge pull request #3387 from xmcclure/test-suite-bump

Update ms-test-suite to fix broken test

[WinForms] Fix a test to correctly check for Mono

typeof (int).GetType ().GetType ().Name is now RuntimeType since https://github.com/mono/mono/pull/3045.
We did not notice this since most of our bots don't run with en-US locale set which this test requires.

[mono] Use -size 0 instead of -empty as find argument

The latter is not supported by the "find" binary in Alpine. The former works everywhere.

[mini] Fix mktemp argument in test_op_il_seq_point.sh

mktemp on e.g. Alpine requires at least six 'X' characters in the template argument.

[mdoc] Remove --exclude=.svn from diff arguments

We don't use svn anymore since a very long time and some diff implementations (e.g. in Alpine) don't support --exclude.
Removing the argument is an easy fix.

[acceptance-tests] Run ms-test-suite with debug symbols

So we get line numbers in stack traces.

[runtime] Use a coop semaphore instead of the io-layer one in the monitor code. (#3382)

Update ms-test-suite to fix broken test

Merge pull request #3386 from alexanderkyte/nunit_lite_return_status

[runtime] Make nunitlite return failure exit code when tests fail

Merge pull request #3373 from marek-safar/net-4.6.2

[bcl] Update Reference Source to .NET Framework 4.6.2

[runtime] Return failure return status if nunit-lite test suite fails

[runtime] Bump nunit-lite dependency for runner change

[System] Remove one no longer needed uri workaround. Fixes #43032

[bcl] Update Reference Source to .NET Framework 4.6.2

Moving BSTR conv to native code in SecureStringToBSTR.

Previous implementation laid out the BSTR structure
in directly memory in C# code. This layout was not correct
for windows.
Furthermore memory was allocated using AllocCoTaskMem but later freed
using SysFreeString which on windows are different memory areas.
Third issue is that SecureString asumes big-endian when copying the chars
to its internal byte buffer. So on little-endian environments,
a swap of bytes is needed before the buffer is sent to native side
for BSTR conversion. This should probably be handled internally in
SecureString instead.

Handle NetBSD specific iconv(3) call prototype (#3376)

In the past there were wars between constified and unconstified
second parameter.. NetBSD went with constifying it. POSIX went without
const and most other OSes standarized. NetBSD is still having
incompatible function prototype.

LIBRARY
     Standard C Library (libc, -lc)

SYNOPSIS
     #include <iconv.h>

     size_t
     iconv(iconv_t cd, const char ** restrict src, size_t * restrict srcleft,
           char ** restrict dst, size_t * restrict dstleft);

Merge pull request #3353 from esdrubal/st-format

[corlib] Removed MVID and AOTID metadata.