Multiple fixes for Windows x86 p/invoke test failures.  (#3186)

* Fix for non GCC win x86 calling convention when passing empty structs over pinvoke.

Port of https://github.com/mono/mono/pull/3085 to Winwdows x86 fixing failures
in pinvoke2 tests:

test_0_marshal_empty_struct

* Fix for incorrect implementation of small struct (single float/double) on Windows x86.

Failure in pinvoke3 test_0_marshal_small_struct_delegate9 is caused by incorrect
implemented small struct ABI on Windows x86.

Windows x86 ABI for returning structs of size 4 or 8 bytes (regardless of type)
dictates that values are passed in EDX:EAX register pairs,
https://msdn.microsoft.com/en-us/library/984x0h58.aspx.
This is different compared to for example float or double return types
(not in struct) that will be returned in ST(0),
https://msdn.microsoft.com/en-us/library/ha59cbfz.aspx.

Fix disables the alternative to do special handling of structs with 1 float or double
and make sure same logic is always applied to all small structs regardless type
as dictated by Windows x86 ABI.

* mono_test_marshal_delegate_ref_delegate uses incorrect calling convention.

mono_test_marshal_delegate_ref_delegate called by pinvoke3::test_55_marshal_delegate_ref_delegate
uses incorrect calling convention. Mono assumes delegates to be stdcall but
current definitions will be cdecl, this will cause an incorrect stack pointer
on architectures where cdecl and stdcall are different (Windows x86). Test fails
with "corrupt" stack pointer on Windows x86.

* Smaller adjustment based on feedback.

* Changed boolean struct member to bit field (on both x86 and x64)
* Changed compare code style from 0 == x to x == 0 to comply with coding standard.

Added support to build mono runtime as a static library. (#3231)

libmono will use static library when building its dynamic library. This gives
the option to build binaries that could link the static version of mono runtime
or use the dynamic version of the same library. The default build binaries still
link against the dynamic version of the runtime.

[llvm] Fix aot when using llvm master.

Merge pull request #3242 from alexanderkyte/fix_docs

[runtime] Remove extraneous fi in docs build printing

[runtime] Remove extraneous fi in docs build printing

Merge pull request #3091 from alexanderkyte/mobile_static_fix_mcs_tests

[mobile_static] Allow mcs/class tests to run to completion

[bcl] Fix a random failure in a DataView test which happened because DataViewListener keeps a weak reference on the DataView and stops raising events if the view is GCd. Fixes #41035.

[mobile_static] Skip aot-ing ilasm

Merge pull request #3236 from kumpera/coreclr-testsuite-fixes-2

Reduce coreclr test failures by 10. A bunch of fixes and a bunch of disables.

[profiler] Actually link against libmono where necessary (#3232)

Previously $(LIBMONO) was empty and bitcode targets (which set
-no-undefined) had linker errors.

Merge pull request #3226 from esdrubal/soap_headers_fix

[System.Web.Services] Fixes bad XmlMapping.Key.

Merge pull request #3210 from esdrubal/connectasyncUHE

[System] Fixes ConnectAsync UnhandledEx

Merge pull request #2958 from kumpera/visibility

Fix a visibility check bug

[jit] Set vret_var when emiting a jmp call.

[coreclr-tests] Disable a test that fails verification.

[coreclr-tests] Disable another broken test.

[coreclr-tests] Disable another broken test.

[mcs] More tweaks in betterness improvements. Fixes #42057

Merge pull request #3234 from tritao/zip_non_seekable_streams

[System.IO.Compression] Fixes ZipArchive to support non-seekable streams

[System.Numerics.Vectors] Update type forwarders

[System.Numerics] Update .net 4.6 api

[mobile_static] Use make parallelism to aot compile .dlls in parallel

[mobile_static] Use MonoPInvokeCallbackAttribute on MobileStatic

[mobile_static] Make Mono.CSharp excludes for tests that require compilation

[mobile_static] Blacklist app domain creation test

[mobile_static] Remove some duplicated excludes

[mobile_static] Fix misformatted excludes, tests excluded due to lack of System.Configuration

[mobile_static] Tracked down unpassable ServiceModel tests, blacklisted

[mobile_static] Add MOBILE_STATIC to preprocessor guard

[mobile_static] Blacklisted unpassable tests for System

[mobile_static] Fix System.Runtime.Serialization tests with preprocessor
usage

[mobile_static] Fix libraries provided when building System

[runtime] Add System.Data app config.

[runtime] Implement TLS_OP_GET_REG on linux (#3227)

[runtime] Abort the finalizer thread first instead of stopping it, to allow an orderly shutdown and to avoid hitting the 'finalizer_thread_exited' assert. Hopefully fixes #41833. (#3233)

[System.IO.Compression] Fixes ZipArchive to support non-seekable streams.

This is the same behavior as documented on MSDN.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=30686.

[jit] Add fixme to AA.

[mini] Ensure that an endfinally outside of a finally block fails to JIT.

[ilasm] Side with parent declaration when deciding if a type is an enum or a value type.

The conflict happens when a type is declared like this:

.class value private auto ansi serializable sealed foo extends [mscorlib]System.Enum

The value keyword would make it a value type and ignore the parent declaration.

.net ilasm favors the later, which makes more sense.

[jit] Remove silly debug spew.

[coreclr-tests] Disable another test that depends on array size limits on .net.

[amd64] The prolog stack probe code sequence is 11 bytes each chunk and not 10. Fixes coreclr test.

[coreclr-tests] Disable some tests that are not supposed to work under mono.

[jit] Return NULL on zero sized localloc. Fixes coreclr test.

[verifier] Do method visibility checks for virtual final methods. Enable type visibility for all methods. Fixes #5644.

I addressed the issue mentioned in the comments of mono_method_can_access_method:

* FIXME:
* with generics calls to explicit interface implementations can be expressed
* directly: the method is private, but we must allow it. This may be opening
* a hole or the generics code should handle this differently.
* Maybe just ensure the interface type is public.

The way to do it is to check access between gmds

Merge pull request #3211 from BrzVlad/fix-finalizer-thread-exited

[sgen] Speed up domain finalization at shutdown

[remoting] If remoting is disabled, don't assert looking for LoadRemoteFieldNew (#3229)

[sgen] Make suspend_finalizers volatile

It is used for signaling on separate threads.

Merge pull request #3225 from tritao/zip_stream_getters

[System.IO.Compression] Fixed Zip entry stream length/position getters in Update mode

[llvmonly] Fix the name of a few llvmonly icalls.

[llvmonly] Unwrap RuntimeWrapperExceptions if needed.

[sgen] Avoid throwing exceptions from inside the critical region in the managed allocators. (#3230)

[corlib] Mark some StackTrace/StackFrame methods as NoInlining to prevent llvm from inlining these methods, which breaks the stacktrace computation code in the runtime.

[tests] Probe for a different type than System.IO.Pipes.PipeOptions which is not part of the mobile_static profile. Fixes #41955.

[llvmonly] Avoid asserting when caching non-open generic instances.

[llvmonly] Emit gsharedvt wrappers for Nullable.Unbox calls.

[llvmonly] Fix a case where an ftnptr was invoked as a method address.

[llvmonly] Fix invocation of string ctors. Emit Array.Set/Get wrappers for more types.

[jit] Avoid emitting seq points inside alloc wrappers, they contain critical regions, and if thread self suspend in the seq point handler, it cannot be suspended by other threads. Fixes #42191.

[System.Web.Services] Fixes bad XmlMapping.Key.

Fixes #41564

Calling xmlImporter.ImportMembersMapping would set the key with the
underlying message type [1], thus if a service had remote calls using
the same types a key already exists exception would be thrown.

Furthermore reference source has special logic to set headers
XmlMappings key [2].

This pull request fixes the issue by overriding the XmlMappings.Key with
the values similar to those used in the reference source version.

[1] http://referencesource.microsoft.com/#System.Xml/System/Xml/Serialization/XmlMembersMapping.cs,28
[2] http://referencesource.microsoft.com/#System.Web.Services/System/Web/Services/Protocols/SoapReflector.cs,515

[System.Web.Services] Test Header sharing issue.

Covers #41564

When multiple methods shared soap header a duplicate key exception would
be thrown.

This issue only occurs on XAMMAC and MOBILE where the non reference
source serializer is still used.

Restore NULL check which PR #3040/#3105 mistakenly removed (bug 41623) (#3219)

Could cause crash while stepping over in SDB.

[System.IO.Compression] Fixed Zip entry stream length/position getters in Update mode.

This does away with the lazy writeable entry scheme in Update mode and converts the stream to be writeable when its opened in Update mode.

From local testing, .NET does the same in this case.

Fixes another issue reported by @Numpsy in https://github.com/OfficeDev/Open-XML-SDK/issues/64.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=42274.

Merge pull request #3216 from tritao/zip_duplicate_entries

[System.IO.Compression] Fixed handling of Zip archives with duplicate entries with same name.

[runtime] Document MonoDomain.static_data_array. (#3223)

Saw a confusing comment, updated it.

Merge pull request #3220 from alexrp/master

Revert changes to profiler library linking

Revert "[profiler] Don't build shared libraries under bitcode."

This reverts commit cfd9870f8345d2e3e6354e3deebced443809ee2f.

There is no need for this as of 79b99a989d8d4cf2636b738a623bb3656e048ebf.

[profiler] Link profiler libraries against libmono (revert of 92341a).

This caused issues with symbol resolution at runtime on Android and we haven't
seen any *actual* cases where linking against libmono caused problems.

[bcl] Add a workaround for a watchos limitation to a memory mapped file test. Fixes #41747.

[System.IO.Compression] Fixed handling of Zip archives with duplicate entries with same name.

.NET supports this, from MSDN: "If an entry with the specified path and name already exists in the archive, a second entry is created with the same path and name.".

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=42219.

Merge pull request #3214 from tritao/zip_new_entries_writes

[System.IO.Compression] Fixed writes to newly-created Zip archive entries in Update mode.

[remoting] Convert mono_load_remote_field_new_checked to managed code (#3149)

* [remoting] Convert mono_load_remote_field_new_checked to managed code.

* [corlib] Expose runtime struct MonoRemoteClass and MonoClass to managed

Also expose  mono_class_get_type to managed code.

* [corlib] Add Mono.RuntimeClassHandle to encapsulate MonoClass*

and Mono.RuntimeRemoteClassHandle to encapsulate MonoRemoteClass*

* [runtime] mono_marshal_get_ldfld_remote_wrapper invoke the managed TransparentProxy.LoadRemoteFieldNew method directly

Don't bother going through a native call and back out to managed.

* [runtime] Get rid of MONO_WRAPPER_LDFLD_REMOTE

When the MONO_WRAPPER_LDFLD is operating on a proxy, it always invokes
the TransparentProxy::LoadRemoteFieldNew managed method

* [runtime] Remove dead mono_load_remote_field_new_icall

* [mini] Bump AOT file format version

Because we removed the LDFLD_REMOTE wrapper type so all the
MonoWrapperType enum values shifted.

Merge pull request #3187 from akoeplinger/mstestsuite-on-prs

[ci] Add ms-test-suite step to default test runs

[ci] Skip ms-test-suite on non-OSX workers

Some locale tests are running into issues on Linux, they should be investigated separately.

[System.IO.Compression] Fixed writes to newly-created Zip archive entries in Update mode.

This regression was reported by RichardW of Open XML SDK project.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39282.

Merge pull request #3204 from BrzVlad/fix-lock-free-alloc2

[utils] Fix retiring of live block for the lock free allocator

Freeing a block descriptor (along with the block) can happen either when freeing a pointer in the block (we do this in order to prevent situations where we need to wait for the next alloc in order to free a block), either when we acquire an empty block while allocating. Either way, in order to free a block descriptor, we need to acquire it first.

When freeing a slot in a block, we are checking if the block is now empty in which case we acquire the block descriptor in order to free it (along with the block). While doing so, we were failing to account for the case where, by the time we make the block descriptor empty and the time we acquire it, another thread would try to allocate from the same descriptor, see that it's empty, free it, allocate a new descriptor (which would happen to have the same address as the retired one) to fulfill the allocation and then set it as the active descriptor for the allocator. When the first thread finally acquires the descriptor, we need to double check that it is still empty since it might be logically a different descriptor than the one we actually freed from. In the unlikely case it's not empty, we need to put it back in the allocator's data structures.

[sgen] Use sgen_qsort instead of qsort (#3205)

qsort is not signal safe.

Merge pull request #3202 from dlahoti/patch-1

make monodis exit with value 1 on an error

[System] Fixes ConnectAsync UnhandledEx

Fixes #41616

ConnectAsyncCallback now throws an exception when called a second time.
ConnectAsync reuses SocketAsyncEventArgs in BeginConnect which
already updates its state and calls ConnectAsyncCallback.

The changes make sure that ConnectAsyncCallback no longer called on
ConnectAsync catch block, while the state is still updated with the
exception.

[System] Test Unhandled Ex on ConnectAsync

Covers #41616

Our console runner is currently swallowing this test unhandled
exceptions.

To make it test show the failure I had to set legacyUnhandledExceptionPolicy
to 0 in mcs/class/lib/net_4_x/nunit-console.exe.config

Then running we can observe the crash by running:
make -C mcs/class/System check TESTNAME=System.Net.Sockets.SocketTest.ConnectAsyncUnhandledEx

Other tests appear to crash with legacyUEP set to 0, while the runner
shows no errors.

[sgen] Speed up domain finalization at shutdown

When we cleanup the gc at shutdown, we no longer care about running the remaining finalizers so we set the suspend_finalizers flag. This flag skipped running the finalizers but we would still traverse and modify the sgen finalizer hashes (on an arm box this could take even longer than 1s and lead to finalizer_thread_exited assertion failure since it's over the 100ms limit).

Avoid traversing sgen finalization hashes as soon as we see that we are shutting down.

Merge pull request #3209 from tritao/master

[System.IO.Compression] Fixed stream writes when Zip archive is opened in Update mode

Merge pull request #3208 from ludovic-henry/iolayer-remove-shared

[io-layer] Remove remaining pieces for cross-process mutex, semaphore and event

Enhanced logging - attempt 2.5 (#3191)

* Revert "Revert "Enhance log tracing""

This reverts commit 565c6ac0802eedf68755bd5776c80b00ab388415.

* Better handle legacy log handler processing with suggestions from lamdageek

* Remove unnecessary assignment

* Restore mono_trace_set_log_handler parameters to their original specification

[io-layer] Replace remaining pthread_cond_t by mono_cond_t

[io-layer] Fix potential buffer overrun

[io-layer] Remove _wapi_shared_layout

This effectively remove any remaining code regarding the cross-process sharing of certain io-layer facilities.

[System.IO.Compression] Fixed stream writes when Zip archive is opened in Update mode.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39282.

Also helps with https://github.com/OfficeDev/Open-XML-SDK/issues/64.

Merge pull request #3207 from ntherning/fix_broken_libmonosgen_dll_on_cygwin

Fix broken libmonosgen-2.0.dll on Cygwin due to -ggdb3 flag in CFLAGS

[io-layer] Merge _WapiHandleShared type into _WapiHandleUnshared

[io-layer] Make shared and unshared handle have the same fields

[io-layer] Remove mutex and namedmutex pid field

We do not support shared process handles anymore, so the pid is always going to be the same

[io-layer] Remove _wapi_handle_timedwait_signal

Don't pass -ggdb3 in CFLAGS on Windows builds as it somehow corrupts the
libmonosgen-2.0.dll and breaks the build of monograph.exe which links against
it.

Also adds -O2 to CFLAGS on all platforms to align with how releases are built.

make monodis exit with value 1 on an error

This should make it easier to programmatically check for errors, since it will remove the need to test the output string, which is an unreliable way of doing things.

[utils] Fix retiring of live block for the lock free allocator

Freeing a block descriptor (along with the block) can happen either when freeing a pointer in the block (we do this in order to prevent situations where we need to wait for the next alloc in order to free a block), either when we acquire an empty block while allocating. Either way, in order to free a block descriptor, we need to acquire it first.

When freeing a slot in a block, we are checking if the block is now empty in which case we acquire the block descriptor in order to free it (along with the block). While doing so, we were failing to account for the case where, by the time we make the block descriptor empty and the time we acquire it, another thread would try to allocate from the same descriptor, see that it's empty, free it, allocate a new descriptor (which would happen to have the same address as the retired one) to fulfill the allocation and then set it as the active descriptor for the allocator. When the first thread finally acquires the descriptor, we need to double check that it is still empty since it might be logically a different descriptor than the one we actually freed from. In the unlikely case it's not empty, we need to put it back in the allocator's data structures.

[runtime] Bump corlib version for recent Thread layout changes

Merge pull request #3197 from BrzVlad/fix-thread-layout

[sgen] Fix Thread layout after changes in #3123

Don't run the ping test on certain Android devices

As described in https://bugzilla.xamarin.com/show_bug.cgi?id=34883 at
least Samsung SG3 doesn't allow access to the local network
interface (in fact, even ifconfig doesn't work on the device). Therefore
the test needs to be disabled on those devices. This is the first part
of the fix, the second one will be implemented in Xamarin.Android test
suite which will provide the AndroidShouldPingWork method which will
check the device id against list of those that do not work for this
test.

Part #1 of fix for https://bugzilla.xamarin.com/show_bug.cgi?id=34883

[sgen] Fix Thread layout after changes in #3123