[profiler] Actually link against libmono where necessary (#3232)

Previously $(LIBMONO) was empty and bitcode targets (which set
-no-undefined) had linker errors.

Merge pull request #3226 from esdrubal/soap_headers_fix

[System.Web.Services] Fixes bad XmlMapping.Key.

Merge pull request #3210 from esdrubal/connectasyncUHE

[System] Fixes ConnectAsync UnhandledEx

Merge pull request #2958 from kumpera/visibility

Fix a visibility check bug

[mcs] More tweaks in betterness improvements. Fixes #42057

Merge pull request #3234 from tritao/zip_non_seekable_streams

[System.IO.Compression] Fixes ZipArchive to support non-seekable streams

[System.Numerics.Vectors] Update type forwarders

[System.Numerics] Update .net 4.6 api

[runtime] Implement TLS_OP_GET_REG on linux (#3227)

[runtime] Abort the finalizer thread first instead of stopping it, to allow an orderly shutdown and to avoid hitting the 'finalizer_thread_exited' assert. Hopefully fixes #41833. (#3233)

[System.IO.Compression] Fixes ZipArchive to support non-seekable streams.

This is the same behavior as documented on MSDN.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=30686.

[verifier] Do method visibility checks for virtual final methods. Enable type visibility for all methods. Fixes #5644.

I addressed the issue mentioned in the comments of mono_method_can_access_method:

* FIXME:
* with generics calls to explicit interface implementations can be expressed
* directly: the method is private, but we must allow it. This may be opening
* a hole or the generics code should handle this differently.
* Maybe just ensure the interface type is public.

The way to do it is to check access between gmds

Merge pull request #3211 from BrzVlad/fix-finalizer-thread-exited

[sgen] Speed up domain finalization at shutdown

[remoting] If remoting is disabled, don't assert looking for LoadRemoteFieldNew (#3229)

[sgen] Make suspend_finalizers volatile

It is used for signaling on separate threads.

Merge pull request #3225 from tritao/zip_stream_getters

[System.IO.Compression] Fixed Zip entry stream length/position getters in Update mode

[llvmonly] Fix the name of a few llvmonly icalls.

[llvmonly] Unwrap RuntimeWrapperExceptions if needed.

[sgen] Avoid throwing exceptions from inside the critical region in the managed allocators. (#3230)

[corlib] Mark some StackTrace/StackFrame methods as NoInlining to prevent llvm from inlining these methods, which breaks the stacktrace computation code in the runtime.

[tests] Probe for a different type than System.IO.Pipes.PipeOptions which is not part of the mobile_static profile. Fixes #41955.

[llvmonly] Avoid asserting when caching non-open generic instances.

[llvmonly] Emit gsharedvt wrappers for Nullable.Unbox calls.

[llvmonly] Fix a case where an ftnptr was invoked as a method address.

[llvmonly] Fix invocation of string ctors. Emit Array.Set/Get wrappers for more types.

[jit] Avoid emitting seq points inside alloc wrappers, they contain critical regions, and if thread self suspend in the seq point handler, it cannot be suspended by other threads. Fixes #42191.

[System.Web.Services] Fixes bad XmlMapping.Key.

Fixes #41564

Calling xmlImporter.ImportMembersMapping would set the key with the
underlying message type [1], thus if a service had remote calls using
the same types a key already exists exception would be thrown.

Furthermore reference source has special logic to set headers
XmlMappings key [2].

This pull request fixes the issue by overriding the XmlMappings.Key with
the values similar to those used in the reference source version.

[1] http://referencesource.microsoft.com/#System.Xml/System/Xml/Serialization/XmlMembersMapping.cs,28
[2] http://referencesource.microsoft.com/#System.Web.Services/System/Web/Services/Protocols/SoapReflector.cs,515

[System.Web.Services] Test Header sharing issue.

Covers #41564

When multiple methods shared soap header a duplicate key exception would
be thrown.

This issue only occurs on XAMMAC and MOBILE where the non reference
source serializer is still used.

Restore NULL check which PR #3040/#3105 mistakenly removed (bug 41623) (#3219)

Could cause crash while stepping over in SDB.

[System.IO.Compression] Fixed Zip entry stream length/position getters in Update mode.

This does away with the lazy writeable entry scheme in Update mode and converts the stream to be writeable when its opened in Update mode.

From local testing, .NET does the same in this case.

Fixes another issue reported by @Numpsy in https://github.com/OfficeDev/Open-XML-SDK/issues/64.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=42274.

Merge pull request #3216 from tritao/zip_duplicate_entries

[System.IO.Compression] Fixed handling of Zip archives with duplicate entries with same name.

[runtime] Document MonoDomain.static_data_array. (#3223)

Saw a confusing comment, updated it.

Merge pull request #3220 from alexrp/master

Revert changes to profiler library linking

Revert "[profiler] Don't build shared libraries under bitcode."

This reverts commit cfd9870f8345d2e3e6354e3deebced443809ee2f.

There is no need for this as of 79b99a989d8d4cf2636b738a623bb3656e048ebf.

[profiler] Link profiler libraries against libmono (revert of 92341a).

This caused issues with symbol resolution at runtime on Android and we haven't
seen any *actual* cases where linking against libmono caused problems.

[bcl] Add a workaround for a watchos limitation to a memory mapped file test. Fixes #41747.

[System.IO.Compression] Fixed handling of Zip archives with duplicate entries with same name.

.NET supports this, from MSDN: "If an entry with the specified path and name already exists in the archive, a second entry is created with the same path and name.".

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=42219.

Merge pull request #3214 from tritao/zip_new_entries_writes

[System.IO.Compression] Fixed writes to newly-created Zip archive entries in Update mode.

[remoting] Convert mono_load_remote_field_new_checked to managed code (#3149)

* [remoting] Convert mono_load_remote_field_new_checked to managed code.

* [corlib] Expose runtime struct MonoRemoteClass and MonoClass to managed

Also expose  mono_class_get_type to managed code.

* [corlib] Add Mono.RuntimeClassHandle to encapsulate MonoClass*

and Mono.RuntimeRemoteClassHandle to encapsulate MonoRemoteClass*

* [runtime] mono_marshal_get_ldfld_remote_wrapper invoke the managed TransparentProxy.LoadRemoteFieldNew method directly

Don't bother going through a native call and back out to managed.

* [runtime] Get rid of MONO_WRAPPER_LDFLD_REMOTE

When the MONO_WRAPPER_LDFLD is operating on a proxy, it always invokes
the TransparentProxy::LoadRemoteFieldNew managed method

* [runtime] Remove dead mono_load_remote_field_new_icall

* [mini] Bump AOT file format version

Because we removed the LDFLD_REMOTE wrapper type so all the
MonoWrapperType enum values shifted.

Merge pull request #3187 from akoeplinger/mstestsuite-on-prs

[ci] Add ms-test-suite step to default test runs

[ci] Skip ms-test-suite on non-OSX workers

Some locale tests are running into issues on Linux, they should be investigated separately.

[System.IO.Compression] Fixed writes to newly-created Zip archive entries in Update mode.

This regression was reported by RichardW of Open XML SDK project.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39282.

Merge pull request #3204 from BrzVlad/fix-lock-free-alloc2

[utils] Fix retiring of live block for the lock free allocator

Freeing a block descriptor (along with the block) can happen either when freeing a pointer in the block (we do this in order to prevent situations where we need to wait for the next alloc in order to free a block), either when we acquire an empty block while allocating. Either way, in order to free a block descriptor, we need to acquire it first.

When freeing a slot in a block, we are checking if the block is now empty in which case we acquire the block descriptor in order to free it (along with the block). While doing so, we were failing to account for the case where, by the time we make the block descriptor empty and the time we acquire it, another thread would try to allocate from the same descriptor, see that it's empty, free it, allocate a new descriptor (which would happen to have the same address as the retired one) to fulfill the allocation and then set it as the active descriptor for the allocator. When the first thread finally acquires the descriptor, we need to double check that it is still empty since it might be logically a different descriptor than the one we actually freed from. In the unlikely case it's not empty, we need to put it back in the allocator's data structures.

[sgen] Use sgen_qsort instead of qsort (#3205)

qsort is not signal safe.

Merge pull request #3202 from dlahoti/patch-1

make monodis exit with value 1 on an error

[System] Fixes ConnectAsync UnhandledEx

Fixes #41616

ConnectAsyncCallback now throws an exception when called a second time.
ConnectAsync reuses SocketAsyncEventArgs in BeginConnect which
already updates its state and calls ConnectAsyncCallback.

The changes make sure that ConnectAsyncCallback no longer called on
ConnectAsync catch block, while the state is still updated with the
exception.

[System] Test Unhandled Ex on ConnectAsync

Covers #41616

Our console runner is currently swallowing this test unhandled
exceptions.

To make it test show the failure I had to set legacyUnhandledExceptionPolicy
to 0 in mcs/class/lib/net_4_x/nunit-console.exe.config

Then running we can observe the crash by running:
make -C mcs/class/System check TESTNAME=System.Net.Sockets.SocketTest.ConnectAsyncUnhandledEx

Other tests appear to crash with legacyUEP set to 0, while the runner
shows no errors.

[sgen] Speed up domain finalization at shutdown

When we cleanup the gc at shutdown, we no longer care about running the remaining finalizers so we set the suspend_finalizers flag. This flag skipped running the finalizers but we would still traverse and modify the sgen finalizer hashes (on an arm box this could take even longer than 1s and lead to finalizer_thread_exited assertion failure since it's over the 100ms limit).

Avoid traversing sgen finalization hashes as soon as we see that we are shutting down.

Merge pull request #3209 from tritao/master

[System.IO.Compression] Fixed stream writes when Zip archive is opened in Update mode

Merge pull request #3208 from ludovic-henry/iolayer-remove-shared

[io-layer] Remove remaining pieces for cross-process mutex, semaphore and event

Enhanced logging - attempt 2.5 (#3191)

* Revert "Revert "Enhance log tracing""

This reverts commit 565c6ac0802eedf68755bd5776c80b00ab388415.

* Better handle legacy log handler processing with suggestions from lamdageek

* Remove unnecessary assignment

* Restore mono_trace_set_log_handler parameters to their original specification

[io-layer] Replace remaining pthread_cond_t by mono_cond_t

[io-layer] Fix potential buffer overrun

[io-layer] Remove _wapi_shared_layout

This effectively remove any remaining code regarding the cross-process sharing of certain io-layer facilities.

[System.IO.Compression] Fixed stream writes when Zip archive is opened in Update mode.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=39282.

Also helps with https://github.com/OfficeDev/Open-XML-SDK/issues/64.

Merge pull request #3207 from ntherning/fix_broken_libmonosgen_dll_on_cygwin

Fix broken libmonosgen-2.0.dll on Cygwin due to -ggdb3 flag in CFLAGS

[io-layer] Merge _WapiHandleShared type into _WapiHandleUnshared

[io-layer] Make shared and unshared handle have the same fields

[io-layer] Remove mutex and namedmutex pid field

We do not support shared process handles anymore, so the pid is always going to be the same

[io-layer] Remove _wapi_handle_timedwait_signal

Don't pass -ggdb3 in CFLAGS on Windows builds as it somehow corrupts the
libmonosgen-2.0.dll and breaks the build of monograph.exe which links against
it.

Also adds -O2 to CFLAGS on all platforms to align with how releases are built.

make monodis exit with value 1 on an error

This should make it easier to programmatically check for errors, since it will remove the need to test the output string, which is an unreliable way of doing things.

[utils] Fix retiring of live block for the lock free allocator

Freeing a block descriptor (along with the block) can happen either when freeing a pointer in the block (we do this in order to prevent situations where we need to wait for the next alloc in order to free a block), either when we acquire an empty block while allocating. Either way, in order to free a block descriptor, we need to acquire it first.

When freeing a slot in a block, we are checking if the block is now empty in which case we acquire the block descriptor in order to free it (along with the block). While doing so, we were failing to account for the case where, by the time we make the block descriptor empty and the time we acquire it, another thread would try to allocate from the same descriptor, see that it's empty, free it, allocate a new descriptor (which would happen to have the same address as the retired one) to fulfill the allocation and then set it as the active descriptor for the allocator. When the first thread finally acquires the descriptor, we need to double check that it is still empty since it might be logically a different descriptor than the one we actually freed from. In the unlikely case it's not empty, we need to put it back in the allocator's data structures.

[runtime] Bump corlib version for recent Thread layout changes

Merge pull request #3197 from BrzVlad/fix-thread-layout

[sgen] Fix Thread layout after changes in #3123

Don't run the ping test on certain Android devices

As described in https://bugzilla.xamarin.com/show_bug.cgi?id=34883 at
least Samsung SG3 doesn't allow access to the local network
interface (in fact, even ifconfig doesn't work on the device). Therefore
the test needs to be disabled on those devices. This is the first part
of the fix, the second one will be implemented in Xamarin.Android test
suite which will provide the AndroidShouldPingWork method which will
check the device id against list of those that do not work for this
test.

Part #1 of fix for https://bugzilla.xamarin.com/show_bug.cgi?id=34883

[sgen] Fix Thread layout after changes in #3123

Merge pull request #3195 from tritao/zip_stream_getters

[System.IO.Compression] Fixed stream length/position getters for ZIP entries

[System.IO.Compression] Fixed stream length/position getters for ZIP entries.

Partial fix for https://bugzilla.xamarin.com/show_bug.cgi?id=39282.

Partial fix for https://github.com/OfficeDev/Open-XML-SDK/issues/64.

[System] Overwrite Console encoding to match mcs text output for CodeDOM compiler. Fixes #41979

Merge pull request #3188 from akoeplinger/mozroots-fix

[tools] Fix mozroots URL for Mozilla's certdata.txt and add deprecation warning

[tools] Fix mozroots URL for Mozilla's certdata.txt and add deprecation warning

MXR is not coming back (see https://bugzilla.mozilla.org/show_bug.cgi?id=1279952 and https://github.com/SuaveIO/mono-script-buildpack/issues/9#issuecomment-226749314)
and this broke everyone who still relied on mozroots. Fix by using the version from the hg repository instead.

Starting from Mono 3.12 we've been shipping cert-sync to import CA certificates from the local computer trust store to Mono's trust store,
we strongly encourage everyone to move to that instead. Added a deprecation warning to mozroots to further strengthen this message.

Note that when fetching the CA list over the new https URL we need to skip cert validation errors, as the common use case for mozroots is when
no certs are present on the system (bootstrapping). This enables MITM but we don't really have any other options. Another reason why cert-sync is superior.

[System] Update IPInterfaceProperties initialization on windows. Fixes #41897

[corlib] Add range check for minimal date in dst calculation. Fixes #41667

[scripts/submodules] Add branch to check if fetch is needed

In some cases the "git log -1 <remote>" check fails even though the remote is configured
and an unnecessary fetch is done. Adding the branch to the check fixes this.

Use thread priority at thread start time (#3123)

* An enhancement to the thread priority work added earlier. This will support starting a thread with a specified priority. Currently, the thread will start with the priority of the creator. The semantics of threads allow you to specify the priority of a thread before it has started. Therefore, we take note of this value at thread creation time.

* Missed committing this file the first time

* Correct typo

* Fix creation_flags reference

* MonoThreadParm really should not be in objects-internal

* Place priority in MonoInternalThread where it can be accessed by GetThreadPriority(). This enablses the priority to be set/retrieved before the thread is started. It also ensures that new threads default to a priority of THREAD_PRIORITY_NORMAL rather than inheriting the parent thread's priority.

* Revert changes to MonoInternalThread/Thread.cs. Properly use the handle for thread lookup. Initialize priority at thread creation time. Use stored value of priority if thread has not been started.

* Add code to handle retrieving the thread priority from a started thread that had been set before thread had started. This is necessary as before the thread is started the priority value can be manipulated. This value is stored in the MonoThread structure. Before the thread is started the value can be interrogated so we return this value rather than invoking the GetThreadPriority() API. When a thread is started this value is used to set the threads priority (if scheduling policy is SCHED_FIFO or SCHED_RR). For POSIX threads, after the thread is started we now keep the priority in the _Wapi_thread structure which is located via the thread handle. This structure doesn't exist until after the thread is started so we can't store the value there but after we can cache the priority value there and return it for non-SCHED_[RR|FIFO] threads. This way the expected value will always be set and returned by ThreadPriority property (currently for these threads it will simply return Normal). A test case has been added to the mono/tests directory.

* Use a copy of creation_flags so local modifications aren't propagated

* Use pthread_setschedparam as OSX doesn't support pthread_setschedprio

[reflection] Improves 1a820fcdc09b8f72d12a0973e25db7acc434d0cc to do vslot match as optimization only

Merge pull request #3179 from gttds/patch-2

[System.Web] Fixes 50 year form authentication

Merge pull request #3184 from tritao/zip_datetime

[System.IO.Compression] Fixed Zip entries with unset last write time to return the same as .NET.

[ci] Add ms-test-suite step to default test runs

Merge pull request #3183 from marek-safar/bug41874

[reflection] Properties always use name and signature hidding rules. …

[System.Web] Fixes SkinID property declaration

[llvm] Fix the allocation of vregs for the OP_MIN/MAX opcodes. Fixes #41947.

Revert "[llvm] Fix the allocation of vregs for the OP_MIN/MAX opcodes. Fixes #41947."

This reverts commit 4cbef26bb7878187c8bd3a0029e711331e6e4510.

Revert this to see if it fixes the windows build.

[runtime] Don't call ExecutionEngine constructor in aot mode (#3185)

[aot] Add support for array accessor methods for multi-dimensional arrays. Fixes #41937.

[llvm] Fix the allocation of vregs for the OP_MIN/MAX opcodes. Fixes #41947.

[System.IO.Compression] Fixed Zip entries with unset last write time to return the same as .NET.

.NET on Windows returns a fixed date for this, replicate the same behaviour in Mono.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=40916.

See also: https://github.com/NuGet/Home/issues/2518

[reflection] Properties always use name and signature hidding rules. Fixes #41874

Fix for x86 and amd64 continuations (#3182)

[aot] Fix leaking a MonoError.

[aot] Avoid asserting if loading a type fails.

Merge pull request #3163 from alexanderkyte/fast_context_clean

[runtime] Store abremoval context statuses seperately to use memset for cleanup

[bcl] Remove cosmetic target that always triggers a rebuild (#3180)

Merge pull request #3175 from marek-safar/cas-cleanup

[bcl] Make mono cas opt-in features instead of opt-out for mobile pro…

[System.Web] Fixes 50 year form authentication

This fixes the bug where form authentication tickets do not expire until 50 years later.
I bumped into this bug after upgrading mono from 4.2.2 to 4.4.0

Firstly, the authentication ticket's expiry must always equal to the timeout attribute on the <forms/> element. It doesn't matter whether persistent or session cookies are used.

Secondly, if the cookie is persistent, then it's expiry should be set to the same as that of the authentication ticket.

Reference: https://blogs.msdn.microsoft.com/dansellers/2006/02/15/change-to-asp-net-2-0-forms-authentication-persistent-cookies/

[System] Put back handling of direct ip addresses to ServicePoint::HostEntry (removed in 932359f3d627da13408350b1172ceb63c30f6327). Fixes #41782

[runtime] Return early so mono_value_box_checked doesn't clobber error (#3172)

[runtime] Store abremoval context statuses seperately to use memset for cleanup

[bcl] Make mono cas opt-in features instead of opt-out for mobile profiles