Merge pull request #3626 from lateralusX/jlorenss/win-api-family-support-eglib

Build eglib under none desktop Windows API family.

Merge pull request #3658 from kumpera/fix-ios-logging

[logging] Fix logging on iOS. We lost asl redirection and it was sending to stdout instead.

[threads] Signal the w32handle later in the thread destruction process (#3652)

[logging] Fix logging on iOS. We lost asl redirection and it was sending to stdout instead.

[coop handles] Add some memory fences (#3617)

When running with async suspend (ie, not coop), a user thread might be
suspended while its manipulating the coop handle stack.  In that case,
we want to present a consitent view to mono_handle_stack_scan () by
adding memory fences to code that updates the stack chunks.  In
particular we want to ensure that the chunk size is increased after
the new slot has a valid (null) value.  Also when creating new chunks
make sure their size is initialized before the chunk stack is updated.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=43921 (at least the
one stack trace observed in [comment 1](https://bugzilla.xamarin.com/show_bug.cgi?id=43921#c1)).

[Mono.Security.Interface] Cleanup and simplify MonoTlsProviderFactory.

The "global" TLS Provider (returned by MonoTlsProviderFactory.GetProvider())
may only be modified at application startup (before any of the TLS / Certificate
code has been used).

* MonoTlsProviderFactory.HasProvider has been removed.

  This property used to initialize the TLS Subsystem without throwing any
  exceptions.  However, properties with side-effects is a bad design principle.

* Add MonoTlsProviderFactory.IsInitialized.

  Does not have any side-effects.

* Add MonoTlsProviderFactory.Initialize() and Initialize(string).

  May only be called at application startup and explicitly initializes the
  TLS Subsystem.

* Rename MonoTlsProviderFactory.GetDefaultProvider() into GetProvider()
  and removed MonoTlsProviderFactory.GetCurrentProvider().

  We do not distinguish between a "default" and a "current" provider anymore;
  there is only one "global" provider.

* Add MonoTlsProviderFactory.IsProviderSupported(string).

  Checks whether a specific TLS Provider is supported, without having side-effects.

* Make the old APIs [Obsolete] until products have been updated.

* Add some documentation to MonoTlsProviderFactory.

(cherry picked from commit 7c3ae83b31a2456d00daf2949706719e3e694d15)

[llvm] Enable support for large basic blocks again.

llc has some performance problems with large basic blocks so we have to break them up into smaller ones. Use some hacks to prevent opt/llc from merging them back again.

Merge pull request #3656 from marek-safar/bootstrap

[build] Bootstrap extension for roslyn

[runtime] Fix MonoMethod.get_base_method when abstract methods are not overridden

When there is an abstract class in the middle of an inheritance
hierarchy that doesn't override a method, get_base_methods needs to search
the parent class instead aborting early.

Example:

```
abstract class Root {
  public abstract void Foo ();
}
abstract class Abs : Root { }
class Derived : Abs {
  public override void Foo () { }
}
```

If we ask for the base method of Derived.Foo we used to get Derived.Foo
back because Abs did not provide an override.  Instead we should skip
abs and look in Root.

Fix trace logging on Android

Introduction of the structured trace logger accidentally broke Android
logcat logging. The reason for this is that the default logging handler
defined in eglib (in goutput.c) for Android was never called, instead it
was superseeded by the log file logger defined in mono-logger.c

The net effect was that Mono tried to write the messages to some file on
Android leaving logcat devoid of any trace of life :)

This commit fixes the issue by introducing a set of structured logging
functions for Android.

As a side note - file logging on Android is not that useful. Writing to
a file on external storage medium requires app permissions and writing
to a location on internal storage medium, while allowed, might be
subject to space limitations and should not be used for possibly
voluminous data. It's therefore not very practical on Android.

[build] Bootstrap extension for roslyn

[System*] Throw a PlatformNotSupported exception when using the networking stack on watchOS. (#3606)

* [System] Fix line endings for a few files.

Best reviewed by not showing whitespace changes (should be empty diff in that case).

* [System] Fix potential crash in CookieParserTests.

Socket.EndAccept can throw an exception, which will crash the process if it
happens on a threadpool. So handle any exceptions when calling
Socket.EndAccept, and propagate those exceptions out of any threadpool code.

* [System.Net.Http] Throw a PlatformNotSupported exception when using HttpClientHandler on watchOS.

* [System.Net.Http] Tweak tests after watchOS API change.

Unfortunately the [ExpectedException] attribute can't be put on an entire
class, so remove the [Category ("RequiresBSDSockets")] attribute on the class
and instead decorate each test with an [ExpectedException] attribute.

* [System] Extract the HttpListenerResponseHelper class to a separate file.

Extract the HttpListenerResponseHelper class to a separate file so that it's
easier to replace the HttpListenerResponse implementation by using a different
file.

* [System] Throw a PlatformNotSupported exception when using the networking stack on watchOS.

* [System] Tweak tests after watchOS API changes.

Unfortunately the [ExpectedException] attribute can't be put on an entire
class, so remove the [Category ("RequiresBSDSockets")] attribute on the class
and instead decorate each test with an [ExpectedException] attribute.

* [System] Fix potential crash in SocketAcceptAsyncTest.

Fix potential crash in SocketAcceptAsyncTest by catching any exceptions in
code executed on the threadpool so that we never end up with unhandled
exceptions (which may terminate the process).

* [System] Avoid logic in SetUp attributes in tests.

Any type of exception in [SetUp] attributes causes all tests to fail with that
exception.

This even happens for tests that do not need the logic in the [SetUp]
attribute.

So rewrite tests a bit to not use [SetUp] when we can reasonably avoid it, and
instead instantiate class-level variables on first use. This ensures that any
exceptions that occur when initializing those variables are attributed to the
corresponding test, and not all of them.

* [System] Make exception handler (for test) catch more exceptions to avoid unhandled exceptions causing process termination.

* [System] Remove Obsolete attribute on API that throws PNSE.

[corlib] Add API to uninstall/reinstall signal handlers.

This API is provided to be used by libraries providing crash reporting, so
that those libraries can install signal handlers and at the same time not
interfere with Mono's signals.

The intended pattern is this:

    Mono.Runtime.RemoveSignalHandlers ();
    InstallThirdPartySignalHandlers ();
    Mono.Runtime.InstallSignalHandlers ();

This ensures that Mono is always notified first of any signals, and will then
chain to the third-party signal handlers if the signal did not originate in
managed code.

Mono's signals must first be removed, so that if third-party signal handler
does signal chaining, we don't end up in Mono's signal handler again.

Mailing-list thread: http://lists.dot.net/pipermail/macios-devel/2016-September/000016.html [Signal-chaining & crash reporters]
Example usage: https://github.com/rolfbjarne/HockeySDK-Xamarin/commit/862721199f1adec210bfc7b1943f975ffb8048a9

[mini] Provide a free function to the saved signal handler hash table.

This makes the cleanup code simpler, and also makes it easier to
replace saved signal handlers without having to worry about
leaking memory.

Merge pull request #3647 from BrzVlad/fix-sgen-internal-alloc

[sgen] Fix sgen internal alloc

[Mono.Security]: Cleanup Mono.Security.Interface.CertificateValidationHelper.

* CertificateValidationHelper.GetDefaultValidator(): rename this internal method into
  GetInternalValidator() (keeping the old as [Obsolete] until products have been updated).

* CertificateValidationHelper.GetValidator(): remove the 'provider' argument.

This is part of a set of cleanups and simplifications for the upcoming BTLS integration.

Build eglib under none desktop Windows API family.

Initial work to build eglib under none desktop Windows API family. Classic
Windows API have been split into families and partitions in order to support
different subsets on different Windows platforms. In order to build against
other Windows targets/platforms Mono needs to follow these families/partitions
in order to successfully build where API’s have been removed/replaced. Since most
Mono platforms uses the Windows API signatures a new defined has been added to all
platforms, HAVE_CLASSIC_WINAPI_SUPPORT, used to decide what implementation to include.
On none Windows platforms this is always defined and on Windows platforms it follows the
winapifamily.h. In order to keep down regressions, the existing API’s are kept for HAVE_CLASSIC_WINAPI_SUPPORT
even if there are more modern replacements available.

[w32handle] Ensure we initialize begore the gc attach the current thread (#3644)

Merge pull request #3643 from marek-safar/bootstrap

[build] Bump mono bootstrap dependency to Mono 4.0+

[mini] Add some documentation comments to some IR generating macros

[sgen] Untag the vtable during concurrent mark

For now, concurrent mark runs concurrently with bridge during minors. Since bridge processing might tag object vtables, make sure we don't crash when we scan such objects.

[sgen] Fix internal allocation

After recent header size change in 883e0a2d899a6a19db2c1d5222d45b8423ce36a2, we had some slot sizes unaligned which was leading to unaligned memory allocation and therefore SIGBUS-es on some ARMs.

We used to have all allocators use 16k blocks and slot sizes optimized for this. After we switched to allocating in 4k, 8k and 16k blocks the slot sizes were not optimized for the new format.

This commit fixes unaligned problems, at the same time optimizing the size of allocator slots.

[aot] Make sure generic wrappers are unique by creating shared versions of the them in the same order that AOT creates them (shared method -> wrapper).

[System] Fixes SendGenericExceedBuffer test

[aot] Fix the linux bitcode build.

[build] Bump mono bootstrap dependency to Mono 4.0+

[System] Revert copyright change in 8e4a52a37499af9383dfdec5a67c81775d260899

[System] netstandard compatible Process collections

Restructure and update build status section in README

Add links to Windows/OSX builds on Jenkins.

Remove appveyor.yml from repository

We now have our own set of Windows bots on our Jenkins CI for building and testing Mono on Windows.

Special thanks to AppVeyor for providing us with build capacity over the last two years <3

[runtime] Make a copy of the wrapper date when instantiating generic wrapper methods, to be able to store a different WrapperInfo for them. (#3634)

[Socket] Use SemaphoreSlim instead of Queue (#3633)

This uses the same approach as corefx's FileStream. This simplifies the code, as well as make the intent of the queue clearer.

[corlib] Remove unnecessary net_4_x_corlib.dll.sources

It only imports corlib.dll.sources, removing the file has the same effect.

[System] Add ISupportInitialize on mobile FileSystemWatcher

The interface was missing on the mobile stub.

[System] Remove obsolete HttpWebRequest/Response constructors again

They were removed from a later revision of netstandard2.0 so we don't need to add them.

[jit] Resurrect the Monitor.Enter () v4 optimization. (#3632)

Merge pull request #3631 from slide/bz44714

Fix issue with VB projects

Fix tarball build

[referencesource] Import parts of System.Net.Sockets.Socket (#3618)

Fix tarball build

The file was removed in 18ada43d3d4c170269c544bbb684fbfdd1f56408.

Fix issue with VB projects

Fixed GenerateFullPathToTool for Vbc task to match behavior of the Csc
task. This allows VB.NET projects to build successfully.

See https://bugzilla.xamarin.com/show_bug.cgi?id=44714

[SRE] Implement the ModuleBuilder:create_modified_icall () in managed code. Use user types instead of creating derived types of unfinished typebuilders. (#3629)

Bump corlib version

18ada43d3d4c170269c544bbb684fbfdd1f56408 didn't bump the corlib version and this breaks building with monolite.

Merge pull request #3625 from slide/master

Fix 16628

[AppleTls]: Flush the write queue before finishing the handshake.

It is possible for SSLHandshake() to return SslStatus.Success while we're still
having a pending write (AsyncOperationStatus.WantWrite).

This is because our managed write callback must never return 'WouldBlock', so
SSLHandshake() things that all data have been sent while we still have them in
our write queue.

When this happens, we currently flush the write queue then call SSLHandshake()
again via AsyncOperationStatus.WantWrite -> AsyncOperationStatus.Continue.

This returns SslStatus.Protocol on iOS 10.

[gc] Warn if we fail to switch gc

[aot] Fix aot support on android.

Disable the binary writer in llc since it doesn't seem to work. Use $tool_prefix/ld for linking if the tool prefix is set.

[bcl] Add missing APIs for netstandard parity and expose a few APIs on mobile

This ensures we're compliant with the upcoming netstandard2.0 API surface area.

[bcl] Add CLSComplaint(false) to a few types/methods that aren't compliant

Fix 16628

This changes the IL parser to have the same behavior as ilasm.exe from
MS

https://bugzilla.xamarin.com/show_bug.cgi?id=16628

[llvm] Add static rgctx trampolines to array access methods in the aot+llvm case too. (#3616)

Merge pull request #3622 from rolfbjarne/remove-stray-file

Remove stray file.

[corcompare] More hacks to make breaking change not too disruptive

Remove stray file.

[System.Core] Fixes warnings

Merge pull request #3621 from kloun/patch-9

fix Another Typo

fix Another Typo

[bcl] Base type update to match netstandard apis

[mono-symbolicate] Include pdb debug symbols support file

Merge pull request #3615 from kloun/patch-8

fix typo, "j-j"

Merge pull request #3614 from kloun/patch-6

fix identical sub-expressions

[arm64] Handle thunks with ARM64_B relocations as well.

Merge pull request #3613 from kloun/patch-4

fix another ERIC

fix typo, "j-j"

Update generic.cs

Update generic.cs

fix identical sub-expressions

Merge pull request #3603 from ninjarobot/socket-write

Send all data to a socket before exit from Socket.Send.

fix another ERIC

Merge pull request #3611 from kloun/patch-2

Fix copy-paste error in WinForms DataGrid

fix copy-paste ERIC error)

Merge pull request #3609 from xmcclure/checked-imageset

Fix outstanding failures in "metadata" checked build mode

Fix two problems with the checked build metadata mode which were causing spurious failures, one a bug introduced by my last commit, one of which has been present since the start:

- Check assemblies in `references[]` are non-NULL before looking up their images
- A "from" imageset only needs to reference every image in the "to" imageset, it does not need to actually contain every image.

Also added support for a checked build jenkins lane.

[mono-threads] Move platform unregister after detach (#3604)

This is important as platform unregister is where we signal the thread handle, and that should be done as late as possible, but still before we switch the thread state to DETACHED and remove it from the thread list.

The fact that we do under the suspend lock shouldn't be an issue as we shouldn't call in any other code than w32handle code.

New run-jenkins tags to allow a checked build job and fix partial checked build support in the coop job

Fix imageset->imageset audits in checked-build "metadata" mode

An imageset can reference another imageset if every image in the "to"
imageset is referenced by some image in the "from" imageset.
Previously the checked build code was requiring the stricter criteria
of every image in the "to" imageset being present in the "from"
imageset, which was not only inconsistent with image->imageset and
imageset->image reference checking, but lead to spurious failures.

An example of a scenario where the previous check logic would fail is:
Assembly A:
class ClassA<T>
Assembly B:
class ClassB<T> extends ClassA<T>, ClassB2
Attempting to run the constructor for ClassB<ClassB2> would result in
a pointer to memory in imageset [A,B] being written into a structure
located in imageset [B]. This is valid since B references A, however
the MONO_CHECK_MODE=metadata checker would flag it as an error.

[corcompare] Another try to make breaking change not too discruptive

[sdb] Add a SetThis () method to StackFrame which can be used to set the fields of the receiver for valuetype instance methods. Fixes #44341. (#3605)

Merge pull request #3600 from henricm/fix-win-network-info-tests

Fix NetworkInformation tests on Windows

Try to use an IPv4 address first for TCP remoting (#3507)

* In the .NET implementation of TcpServerChannel, if IPv4 is supported, the address for the host will use the first IPv4 address.
* Even if the first address is an IPv6 address, it should be skipped, as the server side will expect and IPv4 address.
* Change this implementation to look for an IPv4 address first, then fall back to whatever the first address is (IPv4 or IPv6) if things don't work out.

[mkbundle] - Add support for bundling native libraries.

* [mkbundle] add support for bundling native libraries

* [glib] add g_mkdtemp

* mono: Load the various library payloads for bundled executables

* [msvc] Export mono_dl_open and mono_loader_register_module

Add missing file

[colrib] Fixes aecdb91a0628efb03d0b6578e9dcdda90904ad20 and add GC tests

[corcompare] Drop ParameterAttributes from method signature

Merge pull request #3585 from lateralusX/jlorenss/win-counter-warning

Resolve "you are registering twice the same counter address" warning on Windows Release builds.

[Mono.Security]: Add 'MonoTlsConnectionInfo.PeerDomainName'.

(cherry picked from commit 0bafe8c3c7aaa58d28bbea51fe8756e053718c68)

Remove obsolete Mono.Security.Providers.* assemblies  (#3595)

* Remove Mono.Security.Providers.NewSystemSource and Mono.Security.Providers.NewTls.

* Remove InternalVisible for "Xamarin.BoringTls".

* Remove Mono.Security.Providers.OldTls and Mono.Security.Providers.DotNet.

(cherry picked from commit 7b7b7c9b64212843842f957f6c0b84c99fc90f26)

Back out trivial crash when running metadata checked-build mode
introduced by f822445711c1

[runtime] Fix the managed name of the ReRegisterForFinalize () icall.

Returning during Send in case of error.  Splitting send and receive into separate tasks in test.

Merge pull request #3548 from cmp-/fix-sgen-resume-thread-win32

[sgen] Fix sgen_resume_thread return value on Windows

[sgen] Fix sgen_resume_thread return value on Windows

According to sgen_resume_thread in sgen-os-mach.c, the function is
supposed to return false if the thread was not suspended.

[gacutil] Use IKVM.Reflection instead of System.Reflection (#3582)

* gacutil should use System.Reflection.Assembly.ReflectionOnlyLoadFrom() since it doesn't need to run the assemblies;
* but in fact, it could also use a managed reflection library. So in this PR we change it to use IKVM.Reflection

[w32mutex] Move own/disown code to w32mutex-unix.c (#3599)

* [w32handle] Fix race condition

* [w32mutex] Improve logging

* [w32mutex] Only add to owned mutex when we own it for the first time

* [w32mutex] Move own/disown code to w32mutex-unix.c

Send all data to a socket before exit from Socket.Send.

Merge pull request #3583 from xmcclure/test-418-checked

Fix issues (leaks, possible crash) around netmodule loading

Merge pull request #3602 from henricm/fix-configuration-symlink-removed

Removing symlink to make Configuration tests run on Windows

Removing symlink to make Configuration tests run on Windows

[corlib] Simplify terminal evaluator nesting expression

Merge pull request #3547 from cmp-/remove-obsolete-stack-checks-win32

Remove obsolete stack limit checks on Windows

[System.Core] Expose a few more System.IO.Pipes APIs on mobile

Required for netstandard matching.