Merge pull request #4701 from kumpera/jit_improvements

[JIT] Last two optimizations to Roslyn.

Merge pull request #4723 from lambdageek/bug-54485

[metadata] expand uninstantiated generic type definitions used as generic type args

[metadata] If a GTD appears uninstantiated in a generic instantiation argument,
replace it by its canonical open instantiation.

If we have
```
  class Foo<A,B,C> { ... }
  class Bar<T,U> { ... }
```

Then if someone tries to construct `Bar<Foo, int>` (or more precisely, the
MonoGenericInst corresponding to `<Foo, int>` instead return `Bar< Foo<A,B,C>, int >`.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=54485

[metadata] Add a canonical_inst MonoType to MonoClassGtd

The canonical instantiation of a generic type definition is the open
instantiation where the GTD is applied to its own generic parameters in order.

Suppose we have `class T<A,B> { ... }` then the canonical instantiation is just "T<A,B>".

[Mono.Options] CommandSet and PCL/NetStandard Support (#4719)

When `PCL` is defined, the intent is that the resulting
`Mono.Options.dll` assembly will be usable on all PCL profiles.
This includes "silly" profiles such as Profile259, which lacks the
`System.Console` type, meaning e.g. `Console.Out` doesn't exist.

Unfortunately, the
`CommandSet(string, Converter<string, string, TextWriter, TextWriter)`
constructor would use `Console.Out` and `Console.Error` when the
`TextWriter` parameters were `null`, meaning this constructor can't
be provided for all PCL profiles.

Altering the constructor to instead use `TextWriter.Null` would allow
the constructor to be provided, but would be a *worse* experience,
IMHO: anybody (everybody!) expecting the default values to
"do something useful" will be sorely disappointed, as output and
error messages would instead be dropped. :-(

Instead, remove this constructor:

public CommandSet (string suite, MessageLocalizerConverter localizer = null, TextWriter output = null, TextWriter error = null);

and replace it with these *two* constructors:

public CommandSet (string suite, MessageLocalizerConverter localizer = null)
public CommandSet (string suite, TextWriter output, TextWriter error, MessageLocalizerConverter localizer = null)

The first constructor, which accepts no `TextWriter` parameters, is
only provided in non-PCL builds, allowing it to use `Console.Out`.

The second constructor is available in PCL profiles, and *requires*
that `output` and `error` be non-`null`.

Documentation has been updated accordingly.

[tests] System.Type.MakeGenericType with a GTD as argument

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=54485

Merge pull request #4722 from alexanderkyte/checked_after

[scripts] Don't build in checked mode

Fix README.md to show correct values for --with-libgc

External boehm is no longer supported.

[corlib/System.Data] Test fixes for xammac 4.5 and watchos

The TrimSpecial() method and Windows-specific code was removed from
xammac 4.5 so reflection can't find it anymore, handle this case.

Also add a workaround for SqlParameterCollectionTest.CopyToTest()
which fails on watchos since the SqlCommand would throw a PNSE.
It's a workaround because it just makes the test ignored since we don't
set the env var that ConnectionManager.Instance.Sql reads in XI tests,
but it makes the test consistent with the other tests in the suite.
We should fix this properly later on.

[msvc] Update csproj files

[scripts] Don't build in checked mode

[System.Data] Call SqlConnection.ClearAllPools() only when we had a connection

When ConnectionManager.Instance.Sql.ConnectionString throws in
SetUp() we'd still call SqlConnection.ClearAllPools() in the TearDown()
which happens for example when the connection string environment
variable is not set.

This is a problem on WatchOS since SqlConnection.ClearAllPools()
throws PlatformNotSupportedException there, making the tests fail.
Instead we now check whether the connectionString is set and only
call the method in that case.

Bump cecil

Fix RemoteEndpoint with async+DualMode (#4717)

[Mono.CSharp] Fixes parallel build

[runtime] Shadow copy the .pdb files as well. Fixes #55095. (#4715)

[System] Don't include AlsaDevice on xammac_net_4_5

(cherry picked from commit 79ad720d5d6a595672012535116246920d32fba1)

[runtime] Forgot to update strelemref_wrapper_name with the new wrapper type.

[Mono.CSharp] Fixes parallel build

Merge pull request #4708 from xmcclure/orbis-system-net

Minor orbis fix in System.Net

[jit] Disable handler block trampolines+aot support on ios, it does an async stack walk, and the eh info for llvm compiled methods cannot be loaded in async context currently. Works around #54658. (#4713)

[configure] Fix docs for --with-libgc option (#4707)

It was renamed from --with-gc to --with-libgc in 66ca91f10b0fdd61824e318f659b807cbf45aef3,
but a few places were missed.

[msvc] Update csproj files (#4711)

Merge pull request #4712 from alexanderkyte/master-circular-fix

[runtime] Fix circular types in SRE

[runtime] Handle circular references in SRE types

We previously recursed through the entire directed cyclic graph
of the type passed to SRE. When given a (legal) circular type reference,
we encountered stack overflows. This was particularly easy to trigger
with fsharpi and with FAKE.

By creating everything about the type before searching for the parent,
and by defering all type hierarchy establishment until the type must be
surfaced to manage code, we tease out the data dependencies caught up in
the cycle.

Note the bounded lifetime of the unmanaged object hidden in the SRE
module, which acts as a global reference for all types reachable from
the TypeBuilder passed to the runtime through the icall.

[runtime] Test circular references in SRE

Minor orbis fix in System.Net

Bump nuget-buildtasks

[runtime] Blacklist System.Threading.Overlapped nugets

Update nuget-buildtasks from upstream's `dev15.1` branch (#4703)

* Update nuget-buildtasks from upstream's `dev15.1` branch

dev15.1 branch + fixup import paths

This was prompted by needing to support nuget restore for projects with
`PackageReference`.

* [nuget] Bump reference to NuGet.BuildTasks to pick up a build fix

Remove the use of ExpectedException in Mono.Posix Tests (#4698)

* Remove the use of ExpectedException in Mono.Posix Tests

ExpectedException is not available in later versions of
NUnit.  To test the NetCore 2.0 version of Mono.Posix I
need a newer version of NUnit that does not contain ExpectedException.

Using Assert.Throws should be equivalent.

* Mono.Posix Tests move CanUseRealTimeSignals checks

Moving the CanUseRealTimeSignals check outside of the
Assert.Throws callback function.

This is a change in test behavior requested by @akoeplinger
in the PR review.

* Fixing Mono.Posix.UnixSignalTest.TestSignumPropertyThrows

This test throws InvalidOperationException and we need to check
for that in the Assert.Throws type.

Add System.Net.Http 4.3.1 to blacklist

[corlib] Fixes static builds (#4687)

* [corlib] Fixes static builds

Place break inside if block

Bug 55148 - Debugger checks type which is possibly never used (#4690)

[JIT/GC] Optimize mono_gc_wbarrier_value_copy_bitmap.

mono_gc_wbarrier_value_copy_bitmap shown up when profiling Roslyn and this PR applies the following set of optimizations to it:

- Drop the bitmap, the extra branch in the loop costs more than the extra cardtable store itself
- Rename it to mono_gc_wbarrier_range_copy to reflect its new meaning
- Remove the JIT wrapper, this function doesn't need it
- Use mono_gc_get_range_copy_func as a way to punch through all layers and get the actual implementation
- Move the implementation to sgen-cardtable.c where everything can be inlined
- Exploit the fact we only need to mark the first card of a given range and thus we can hoist the address calculation outside of the loop

All of this speeds up a microbenchmark by 2x and Roslyn wallclock by around 2%.

[runtime] Optimize virtual_stelemref for classes even further.

This optimization exploits the fact that if the element type idepth is <= MONO_DEFAULT_SUPERTABLE_SIZE we can skip the idepth check.

This improves an array store only benchmark by 11%.

On Roslyn, all arrays falls into this case.

[w32error] Fix g_error args in mono_w32error_unix_to_win32

Empty commit to force a wrench build

Merge pull request #4569 from lambdageek/dev-coop-handles-march

Misc coop handles work

[appletls]: Disable the new keychain code on XI. (#4695)

(cherry picked from commit b6255d35cd224bc2ed63e52689fc336c31e63a34)

[WebConnection] Fix race condition between Close and BeginWrite (#4693)

* [WebConnection] Make ReadDone and InitRead instance methods to avoid passing cnc around

* [WebConnection] Inline only call to InitConnection

* [WebConnection] Fix race condition between Close and BeginWrite

[msvc] Update csproj files (#4696)

[custom-attrs] Use coop handles for mono_reflection_get_custom_attrs_info_checked

* use handles in icalls
  - ves_icall_MonoCustomAttrs_GetCustomAttributesDataInternal
  - ves_icall_MonoCustomAttrs_GetCustomAttributesInternal

[reflection] Move mono_reflection_type_get_handle to sre-internals.h

It's basically deprecated and only use in reflection until reflection is
converted to use handles.

[custom-attrs] Rename custom_attrs_defined_internal to ves_icall_MonoCustomAttrs_IsDefinedInternal

and use coop handles.

[remoting] Use coop handles for S.R.Remoting.Contexts.Context.{Register,Release}Context

* ves_icall_System_Runtime_Remoting_Contexts_Context_RegisterContext
* ves_icall_System_Runtime_Remoting_Contexts_Context_ReleaseContext

Added new mono_threads_{register,release}_app_context to be used internally in
the runtime.

[runtime] Use coop handles for ves_icall_System_AppDomain_DoUnhandledException

[domain] Mark mono_context_set external only

runtime should use mono_context_set_handle

[remoting] Move mono_context_{get,set} icall registration to remoting

It was previously in marshal

[domain] Use handles for MonoAppContext icalls

* ves_icall_System_AppDomain_InternalGetContext
* ves_icall_System_AppDomain_InternalGetDefaultContext
* ves_icall_System_AppDomain_InternalSetContext

[reflection] Use coop handles for MonoEventInfo.get_event_info

Bump CoreRT

[runtime] Avoid freeing a string passed to mono_mb_emit_exception_full (), it doesn't assume ownership of it. Fixes random wrench failures after 91ae1664061e8ac2d370da57c57d450bb00d64de.

Revert "[acceptance-tests] Disable a regressed coreclr test"

This reverts commit 5e8012a6787e4dc1bb6577c4e3572a2c8070dd05.

The bug was fixed.

[jit] Make newarr [void] unverified. Fixes #55083.

Merge pull request #4680 from lambdageek/bug-49721-take2

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

[btls]: Cleanup certificate store initialization (#4683)

* [BTLS]: Cleanup certificate store initialization.

* Kill unused MonoBtlsX509Store.AddTrustedRoots().

* In server-mode, MonoBtlsProvider.SetupCertificateStore() now only adds
  certificates explicitly trused via MonoTlsSettings.TrustAnchors.

* MonoTlsProvider.ValidateCertificate() - which is called from
  X509Certificate2.Verify() via X509CertificateImplBtls.Verify() - now
  uses MonoTlsSettings.DefaultSettings and assumes client-mode.

* [appletls]: Actually use the new code that was added in PR #4671.

* [btls]: Add new MonoTlsSettings.CertificateValidationTime property.

This allows you to set a custom time for certificate expiration checks.

* [appletls]: Bind SecTrustSetVerifyDate() and check MonoTlsSettings.CertificateValidationTime.

Fix check for file in gensources.sh

It didn't correctly check whether the file exists so we got
"tail: no such file or directory" messages during the build.

[runtime] Fix some small domain related memory leaks. (#4685)

[System.Core][System.ComponentModel.DataAnnotations] Update strings

Merge pull request #4675 from kumpera/runtime-scalability-take1

[runtime] Reduce contention on some top locks when running Roslyn.

[appletls]: Actually use the new code that was added in PR #4671.

Merge pull request #4615 from alexanderkyte/string_error_handling

[runtime] Don't discard string conversion errors

[ppdb] Fix a crash if mono_ppdb_get_seq_points () is only passed a 'source_file' argument.

[msvc] Update csproj files

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

When framework assemblies are compiled for the mobile runtime, they are
generally signed with a different key than the normal desktop one.
Unfortunately each assembly has different logic for which key is
used (typically silverlight.pub or corefx.pub in place of ecma.pub), and short
of hardcoding a table in the runtime, there's no good way to know.

[assembly] Add option to ignore public key tokens when comparing MonoAssemblyNames

Revert "[loader] Remap public key tokens of framework assemblies when running with --runtime=mobile"

This reverts commit af7195e3493bc8c3e49da9e411ec7c8da1efcbef.

[acceptance-tests] Disable a regressed coreclr test

I filed a tracking bug.

Merge pull request #4670 from BrzVlad/fix-sgen-testing

[tests] sgen testing tweaks

[tests] Improve configurations of sgen tests

Main pointers :
 - explicit minor and bridge configuration (add some for missing major)
 - reduce duplicated testing or of low relevance (like split nursery)
 - intensive testing of latest new configurations combined (parallel minor + major + future experiments)
 - include testing with a small and a large nursery for additional variance

[tests] Add timeout limits to some longer sgen tests

[loader] Make MonoImageSet::gclass_cache concurrent.

[loader] Move typespec_cache to a lock-free-reads hashtable.

[loader] Add a lock-free cache in front of get_image_set. Doesn't override on fetch, maybe needs tweaking?

Merge pull request #4673 from kumpera/fix_stdelem_ref_perf

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

[appletls]: Use SecIdentityCreate() to avoid using the Mac keychain. (#4671)

* [appletls]: Use SecIdentityCreate() to avoid using the Mac keychain when we have a private key.

Reading Certificates from the Mac Keychain
==========================================

Reading the private key from the keychain is a new feature introduced with
AppleTls on XamMac and iOS. On Desktop Mono, this new feature has several
known issues and it also did not received any testing yet. We go back to the old
way of doing things, which is to explicitly provide an X509Certificate2 with a
private key.

Keychain Dialog Popups
======================

When using Xamarin.Mac or Xamarin.iOS, we try to search the keychain
for the certificate and private key.

On Xamarin.iOS, this is easy because each app has its own keychain.

On Xamarin.Mac, the .app package needs to be trusted via code-sign
to get permission to access the user's keychain. [FIXME: I still have to
research how to actually do that.] Without this, you will get a popup
message each time, asking you whether you want to allow the app to access
the keychain, but you can make these go away by selecting "Trust always".

On Desktop Mono, this is problematic because selecting "Trust always"
give the 'mono' binary (and thus everything you'll ever run with Mono)
permission to retrieve the private key from the keychain.

This code would also trigger constant keychain popup messages,
which could only be suppressed by granting full trust. It also makes it
impossible to run Mono in headless mode.

SecIdentityCreate
=================

To avoid these problems, we are currently using an undocumented API
called SecIdentityRef() to avoid using the Mac keychain whenever a
X509Certificate2 with a private key is used.

On iOS and XamMac, you can still provide the X509Certificate without
a private key - in this case, a keychain search will be performed (and you
may get a popup message on XamMac).

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

The code was bailing straight to native which is significantly slower. This is the result of roslyn compiling corlib on my machine:

Before:
real 0m5.757s
user 0m22.059s
sys 0m1.736s

After:
real 0m5.816s
user 0m23.623s
sys 0m1.693s

[netstandard] Remove System.ArgIterator from facade

It was removed today: https://github.com/dotnet/standard/commit/52651e78ac329c56fb59cebf5b24174f25acb070

[Facades] Build netstandard.dll by default (#4501)

Added a new EXTERNAL_FACADE_DRAWING_REFERENCE variable which
specifies the path to an assembly that contains drawing types,
e.g. in the monotouch/monodroid case System.Drawing is built
inside the XI/XA repos.

Also update netstandard typeforwards to the latest version
from the dotnet/standard repo.

[msvc] Update csproj files

Merge pull request #4116 from kumpera/jit-job-control

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

[arm] Fix a gsharedvt assertion which happens with gsharedvt methods with a lot of arguments. Fixes #54976.

Update README.Mono.md

Readme rename

Updates referencesource to .NET 4.7

[resgen] Remove dependency on WinForms and use it in mobile profiles (#4667)

resgen.exe used to load WinForms via reflection which is a pretty
large dependency. Instead we can just embed the few types that
are used for reading/writing resx files directly into the app.

Add System.Drawing.dll to the "build" profile so we can put
resgen there as well and allow us to no longer rely on system
resgen for mobile profiles like monotouch/monodroid.

[msvc] Update csproj files (#4669)

[corlib] Deconstruct api from corert

Bump corert

[corlib] Add few checks for array boxing conversion of pointer types

[corlib] Share corert Array code

[tests] Bump timeouts on sgen tests

Tests that have been known to regularly fail in the past.

[arm64] Add a test file for codegen macros. Not used.

[tests] Make stress testing more verbose (#4664)

[mini] Fix spurious wakeups within JIT job control.

The first iteration of this code suffered from spurious wakeups due to using a single cond-var for all compilation.

This introduce a per-job cond var and make threads wait on that. Spurious wakeups are quite problematic in heavily threaded
code such as Roslyn. On average, every wait would get 2 extra wakeups for no good reason.

With this change, on my laptop compilation times are the following:

With spurious wakeups:
real 0m6.134s
user 0m23.588s
sys 0m2.331s

Without spurious wakeups:
real 0m5.658s
user 0m22.851s
sys 0m1.694s

This represents a 8% wallclock speedup and 3% user time speedup.

As part of this change, the active threads accounting is gone as the number of waits due to cpu overload was close to zero.

Merge pull request #4660 from xmcclure/llvm-orbis

LLVM Orbis support

LLVM: Orbis support, fix typo in configure.ac

Fix bug in SessionStateModule when session data is deleted