[configure] Fix docs for --with-libgc option (#4707)

It was renamed from --with-gc to --with-libgc in 66ca91f10b0fdd61824e318f659b807cbf45aef3,
but a few places were missed.

[msvc] Update csproj files (#4711)

Merge pull request #4712 from alexanderkyte/master-circular-fix

[runtime] Fix circular types in SRE

[runtime] Handle circular references in SRE types

We previously recursed through the entire directed cyclic graph
of the type passed to SRE. When given a (legal) circular type reference,
we encountered stack overflows. This was particularly easy to trigger
with fsharpi and with FAKE.

By creating everything about the type before searching for the parent,
and by defering all type hierarchy establishment until the type must be
surfaced to manage code, we tease out the data dependencies caught up in
the cycle.

Note the bounded lifetime of the unmanaged object hidden in the SRE
module, which acts as a global reference for all types reachable from
the TypeBuilder passed to the runtime through the icall.

[runtime] Test circular references in SRE

Bump nuget-buildtasks

[runtime] Blacklist System.Threading.Overlapped nugets

Update nuget-buildtasks from upstream's `dev15.1` branch (#4703)

* Update nuget-buildtasks from upstream's `dev15.1` branch

dev15.1 branch + fixup import paths

This was prompted by needing to support nuget restore for projects with
`PackageReference`.

* [nuget] Bump reference to NuGet.BuildTasks to pick up a build fix

Remove the use of ExpectedException in Mono.Posix Tests (#4698)

* Remove the use of ExpectedException in Mono.Posix Tests

ExpectedException is not available in later versions of
NUnit.  To test the NetCore 2.0 version of Mono.Posix I
need a newer version of NUnit that does not contain ExpectedException.

Using Assert.Throws should be equivalent.

* Mono.Posix Tests move CanUseRealTimeSignals checks

Moving the CanUseRealTimeSignals check outside of the
Assert.Throws callback function.

This is a change in test behavior requested by @akoeplinger
in the PR review.

* Fixing Mono.Posix.UnixSignalTest.TestSignumPropertyThrows

This test throws InvalidOperationException and we need to check
for that in the Assert.Throws type.

Add System.Net.Http 4.3.1 to blacklist

[corlib] Fixes static builds (#4687)

* [corlib] Fixes static builds

Place break inside if block

Bug 55148 - Debugger checks type which is possibly never used (#4690)

[w32error] Fix g_error args in mono_w32error_unix_to_win32

Empty commit to force a wrench build

Merge pull request #4569 from lambdageek/dev-coop-handles-march

Misc coop handles work

[appletls]: Disable the new keychain code on XI. (#4695)

(cherry picked from commit b6255d35cd224bc2ed63e52689fc336c31e63a34)

[WebConnection] Fix race condition between Close and BeginWrite (#4693)

* [WebConnection] Make ReadDone and InitRead instance methods to avoid passing cnc around

* [WebConnection] Inline only call to InitConnection

* [WebConnection] Fix race condition between Close and BeginWrite

[msvc] Update csproj files (#4696)

[custom-attrs] Use coop handles for mono_reflection_get_custom_attrs_info_checked

* use handles in icalls
  - ves_icall_MonoCustomAttrs_GetCustomAttributesDataInternal
  - ves_icall_MonoCustomAttrs_GetCustomAttributesInternal

[reflection] Move mono_reflection_type_get_handle to sre-internals.h

It's basically deprecated and only use in reflection until reflection is
converted to use handles.

[custom-attrs] Rename custom_attrs_defined_internal to ves_icall_MonoCustomAttrs_IsDefinedInternal

and use coop handles.

[remoting] Use coop handles for S.R.Remoting.Contexts.Context.{Register,Release}Context

* ves_icall_System_Runtime_Remoting_Contexts_Context_RegisterContext
* ves_icall_System_Runtime_Remoting_Contexts_Context_ReleaseContext

Added new mono_threads_{register,release}_app_context to be used internally in
the runtime.

[runtime] Use coop handles for ves_icall_System_AppDomain_DoUnhandledException

[domain] Mark mono_context_set external only

runtime should use mono_context_set_handle

[remoting] Move mono_context_{get,set} icall registration to remoting

It was previously in marshal

[domain] Use handles for MonoAppContext icalls

* ves_icall_System_AppDomain_InternalGetContext
* ves_icall_System_AppDomain_InternalGetDefaultContext
* ves_icall_System_AppDomain_InternalSetContext

[reflection] Use coop handles for MonoEventInfo.get_event_info

Bump CoreRT

[runtime] Avoid freeing a string passed to mono_mb_emit_exception_full (), it doesn't assume ownership of it. Fixes random wrench failures after 91ae1664061e8ac2d370da57c57d450bb00d64de.

Revert "[acceptance-tests] Disable a regressed coreclr test"

This reverts commit 5e8012a6787e4dc1bb6577c4e3572a2c8070dd05.

The bug was fixed.

[jit] Make newarr [void] unverified. Fixes #55083.

Merge pull request #4680 from lambdageek/bug-49721-take2

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

[btls]: Cleanup certificate store initialization (#4683)

* [BTLS]: Cleanup certificate store initialization.

* Kill unused MonoBtlsX509Store.AddTrustedRoots().

* In server-mode, MonoBtlsProvider.SetupCertificateStore() now only adds
  certificates explicitly trused via MonoTlsSettings.TrustAnchors.

* MonoTlsProvider.ValidateCertificate() - which is called from
  X509Certificate2.Verify() via X509CertificateImplBtls.Verify() - now
  uses MonoTlsSettings.DefaultSettings and assumes client-mode.

* [appletls]: Actually use the new code that was added in PR #4671.

* [btls]: Add new MonoTlsSettings.CertificateValidationTime property.

This allows you to set a custom time for certificate expiration checks.

* [appletls]: Bind SecTrustSetVerifyDate() and check MonoTlsSettings.CertificateValidationTime.

Fix check for file in gensources.sh

It didn't correctly check whether the file exists so we got
"tail: no such file or directory" messages during the build.

[runtime] Fix some small domain related memory leaks. (#4685)

[System.Core][System.ComponentModel.DataAnnotations] Update strings

Merge pull request #4675 from kumpera/runtime-scalability-take1

[runtime] Reduce contention on some top locks when running Roslyn.

[appletls]: Actually use the new code that was added in PR #4671.

Merge pull request #4615 from alexanderkyte/string_error_handling

[runtime] Don't discard string conversion errors

[ppdb] Fix a crash if mono_ppdb_get_seq_points () is only passed a 'source_file' argument.

[msvc] Update csproj files

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

When framework assemblies are compiled for the mobile runtime, they are
generally signed with a different key than the normal desktop one.
Unfortunately each assembly has different logic for which key is
used (typically silverlight.pub or corefx.pub in place of ecma.pub), and short
of hardcoding a table in the runtime, there's no good way to know.

[assembly] Add option to ignore public key tokens when comparing MonoAssemblyNames

Revert "[loader] Remap public key tokens of framework assemblies when running with --runtime=mobile"

This reverts commit af7195e3493bc8c3e49da9e411ec7c8da1efcbef.

[acceptance-tests] Disable a regressed coreclr test

I filed a tracking bug.

Merge pull request #4670 from BrzVlad/fix-sgen-testing

[tests] sgen testing tweaks

[tests] Improve configurations of sgen tests

Main pointers :
 - explicit minor and bridge configuration (add some for missing major)
 - reduce duplicated testing or of low relevance (like split nursery)
 - intensive testing of latest new configurations combined (parallel minor + major + future experiments)
 - include testing with a small and a large nursery for additional variance

[tests] Add timeout limits to some longer sgen tests

[loader] Make MonoImageSet::gclass_cache concurrent.

[loader] Move typespec_cache to a lock-free-reads hashtable.

[loader] Add a lock-free cache in front of get_image_set. Doesn't override on fetch, maybe needs tweaking?

Merge pull request #4673 from kumpera/fix_stdelem_ref_perf

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

[appletls]: Use SecIdentityCreate() to avoid using the Mac keychain. (#4671)

* [appletls]: Use SecIdentityCreate() to avoid using the Mac keychain when we have a private key.

Reading Certificates from the Mac Keychain
==========================================

Reading the private key from the keychain is a new feature introduced with
AppleTls on XamMac and iOS. On Desktop Mono, this new feature has several
known issues and it also did not received any testing yet. We go back to the old
way of doing things, which is to explicitly provide an X509Certificate2 with a
private key.

Keychain Dialog Popups
======================

When using Xamarin.Mac or Xamarin.iOS, we try to search the keychain
for the certificate and private key.

On Xamarin.iOS, this is easy because each app has its own keychain.

On Xamarin.Mac, the .app package needs to be trusted via code-sign
to get permission to access the user's keychain. [FIXME: I still have to
research how to actually do that.] Without this, you will get a popup
message each time, asking you whether you want to allow the app to access
the keychain, but you can make these go away by selecting "Trust always".

On Desktop Mono, this is problematic because selecting "Trust always"
give the 'mono' binary (and thus everything you'll ever run with Mono)
permission to retrieve the private key from the keychain.

This code would also trigger constant keychain popup messages,
which could only be suppressed by granting full trust. It also makes it
impossible to run Mono in headless mode.

SecIdentityCreate
=================

To avoid these problems, we are currently using an undocumented API
called SecIdentityRef() to avoid using the Mac keychain whenever a
X509Certificate2 with a private key is used.

On iOS and XamMac, you can still provide the X509Certificate without
a private key - in this case, a keychain search will be performed (and you
may get a popup message on XamMac).

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

The code was bailing straight to native which is significantly slower. This is the result of roslyn compiling corlib on my machine:

Before:
real 0m5.757s
user 0m22.059s
sys 0m1.736s

After:
real 0m5.816s
user 0m23.623s
sys 0m1.693s

[netstandard] Remove System.ArgIterator from facade

It was removed today: https://github.com/dotnet/standard/commit/52651e78ac329c56fb59cebf5b24174f25acb070

[Facades] Build netstandard.dll by default (#4501)

Added a new EXTERNAL_FACADE_DRAWING_REFERENCE variable which
specifies the path to an assembly that contains drawing types,
e.g. in the monotouch/monodroid case System.Drawing is built
inside the XI/XA repos.

Also update netstandard typeforwards to the latest version
from the dotnet/standard repo.

[msvc] Update csproj files

Merge pull request #4116 from kumpera/jit-job-control

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

[arm] Fix a gsharedvt assertion which happens with gsharedvt methods with a lot of arguments. Fixes #54976.

Update README.Mono.md

Readme rename

Updates referencesource to .NET 4.7

[resgen] Remove dependency on WinForms and use it in mobile profiles (#4667)

resgen.exe used to load WinForms via reflection which is a pretty
large dependency. Instead we can just embed the few types that
are used for reading/writing resx files directly into the app.

Add System.Drawing.dll to the "build" profile so we can put
resgen there as well and allow us to no longer rely on system
resgen for mobile profiles like monotouch/monodroid.

[msvc] Update csproj files (#4669)

[corlib] Deconstruct api from corert

Bump corert

[corlib] Add few checks for array boxing conversion of pointer types

[corlib] Share corert Array code

[tests] Bump timeouts on sgen tests

Tests that have been known to regularly fail in the past.

[arm64] Add a test file for codegen macros. Not used.

[tests] Make stress testing more verbose (#4664)

[mini] Fix spurious wakeups within JIT job control.

The first iteration of this code suffered from spurious wakeups due to using a single cond-var for all compilation.

This introduce a per-job cond var and make threads wait on that. Spurious wakeups are quite problematic in heavily threaded
code such as Roslyn. On average, every wait would get 2 extra wakeups for no good reason.

With this change, on my laptop compilation times are the following:

With spurious wakeups:
real 0m6.134s
user 0m23.588s
sys 0m2.331s

Without spurious wakeups:
real 0m5.658s
user 0m22.851s
sys 0m1.694s

This represents a 8% wallclock speedup and 3% user time speedup.

As part of this change, the active threads accounting is gone as the number of waits due to cpu overload was close to zero.

Merge pull request #4660 from xmcclure/llvm-orbis

LLVM Orbis support

LLVM: Orbis support, fix typo in configure.ac

Fix bug in SessionStateModule when session data is deleted

[Facades] Add facades to winaot/orbis profiles (#4656)

Also remove Mono.Simd as we don't it on new platforms.

Cleanup monotouch_dirs to not depend on testing_aot_full_dirs since
it should be separate (even though it contains the same right now).

Merge pull request #4663 from xmcclure/bump-linker

Bump linker external to its master

[bcl] Add check for newline to gensources.sh (#4662)

This has bitten us a bunch of times now so let's make sure
it doesn't happen again.

Bump linker external to its master

Make sure .sources files end with newline

It confuses the build on Linux otherwise.

Bump corert

[arm] Commit the generated arm_dpimacros.h/arm_vfpmacros.h files, they change very infrequently, and having to generate them complicates the cross compiler/offsets tool build. (#4655)

Remove debug fflush and fix active_jit_methods accounting in case of recursion.

[runtime] Update the offsets tool to a new version of CppSharp and use 64 bit binaries on osx. (#4659)

Fix compilation issues.

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

This shown up as a problem under parallel roslyn.

We hit frequently the case of multiple threads compiling the same method in parallel
and wasting all but one.

Another issue that happens, but infrequently, is having more threads JITing than there
are cores in the machine. Such thrashing doesn't help.

Test setup. 4/8 macbook pro compiling corlib.

Baseline:
real 0m7.665s
user 0m20.078s
sys 0m2.653s
Methods JITted using mono JIT       : 22422
Total time spent JITting (sec)      : 18.5365

With this patch:
real 0m6.149s
user 0m18.504s
sys 0m1.487s
Methods JITted using mono JIT       : 16619
Total time spent JITting (sec)      : 4.9420

New counters
JIT compile waited others           : 7681
JIT compile 1+ jobs                 : 1
JIT compile overload wait           : 67
JIT compile spurious wakeups        : 14469

This results in a 20% wall clock reduction but only a 8% reduction on user.

We JIT 26% less methods, with very few duplications. Showing this drastically improves the situation.

JIT compilation time metrics are bogus due to .cctors and other sources of interference. So take it with a grain of salt.

Future work:

Based on the new counters, it's clear that the current wakeup design is suboptimal and we could further improve it by cutting on spurious wakeups.

[tests] Fix out of tree build. (#4657)

[tests] Add stress testing and reduce sgen normal testing time (#4653)

* [tests] Keep testing even if a test has failed

* [tests] Add stress testing and reduce sgen normal testing time

[jit] Only free the unwind info inside a MonoTrampInfo if its owned by the structure.

[tools] Remove old msbuild experiment

This is just confusing now that we have the real thing.

[runtime] Free leaked variable. (#4643)

[aot] Print JIT failures without having to pass an additional option. (#4648)

Merge pull request #4612 from kumpera/android-changes-part2

Fix Android compilation and some tests

[tests] Rework how we AOT compile tests + General cleanup of make targets (#4639)

[runtime] Don't return the modules for the current process when pid != getpid ().

[System] Disable test that is too unreliable.

Improve test assert.

[System] Disable a few tests that don't work on Android.

[System] Disable test that doesn't work on Android.