[WebConnection] Fix race condition between Close and BeginWrite (#4693)

* [WebConnection] Make ReadDone and InitRead instance methods to avoid passing cnc around

* [WebConnection] Inline only call to InitConnection

* [WebConnection] Fix race condition between Close and BeginWrite

[msvc] Update csproj files (#4696)

Bump CoreRT

[runtime] Avoid freeing a string passed to mono_mb_emit_exception_full (), it doesn't assume ownership of it. Fixes random wrench failures after 91ae1664061e8ac2d370da57c57d450bb00d64de.

Revert "[acceptance-tests] Disable a regressed coreclr test"

This reverts commit 5e8012a6787e4dc1bb6577c4e3572a2c8070dd05.

The bug was fixed.

[jit] Make newarr [void] unverified. Fixes #55083.

Merge pull request #4680 from lambdageek/bug-49721-take2

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

[btls]: Cleanup certificate store initialization (#4683)

* [BTLS]: Cleanup certificate store initialization.

* Kill unused MonoBtlsX509Store.AddTrustedRoots().

* In server-mode, MonoBtlsProvider.SetupCertificateStore() now only adds
  certificates explicitly trused via MonoTlsSettings.TrustAnchors.

* MonoTlsProvider.ValidateCertificate() - which is called from
  X509Certificate2.Verify() via X509CertificateImplBtls.Verify() - now
  uses MonoTlsSettings.DefaultSettings and assumes client-mode.

* [appletls]: Actually use the new code that was added in PR #4671.

* [btls]: Add new MonoTlsSettings.CertificateValidationTime property.

This allows you to set a custom time for certificate expiration checks.

* [appletls]: Bind SecTrustSetVerifyDate() and check MonoTlsSettings.CertificateValidationTime.

Fix check for file in gensources.sh

It didn't correctly check whether the file exists so we got
"tail: no such file or directory" messages during the build.

[runtime] Fix some small domain related memory leaks. (#4685)

[System.Core][System.ComponentModel.DataAnnotations] Update strings

Merge pull request #4675 from kumpera/runtime-scalability-take1

[runtime] Reduce contention on some top locks when running Roslyn.

[appletls]: Actually use the new code that was added in PR #4671.

Merge pull request #4615 from alexanderkyte/string_error_handling

[runtime] Don't discard string conversion errors

[ppdb] Fix a crash if mono_ppdb_get_seq_points () is only passed a 'source_file' argument.

[msvc] Update csproj files

[loader] Ignore public key token in strong name match, if requested framework assembly was remapped

When framework assemblies are compiled for the mobile runtime, they are
generally signed with a different key than the normal desktop one.
Unfortunately each assembly has different logic for which key is
used (typically silverlight.pub or corefx.pub in place of ecma.pub), and short
of hardcoding a table in the runtime, there's no good way to know.

[assembly] Add option to ignore public key tokens when comparing MonoAssemblyNames

Revert "[loader] Remap public key tokens of framework assemblies when running with --runtime=mobile"

This reverts commit af7195e3493bc8c3e49da9e411ec7c8da1efcbef.

[acceptance-tests] Disable a regressed coreclr test

I filed a tracking bug.

Merge pull request #4670 from BrzVlad/fix-sgen-testing

[tests] sgen testing tweaks

[tests] Improve configurations of sgen tests

Main pointers :
 - explicit minor and bridge configuration (add some for missing major)
 - reduce duplicated testing or of low relevance (like split nursery)
 - intensive testing of latest new configurations combined (parallel minor + major + future experiments)
 - include testing with a small and a large nursery for additional variance

[tests] Add timeout limits to some longer sgen tests

[loader] Make MonoImageSet::gclass_cache concurrent.

[loader] Move typespec_cache to a lock-free-reads hashtable.

[loader] Add a lock-free cache in front of get_image_set. Doesn't override on fetch, maybe needs tweaking?

Merge pull request #4673 from kumpera/fix_stdelem_ref_perf

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

[appletls]: Use SecIdentityCreate() to avoid using the Mac keychain. (#4671)

* [appletls]: Use SecIdentityCreate() to avoid using the Mac keychain when we have a private key.

Reading Certificates from the Mac Keychain
==========================================

Reading the private key from the keychain is a new feature introduced with
AppleTls on XamMac and iOS. On Desktop Mono, this new feature has several
known issues and it also did not received any testing yet. We go back to the old
way of doing things, which is to explicitly provide an X509Certificate2 with a
private key.

Keychain Dialog Popups
======================

When using Xamarin.Mac or Xamarin.iOS, we try to search the keychain
for the certificate and private key.

On Xamarin.iOS, this is easy because each app has its own keychain.

On Xamarin.Mac, the .app package needs to be trusted via code-sign
to get permission to access the user's keychain. [FIXME: I still have to
research how to actually do that.] Without this, you will get a popup
message each time, asking you whether you want to allow the app to access
the keychain, but you can make these go away by selecting "Trust always".

On Desktop Mono, this is problematic because selecting "Trust always"
give the 'mono' binary (and thus everything you'll ever run with Mono)
permission to retrieve the private key from the keychain.

This code would also trigger constant keychain popup messages,
which could only be suppressed by granting full trust. It also makes it
impossible to run Mono in headless mode.

SecIdentityCreate
=================

To avoid these problems, we are currently using an undocumented API
called SecIdentityRef() to avoid using the Mac keychain whenever a
X509Certificate2 with a private key is used.

On iOS and XamMac, you can still provide the X509Certificate without
a private key - in this case, a keychain search will be performed (and you
may get a popup message on XamMac).

[runtime] Fix get_virtual_stelemref_wrapper STELEMREF_CLASS case to actually do the base class check.

The code was bailing straight to native which is significantly slower. This is the result of roslyn compiling corlib on my machine:

Before:
real 0m5.757s
user 0m22.059s
sys 0m1.736s

After:
real 0m5.816s
user 0m23.623s
sys 0m1.693s

[netstandard] Remove System.ArgIterator from facade

It was removed today: https://github.com/dotnet/standard/commit/52651e78ac329c56fb59cebf5b24174f25acb070

[Facades] Build netstandard.dll by default (#4501)

Added a new EXTERNAL_FACADE_DRAWING_REFERENCE variable which
specifies the path to an assembly that contains drawing types,
e.g. in the monotouch/monodroid case System.Drawing is built
inside the XI/XA repos.

Also update netstandard typeforwards to the latest version
from the dotnet/standard repo.

[msvc] Update csproj files

Merge pull request #4116 from kumpera/jit-job-control

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

[arm] Fix a gsharedvt assertion which happens with gsharedvt methods with a lot of arguments. Fixes #54976.

Update README.Mono.md

Readme rename

Updates referencesource to .NET 4.7

[resgen] Remove dependency on WinForms and use it in mobile profiles (#4667)

resgen.exe used to load WinForms via reflection which is a pretty
large dependency. Instead we can just embed the few types that
are used for reading/writing resx files directly into the app.

Add System.Drawing.dll to the "build" profile so we can put
resgen there as well and allow us to no longer rely on system
resgen for mobile profiles like monotouch/monodroid.

[msvc] Update csproj files (#4669)

[corlib] Deconstruct api from corert

Bump corert

[corlib] Add few checks for array boxing conversion of pointer types

[corlib] Share corert Array code

[tests] Bump timeouts on sgen tests

Tests that have been known to regularly fail in the past.

[arm64] Add a test file for codegen macros. Not used.

[tests] Make stress testing more verbose (#4664)

[mini] Fix spurious wakeups within JIT job control.

The first iteration of this code suffered from spurious wakeups due to using a single cond-var for all compilation.

This introduce a per-job cond var and make threads wait on that. Spurious wakeups are quite problematic in heavily threaded
code such as Roslyn. On average, every wait would get 2 extra wakeups for no good reason.

With this change, on my laptop compilation times are the following:

With spurious wakeups:
real 0m6.134s
user 0m23.588s
sys 0m2.331s

Without spurious wakeups:
real 0m5.658s
user 0m22.851s
sys 0m1.694s

This represents a 8% wallclock speedup and 3% user time speedup.

As part of this change, the active threads accounting is gone as the number of waits due to cpu overload was close to zero.

Merge pull request #4660 from xmcclure/llvm-orbis

LLVM Orbis support

LLVM: Orbis support, fix typo in configure.ac

Fix bug in SessionStateModule when session data is deleted

[Facades] Add facades to winaot/orbis profiles (#4656)

Also remove Mono.Simd as we don't it on new platforms.

Cleanup monotouch_dirs to not depend on testing_aot_full_dirs since
it should be separate (even though it contains the same right now).

Merge pull request #4663 from xmcclure/bump-linker

Bump linker external to its master

[bcl] Add check for newline to gensources.sh (#4662)

This has bitten us a bunch of times now so let's make sure
it doesn't happen again.

Bump linker external to its master

Make sure .sources files end with newline

It confuses the build on Linux otherwise.

Bump corert

[arm] Commit the generated arm_dpimacros.h/arm_vfpmacros.h files, they change very infrequently, and having to generate them complicates the cross compiler/offsets tool build. (#4655)

Remove debug fflush and fix active_jit_methods accounting in case of recursion.

[runtime] Update the offsets tool to a new version of CppSharp and use 64 bit binaries on osx. (#4659)

Fix compilation issues.

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

This shown up as a problem under parallel roslyn.

We hit frequently the case of multiple threads compiling the same method in parallel
and wasting all but one.

Another issue that happens, but infrequently, is having more threads JITing than there
are cores in the machine. Such thrashing doesn't help.

Test setup. 4/8 macbook pro compiling corlib.

Baseline:
real 0m7.665s
user 0m20.078s
sys 0m2.653s
Methods JITted using mono JIT       : 22422
Total time spent JITting (sec)      : 18.5365

With this patch:
real 0m6.149s
user 0m18.504s
sys 0m1.487s
Methods JITted using mono JIT       : 16619
Total time spent JITting (sec)      : 4.9420

New counters
JIT compile waited others           : 7681
JIT compile 1+ jobs                 : 1
JIT compile overload wait           : 67
JIT compile spurious wakeups        : 14469

This results in a 20% wall clock reduction but only a 8% reduction on user.

We JIT 26% less methods, with very few duplications. Showing this drastically improves the situation.

JIT compilation time metrics are bogus due to .cctors and other sources of interference. So take it with a grain of salt.

Future work:

Based on the new counters, it's clear that the current wakeup design is suboptimal and we could further improve it by cutting on spurious wakeups.

[tests] Fix out of tree build. (#4657)

[tests] Add stress testing and reduce sgen normal testing time (#4653)

* [tests] Keep testing even if a test has failed

* [tests] Add stress testing and reduce sgen normal testing time

[jit] Only free the unwind info inside a MonoTrampInfo if its owned by the structure.

[tools] Remove old msbuild experiment

This is just confusing now that we have the real thing.

[runtime] Free leaked variable. (#4643)

[aot] Print JIT failures without having to pass an additional option. (#4648)

Merge pull request #4612 from kumpera/android-changes-part2

Fix Android compilation and some tests

[tests] Rework how we AOT compile tests + General cleanup of make targets (#4639)

[runtime] Don't return the modules for the current process when pid != getpid ().

[System] Disable test that is too unreliable.

Improve test assert.

[System] Disable a few tests that don't work on Android.

[System] Disable test that doesn't work on Android.

[io-layer] Don't RC std handles or the current process on every lookup.

Caller don't expect those lookups to be RC'd so they don't compensate. This leads to unbound growth of their ref count, which eventually overflows.

[runtime] When looking up the process name, don't bail out if you can't load its modules.

Loading modules for other processes can fail under some linux sandboxing rules but that doesn't mean
we should not be able to compute the process name. So when module == NULL, we make module loading non-fatal.

[runtime] Improve tracing of process name lookup functions.

[runtime] Fix compilation under Android

[jit] Fix a leak in the trampoline info registration code. (#4646)

[interp] testcase for stack overflow on tail recursion opt

inspired by

./mcs/mcs/assign.cs:
SimpleAssign:CheckEqualAssign ()

[interp] fix stack overflow on tail recursion

[interp] fix stack alloc size

[msvc] Update csproj files (#4645)

[System.Data] Fix Azure SQL specific issues (ProviderTests) (#4622)

* [System.Data] Fix Azure SQL specific issues (ProviderTests)

* [System.Data] ChangeDatabase - Azure specific test

* [System.Data] SqlConnectionTest: use Assert.Throws instead

[Facades] Add forwarder for DbDataReaderExtensions

[msvc] Update csproj files

[tests] Fix the mcs-compileall target in runtime/ (#4637)

It is used as the "verify" step on Jenkins/Wrench and I noticed
it didn't run recently.

Looks like it was broken a while ago by 695e8f53ae7d2139.
Moving the verifiable_files variable at the top is wrong since
the $$profile variable is only defined inside the for loop and
so we'd get an empty list.

When that was fixed it still didn't work as piping to `echo`
doesn't work. Replaced it with a Makefile solution instead.

Merge pull request #4630 from BrzVlad/feature-valloc-limit

[sgen] OOM testing

[runtime] Add arch size InterlockedAdd

[sgen] Add old forgotten oom tests to sgen oom suite

[sgen] Add oom testing suite

[sgen] Don't pass gc options to the test-runner

Also remove some plain configurations (in the tests we should explicitly select the major)

Merge pull request #4618 from BrzVlad/feature-par-nrs

[sgen] Parallel nursery collections

[appletls]: Make CFObject.dlsym() private and fix CFBoolean. (#4640)

This fixes a native crash when attempting to use appletls.

[sgen] Split up concurrent sweep from worker logic

While this was ok because workers and sweep could not run at the same time, this is no longer the case with parallel nursery collections. In the future, if many threads will be required for different types of jobs, we can consider running them on same native thread, but the jobs will still need to have appropriate contexts (the SgenThreadPool they belong to).

[sgen] Increase gray stack section size

Stealing a gray section is relatively expensive since it requires locking. We want to avoid repeated stealing, since only one gray queue section is stolen at a time (in the case of the parallel collector).

[sgen] Increase parallelization of minors

[sgen] Parallel nursery collections

Scans the card table and the roots on the workers, including draining the stack.

Fix mono_marshal_alloc to accept gsize instead of gulong(unsigned long) (#4623)

* Fix mono_marshal_alloc to accept gsize instead of platform dependent unsigned long

* fix header

[System.Core] Linker friendly test update