[msvc] Update csproj files

Merge pull request #4116 from kumpera/jit-job-control

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

[arm] Fix a gsharedvt assertion which happens with gsharedvt methods with a lot of arguments. Fixes #54976.

Update README.Mono.md

Readme rename

Updates referencesource to .NET 4.7

[resgen] Remove dependency on WinForms and use it in mobile profiles (#4667)

resgen.exe used to load WinForms via reflection which is a pretty
large dependency. Instead we can just embed the few types that
are used for reading/writing resx files directly into the app.

Add System.Drawing.dll to the "build" profile so we can put
resgen there as well and allow us to no longer rely on system
resgen for mobile profiles like monotouch/monodroid.

[msvc] Update csproj files (#4669)

[corlib] Deconstruct api from corert

Bump corert

[corlib] Add few checks for array boxing conversion of pointer types

[corlib] Share corert Array code

[arm64] Add a test file for codegen macros. Not used.

[tests] Make stress testing more verbose (#4664)

[mini] Fix spurious wakeups within JIT job control.

The first iteration of this code suffered from spurious wakeups due to using a single cond-var for all compilation.

This introduce a per-job cond var and make threads wait on that. Spurious wakeups are quite problematic in heavily threaded
code such as Roslyn. On average, every wait would get 2 extra wakeups for no good reason.

With this change, on my laptop compilation times are the following:

With spurious wakeups:
real 0m6.134s
user 0m23.588s
sys 0m2.331s

Without spurious wakeups:
real 0m5.658s
user 0m22.851s
sys 0m1.694s

This represents a 8% wallclock speedup and 3% user time speedup.

As part of this change, the active threads accounting is gone as the number of waits due to cpu overload was close to zero.

Merge pull request #4660 from xmcclure/llvm-orbis

LLVM Orbis support

LLVM: Orbis support, fix typo in configure.ac

Fix bug in SessionStateModule when session data is deleted

[Facades] Add facades to winaot/orbis profiles (#4656)

Also remove Mono.Simd as we don't it on new platforms.

Cleanup monotouch_dirs to not depend on testing_aot_full_dirs since
it should be separate (even though it contains the same right now).

Merge pull request #4663 from xmcclure/bump-linker

Bump linker external to its master

[bcl] Add check for newline to gensources.sh (#4662)

This has bitten us a bunch of times now so let's make sure
it doesn't happen again.

Bump linker external to its master

Make sure .sources files end with newline

It confuses the build on Linux otherwise.

Bump corert

[arm] Commit the generated arm_dpimacros.h/arm_vfpmacros.h files, they change very infrequently, and having to generate them complicates the cross compiler/offsets tool build. (#4655)

Remove debug fflush and fix active_jit_methods accounting in case of recursion.

[runtime] Update the offsets tool to a new version of CppSharp and use 64 bit binaries on osx. (#4659)

Fix compilation issues.

[mini] Introduce job control to the JIT. Limits by active and duplicate jobs.

This shown up as a problem under parallel roslyn.

We hit frequently the case of multiple threads compiling the same method in parallel
and wasting all but one.

Another issue that happens, but infrequently, is having more threads JITing than there
are cores in the machine. Such thrashing doesn't help.

Test setup. 4/8 macbook pro compiling corlib.

Baseline:
real 0m7.665s
user 0m20.078s
sys 0m2.653s
Methods JITted using mono JIT       : 22422
Total time spent JITting (sec)      : 18.5365

With this patch:
real 0m6.149s
user 0m18.504s
sys 0m1.487s
Methods JITted using mono JIT       : 16619
Total time spent JITting (sec)      : 4.9420

New counters
JIT compile waited others           : 7681
JIT compile 1+ jobs                 : 1
JIT compile overload wait           : 67
JIT compile spurious wakeups        : 14469

This results in a 20% wall clock reduction but only a 8% reduction on user.

We JIT 26% less methods, with very few duplications. Showing this drastically improves the situation.

JIT compilation time metrics are bogus due to .cctors and other sources of interference. So take it with a grain of salt.

Future work:

Based on the new counters, it's clear that the current wakeup design is suboptimal and we could further improve it by cutting on spurious wakeups.

[tests] Fix out of tree build. (#4657)

[tests] Add stress testing and reduce sgen normal testing time (#4653)

* [tests] Keep testing even if a test has failed

* [tests] Add stress testing and reduce sgen normal testing time

[jit] Only free the unwind info inside a MonoTrampInfo if its owned by the structure.

[tools] Remove old msbuild experiment

This is just confusing now that we have the real thing.

[runtime] Free leaked variable. (#4643)

[aot] Print JIT failures without having to pass an additional option. (#4648)

Merge pull request #4612 from kumpera/android-changes-part2

Fix Android compilation and some tests

[tests] Rework how we AOT compile tests + General cleanup of make targets (#4639)

[runtime] Don't return the modules for the current process when pid != getpid ().

[System] Disable test that is too unreliable.

Improve test assert.

[System] Disable a few tests that don't work on Android.

[System] Disable test that doesn't work on Android.

[io-layer] Don't RC std handles or the current process on every lookup.

Caller don't expect those lookups to be RC'd so they don't compensate. This leads to unbound growth of their ref count, which eventually overflows.

[runtime] When looking up the process name, don't bail out if you can't load its modules.

Loading modules for other processes can fail under some linux sandboxing rules but that doesn't mean
we should not be able to compute the process name. So when module == NULL, we make module loading non-fatal.

[runtime] Improve tracing of process name lookup functions.

[runtime] Fix compilation under Android

[jit] Fix a leak in the trampoline info registration code. (#4646)

[interp] testcase for stack overflow on tail recursion opt

inspired by

./mcs/mcs/assign.cs:
SimpleAssign:CheckEqualAssign ()

[interp] fix stack overflow on tail recursion

[interp] fix stack alloc size

[msvc] Update csproj files (#4645)

[System.Data] Fix Azure SQL specific issues (ProviderTests) (#4622)

* [System.Data] Fix Azure SQL specific issues (ProviderTests)

* [System.Data] ChangeDatabase - Azure specific test

* [System.Data] SqlConnectionTest: use Assert.Throws instead

[Facades] Add forwarder for DbDataReaderExtensions

[msvc] Update csproj files

[tests] Fix the mcs-compileall target in runtime/ (#4637)

It is used as the "verify" step on Jenkins/Wrench and I noticed
it didn't run recently.

Looks like it was broken a while ago by 695e8f53ae7d2139.
Moving the verifiable_files variable at the top is wrong since
the $$profile variable is only defined inside the for loop and
so we'd get an empty list.

When that was fixed it still didn't work as piping to `echo`
doesn't work. Replaced it with a Makefile solution instead.

Merge pull request #4630 from BrzVlad/feature-valloc-limit

[sgen] OOM testing

[runtime] Add arch size InterlockedAdd

[sgen] Add old forgotten oom tests to sgen oom suite

[sgen] Add oom testing suite

[sgen] Don't pass gc options to the test-runner

Also remove some plain configurations (in the tests we should explicitly select the major)

Merge pull request #4618 from BrzVlad/feature-par-nrs

[sgen] Parallel nursery collections

[appletls]: Make CFObject.dlsym() private and fix CFBoolean. (#4640)

This fixes a native crash when attempting to use appletls.

[sgen] Split up concurrent sweep from worker logic

While this was ok because workers and sweep could not run at the same time, this is no longer the case with parallel nursery collections. In the future, if many threads will be required for different types of jobs, we can consider running them on same native thread, but the jobs will still need to have appropriate contexts (the SgenThreadPool they belong to).

[sgen] Increase gray stack section size

Stealing a gray section is relatively expensive since it requires locking. We want to avoid repeated stealing, since only one gray queue section is stolen at a time (in the case of the parallel collector).

[sgen] Increase parallelization of minors

[sgen] Parallel nursery collections

Scans the card table and the roots on the workers, including draining the stack.

Fix mono_marshal_alloc to accept gsize instead of gulong(unsigned long) (#4623)

* Fix mono_marshal_alloc to accept gsize instead of platform dependent unsigned long

* fix header

[System.Core] Linker friendly test update

[Facades] Fixes System.Threading.Overlapped

[System.Core] Remove duplicate files

Bump cecil

[corlib] Port more of corert array

[llvm] Add sign extensions for the index register used during bounds checks and array address calculations. (#4636)

Merge pull request #4635 from xmcclure/5.3-bump

Bump master to 5.3 due to creation of 2017-04 branch

[jit] Fix a regression caused by 399f6e2425d5fdf73c4f956e9e906613b55968d0. Avoid a crash if MONO_VERBOS_METHOD is used.

Bump to 5.3 due to creation of 2017-04 branch

[jit] Fix the casting between arrays with bounds and vectors even for special cased types like object[]. Fixes #54212. (#4633)

Correctly detect relative Uri in package parts (#3630)

[runtime] Default Interface Method support (#4625)

* [runtime] Add support for the simplest case of default interfaces, where the default method is used.

* [runtime] Implement overriding of default interface methods in interfaces.

* [jit] Fix gshared support for default interface methods, they require an mrgctx since the this argument doesn't point to the implementing class, not the interface.

Merge pull request #4628 from xmcclure/orbis-profile

Platform support fixes

[jit] Fix the ppc build.

Make monolite profile directory versioned (#4631)

If you're building with monolite currently the build system
checks for the existence of mcs/class/lib/monolite and just
uses it in that case.

It becomes a problem when bumping corlib version since if you
pull the update and try to build it'll use the old monolite
and you'll hit the "corlib version not in sync" error.

By making the monolite directory include the version this can
be avoided and everything works out of the box.

Also removed the confusing "You need Mono version 4.8 or better"
message since we actually require a newer version in
basic-profile-check.cs now and keeping them in sync is error prone.

[msvc] Update csproj files (#4632)

Style fixes for PR feedback

change icall to use gsize as well

[sgen] Add debug option for valloc limit

This allows us to stress test OOM inside sgen (and potentially other areas).

[System] Fixes build

Fix Windows build

[msvc] Update csproj files (#4624)

Merge pull request #4621 from alexanderkyte/strdup_env

[runtime] Switch getenv to use heap memory

Add System.Security.dll to orbis profile

More platform support fixes

- Support platforms without mkdtemp
- Fix compile for console-null.c

Combined cherrypick of changes between mono-4.8.0-branch and orbis-branch-30

ORBIS #ifdefs in BCL, exclude several files and assembly directories
from the orbis build, HAVE_LOCALTIME_R define in C.

[sgen] Emit fast inline wbarrier instead of the wrapper one

Which seems to be about 4 times slower than the inline one.

[interp] basic filter clause support

[runtime] Switch getenv to use heap memory

Getenv doesn't use heap memory, it uses static memory.
Mono's usage is consistent with a view of getenv memory contents
that are durable and can be stored and manipulated.

In a multithreaded context, getenv calls can race and corrupt
string buffers as they are read. In a single threaded context,
subsequent calls to getenv will lead to overwriting the memory
that pointers to previous calls point to.

In order to bring memory safety back, we duplicate memory and
manage it at each call-site.

Note: this changes the API semantics of g_getenv. This is necessary
because the locking around the getenv buffer is safest when confined to
the function in eglib.

[System.Web] Implement HostingEnvironment.QueueBackgroundWorkItem

From reference source.

This is required for the Azure Functions Host to run unmodified.

Bring in the new reference assemblies (#4619)

This bumps the reference assemblies submodule so we can install
the new assemblies which are built from source.

[runtime] Fix typo in icall name (#4616)

Add beginnings of mixed code execution support (#4613)

* [interp] Fix a few problems exposed by the iltests.exe test suite.

The ENDFINALLY opcode should empty the stack. The INITBLK opcode is two bytes.

* [interp] Store the MonoMethod->RuntimeMethod mapping in a separate hash in MonoJitDomainInfo instead of using MonoDomain.jit_code_hash, the latter contains MonoMethod->MonoJitInfo mappings. Also avoid holding the domain lock while creating the RuntimeMethod structure.

* [interp] Add a mono_jit_compile_method_jit_only () function which always compiles its argument using the JIT/AOT.

* [interp] Print a warning when --interpreter is used with a runtime compiled without ENABLE_INTERPRETER.

* [interp] Fix the size of the icall enter trampoline on amd64. Fix some formatting issues.

* [interp] Add support for calling JITted code from the interpreter. This uses the gsharedvt_out wrappers used by bitcode to reduce the number of possible calling conventions since all arguments and the return value are passed/returned by value. Not enabled yet.

* [interp] Add a --interp= argument which allows passing of options to the interpreter. Add a 'jit=' option which is used to control the set of types whose methods will be called by exiting the interpreter.

* [interp] Add tests for mixed mode execution.

* [interp] Add support for calling interpreter code from JITted code.

* [interp] add mixedmode target to CI

* Revert a debug change.

* [runtime] Fix the locking in the gsharedvt/interp wrapper creation functions.

* [interp] Implement support for interp->jit calls with more than 8 arguments.