Merge pull request #2844 from radical/assign-proj-config

[xbuild] Fix bug #40094 - AssignProjectConfiguration should fallback to project path if ..

Merge pull request #2839 from alexrp/profiler-thread-detach

[profiler] Detach helper/writer threads before shutting them down.

Replace android-libunwind submodule with a local copy

We can't keep it as a real git submodule since the repo contains an "aux" folder that breaks on Windows.

[profiler] Detach helper/writer threads before shutting them down.

[threads] Export mono_thread_info_detach () for use in the profiler.

[ci] Put windows msbuild command in quotes

Merge pull request #2837 from alexrp/master

Bunch of improvements surrounding thread names and reporting of such to the profiler

[xbuild] Fix #40094, part 2/2: AssignProjectConfiguration - Fallback to

.. project path for lookup, if lookup by guid fails.

Fixes bxc #40094 .

[xbuild] Fix #40094, part 1/2: SolutionParser: Emit `AbsolutePath="..."`

.. attribute for CurrentSolutionConfigurationContents .

   <CurrentSolutionConfigurationContents>
         <SolutionConfiguration xmlns="">
   <ProjectConfiguration Project="{82323650-6C2A-4FAC-91C6-A715C2FE9CB2}" AbsolutePath="/Users/ankit/test/msbuild/bug40094/App1/App1\App1\App1.csproj">
   Release|AnyCPU
   </ProjectConfiguration>
   ...

Related to fix for bxc #40094

[runtime] Deduplicate MONO_ZERO_LEN_ARRAY into mono-compiler.h.

[runtime] Factor out (MonoMarshalConv)-1 into its own define.

Thanks to @marek-safar for suggestion.

Merge pull request #2842 from akoeplinger/fix-monodroid-build

Fix monodroid build

Add android-libunwind submodule and fix path in mini-exceptions-native-unwinder.c

This was hosted in mono-extensions before. It is licensed under the MIT license:
https://android.googlesource.com/platform/external/libunwind/+/android-6.0.1_r24/LICENSE

Merge pull request #2836 from kumpera/cwt_toggleref

Fixed a toggleref and CWT iteraction bug.

[mini] Remove duplicated methods from tramp-arm64-gsharedvt.c

They are already defined in arch-stubs.c

[mini] Fix incorrect ifdef in the arm64 gsharedvt files

It used MONO_ARCH_GSHARED_SUPPORTED instead of MONO_ARCH_GSHAREDVT_SUPPORTED.

[mini] Add missing include to mini-exceptions-native-unwinder.c

It complained about mono_runtime_printf_err() not being defined.

[mini] Fix ARM assembler syntax for MRC

According to http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0068b/CIHEEIDJ.html the MRC instruction is documented as:

    MRC{cond} coproc, opcode1, Rd, CRn, CRm{, opcode2}

with coproc being "the name of the coprocessor the instruction isfor. The standard name is pn, where n is an integer in the range 0-15."

GCC seemed to accept the operand without the 'p' prefix but clang raised an "invalid operand for instruction" error.

[runtime] Fixed invalid comparisons to MonoMarshalConv in marshal.c.

In some platforms, C enums might be considered unsigned, and in that case we'd get the following warning:

mono/mono/metadata/marshal.c:5108:12: warning: comparison of constant -1 with expression of type 'MonoMarshalConv' is always false
      [-Wtautological-constant-out-of-range-compare]
                if (conv == -1) {
                    ~~~~ ^  ~~

The explicit cast should do the right thing.

Merge pull request #2833 from directhex/ci-script-in-repo

Keep Jenkins job script in Mono repo

Merge pull request #2804 from radical/al-cecil

AL: Use IKVM.Reflection to get custom attributes from the template assembly,

Merge pull request #2840 from directhex/fix_make_dist_commoncrypto

Fix missing CommonCrypto/Makefile.include in "make dist" tarballs

Fix missing CommonCrypto/Makefile.include in "make dist" tarballs

Keep Jenkins job script in Mono repo

This means we can change the script in different branches (right now, all pull requests against any branch share the same job script)

[Microsoft.Build.Tasks] Fix CodeTaskFactory to resolve user references

Merge pull request #2835 from lewurm/fix-make-dist

[sqlmetal] fixup for a73fb31f2 in order to fix `make dist'

[mprof-report] Don't print a thread with a zero thread ID in the summary.

Log buffers can end up with a zero thread ID when we synthesize events on the
writer thread, leading to mprof-report thinking a thread exists with that ID.
We simply ignore the "zero thread" in the thread summary.

[profiler] Ensure that we zero out thread IDs for buffers written from helper/writer threads.

If we don't do this, mprof-report will pick up on the fact that the helper and
writer threads exist and print them in the thread summary with no names. It's
OK to zero out the thread ID as the kinds of events we write from these threads
cannot be meaningfully associated with the log buffer's thread ID (or in the
case of counters, any thread ID).

[mprof-report] Don't assume the first thread seen is the main thread.

The runtime now explicitly sets the native name for the main thread, so this
(faulty) assumption is no longer necessary.

[mini] Set a native thread name for the main thread in the driver.

We only set the native name as MS.NET leaves the managed name for the main
thread as null. At least by setting the native name, we get a nice name in GDB.

[threadpool] Explicitly use the root domain to allocate the thread name.

This is mainly for consistency with the rest of the runtime which explicitly
specifies the root domain when allocating thread name strings.

[runtime] Add thread names to all internal runtime threads.

[gc] Allow changing the finalizer thread's name.

This insanity is apparently allowed by MS.NET.

[gc] Set name of the finalizer thread from within the thread.

This ensures that its name is set with pthread_setname_np () on Mac.

[threads] Export some functions so the entire runtime can set thread names.

[threads] Make mono_thread_info_set_name () work on Mac in some cases.

We can use pthread_setname_np () on OS X 10.6+ when we're setting the name for
the current thread. For other cases, we just do nothing.

[threads] Don't report tools threads that do a full attach to the profiler.

The profiler helper thread does a full attach for on-demand heapshots. Since we
collect no actual data for the helper thread, there's no reason to report it.

[threads] Make sure we change the native thread name if it was set before starting.

[sgen] Make mono_gc_base_init () double-init resistant like the other GCs.

A double init could happen when profiling as we'd call mono_gc_base_init ()
from mono_profiler_load () early on, and then later call it again during the
normal startup sequence.

[mini] Shut down the profiler after shutting down the major runtime components.

Previously, we would shut down the profiler so early that it would never see
unload events for threads, domains, etc. This sounds harmless at first, but
since the profiler dumps the remaining data in the thread-local log buffer to
disk from within the thread end callback, we would often miss events near the
end of a thread's lifetime.

Shutting down the profiler after the major runtime components doesn't appear to
have any negative effects, which makes sense as all managed threads should be
stopped by this point.

[sgen] Mark togglerefs before processing ephemerons. Fixes #40108.

Strong Togglerefs must be considered as roots for the purpose of Ephemeron processing.

Otherwise you make it not possible to use a toggleref object as key.

AL: Use IKVM.Reflection to get custom attributes from the template assembly,

.. instead of System.Reflection. This allows AL to work even if the
dependent assemblies of the template are not available.

Merge pull request #2834 from xmcclure/inflated_method_header_leak_followup

Fix uninitialized MonoError in mono_basic_block_split

Follow-up on PR #2781 which removed a mono_error_init leading to memory unsafety. This was causing crashes when verifying assemblies in the 4.4 branch although it does not seem to have caused any known problems in master for some reason.

[sqlmetal] fixup for a73fb31f2 in order to fix `make dist'

Merge pull request #2832 from razzfazz/handle_eintr

handle EINTR for kevent calls

Document mono_error_init convention in source

[runtime] restore mono_error_init in mono_basic_block_split

Follow-up on PR #2781 which removed a mono_error_init. Ensure use in
helper functions for consistency. Fixes a potential crasher.

[Microsoft.Build.Utilities] Fixes tests resources build

[sqlmetal] Remove wrong tests config

[mcs] Remove duplicate references

Bump referencesource

Merge pull request #2831 from razzfazz/fix_dllimport

clean up DllImport attributes

[System] Always pass -noconfig to codedom c# compiler

[build] Exclude generated .g.cs files from "make dist"

The recent changes to the mobile profiles introduced generated files in their .sources like CommonCrypto/MD5CryptoServiceProvider.g.cs
However, those are not generated when the mobile profiles aren't enabled at configure time.

This caused a problem during "make dist" since it tries to grab the entries in .sources from *all* profiles, causing errors like:

    cp: cannot stat ‘CommonCrypto/MD5CryptoServiceProvider.g.cs’: No such file or directory
    make[5]: *** [dist-local] Error 1

The easiest fix is to filter out those generated files.

clean up DllImport attributes

Any native function that can modify errno should have the
SetLastError attribute set to true. Also, no need to specify
EntryPoint if it's the same as the function name.

[runtime] Allow the options in MONO_DEBUG to be passed as a command line option too.

[llvm] Enable pinvoke call using the C calling conv in llvm-only mode.

[corlib] Make some ExceptionDispatchInfo tests with BitcodeNotWorking because we don't truncate stack traces of exceptions at the catch site when running with bitcode.

Merge pull request #2827 from xmcclure/profile-clean-0.1

Continued profiler loading cleanup (PR#2816 follow up)

Merge pull request #2545 from ermshiperete/Xamarin-24974

[corlib] Fix exception in __ComObject finalizer during shutdown

* keep a reference to a __ComObject's proxy so it doesn't get garbage
  collected
* don't create __ComObjects unnecessarily
* Fix for bug [24974](https://bugzilla.xamarin.com/show_bug.cgi?id=24974)

[build] Update nunit-console path for xbuild profiles

[Microsoft.Build.Engine] Update test files

[mcs] Make more errors build explicit

[System.Runtime.Serialization.dll] Update referencesource strings

[tools] Update missing reference

Fix make dist

[test-runner] Ignore exceptions during process kill

We hit this on Jenkins over the weekend:
https://jenkins.mono-project.com/job/test-mono-mainline/label=osx-amd64/3845/parsed_console/log_content.html#WARNING1

```
Unhandled Exception:
System.InvalidOperationException: Cannot process request because the process (51792) has exited.
  at System.Diagnostics.Process.GetProcessHandle (Int32 access, Boolean throwIfExited) <0x10d7ea000 + 0x001b6> in <filename unknown>:0
  at System.Diagnostics.Process.GetProcessHandle (Int32 access) <0x10d7f2fd0 + 0x0001e> in <filename unknown>:0
  at System.Diagnostics.Process.Kill () <0x10d7f2ee0 + 0x00031> in <filename unknown>:0
  at (wrapper remoting-invoke-with-check) System.Diagnostics.Process:Kill ()
  at TestRunner+<Main>c__AnonStorey0.<>m__0 () <0x10a9b50b0 + 0x00e30> in <filename unknown>:0
  at System.Threading.ThreadHelper.ThreadStart_Context (System.Object state) <0x10c55bc90 + 0x0009a> in <filename unknown>:0
  at System.Threading.ExecutionContext.RunInternal (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state, Boolean preserveSyncCtx) <0x10c55a210 + 0x001c6> in <filename unknown>:0
  at System.Threading.ExecutionContext.Run (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state, Boolean preserveSyncCtx) <0x10c55a1e0 + 0x00020> in <filename unknown>:0
  at System.Threading.ExecutionContext.Run (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state) <0x10c55a130 + 0x00059> in <filename unknown>:0
  at System.Threading.ThreadHelper.ThreadStart () <0x10c55be50 + 0x0002e> in <filename unknown>:0
[ERROR] FATAL UNHANDLED EXCEPTION: System.InvalidOperationException: Cannot process request because the process (51792) has exited.
  at System.Diagnostics.Process.GetProcessHandle (Int32 access, Boolean throwIfExited) <0x10d7ea000 + 0x001b6> in <filename unknown>:0
  at System.Diagnostics.Process.GetProcessHandle (Int32 access) <0x10d7f2fd0 + 0x0001e> in <filename unknown>:0
  at System.Diagnostics.Process.Kill () <0x10d7f2ee0 + 0x00031> in <filename unknown>:0
  at (wrapper remoting-invoke-with-check) System.Diagnostics.Process:Kill ()
  at TestRunner+<Main>c__AnonStorey0.<>m__0 () <0x10a9b50b0 + 0x00e30> in <filename unknown>:0
  at System.Threading.ThreadHelper.ThreadStart_Context (System.Object state) <0x10c55bc90 + 0x0009a> in <filename unknown>:0
  at System.Threading.ExecutionContext.RunInternal (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state, Boolean preserveSyncCtx) <0x10c55a210 + 0x001c6> in <filename unknown>:0
  at System.Threading.ExecutionContext.Run (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state, Boolean preserveSyncCtx) <0x10c55a1e0 + 0x00020> in <filename unknown>:0
  at System.Threading.ExecutionContext.Run (System.Threading.ExecutionContext executionContext, System.Threading.ContextCallback callback, System.Object state) <0x10c55a130 + 0x00059> in <filename unknown>:0
  at System.Threading.ThreadHelper.ThreadStart () <0x10c55be50 + 0x0002e> in <filename unknown>:0
make[1]: *** [test-generic-sharing-managed] Error 1
```

We can't do anything about those errors, so just catch and ignore it.

[build] Update mcs path in mini tests

[Facades] Update list of full assemblies

[mcs] Basic boostrap references are always default ones

[Microsoft.Build.Engine] Simplify bd70a55ec7aaeb40b2b0054e0f162c709085842f

[Microsoft.Build.Engine] clean/copy mdb files as well

[build] Change the way how mcs references are passed to compiler to always use full path.

One of csc prerequisites because csc uses -lib as path which is considered after
RuntimeEnvironment.GetRuntimeDirectory which makes -lib useless

[System.Runtime.Serialization.Formatters.Soap] Make test output deterministic

[Mono.C5] Make test output deterministic

Merge pull request #2713 from gregoryyoung/master

handles AwaitAsync finishing synchronously

[amd64] Add a separate ArgStorage entry for gsharedvt return types instead of using a separate flag in CallInfo.

[acceptance-tests] Fix test-runner.exe compilation after 136dd0

Merge pull request #2720 from mono/fix-39325

[Profiler] Keep a reference to assemblies while coverage is running

In certain circumstances, for example when running under nunit-console, assemblies could be unloaded while the profiler still had a reference to them in order to generate the coverage data. In these cases, the memory referred to by the profiler would be invalid and would crash.

Fix this by incrementing the reference count of the assemblies preventing them from being unloaded while coverage is being collected.

Fixes BXC #39325

[runtime] Move the test for shutting down the stat profiler to mini_cleanup ().

[arm64] Fix the generation of static rgctx trampolines when using aot on linux.

[arm64] Implement handler block guard trampolines.

[runtime] Fix a crash when shutting down the sampling thread.

[tests] Increase the timeout in the test runner so running tests with llvm doesn't time out.

[metadata] Remove invalid Win32 entry in object-offsets.h

The lmf_addr field in MonoLMF only exists for TARGET_X86.

[mini] Remove duplicate stubs from tramp-amd64/x86-gsharedvt.c

They already exist in arch-stubs.c and caused conflicts on the MSVC build.

[msvc] Add missing files to MSVC project files

[mini] Fix build on systems without clock_nanosleep ().

[jit] Handle verification failing with  InvalidProgramException. Fixes #40040.

[runtime] Make a copy of the types passed to mono_mb_add_local () earlier since they could be transient.

[arm64] Fix clearing of stack traces when an exception is rethrown. Fix the calculation of struct sizes in pinvoke calls. Remove some dead code.

Continued profiler loading cleanup (PR#2816 follow up)

- Back out MONO_PROFILER_LIB_DIR change
- Profiler loading traces should use log mask “dll” not “asm”
- mono_dl_open_runtime_lib should preempt standard paths when loading
  profiler
- mono_dl_open_runtime_lib should check in profiler library directory
- mono_dl_open_runtime_lib contained a memory leak
- With above changes, ptestrunner.pl can remove some environment
  massaging

Merge pull request #2825 from kumpera/loader_error_removal

GOOD RIDDANCE LOADER ERROR

Merge pull request #2826 from mattleibow/mono.options-update

[Mono.Options] Added support for Enums in the PCL version

[System.Web.Extensions] Add test for last fix

[System.Web.Extensions] Use CultureInfo.InvariantCulture for number parsing

Fixes #4242, see bug comments. JsonSerializer seems to have been already
fixed in abe9dc62. The JsonDeserializer number conversion is now much
stricter, allowing only integer number style for integers and float number
style for floats.

Merge pull request #2805 from alexrp/profiler-sampling-thread2

[profiler] Use a background thread to send out sampling signals.

Previously, when using an interval timer, the initial profiling signal could be
delivered to *any* thread in the process. This is not normally a problem, but
if the signaled thread has not even finished its initialization inside libc, it
can happen that it hasn't even set up thread-local storage yet. We then blow up
spectacularly when trying to back up errno in the SIGPROF signal handler, as
it's a TLS variable. Even the SIGSEGV handler blows up immediately after as it
can't access JIT TLS data.

Since there appears to be no reliable and portable way for a library like Mono
to control which exact thread gets the initial timer signal, instead switch to
using a background thread that uses a high-resolution sleep and attempts to
switch itself to real time scheduling if possible. This way, we have full
control over which threads we send SIGPROF to, letting us avoid any threads
which aren't in a 'good' state for profiling.

This commit also gets rid of the multiplexing that was going on in the SIGPROF
signal handler, since we now send out the signals from a background thread. As
this was the only use of the async job API, that API has been removed. This
indirectly fixes the signal storming issue that sometimes popped up, where for
some reason multiple threads would think that they're the initiating thread,
resulting in way too many signals going out.

A nice side-effect of doing the signaling ourselves is that we can now use
real-time signals on systems that have them (e.g. Linux), resulting in a nearly
100% signal delivery rate in all cases. Previously, we would lose a tremendous
amount of signals when an application was under heavy load.

[arm64] Implement interruption checking in the trampoline code.

[Mono.Options] Added support for Enums in the PCL version
 - Support for String to Enum
 - Support for Number to Enum
 - Support for Flags to Enum
 - Added a UnitTest

[profiler] Use a background thread to send out sampling signals.

Previously, when using an interval timer, the initial profiling signal could be
delivered to *any* thread in the process. This is not normally a problem, but
if the signaled thread has not even finished its initialization inside libc, it
can happen that it hasn't even set up thread-local storage yet. We then blow up
spectacularly when trying to back up errno in the SIGPROF signal handler, as
it's a TLS variable. Even the SIGSEGV handler blows up immediately after as it
can't access JIT TLS data.

Since there appears to be no reliable and portable way for a library like Mono
to control which exact thread gets the initial timer signal, instead switch to
using a background thread that uses a high-resolution sleep and attempts to
switch itself to real time scheduling if possible. This way, we have full
control over which threads we send SIGPROF to, letting us avoid any threads
which aren't in a 'good' state for profiling.

This commit also gets rid of the multiplexing that was going on in the SIGPROF
signal handler, since we now send out the signals from a background thread. As
this was the only use of the async job API, that API has been removed. This
indirectly fixes the signal storming issue that sometimes popped up, where for
some reason multiple threads would think that they're the initiating thread,
resulting in way too many signals going out.

A nice side-effect of doing the signaling ourselves is that we can now use
real-time signals on systems that have them (e.g. Linux), resulting in a nearly
100% signal delivery rate in all cases. Previously, we would lose a tremendous
amount of signals when an application was under heavy load.