Merge pull request #2860 from lewurm/fix-cfgdump-related-stuff

Fix `cfgdump` related stuff

[jit] include cfgdump.h in common_sources

[cfg-dump] fix warning

Merge pull request #2856 from alexrp/profiler-fix-sem

[profiler] Fix incorrect initial writer semaphore value.

This was used during debugging. I forgot to revert it back to 0 before posting
the pull request (#2838). This led to ~3-5% more CPU usage by the writer thread
than actually necessary; it now sits around 0-1% for typical workloads.

[corlib]: Add internal callback to 'X509Helper' to use System's X509Helper2.

(cherry picked from commit 5eaf4db0918f4e59c47b22e6379236a55f6c813e)

[Mono.Security]: Cleanup 'CertificateValidationHelper'.

The overloaded GetValidator() which takes both 'MonoTlsSettings'
and 'MonoTlsProvider' is actually used by the test suite, so let's
keep it public.

(cherry picked from commit 0977d531d2579c9051a6a2e6d0cb47e4f720bea4)

Merge pull request #2857 from malaterre/master

Remove an undefined behavior

Found using gcc -fsanitize=bounds

[ci] Don't use babysitter on Windows/cygwin

babysitter generates some temp paths in python when running under cygwin, which breaks down
when those paths are passed to the native Windows mono.exe during testing:

    Exception in TestRunnerThread ---> System.IO.DirectoryNotFoundException: Could not find a part of the path "C:\cygdrive\c\WINDOWS\TEMP\tmpC4K5yK\babysitter_report_current_test_file.txt".

[System]: Use MonoTlsProviderFactory.GetDefaultProviderInternal() to cache the result.

(cherry picked from commit 6d41d1562f6cec0da94229fb33e0c42ae2bf22e9)

Remove an undefined behavior

Found using gcc -fsanitize=bounds

Merge pull request #2855 from malaterre/master

Remove a simple memory leak

[profiler] Fix incorrect initial writer semaphore value.

This was used during debugging. I forgot to revert it back to 0 before posting
the pull request (#2838). This led to ~3-5% more CPU usage by the writer thread
than actually necessary; it now sits around 0-1% for typical workloads.

Remove a simple memory leak

Merge pull request #2852 from alexrp/master

[profiler] Fix usage of the lock-free queue API.

* Free nodes hazardously.
* No need to unpoison nodes since we're not reusing them.
* Fix memory leak when emptying coverage queues.

[profiler] Fix a warning.

[profiler] Fix usage of the lock-free queue API.

* Free nodes hazardously.
* No need to unpoison nodes since we're not reusing them.
* Fix memory leak when emptying coverage queues.

Merge pull request #2850 from madewokherd/inetpton

[configure] Also check that inet_pton is defined when building for Windows.

[utils/hp] Export mono_thread_hazardous_try_free () for use in the profiler.

[ci] Remove quotes from windows msbuild command

Turns out it wasn't the right fix.

[ci] Don't enable the mobile profiles on the community archs

It only takes time and e.g. causes issues if e.g. AOT doesn't work.

Merge pull request #2788 from lambdageek/dev/monoerror-reflection-no-more-raise

[reflection] No more mono_*_raise_*

No more `mono_error_raise_exception` and `mono_raise_exception` in `reflection.c`

Merge pull request #2769 from lewurm/jit-cfg-dump

[jit] mini IR dumping feature for IGV

related doc PR: https://github.com/mono/website/pull/189

[Mono.Security]: Add new internal 'MonoTlsProvider' APIs.

(cherry picked from commit c02a885bd62631c4ff5cde5443f1b1e0cdccc237)

[BoringTls]: Register via 'MonoTlsProviderFactory'.

(cherry picked from commit e43a5f73320fbde80c36ed294ea1ba7b06cf58bb)

Merge pull request #2824 from lambdageek/dev/monoerror-icalls-noraise

[runtime] Set pending exception in icalls instead of raising.

[configure] Also check that inet_pton is defined when building for Windows.

The version of mingw-w64 on Debian wheezy has this symbol in its libraries
but not its headers.

Merge pull request #2848 from alexrp/master

[libgc] Fix broken AC_TRY_COMPILE() invocation in configure.ac.

Fixes: https://bugzilla.xamarin.com/show_bug.cgi?id=40144

Tested on PowerPC by `Mathieu Malaterre <malat@debian.org>`.

[SRE] Remove uses of mono_error_raise_exception

1. icall `mono_image_module_basic_init`
2. icall `mono_reflection_sighelper_get_signature_local`
3. icall `mono_reflection_sighelper_get_signature_field`
4. API function mono_module_get_object
5. API function mono_type_get_object
6. API function mono_method_get_object
7. API function mono_field_get_object
8. API function mono_property_get_object
9. API function mono_event_get_object

[reflection] Remove last uses of mono_raise_exception

1. static function `create_custom_attr` (set MonoError exception instance)
2. icall `mono_reflection_resolve_custom_attribute_data` (set pending
exception from MonoError). Also rename it to
ves_icall_System_Reflection_CustomAttributeData_ResolveArgumentsInternal
3. icall `mono_reflection_bind_generic_method_parameters` (set pending
exception from MonoError)  Not renaming this one because it's actually
used for two icalls:
System.Reflection.Emit.MethodBuilder.MakeGenericMethod and System.Reflection.MonoMethod.MakeGenericMethod_impl

[SRE] MonoError-ize reflection_methodbuilder_to_mono_method

[SRE] MonoError-ize mono_reflection_create_generic_class

Change icall name to
ves_icall_System_Reflection_Emit_TypeBuilder_create_generic_class

Give mono_reflection_create_generic_class a MonoError argument,
and get rid of the redundant mono_reflection_create_generic_class_checked

[ci] Fall back to timeout command if babysitter doesn't work

Some Jenkins workers (e.g. the s390x one) have an earlier python version installed where the babysitter doesn't work.
Fall back to timeout in those cases.

[BoringTls]: Merge the work branch.

* Mono.Security.Interface.ICertificateValidator2:
  new internal interface, deriving from ICertificateValidator.

* Mono.Security.Interface.CertificateValidationHelper:
  the internal GetValidator() now returns ICertificateValidator2.

* Mono.Security.Interface.MonoTlsProvider:
  make HasCustomSystemCertificateValidator and InvokeSystemCertificateValidator()
  internal and use ICertificateValidator2.

* Mono.Net.Security.ChainValidator:
  implement ICertificateValidator2; we may now be called with a
  fully-built X509Chain.

* corlib, System, Mono.Security:
  add [assembly: InternalsVisibleTo].

[ci] Escape run-step.sh invocations, for paths with spaces in

Merge pull request #2847 from vargaz/get-type-reflection

[runtime] Fix type_from_parsed_name () to work in the presence of inl…

…ining done by LLVM.

Merge pull request #2809 from lambdageek/dev/monoerror-threads

[runtime] Don't call mono_raise_exception in thread utilities

[libgc] Fix broken AC_TRY_COMPILE() invocation in configure.ac.

Fixes: https://bugzilla.xamarin.com/show_bug.cgi?id=40144

Tested on PowerPC by Mathieu Malaterre <malat@debian.org>.

Merge pull request #2838 from alexrp/profiler-writer-thread-cpu2

[profiler] Use a semaphore to signal the writer thread.

We would previously constantly try to dequeue from the writer queue which would
result in extremely high CPU usage, making many apps (e.g. Xamarin Studio)
nearly unusable.

[arm64] Enable Unwind_Backtrace () support on arm64.

[runtime] Fix type_from_parsed_name () to work in the presence of inlining done by LLVM.

Merge pull request #2841 from lambdageek/dev/bug-40060

[corlib] Type.GetType parser and resolver improvements

We have two type parsers the one invoked by `Type.GetType(string)` (and some others) which is implemented in C in `reflection.c`, and the one invoked by `Type.GetType(string, Func<...>, Func<...>)` implemented in managed code as `System.TypeSpec`.

In both cases `string→Type` conversion goes in two stages: parsing and resolution.  Parsing just changes the string into an AST.  And resolution crawls the AST and constructs the appropriate types.

This fixes [Bugzilla #40060](https://bugzilla.xamarin.com/show_bug.cgi?id=40060)

1. Fix the resolver on the native side for types like `"System.Generic.Collections.Dictionary[System.Int32,MyType]"` where the generic type is from corlib and a type argument is from the current assembly.
2. Fix `get_caller_no_reflection` to work correctly when the call stack has a System.Reflection method as the immediate caller of the icall.
3. Fix the resolver on the native side to work when it's called from corlib's System namespace, not just System.Reflection.
4. Fix the managed parser to work with types like `"MyGeneric[MyType]"` where the generic argument is not an assembly qualified name or there's a mixture of aqn and non-aqn type arguments.  Also rationalize how the code handles assembly qualification in general.
5. Test cases

Merge pull request #2844 from radical/assign-proj-config

[xbuild] Fix bug #40094 - AssignProjectConfiguration should fallback to project path if ..

[profiler] Use a semaphore to signal the writer thread.

We would previously constantly try to dequeue from the writer queue which would
result in extremely high CPU usage, making many apps (e.g. Xamarin Studio)
nearly unusable.

Merge pull request #2839 from alexrp/profiler-thread-detach

[profiler] Detach helper/writer threads before shutting them down.

[threads] Add MonoError arg to init_root_domain_thread

[threads] MonoError-ize mono_thread_set_name_internal

Replace android-libunwind submodule with a local copy

We can't keep it as a real git submodule since the repo contains an "aux" folder that breaks on Windows.

[MonoError] Add mono_error_set_invalid_operation utility function

to construct System.InvalidOperationException

[threads] Add MonoError arg to create_thread

instead of throw_on_failure flag, pass a MonoError outarg and let the
caller decide what to do with it.

[runtime] Don't call mono_raise_exception in ves_icall_Mono_Runtime_GetNativeStackTrace

[profiler] Detach helper/writer threads before shutting them down.

[threads] Export mono_thread_info_detach () for use in the profiler.

[ci] Put windows msbuild command in quotes

Merge pull request #2837 from alexrp/master

Bunch of improvements surrounding thread names and reporting of such to the profiler

[xbuild] Fix #40094, part 2/2: AssignProjectConfiguration - Fallback to

.. project path for lookup, if lookup by guid fails.

Fixes bxc #40094 .

[xbuild] Fix #40094, part 1/2: SolutionParser: Emit `AbsolutePath="..."`

.. attribute for CurrentSolutionConfigurationContents .

   <CurrentSolutionConfigurationContents>
         <SolutionConfiguration xmlns="">
   <ProjectConfiguration Project="{82323650-6C2A-4FAC-91C6-A715C2FE9CB2}" AbsolutePath="/Users/ankit/test/msbuild/bug40094/App1/App1\App1\App1.csproj">
   Release|AnyCPU
   </ProjectConfiguration>
   ...

Related to fix for bxc #40094

[corlib] TypeSpec.Parse for non-assembly qualified names.

Previously for types like "Foo[P,Q]" the recursive call of the parser
would incorrectly consume the delimiter after a type argument (ie the
',' or ']') which would leave the caller potentially past the end of the
string which would signal a failed parse.  New behavior is to peek at
the delimiter but leave it up to the caller to consume.

Also `Type.GetType(name, null, null)` should behave like
`Type.GetType(name)` (previously it dropped generic type arguments).

[runtime] type_from_parsed_name can be called from System or System.Reflection

type_from_parsed_name is a helper for
ves_icall_System_Type_internal_from_name which is called directly from
System.Type as well as indirectly by System.TypeNameParse.  We should
skip over all those classes to find the managed caller.

This fixes the remainder of [40060](https://bugzilla.xamarin.com/show_bug.cgi?id=40060)

[runtime] Fix bug in get_caller_no_reflection

In order to find the user code that called some corlib API
that calls an icall, we write:
dest = m = mono_method_get_last_managed ();
mono_stack_walk_no_il (get_caller_no_reflection, &dest);
if (!dest) dest = m;

The get_caller_no_reflection walk works in two stages: in the first
stage we look for the target method (the initial value of dest) when we
find the target we set dest to NULL and then the second stage continues
walking upward past the reflection APIs.

However if the target method is itself in System.Reflection, the
old implementation would skip over it even in the first stage and we'd
never find the target method and exhaust the whole stack.

The fix is to move the check for the target method before the check for
the Reflection API methods.

[runtime] Add a rootimage arg to mono_reflection_get_type_checked

And in type_from_parsed_name pass the calling image as the metadata
context even if the initial class we're looking for is in corlib.

This lets calls like
Type.GetType ("System.Collections.Generic.Dictionary<int, MyClass<int>>")
succeed.  (Previously we would firs try to find
System.Collections.Generic.Dictionary in the calling assembly,
which would fail outside of corlib, and then we'd retry with the
rootimage as corlib which would find Dictionary, but fail to find
MyClass.  Note that this was only broken if the outermost type was in
corlib.  It always worked deeper in generic type arguments provided
we startd in the calling assmebly:
Type.GetType ("MyClass<System.Collections.Generic.Dictionary<int, MyClass<int>>>")

This fixes part of [40060](https://bugzilla.xamarin.com/show_bug.cgi?id=40060)

[runtime] Deduplicate MONO_ZERO_LEN_ARRAY into mono-compiler.h.

[runtime] Factor out (MonoMarshalConv)-1 into its own define.

Thanks to @marek-safar for suggestion.

Merge pull request #2842 from akoeplinger/fix-monodroid-build

Fix monodroid build

Add android-libunwind submodule and fix path in mini-exceptions-native-unwinder.c

This was hosted in mono-extensions before. It is licensed under the MIT license:
https://android.googlesource.com/platform/external/libunwind/+/android-6.0.1_r24/LICENSE

[corlib] Test Type.GetType(string,null,null) and anonymous type parsing

Merge pull request #2836 from kumpera/cwt_toggleref

Fixed a toggleref and CWT iteraction bug.

[mini] Remove duplicated methods from tramp-arm64-gsharedvt.c

They are already defined in arch-stubs.c

[mini] Fix incorrect ifdef in the arm64 gsharedvt files

It used MONO_ARCH_GSHARED_SUPPORTED instead of MONO_ARCH_GSHAREDVT_SUPPORTED.

[mini] Add missing include to mini-exceptions-native-unwinder.c

It complained about mono_runtime_printf_err() not being defined.

[mini] Fix ARM assembler syntax for MRC

According to http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0068b/CIHEEIDJ.html the MRC instruction is documented as:

    MRC{cond} coproc, opcode1, Rd, CRn, CRm{, opcode2}

with coproc being "the name of the coprocessor the instruction isfor. The standard name is pn, where n is an integer in the range 0-15."

GCC seemed to accept the operand without the 'p' prefix but clang raised an "invalid operand for instruction" error.

[runtime] Fixed invalid comparisons to MonoMarshalConv in marshal.c.

In some platforms, C enums might be considered unsigned, and in that case we'd get the following warning:

mono/mono/metadata/marshal.c:5108:12: warning: comparison of constant -1 with expression of type 'MonoMarshalConv' is always false
      [-Wtautological-constant-out-of-range-compare]
                if (conv == -1) {
                    ~~~~ ^  ~~

The explicit cast should do the right thing.

Merge pull request #2833 from directhex/ci-script-in-repo

Keep Jenkins job script in Mono repo

Merge pull request #2804 from radical/al-cecil

AL: Use IKVM.Reflection to get custom attributes from the template assembly,

Merge pull request #2840 from directhex/fix_make_dist_commoncrypto

Fix missing CommonCrypto/Makefile.include in "make dist" tarballs

Fix missing CommonCrypto/Makefile.include in "make dist" tarballs

Keep Jenkins job script in Mono repo

This means we can change the script in different branches (right now, all pull requests against any branch share the same job script)

[Microsoft.Build.Tasks] Fix CodeTaskFactory to resolve user references

Merge pull request #2835 from lewurm/fix-make-dist

[sqlmetal] fixup for a73fb31f2 in order to fix `make dist'

[mprof-report] Don't print a thread with a zero thread ID in the summary.

Log buffers can end up with a zero thread ID when we synthesize events on the
writer thread, leading to mprof-report thinking a thread exists with that ID.
We simply ignore the "zero thread" in the thread summary.

[profiler] Ensure that we zero out thread IDs for buffers written from helper/writer threads.

If we don't do this, mprof-report will pick up on the fact that the helper and
writer threads exist and print them in the thread summary with no names. It's
OK to zero out the thread ID as the kinds of events we write from these threads
cannot be meaningfully associated with the log buffer's thread ID (or in the
case of counters, any thread ID).

[mprof-report] Don't assume the first thread seen is the main thread.

The runtime now explicitly sets the native name for the main thread, so this
(faulty) assumption is no longer necessary.

[mini] Set a native thread name for the main thread in the driver.

We only set the native name as MS.NET leaves the managed name for the main
thread as null. At least by setting the native name, we get a nice name in GDB.

[threadpool] Explicitly use the root domain to allocate the thread name.

This is mainly for consistency with the rest of the runtime which explicitly
specifies the root domain when allocating thread name strings.

[runtime] Add thread names to all internal runtime threads.

[gc] Allow changing the finalizer thread's name.

This insanity is apparently allowed by MS.NET.

[gc] Set name of the finalizer thread from within the thread.

This ensures that its name is set with pthread_setname_np () on Mac.

[threads] Export some functions so the entire runtime can set thread names.

[threads] Make mono_thread_info_set_name () work on Mac in some cases.

We can use pthread_setname_np () on OS X 10.6+ when we're setting the name for
the current thread. For other cases, we just do nothing.

[threads] Don't report tools threads that do a full attach to the profiler.

The profiler helper thread does a full attach for on-demand heapshots. Since we
collect no actual data for the helper thread, there's no reason to report it.

[threads] Make sure we change the native thread name if it was set before starting.

[sgen] Make mono_gc_base_init () double-init resistant like the other GCs.

A double init could happen when profiling as we'd call mono_gc_base_init ()
from mono_profiler_load () early on, and then later call it again during the
normal startup sequence.

[mini] Shut down the profiler after shutting down the major runtime components.

Previously, we would shut down the profiler so early that it would never see
unload events for threads, domains, etc. This sounds harmless at first, but
since the profiler dumps the remaining data in the thread-local log buffer to
disk from within the thread end callback, we would often miss events near the
end of a thread's lifetime.

Shutting down the profiler after the major runtime components doesn't appear to
have any negative effects, which makes sense as all managed threads should be
stopped by this point.

[sgen] Mark togglerefs before processing ephemerons. Fixes #40108.

Strong Togglerefs must be considered as roots for the purpose of Ephemeron processing.

Otherwise you make it not possible to use a toggleref object as key.

AL: Use IKVM.Reflection to get custom attributes from the template assembly,

.. instead of System.Reflection. This allows AL to work even if the
dependent assemblies of the template are not available.

Merge pull request #2834 from xmcclure/inflated_method_header_leak_followup

Fix uninitialized MonoError in mono_basic_block_split

Follow-up on PR #2781 which removed a mono_error_init leading to memory unsafety. This was causing crashes when verifying assemblies in the 4.4 branch although it does not seem to have caused any known problems in master for some reason.

[sqlmetal] fixup for a73fb31f2 in order to fix `make dist'

[msvc] add new module

but only compile stubs on windows

Merge pull request #2832 from razzfazz/handle_eintr

handle EINTR for kevent calls

Document mono_error_init convention in source

[runtime] restore mono_error_init in mono_basic_block_split

Follow-up on PR #2781 which removed a mono_error_init. Ensure use in
helper functions for consistency. Fixes a potential crasher.