Merge pull request #5274 from alexrp/profiler-call-contexts

[profiler] Implement call context introspection for enter/leave events.

[mini] Add a mono_jit_aot_compiling () function.

[mini] Remove some unstable exports that are no longer used by the profiler.

[profiler] Implement call context introspection for enter/leave events.

When this feature is enabled for a method, the enter/leave event receives an
additional argument, a so-called 'call context'. This call context contains
enough information about the stack frame of the instrumented method to allow
the enter/leave callback to inspect the 'this' reference, method arguments,
local variables, and the return value (for non-void methods).

This feature enables some interesting scenarios that were not possible with
the regular enter/leave events. For example, a profiler could instrument
well-known methods in the managed thread pool code to get an idea of how an
application is using the thread pool, or it could instrument network-related
methods to gather statistics or even log all network traffic.

This is implemented by storing a MonoProfilerCallContext on the stack, whose
MonoContext field is populated by executing an OP_FILL_PROF_CALL_CTX opcode
which stores the stack pointer, frame pointer, and all callee-saved registers
to it. For the epilogue, a pointer to the return value (for non-void methods)
is also stored in the MonoProfilerCallContext. An address to this context is
then passed to mono_profiler_raise_method_enter/leave. Based on debug info,
all arguments and locals can then be looked up in the instrumented method's
stack frame.

For the interpreter, we just store an InterpFrame pointer on the
MonoProfilerCallContext and look everything up from that. We don't need debug
info in this case.

This feature is currently not supported with LLVM (for regular LLVM mode, it
will fall back to Mono's JIT, while for LLVM-only mode, it's not available).

I also refactored the interpreter code so that enter/leave events are generated
not only when interpreter debugging is enabled. Also, the interpreter will only
call mono_profiler_get_call_instrumentation_flags () once per method now.
Finally, I made the interpreter also generate exception leave events.

[ci] Compile the class lib tests in a separate step

Compiling in parallel via -j should also be faster.
We had this on Wrench but it didn't make it over to Jenkins.

[mono-symbolicate] Run tests with "run-test" target instead of "test"

The "test" target is used to precompile the tests but actual running
should happen with the "run-test" target.

Merge pull request #5234 from vkargov/vk-kiokunegi

[jit] Check method cache first in mono_get_method_constrained_checked.

[corlib]: Fix race condition in ExceptionDispatchInfo. (#5279)

[llvm] Fix the calling of fault clauses in llvm compiled code. Fixes #58446. (#5286)

[mcs] Implements C#7 expression bodied members enhancement

[mcs] Add parser sequence for case type pattern matching

Merge pull request #5260 from BrzVlad/fix-handler-block

[runtime] Fix handler block abort

Merge pull request #5272 from lambdageek/bug-58421

[sre] Handle typeref tokens in fixup_method (Fixes #58421)

[mcs] Implements cloning for yield break. Fixes #57796

Eglib integrate (#5267)

* [runtime] Integrate eglib's configure into mono's configure to simplify and speed up the configure process.

* [runtime] Delete some duplicate eglib configure code.

Merge pull request #5271 from lambdageek/bug-58361

[sre] Resolve EnumBuilder tokens in managed (Fixes #58361)

Bump corlib version

Due to changed semantics of ModuleBuilder:RegisterToken icall (it now does not
allow an EnumBuilder argument)

[sre] Resolve EnumBuilder tokens in managed. (Fixes #58361)

In particular, delegate to the TypeBuilder within the EnumBuilder.

Also do not register the EnumBuilder object with the runtime.  (Fixes
https://bugzilla.xamarin.com/show_bug.cgi?id=58361)

[test] EnumBuilder regression tests for #58361

Cause the creation of a token for an EnumBuilder object.  Test both typedef
tokens (EnumBuilder from same assembly) and typeref token (EnumBuilder in another assembly)

[sre] Add MonoDynamicImageTokCollision arg to mono_dynamic_image_register_token

The new argument controls what should happen when the given token is already
present.

In some situations it's expected that we either see the same object, or we
unconditionally want to replace it (for example if we previously registered a
TypeBuilder or a MethodBuilder, after the type or method is created, we will
re-register the RuntimeType or MonoMethod in its place).  In other cases (for
example when a module references a MonoMethod from a different assembly), we
may still call `mono_image_create_token()` multiple times but we expect to see
the same MonoMethod object.

[sre] Handle typeref tokens in fixup_method (Fixes #58421)

This may occur if there are two AssemblyBuilders in progress and one of them
refers to a TypeBuilder from the other.

https://bugzilla.xamarin.com/show_bug.cgi?id=58421

[test] Check that one AssemblyBuilder can refer to a TypeBuilder from another.

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=58421

[interp] Make the 'td' variable a pointer in generate () for consistency with the rest of the code.

[interp] Rename some types to better reflect their function.

MonoInvocation -> InterpFrame
RuntimeMethod -> InterpMethod
runtime_method -> imethod

[mcs] Another workaround for enum builder SRE crash (this time on Mono)

Updates codeowners

[runtime] Move object.c to 'common_sources', as it no longer has compile time gc dependencies.

Sre not gc dependent (#5264)

* [runtime] Move the sre source files to 'common_sources', they no longer have compile time gc dependencies after the Boehm GC root changes. sre.c still depends on the gc dependent caching code in reflection-cache.h.

* [runtime] Remove compile time gc dependencies from the reflection caching code.

* [runtime] Move reflection.c/sre.c to 'common_sources', they no longer have compile time gc dependencies.

[corlib] Update Assembly class xml descriptor

[msvc] Update csproj files

[sre] Add some tests for saving assemblies. (#5265)

[Mono.CSharp] Updates csproj

[mcs] Adds workaround for repl enum declaration on .net SRE

[corlib] ModuleBuilder pseudo-token lookup needs to use references insteads of logical equality comparer.

Fixes #58291

[acceptance-tests] Another attempt fix a StringBuilder race in the profiler stress runner.

[runtime] Remove compile time gc dependencies from object.c. (#5266)

[runtime] Remove compile-time gc dependencies from domain.c/appdomain.c. (#5263)

* [runtime] Remove compile-time gc dependencies from domain.c/appdomain.c.

* [runtime] Move domain.c/appdomain.c to 'common_sources' since they no longer have compile time gc dependencies.

Merge branch 'vladimir-kazakov-xml-dsig-transforms-from-corefx'

Merge branch 'xml-dsig-transforms-from-corefx' of git://github.com/vladimir-kazakov/mono into vladimir-kazakov-xml-dsig-transforms-from-corefx

[msvc] Update csproj files

[interp] Fix a copy/paste error in ea4e4a9ef6fc42570a23026adbe826cf7248290e.

Bump roslyn (to include more files)

Bump API snapshot submodule

Bump CoreFX

[runtime] Remove handler block trampoline code

[runtime] Fix handler block

Instead of hijacking the return address when suspending a thread in a finally block for an abort, do an explicit check in managed code when we are returning from the handler in order to see if we need to abort. Hijacking the return address is arch specific and it doesn't work if we are suspended before it is initialized in handler start.

Fixes #5798

Update bockbuild. Fixes #57002

[runtime] Fix the size calculation for CustomAttributeType coded indexes, they can only point to the MethodDef/MemberRef tables even through 3 bits are used to encode them, only 2 values are used. Fixes #58210. (#5256)

[jit] Handle OP_VCALL_MEMBASE in get_simd_vreg (). Fixes #58344.

Bump bockbuild.

Bump roslyn to 2.3.1

XMLDSIG transforms from .NET Core.

Bump bockbuild.

Update CODEOWNERS

Merge pull request #5252 from alexrp/profiler-stress-fixes

[acceptance-tests] A few fixes for the profiler stress test suite.

Merge pull request #5253 from alexrp/profiler-lib

[Mono.Profiler.Log] Catch SecurityException for missing icalls.

[Mono.Profiler.Log] Catch SecurityException for missing icalls.

This is the exception that is thrown on .NET because icalls are not allowed in
non-GAC assemblies.

[acceptance-tests] Disable the ironjs-v8 test on arm32/arm64.

It times out even with a 24-hour timeout. Eventually we should investigate why,
but disable it for now so the lane can become green.

[acceptance-tests] Fix a crash in the profiler stress runner caused by racey modification of a StringBuilder.

[acceptance-tests] Set individual timeout for profiler stress tests back to 8 hours.

[acceptance-tests] Build profiler stress runner with debug info.

[bockbuild] Avoid overwriting self.local_configure_flags in some packages, extend them instead. (#5239)

Merge pull request #5248 from alexrp/profiler-api

[profiler] Add back some legacy profiler API functions.

[mempool] Annotate functions for clang's ThreadSanitizer (#5191)

* [mempool] Annotate functions for ThreadSanitizer
Whitelist `mono_mempool_alloc`, `mono_mempool_new_size` and `mono_mempool_destroy` according to https://bugzilla.xamarin.com/show_bug.cgi?id=57936

* [fixup!] Test the NO_SANITIZE_THREAD macro

* [fixup!] Merge comments / documentation

[acceptance-tests] Temporarily increase the profiler stress timeout to 24 hours.

This is temporary and is just to see how long ironjs-v8 actually takes to complete on ARM. We may need to just exclude it there.

Bump API snapshot submodule

Implement ServiceEndpoint.EndpointBehaviors

This follows the reference source in understanding `EndpointBehaviors` to be an alias of `Behaviors` with a more general type.

Note that although an alias might not seem necessary to implement, when using netstandard1.3 the [`System.ServiceModel.Primitives`](https://www.nuget.org/packages/System.ServiceModel.Primitives) package exposes `EndpointBehaviors` but not `Behaviors`.

[msvc] Update project files with new profiler-related source files.

[Marshal.IsComObject] Make this predicate return false instead of throwing an exception which is what the calling code expects (#5246)

Reenable MonoTests.Remoting.IpcChannelTest.Bug609381 (#5245)

Fixes bug https://bugzilla.xamarin.com/show_bug.cgi?id=36634

[msvc] Update def files.

[profiler] Add back some legacy profiler API functions.

These are used by XA/XI/XM and because XM in particular needs to work with
both old and new versions of system Mono, we need to make sure these functions
still exist.

[profiler] Rename mono_profiler_install to mono_profiler_create.

[runtime] Fix abort ignore when suspended in first instruction from finally block

Merge pull request #5198 from BrzVlad/fix-binprot-stats

[sgen] Parallel gc improvements

[jit] test builtin types (#5208)

* [builtin-types] import test suite

List of original contributors:

Zoltan Varga <vargaz@gmail.com>
Rodrigo Kumpera <kumpera@gmail.com>

* [builtin-types] import updated definitions from xamarin-macios

https://github.com/xamarin/xamarin-macios/blob/8fbbfa5ca7154fcfd553f7a7b242ffee9a95f240/src/NativeTypes/Primitives.tt

* [builtin-types] make regression suite work

* [builtin-types] disable broken tests

* [fixup] disable failing tests on arm64

[interp] reuse finally_ips infrastructue for fault clauses

Tweak the Unreal profile

Merge pull request #5243 from alexrp/profiler-stress-fixes

[acceptance-tests] Don't mark msbiology as a failure if it OOMs on 32-bit.

[sgen] Fix function signature

[sgen] Compact allocated block list

It helps with its repeated traversal and improves work distribution when using parallel modes.

[sgen] Improve card table parallelization

Improve caching by scanning consecutive blocks and avoiding full block list travesal.

[sgen] Run a single worker cycle in major parallel finish case

This was not the case when we were doing a forced concurrent finish.

[sgen] Avoid logging unnecessary binary protocol events

[sgen] Add explicit binary protocol stats for collections

Using the cardtable scan and finish_gray_stack start and end events is cumbersome to parse and require a lot of logging, especially in the case of the parallel collector.

[sgen] Include mod union times to stats

[sgen] Use parallel minors for pause mode

It should makes pauses less influenced by workload spikes

[sgen] Avoid waiting for workers to report their own finish

If a worker is stuck doing work in another context, it might not be very responsive in transitioning its own state from WORK_ENQUEUED to WORKING and finally to FINISHING. When joining worker threads, we check whether we have any threads working in the corresponding context and, if there aren't any, change their state directly from the gc thread.

We can do this because work is distributed from centralized pools (worker_distribute_gray_queue and the job_queue), instead of per worker. Therefore we don't need all the workers to perform actual work in the context.

Update CODEOWNERS

[acceptance-tests] Don't mark msbiology as a failure if it OOMs on 32-bit.

This is known to happen on some platforms.

[threads] Add checks around libc calls (#5240)

[threads] Make mono_thread_detach_internal static (#5241)

[acceptance-tests] Further increase the individual test timeout in the profiler stress runner.

It seems ironjs-v8 takes even longer to run on ARM than fsharp, msbiology, and roslyn.

[bcl] Fix the parallel build in the tools dir. (#5236)

[offset-tool] fix assignment for GeniOS

fixes this compilation error

MonoAotOffsetsDumper.cs(279,59): error CS0201: Only assignment, call, increment, decrement, await, and new object expressions can be used as a statement

[btls] Remove create-object-library.sh script which is no longer used. (#5232)

Fix build of "unreal" profile

Merge pull request #5224 from alexrp/profiler-multiple-args

[profiler] Better support for multiple profilers.

[System.Net.Http]: Close request stream when HttpClientHandler.SendAsync() is done writing data. (#5226)

[acceptance-tests] Increase individual timeout of profiler stress tests to 8 hours.

fsharp, roslyn, and msbiology take a very long time to run on ARM. Hopefully this is enough.