Merge pull request #4381 from BrzVlad/feature-generational-hash

[sgen] Generational MonoGHashTable

[System] Add regression test for Bugzilla 10899 (#4401)

Even though I couldn't repro the bug I thought it'd still be a
good idea to at least add some basic coverage with non-Latin chars.

Merge pull request #4438 from xmcclure/monodis-fix

Fix monodis

Fix monodis

monodis was not calling the mono_tls_init_runtime_keys function, which
was causing it to crash the first time it attempted to access the
current domain (ie almost immediately).

Merge pull request #4433 from kumpera/android-fixes

Fix a few issues on Android

[jit] Rewrite some logging to work on embedded systems.

[jit] Fix LMF codegen on android arm64.

Android doesn't have fast tls either, so we must use the jit_tls variant.

[alias-analysis] Ignore addresses taken of volatile variables.

Volatile variables should be ignored by AA as, by design, we can't
properly tell whether removing indirection is safe or not.

This shows up when handling the LMF var in some cases.

[runtime] Mark mono_error_init external only. (#4437)

Runtime should use the error_init() from mono/utils/mono-error-internals.h

Merge pull request #4434 from BrzVlad/fix-unload-hang

[threads] Don't ignore abort requests in abort protected blocks

Update ms-test-suite

[System.Numerics] Use corefx implementation

Merge pull request #4431 from vkargov/vk-leaking-points

[runtime] Fix memory leak in mono_save_seq_point_info().

[threads] Don't ignore abort requests in abort protected blocks

Either interrupt or set the interrupt_deferred flag, so the thread can handle the request later in the future. Otherwise we are left with a thread that has an AbortRequested set on its state that it is never processed and future abort requests are ignored due to the presence of this flag.

[runtime] Fix memory leak in mono_save_seq_point_info().

[runtime] Speed up mono_icall_start()/mono_icall_end() a bit by using inline versions of the MonoError functions. (#4424)

[runtime] Call error_init instead of mono_error_init (#4425)

Use the error_init macro instead of the mono_error_init function to avoid the
function call overhead.

[runtime] Add fastpaths to the stelem wrappers for the case when the array element type and the value type are the same. (#4427)

[Mono.Data.Sqlite] Add test for b78f4f6e5f21edb07d58e012b0339253c593894a

[Mono.Data.Sqlite] Change default datetime convert format to excluded datetime kind. Fixes #46929

Revert "[Facades] Build netstandard.dll with net_4_x profile by default"

It broke the build.

[threads] Fix async call in coop (#4423)

We would observe crashes like the following:

```
 * Assertion at mono-threads.c:1009, condition `mono_thread_info_run_state (info) == STATE_ASYNC_SUSPENDED' not met

 Debug info from gdb:

 [New LWP 26793]
 [New LWP 26792]
 [Thread debugging using libthread_db enabled]
 Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
 0x00002b0ff3481ee9 in waitpid () from /lib/x86_64-linux-gnu/libpthread.so.0
   Id   Target Id         Frame
   3    Thread 0x2b0ff3e6c700 (LWP 26792) "SGen worker" 0x00002b0ff347e414 in pthread_cond_wait@@GLIBC_2.3.2 () from /lib/x86_64-linux-gnu/libpthread.so.0
   2    Thread 0x2b0ff633e700 (LWP 26793) "Finalizer" 0x00002b0ff347e414 in pthread_cond_wait@@GLIBC_2.3.2 () from /lib/x86_64-linux-gnu/libpthread.so.0
 * 1    Thread 0x2b0ff2b67c40 (LWP 26780) "mono" 0x00002b0ff3481ee9 in waitpid () from /lib/x86_64-linux-gnu/libpthread.so.0

 Thread 3 (Thread 0x2b0ff3e6c700 (LWP 26792)):
 #0  0x00002b0ff347e414 in pthread_cond_wait@@GLIBC_2.3.2 () from /lib/x86_64-linux-gnu/libpthread.so.0
 #1  0x0000000000661bdf in mono_os_cond_wait (mutex=0x9dee40 <lock>, cond=0x9dee00 <work_cond>) at ../../mono/utils/mono-os-mutex.h:146
 #2  thread_func (thread_data=0x2b0ff2bcb008) at sgen-thread-pool.c:129
 #3  0x00002b0ff347a182 in start_thread () from /lib/x86_64-linux-gnu/libpthread.so.0
 #4  0x00002b0ff39a130d in clone () from /lib/x86_64-linux-gnu/libc.so.6

 Thread 2 (Thread 0x2b0ff633e700 (LWP 26793)):
 #0  0x00002b0ff347e414 in pthread_cond_wait@@GLIBC_2.3.2 () from /lib/x86_64-linux-gnu/libpthread.so.0
 #1  0x00000000005caff3 in mono_os_cond_wait (mutex=<optimized out>, cond=<optimized out>) at ../../mono/utils/mono-os-mutex.h:146
 #2  mono_coop_cond_wait (mutex=<optimized out>, cond=<optimized out>) at ../../mono/utils/mono-coop-mutex.h:87
 #3  mono_threadpool_io_remove_socket (fd=134239440) at threadpool-io.c:628
 #4  0x00000000005ae4f4 in ves_icall_System_Net_Sockets_Socket_Close_internal (sock=42, werror=<optimized out>) at w32socket.c:708
 #5  0x0000000041e8101f in ?? ()
 #6  0x00002b1014abe070 in ?? ()
 #7  0x0000000001615860 in ?? ()
 #8  0x0000000001615860 in ?? ()
 #9  0x0000000000000000 in ?? ()

 Thread 1 (Thread 0x2b0ff2b67c40 (LWP 26780)):
 #0  0x00002b0ff3481ee9 in waitpid () from /lib/x86_64-linux-gnu/libpthread.so.0
 #1  0x00000000004ac5e6 in mono_handle_native_crash (signal=<optimized out>, ctx=<optimized out>, info=<optimized out>) at mini-exceptions.c:2557
 #2  <signal handler called>
 #3  0x00002b0ff38dcf79 in raise () from /lib/x86_64-linux-gnu/libc.so.6
 #4  0x00002b0ff38e0388 in abort () from /lib/x86_64-linux-gnu/libc.so.6
 #5  0x000000000066b459 in mono_log_write_logfile (log_domain=<optimized out>, level=<optimized out>, hdr=<optimized out>, message=<optimized out>) at mono-log-common.c:137
 #6  0x00000000006805e0 in monoeg_g_logv (log_domain=log_domain@entry=0x0, log_level=log_level@entry=G_LOG_LEVEL_ERROR, format=<optimized out>, args=args@entry=0x7ffc7324ea78) at goutput.c:115
 #7  0x0000000000680736 in monoeg_assertion_message (format=<optimized out>) at goutput.c:135
 #8  0x00000000006759b8 in mono_thread_info_setup_async_call (info=info@entry=0x2b0ff80008c0, target_func=target_func@entry=0x5bac20 <suspend_for_shutdown_async_call>, user_data=user_data@entry=0x0) at mono-threads.c:1009
 #9  0x00000000005bad50 in suspend_for_shutdown_critical (info=info@entry=0x2b0ff80008c0, unused=unused@entry=0x0) at threads.c:5019
 #10 0x00000000006763ae in mono_thread_info_safe_suspend_and_run (id=47347555100416, interrupt_kernel=interrupt_kernel@entry=0, callback=callback@entry=0x5bad40 <suspend_for_shutdown_critical>, user_data=user_data@entry=0x0) at mono-threads.c:979
 #11 0x00000000005c2e71 in mono_thread_internal_suspend_for_shutdown (thread=<optimized out>) at threads.c:5028
 #12 0x00000000005e9100 in mono_gc_cleanup () at gc.c:1015
 #13 0x00000000005e108e in mono_runtime_cleanup (domain=domain@entry=0x1615860) at appdomain.c:423
 #14 0x00000000004228cb in mini_cleanup (domain=0x1615860) at mini-runtime.c:4111
 #15 0x000000000047b99f in mono_main (argc=10, argv=<optimized out>) at driver.c:2167
 #16 0x00000000004200db in mono_main_with_options (argv=0x7ffc7324ef68, argc=10) at main.c:45
 #17 main (argc=10, argv=0x7ffc7324ef68) at main.c:338

 =================================================================
 Got a SIGABRT while executing native code. This usually indicates
 a fatal error in the mono runtime or one of the native libraries
 used by your application.
 =================================================================
```

[hybrid] Fix more tests run

[hybrid] Enable COM, Remoting and AppDomains runtime support

[Facades] Build netstandard.dll with net_4_x profile by default

[mcs] Update 995e5620fb79f62c22f94c87cc6d5b717b84eff2 to do actual comparison

[msvc] Update csproj files

[jit] Remove an #ifdef ENABLE_LLVM from mini-os.h, the cross-compile genmdesc.pl can't handle it.

Merge pull request #4419 from BrzVlad/fix-oom-nre

[sgen] Fix oom nre

[linker] Update the mscorlib descriptor with missing generic interfaces.

Update Bockbuild

Force LF line endings for .sources and Makefiles too

This should fix the Windows build.

[mcs] Use correct types comparer for comparing hidden imported interface members. Fixes #51522

Fix Windows build due to line ending changes in sed

The recent sed update in cygwin [1] changed the way sed handles
carriage returns. This meant that every .in file we processed
still contained CR, which doesn't work for .sh files.

Force LF line endings for those files (and also other shell scripts).

[1] https://cygwin.com/ml/cygwin-announce/2017-02/msg00036.html

[mcs] Emit leave for redirected jumps out of rewritten finally exit scope. Fixes #52599

[System] Tweak socket test

Fixes windows po/ build

[System] Update flaky test

[System.Data] referencesource -> corefx: ProviderBase & SqlClient stuff (#4383)

* [System.Data] referencesource -> corefx

* [System.Data] referencesource -> corefx

* [System.Data] corefx migration, fix ActivityCorrelator

* [System.Data] use DbProviderFactory, DbConnectionPoolGroupProviderInfo, OperationAbortedException from corefx

[sgen] Throw OOM also from the managed allocator

Allocation functions from object.c correctly throw OOM when sgen allocation returns NULL. When allocating with the managed allocator we invoke sgen directly (as a fallback) and we didn't handle the NULL return case.

Fixes #52437

[sgen] Rename confusing variable

Merge pull request #4403 from BrzVlad/fix-workers-par-context

[sgen] Lock around worker start, not only finishing

[arm] Fix the passing of structs with 8 byte alignment with llvm on armeabi, they need to be passed as an int64 array to let llvm know that it might need to insert a dummy argument so they are passed in a even register pair. Fixes #52548.

[threads] Ensure we have balanced appdomain push/pop when attaching the thread on shutdown (#4416)

Bump corefx

[runtime] Use TARGET_WIN32 instead of HOST_WIN32 when setting calling conventions, so cross compilers running on windows do the right thing. (#4412)

[runtime] Fix mono_bitset_count () so it works on win64 as well. (#4413)

Bump ikvm

[System] Test fix for watch

[Process] Fix NonChildProcessWaitForExit Exited callback (#4409)

Update bockbuild

Merge pull request #4380 from alexanderkyte/conflicting_attrs

[runtime] Fail gracefully when method has conflicting attributes

[jit] Remove some dead code.

[threadpool] Do not swallow exception in RegisterWaitForSingleObject callback (#4408)

Update bockbuild

Revert "[configure] Remove mcs endianess check (it shouldn't be needed)"

This reverts commit 9aa9822808a622648d3235bc931c6ca675cf7bf0.

Merge pull request #4169 from evincarofautumn/fix-xmm-scanning-mac-x86

Fix XMM scanning on Mac x86.

Bump cecil

[msvc] Update csproj files

correct spelling mistakes (#4405)

[mcs] Add codegen for null operator on result of awaited instance expression of property access. Fixes #52578

[configure] Remove mcs endianess check (it shouldn't be needed)

[Microsoft.CSharp] Replaced with CoreFX implementation

Merge pull request #4398 from marek-safar/mono.csharp

[Mono.CSharp] Remove type conflicts with mscorlib types. Fixes #52590

Bump corefx

[mcs] Inflate constraints of compiler generated proxy base call methods. Fixes #52294

[sgen] Lock around worker start, not only finishing

If we don't take the finished_lock when starting workers, the workers that we started could have already finished the work and switch to non-parallel context before we are even able to signal all of them.

[runtime] Use proper hash function for key_gc hashes

If the key gets moved by the GC and we only hash based on current address, we are left with invalid hashing.

[runtime] Counter for max hashtable chain length

Revert "[Utils] Use g_direct_equal if NULL is passed in as the equals function"

This reverts commit 914ecbcfec62bfc34984b3e121456d3f476a4707.

Having equal_func NULL is an optimization to avoid unnecessary calls.

[sgen] Include optimization for arm/arm64 targets

[runtime] Avoid equal calls in MonoGHashTable

mono_g_hash_table_find_slot is very hot.

[runtime] Use better hashing for refobject_hash

[runtime] Reduce collisions with open addressing hashes

In some hashtables we add multiple elements with the same hash. If we use only the address for hashing they would cluster since they are likely to have close addresses.

[sgen] Generational mono g hashtable

We mark cards when storing in hashtables. During minors, instead of scanning the entire tables, we only scan the sections for the dirty cards. In order to simplify the implementation we split into separate key/value tables.

To achieve this, instead of using an user descriptor for the hashtable structure, we directly register the tables and we create a new type of root descriptor for it to teach sgen how to find pointers in it. In addition to the precise scan of the root, which is done during majors, we also support a remset scan for it. We expect all roots registered as ROOT_TYPE_WBARRIER, to use this new descriptor (ROOT_DESC_VECTOR). In order for a root descriptor to be in the ROOT_TYPE_WBARRIER category, it has to have a defined remset scan mode.

[Mono.CSharp] Simplify .sources structure

[runtime] Fail gracefully when method has conflicting attributes

[jit] Fix support for gsharedvt constrained calls which return enums. Fixes #52600.

[threadpool] Let the runtime abort and wait for threads on shutdown (#4348)

* [threadpool] Let the runtime abort and wait for threads on shutdown

We would previously have the threadpool abort and wait for its threads during runtime shutdown, but it would tend to be buggy or leaky. The runtime already takes care of aborting and waiting all the other threads, so we simply also let it take care of the threadpool threads.

* [threadpool] Wake up all parked threads on shutdown

This fixes a hang at shutdown, where one or more threadpool threads might not be unparked and only exit after the timeout, delaying runtime shutdown.

[xbuild] Show the deprecation notice with logo, and so hide it with (#4399)

`/nologo`. It is not controlled by logging levels now.
But we also show the deprecation notice if we couldn't parse
the arguments, which would be more likely to be noticed by a user.

[sgen] Move some cardtable functions to sgen

[runtime] Open addressing for MonoGHashTable

Some whitespace and other cleanup fixes

[ProcessTest] Ensure we enable raising Exited event (#4397)

[Mono.CSharp] Remove type conflicts with mscorlib types. Fixes #52590

Merge pull request #4396 from radical/xbuild-deprec-fix

[xbuild] Don't show the deprecation notice for minimal or quiet logging

[interpreter] move interpreter specific trampoline definition to mini.h, also move trampoline outside of DISABLE_JIT guard

[interpreter] clean up exported symbols and header organization

[interpreter] remove temporary generic-interp.cs, and use Category attribute to disable testcases that fail with the interpreter

add objects.cs as well and disable test cases accordingly.

[interpreter] respect Category Attribute for --regression tests

[interpreter] hacky implementation for create_method_pointer

not quite sure yet what the requirements are, but this works now for
executing a simple hello world :-) in metadata/gc.c we use this
interface to call the Finalize method on objects.

[interpreter] force vtable setup before method lookup

[interpreter] skip boxing if it's already a non-valuetype

[interpreter] fix misc type resolving issues

[interpreter] pop from value type stack when loading field from value type

[interpreter] fix off-by-one errors around loading and storing args

[interpreter] implement constrained.callvirt insn

[interpreter] special casing for string objects

[interpreter] implement {st,ld}elem for value types

[interpreter] use runtime helper to unbox `this'

[interpreter] make mint_{ldind_i,box} so that it can also operate on elements deeper on the stack