[profiler] Fix vtune build

[sgen] Add worker index to the binary protocol entries

[sgen] Clean exit if we can't read binprot file due to unsupported version

[sgen] Switch to nopar context when we are left with one worker

Non-parallel context is significantly faster since it doesn't require CAS-ing. Use it when we are left with only one worker so we don't regress performance.

[sgen] Parallel mod union scan jobs

[sgen] Avoid allocating mod union cardtables for los objects when scanning

We should consider doing the same when marking the mod union card table, if we have no cards to mark.

[sgen] Remove unused function

[sgen] Use parallel workers when finishing concurrent collections

[sgen] Make getting object size safe with parallel collector

[sgen] Support cementing from multiple workers

[sgen] Disable concurrent queue redirection

We used to support the case where workers are running and when the main gc thread populates the redirected gray queue, these queue sections are moved to the workers distribute gray queue from where they are distributed to all the workers. In order to simplify the process, the main gc thread should never do any relevant gc work concurrently with the workers. This means that we no longer need to handle the above case.

[sgen] Add parallel copying infrastructure

Parallel copying should happen only when the world is stopped and the gc thread is not running. Each thread allocates from its own block freelist, which he obtains by pop-ing the global block free list.

When a worker has to copy an object, it first allocates a new object in a major block and initialises its contents. Afterwards it tries to forward the vtable, using a CAS operation. If the vtable already contains a forwarded object, we just return the forwarded address, and the object that we allocated will be left to die (we expect this case to be extremely unlikely, otherwise we could re-enque the free object in its block's freelist).

After the copying is done, the caller has the duty to update references and mark the new object (which we have to do it also with a CAS).

FIXME : This means that an object can reside on a gray queue without being marked, so another thread can enque again this same object. We should refactor this copying/mark/enqueing mechansim to avoid these issues.

[sgen] Add free lists for each workers

These will be used for object allocation by the workers

[sgen] Parallel precleaning of los objects

In the future we should consider splitting large objects.

[sgen] Remove unused parameter

[sgen] Parallel major blocks precleaning

We allow spliting a major_scan_cardtable into multiple smaller jobs. For precleaning, we enqueue num_workers precleaning jobs, each one precleaning one in every num_workers blocks from the list.

[sgen] Split precleaning into multiple jobs

[sgen] Enqueue preclean through a worker finish callback

It moves enqueuing back to the main gc giving more flexibility.

[sgen] Enable multiple workers

[sgen] CAS on LOS marking

We make sure we don't double enqueue a large object.

[sgen] Add CAS object marking for concurrent workers

When marking an object we need to make sure we are not unmarking other objects (since marking is stored as bits). This also allows us to make sure that we never enqueue the same object multiple times on separate gray queues.

[sgen] Add separate scan/copy context for concurrent parallel configuration

[sgen] Use array with fixed-size element for mark words

There is no benefit in using pointer size element and we need to special case between architectures.

[sgen] Support multiple workers

[runtime] Collapse interruption_requested and abort_protected_block_count into a single var.

This change doesn't change behavior.

[sre] Use coop handles in parts of sre.c

* Convert ves_icall_RuntimeType_MakeGenericType to use handles.
* The above necessitates converting mono_reflection_bind_generic_parameters and
  mono_reflection_type_get_handle (renamed to
  mono_reflection_type_handle_mono_type) to use handles.
* From there we have to touch a lot of builder internals:
  - ves_icall_DynamicMethod_create_dynamic_method
  - ves_icall_ModuleBuilder_RegisterToken
  - ves_icall_ModuleBuilder_basic_init
  - ves_icall_ModuleBuilder_getMethodToken
  - ves_icall_ModuleBuilder_getToken
  - ves_icall_ModuleBuilder_getUSIndex
  - ves_icall_TypeBuilder_create_runtime_class
* As well as runtime functions
  - mono_image_insert_string
  - mono_image_create_token
  - mono_class_{get,has,set}_ref_info
  - mono_reflection_is_usertype
  - mono_dynimage_encode_reflection_sighelper
  - mono_dynamic_image_register_token

Add mdb2ppdb man page, remove prj2make man page

Merge pull request #4269 from kumpera/nuget-fixing-round2

[runtime] A pair of small fixes for the ignore assembly work.

[sgen] Add multiple thread support for sgen thread pool

[sgen] Add parallel configuration to the sgen testing suite

[sgen] Add option for a new parallel concurrent collector

[sgen] Remove unused prototypes

[sgen] Use thread safe addition to block list

This will enable us to to parallel block allocation, which is useful when doing parallel copying. We no longer compact the array (using the default array list allocator instead) so we need to account for unallocated slots (slots with null value) in the array at any time (see FOREACH_BLOCK).

[threads] Fix crash on unknown policy (#4264)

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=51545

[threadpool] Fix race on runtime shutdown (#4263)

We cannot free the threadpool, because there is a race on shutdown where a managed thread may request a new threadpool thread, but we already destroyed the threadpool. So to avoid a use-after-free, we simply do not free the threadpool, as we won't be able to access the threadpool anyway because the ref count will be 0

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=51219

[io-layer] Extract socket (#4241)

* [socket] Extract win32 and unix specific code from w32socket.c

* [socket] Extract WSAGetLastError and WSASetLastError

* [socket] Extract closesocket

* [socket] Extract iocltsocket

* [socket] Extract socket-wrappers.h functions

* [socket] Extract w32handle operations

* [socket] Extract WSAIoctl

* [socket] Do not use mono_w32socket_ioctl for disconnect

* [socket] Extract errno_to_WSA

* [socket] Remove redundant mono_w32handle_get_type/mono_w32handle_lookup

* [socket] Inline _wapi_* functions

* [socket] Make disconnect not rely on mono_w32socket_ioctl

* [socket] Remove unused parameters to mono_w32socket_transmit_file

* [socket] Refactor calls to mono_w32socket_convert_error

* [socket] Remove dead code

[mini] Add new JIT flag JIT_FLAG_DISCARD_RESULTS to reduce the noise when profiling the jit with --compile-all. (#4266)

JI registration dominates profiling as it has some perf issues itself.

[runtime] A pair of small fixes for the ignore assembly work.

image.c (do_mono_image_load): Ignore refonly images when checking for ignorable assemblies.

icall.c (ves_icall_System_Reflection_Assembly_InternalGetAssemblyName): Load the image in ref only mode.

[btls] Disable RC4 cipher suites by default

They should not be used anymore according to https://tools.ietf.org/html/rfc7465
and browser like Chrome, Firefox and Edge/IE [1] already removed them.

We should to do the same. To have everything in one place I also moved
the disabling of SSLv2/v3 to the mono_btls_ssl_ctx_new function as well
instead of disabling it on each single connection.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=51625

[1] https://blogs.windows.com/msedgedev/2016/08/09/rc4-now-deprecated/

[bockbuild] Fix a packaging regression

Merge pull request #4262 from kumpera/fix-windows

Fix the windows build.

Fix the windows build.

[pdb2mdb] Detect portable PDB and fail gracefully instead of crashing (#4261)

Before when trying to convert an assembly that had a portable PDB
instead of a native PDB alongside it we'd just crash in the
Microsoft.Cci pdb reader.

We now check whether the symbol file is a portable PDB and exit
gracefully with an error message and exit code 2 from the app.

Users which access the Converter class (like e.g. Xamarin Android [1])
directly can now catch the PortablePdbNotSupportedException to
do custom logic.

[1] https://github.com/xamarin/xamarin-android/blob/15f7547fa673e02256a75910c60c5e13eb158d2b/src/Xamarin.Android.Build.Tasks/Tasks/ConvertDebuggingFiles.cs#L28

[reflection] Fix ves_icall_RuntimeTypeHandle_GetGenericTypeDefinition_impl

There was a typo in ea176c5bb8d2f93dafeec4aff683860c886c97ba that inadvertantly
replaced `generic_class` by `klass`.

[coop handles] Fix mono_gchandle_get_target_handle

Apparently it did not get exercised previously.

[test] RuntimeType.GetGenericTypeDefiniton should return the TypeBuilder

even after CreateType has already been called.

[mini-posix] close file stream before exec'ing into GDB/LLDB

otherwise it isn't ensured that the content is written to the file.

[mini-posix] fix indent

[exception] add another testcase where an exception is rethrown explicitly (and therefore another behavior is expected)

[exception] retain stack trace when an exception is rethrown

Merge pull request #4234 from kumpera/katia-flavia

[runtime] Deny loading bad images.

[bockbuild] Fix packaging regression

[tools] Add nuget-hash-extractor tool to help produce the runtime ignored assemblies table.

This tool takes a folder full of nupkg file and print macro invocations to add to image.c:ignored_assemblies.

Usage:

make download
make run

The download.sh script downloads all nugets we want to ignore. So update it before running if you have more you want to add.

[runtime] Deny loading images that belong to a set of well known bad images.

Matching is done by assembly name and GUID. This should be enough to narrow
down the effect.

This approach is not very efficient as it waits for quite some of the loading
process to be on its way before detection. It works in the case that only a few
rare images are matched.

[MacSDK] Fix typo in ironlangs manifest

[msvc] Update csproj files (#4254)

[interpreter] fix castclass and isinst instruction

`mono_object_isinst_mbyref_checked` was removed recently. however, this
code unnecessary checks cases that are covered by
`mono_object_isinst_checked` anyway.

Clean up few warnings

[tests] Use correct MONO_PATH directory for tools like MCS/ILASM

We need to use the mcs/class/lib/build directory so Roslyn
works (it runs into AOT bugs in net_4_x).

This was fixed in a few other places already, fix more.

[lldb] Embed the actual entry in the jit descriptor structure to avoid a roundtrip. Add a timer for the amount of time spent in  __mono_jit_debug_register_code (). Avoid emitting info for specific trampolines for now.

[tools] Add mdb2ppdb tool for converting a .mdb file to a portable pdb .pdb file. (#4251)

[runtime] Enable unwind_backtrace on ARM/linux (#4230)

[jit] Optimize constrained calls to Enum.GetHasCode () to avoid boxing. Fixes #51330. (#4250)

[runtime] Remove glib usage from public headers. (#4242)

[jit] Fix a regression introduced by the addition of an assert in bf467001b10a0e4fe389b1616ffc56009a11aaa5.

[msvc] Update csproj files (#4249)

Merge pull request #4246 from Unity-Technologies/mcs-generic-constraint-enumerator

[mcs] Ignore constraints on enumerator generic methods. Fixes #51506

[mcs] Ignore constraints on enumerator generic methods. Fixes #51506

This is similar to the change at 30f6c9933a6c0595a5d1d5cf681be39b4367446e

[btls] Remove btls-cert-sync and integrate it into cert-sync

cert-sync already knew how to import into the BTLS cert store,
update it to always import into both stores so we don't need
the btls-cert-sync tool anymore.

[Mono.Security] Consider _newFormat when building certificate collection in X509Store

It only looked at the legacy format where certificates had the *.cer
extension, the new BTLS store uses *.0 extension.

[hybrid] Enable gsharedvt trampoline on amd64

[hybrid] Ensure gsharedvt isn't disabled once it's been enabled

We would observe gsharedvt being disabled on desktop, even after passing --hybrid-aot. This would happen because we would call `mono_set_optimizations` without the `gsharedvt` optimisation enabled, thus calling `mono_set_generic_sharing_vt_supported(FALSE)` disabling again gsharedvt.

[hybrid] Enable logging for methods not found with gsharedvt enabled

[Facades] Implementation types from CoreFX

Merge pull request #4198 from vkargov/vk-prevbb

[jit] Fix the prev_bb quick lookup in mono_merge_basic_blocks().

Merge pull request #4212 from BrzVlad/fix-ephemeron-leak

[corlib] Avoid unbounded resizes of ephemeron arrays

[runtime] Use mono_{object,class}_is_transparent_proxy () where possible

instead of comparing the klass to mono_defaults.transparent_proxy_class directlyi.

[runtime] Fix compile error in mono_domain_from_appdomain when DISABLE_REMOTING is defined

mono_defaults.transparent_proxy_class is #ifdef'd out when remoting is disabled.

[runtime] Add an --enable-minimal=mdb option for disabling support for .mdb symbol files.

[mini] Initialize profiler in mini_init

Initializing the profiler later fixes a segfault with cooperative GC due to
thread info callbacks not being initialized.

[ci] Fix interpreter config and simplify CI_TAGS checking in run-jenkins.sh

The elif for the interpreter was done after the elif
that catches (almost) all cases so it was ignored.

Simplify and condense the CI_TAGS checking so it's
easier to understand and more readable.

[configure] avoid avoid 'no symbols' warnings on darwin (2nd attempt)

[reflection] Coop handles for more icalls in `System.RuntimeTypeHandle` (#4220)

* [reflection] Use handles for ves_icall_RuntimeType_get_DeclaringMethod

* [reflection] Use handles for System.RuntimeType.GetInterfaces

* [reflection] Use handles for System.RuntimeType.GetInterfaceMapData

* [reflection] Use handles for System.RuntimeType.GetGenericArgumentsInternal

* [reflection] Use handles for System.RuntimeType.MakePointerType

* [reflection] Use handles for ves_icall_RuntimeType_get_DeclaringType

* [reflection] Use handles for more System.RuntimeType icalls

  - CreateInstanceInternal
  - GetConstructors_native
  - GetCorrespondingInflatedConstructor
  - GetCorrespondingInflatedMethod
  - GetEvents_native
  - GetFields_native
  - GetGenericParameterPosition
  - GetMethodsByName_native
  - GetNestedTypes_native
  - GetPacking
  - GetTypeCodeImplInternal
  - IsTypeExportedToWindowsRuntime
  - IsWindowsRuntimeObjectType
  - get_core_clr_security_level
  - make_array_type
  - make_byref_type

[unwind] respect link register on ppc and use right dwarf register for PC depending on ELF spec version

fixes a regression introduced by 3baad19c6c34891fa04c59d9673cbbd7c91e5ac2

[runtime] Support TransparentProxy-es in mono_domain_from_appdomain ().

Merge pull request #3563 from lewurm/interpreter

reviving interpreter

Fixes build

[Mono.Security] Add IVT to Xamarin dlls

Merge pull request #4235 from grendello/android_dns_servers

[BCL,Android] Get DNS server addresses from Android

[BCL,Android] Get DNS server addresses from Android

This change implements retrieving a list of DNS server addresses from Android
instead of attempting to parse `/etc/resolv.conf` which doesn't exist on
Android.
The list is retrieved by calling native function in Xamarin.Android that gets
the data from the system.

Part 2 of fix for https://bugzilla.xamarin.com/show_bug.cgi?id=48016

Bump cecil

[aot] Add 'profile-only' argument to only aot methods found in the profile file.

[aot] Add a 'verbose' argument to the aot compiler, use it to print out more information on profile loading errors.

[aot] Add support for loading multiple profile files.

[lldb] Avoid a crash in mono_lldb_remove_method () if lldb is not enabled.

[ilasm] Support 'nooptimization' attribute.

[msvc] Add lldb.c to the vs project.

[lldb] Use mono_unwind_get_cie_program () instead of mono_arch_get_cie_program () which might not be available on all platforms.

[BTLS]: Fix callback method signatures.

[BTLS]: Remove unused local variables.