Merge pull request #3786 from lambdageek/dev-42584-take2

Check for ReferenceAssemblyAttribute when loading for execution

Utf8 (#3776)

* UTF8 Marshaling APIs  (#3736)

Adds support for the new UTF8 marshaling functionality in .NET, there
is support for the new MarshalAs(UnmanagedType.LPUTF8St) as well as a
handful of convenience methods in Marshal.cs

In Mono, this is mostly a pass-through as we have historically only
done UTF8, so this merely adds the constant processing to the runtime.

This fixes a few bugs that the new test suite exhibited: when we
marshaled UTF8 strings, we assumed Chars() == Bytes() and we would end
up chopping when marshaling out, and marshaling in.

There is also an additional behavioral bug that was fixed in
Marshal.cs, unlike the rest of the runtime that treated Ansi as Utf8,
StringToCoTaskMemAnsi behaved as ascii. This brings the API in line
with the rest of the runtime.

The equivalent CoreCLR changes were:

dotnet/coreclr#4793
dotnet/coreclr#6561

This has also surfaced two limitations in Mono's marshaling code,
which is why two sets of tests are disabled: StringBuilder return
types are not handled specially (char * needs to be turned into a new
StringBuilder when present) and StringBuilders with an Out attribute
should update the StringBuilder in place, not make a new copy of it.

[runtime] Fix the calculation of the instance size of ptr/var types. (#3790)

Merge pull request #3787 from AsamK/fix_listview

[MWF] Fix two issues in ListView

[hybrid-aot] Fix GSharedVT support (#3783)

* [aot-compiler] Cleanup GSharedVT check

* [aot-compiler] Enable partial sharing for hybrid AOT

* [aot] Enable GSharedVT for Android

* [aot] Ensure GSharedVT is supported at runtime as well as compile time

* [aot] Factor aot mode setting

Merge pull request #3789 from monojenkins/update-csprojs

[msvc] Update csproj files

[msvc] Update csproj files

Add unit tests for ListView bugs

[tools] Fix casing of sqlsharp

The directory is lowercase on disk.

[runtime] Check for ReferenceAssemblyAttribute when loading for execution.

An assembly with a System.Runtime.CompilerServices.ReferenceAssemblyAttribute
may be loaded in a reflection-only context, but not for execution.

When loading assembly refs, or when loading assemblies by name (as
opposed to file path), a reference assembly will be skipped over and
other assemblies from the GAC and the load path will be tried.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=42584

[loader] Tests for RefereceAssemblyAttribute support

This reverts commit 8612b548ee110336fe84d74b099359c8a2864459.

Which itself reverted commit 31de4df835d27ec750fc81739bdd84a87a2efaa7.

[runtime] Let mono_custom_attrs_has_attr ignore malformed attributes

[runtime] Don't build temporary array in mono_custom_attrs_get_attr_checked

Just return the first matching attribute as soon as it's found, don't
build a temporary array and then index into it.

[runtime] Mark mono_custom_attrs_get_attr external only

Runtime should use mono_custom_attrs_get_attr_checked.

[runtime] Add assembly name to message in FileNotFoundException

when using mono_error_set_assembly_load_simple ()

Fix ArgumentOutOfRangeException exception when removing a not focused item

The code in RemoveAt doesn't update the focused item index, if the focused
item is the last item in the list and another item is removed.
The next time an item is removed, the focused item index is equal to Count
and an ArgumentOutOfRangeException is thrown.

Fix IndexOutOfBounds exception, when removing and adding an item to another list

Removing a selected item from one ListView and adding the same item to
another ListView, an IndexOutOfBounds exception was thrown, if the second
ListView has fewer elements than the first one. That's because the
DisplayIndex still contained the index from the first ListView.

Bump boringssl submodule

Fixes System build

[System] Implements Socket::ConnectAsync. Fixes #44406

[mcs] Add new test

[ci] Add option to not run tests via CI_TAGS

Merge pull request #3780 from akoeplinger/mcs-error-constant-invariant

[mcs] Use InvariantCulture for GetValueAsLiteral() in constant.cs

Bump cecil to get recent fixes

Merge pull request #3781 from grendello/networkinfo

With Android 7.0 (Nougat) it is no longer possible to read some

[runtime] Fix a regression introduced by 1be62d5e2a325d45159485629a9ef6158aac0984 (field loading rewrite). Static field offsets were overwritten with 0 if the mono_class_setup_fields () function was called in parallel.

With Android 7.0 (Nougat) it is no longer possible to read some

information about network interfaces from the /sys filesystem. Google
placed restrictions on two files used by the Mono BCL to read
information about the interface:

      /sys/class/net/[DEVICE]/flags
      /sys/class/net/[DEVICE]/operstate

The information we used to read from `flags` let us determine whether
the interface supports multicast and the `operstate` file provided us
with detailed information on the current device state.

Additionally, it is now impossible to read the hardware MAC address used
by any interface. This bit of information is also unavailable when using
the Java APIs and therefore applications running on devices with API
24 (and possibly newer) will not be able to access this information.

More details about the issue are available from the upstream Android
bug:

      https://code.google.com/p/android/issues/detail?id=205565

In order to obtain the required information, we now need to use the Java
APIs on devices with API 24+ and this commit implements the backend to
retrieve this information. It is done in C in order to avoid overhead of
creating mirror .NET objects when calling Java, thus saving time and
memory during an operation which may be performed by some applications
quite frequently.

This patch implements code that calls into the Xamarin.Android
runtime when runnin under API24 or newer to obtain the information.

Part of fix for https://bugzilla.xamarin.com/show_bug.cgi?id=44296

[mcs] Use InvariantCulture for GetValueAsLiteral() in constant.cs

Without it mcs would've printed the following error for code like `const int val = 1.42f`
on a system where the decimal separator is not the dot, e.g. German:

```
test.cs(3,18): error CS0031: Constant value `1,42' cannot be converted to a `int'
```

Merge pull request #3779 from akoeplinger/fix-aot-only-reference

[mini] Fix mention of --aot-only option, it no longer exists

Implement some missing methods in RSACryptoServiceProvider

(cherry picked from commit d4e09f5c35c9c5944e2c1e60e017d3ecddc52616)

Implemented System.Security.Cryptography.X509Certificates.RSACertificateExtensions

(cherry picked from commit 04a376b2ab038fc8ebc786185695893456d541c9)

[mini] Fix mention of --aot-only option, it no longer exists

It was replaced with --full-aot in ba99fd833400666f574c571cc1981e846d09a610,
but there were still two places left that talked about the old option which leads to confusion.

Also updated the link to Xamarin docs to the current URL.

[build] Regenerate .csproj files

Note: DISABLE_CAS_USE was removed in ed989a8e9e5c170b6d19edc60bb80e8a4e6d5cc0

[System] More Socket methods from referencesource

[WP] [runtime] Rewrite field loading and layout (#3722)

* [runtime] Improve the locking in mono_class_setup_basic_field_info ().

Compute all the required information outside the lock and install it inside the lock. Remove mono_class_setup_basic_field_info_locking () function which is no longer needed.

* [runtime] Move the special case of no fields from mono_class_setup_fields () to mono_class_layout_fields ().

* [runtime] Move the computation of klass->blittable and klass->element_class/cast_class for enums to mono_class_layout_fields () so it can be used for dynamic types as well.

* [runtime] Make typebuilder_setup_fields () initilize the same data as mono_class_setup_fields ().

* [runtime] Move more common code into mono_class_layout_fields () from mono_class_setup_fields () and typebuilder_setup_fields ().

* [runtime] Avoid infinite recursion in mono_class_setup_fields () by storing the classes under initialization in a TLS list instead of using the racy klass->setup_fields_called flag.

* [runtime] Reduce the amount of locking in mono_class_setup_fields () to the call to mono_class_layout_fields (). Remove mono_class_setup_fields_locking ().

* [runtime] Remove a special case for no fields from mono_class_layout_fields (), the normal code can handle it.

* [runtime] Reorganize mono_class_layout_fields () so it makes all modifications to the MonoClass instance in one place.

* [runtime] Reduce the amounrt of locking in mono_class_layout_fields ().

* [runtime] Remove some compiler context code.

[corlib] Don't emit symbol information in ModuleBuilderTest.GetType()

It doesn't work on Android and the test doesn't need it.

[System] Fix expected default value in test for ServicePointManager.ConnectionLimit on XA

The default was aligned with XI on https://github.com/mono/mono/commit/d06354174070d01394f5e75ffcfc9c1110a1e7db

Merge pull request #3775 from alexrp/main-thread-name

[runtime] Don't change the native name of the main thread.

Revert "UTF8, with build fixed"

This reverts commit 50d119be5d5ba52e0c935ea53907cf2b061a3cd8.

Revert "Revert "UTF8 Marshaling APIs  (#3736)""

This reverts commit 2a01bde545a47e287977637a4a08f8f965ca45dc.t push
:

UTF8, with build fixed

Revert "UTF8 Marshaling APIs  (#3736)"

This reverts commit 4056e80006ee934ec024215cf998baf66aa8d6ae.

UTF8 Marshaling APIs  (#3736)

Adds support for the new UTF8 marshaling functionality in .NET, there is support for the new MarshalAs(UnmanagedType.LPUTF8St) as well as a handful of convenience methods in Marshal.cs

In Mono, this is mostly a pass-through as we have historically only done
UTF8, so this merely adds the constant processing to the runtime.

This fixes a few bugs that the new test suite exhibited: when we marshaled UTF8 strings, we assumed Chars() == Bytes() and we would end up chopping when marshaling out, and marshaling in.

There is also an additional behavioral bug that was fixed in Marshal.cs, unlike the rest of the runtime that treated Ansi as Utf8, StringToCoTaskMemAnsi behaved as ascii. This brings the API in line with the rest of the runtime.

The equivalent CoreCLR changes were:

dotnet/coreclr#4793
dotnet/coreclr#6561

This has also surfaced two limitations in Mono's marshaling code, which is why two sets of tests are disabled: StringBuilder return types are not handled specially (char * needs to be turned into a new StringBuilder when present) and StringBuilders with an Out attribute should update the StringBuilder in place, not make a new copy of it.

[runtime] Don't change the native name of the main thread.

This makes it hard to differentiate multiple Mono processes in `top`.

We still report the name of the main thread as "Main" to the profiler.

[System.ServiceModel] Hide only relevant exceptions in TcpChannelListener.cs

[System] Use mono specific payload type for EndAccept of TCPListener

Merge pull request #3763 from akoeplinger/move-type

[System.ServiceModel] Move a few types into System.IdentityModel

Merge pull request #3771 from henricm/enable-system-tests-on-windows

Enable System tests for PR builds on Windows

Enable System tests for PR builds on Windows

[System.Xml] Update supported time formats for mobile version of XML deserializer. Fixes #42843

[System.Xml] Enable more tests

Merge pull request #3756 from henricm/named-pipe-alertable-on-windows

Making named pipe connects alertable on Windows

Merge pull request #3766 from BrzVlad/feature-default-conc

[sgen] Switch to default concurrent on desktop

Merge pull request #3761 from kumpera/fix-maccore-linking-regression

[icalls] Change get_bundled_machine_config to ICALL_EXPORT so maccore can link it.

Merge pull request #3716 from vargaz/unbox-stobj-null

[jit] Add a small optimization for unbox.any+stobj called with a null…

[System] SocketAsyncEventArgs::Dispose does not free any managed resources. Fixes #44757

Merge pull request #3591 from directhex/mono_libdir_fallback

Handle relocatable libMonoPosixHelper.so when --libdir= isn't lib/

[System]: Move MonoBtlsProvider.IsSupported() -> MonoTlsProviderFactory.IsBtlsSupported() (#3760)

* [System]: Move MonoBtlsProvider.IsSupported() -> MonoTlsProviderFactory.IsBtlsSupported().

Move the intern-call which is used to determine whether we're using BTLS out of MonoBtlsProvider
to allow the managed linker to eliminate the Mono.Btls.* classes when it's not supported.

* Fix Android build.

(cherry picked from commit 90699022b6fed7fd273ba3379a2e3696bbd8956f)

[tests] Select sgen major explicitly in tests

On configurations where we were only testing serial (using the default collector), we now explicitly test concurrent to put emphasis on it.

[sgen] Enable concurrent gc by default on desktop

Linux (except android), MacOS and Windows.

Merge pull request #3762 from akoeplinger/fix-ftp-ipv6

[System] Add IPv6 support to FtpWebRequest

Merge pull request #3738 from lateralusX/jlorenss/win-api-family-support-libmonoruntime

Build libmonoruntime under none desktop Windows API family.

Build libmonoruntime under none desktop Windows API family.

Initial work to build libmonoruntime under none desktop Windows API families.

[icalls] Multiple fixes to get_bundled_machine_config.

Enviroment::get_bundled_machine_config icall should be ves_icall_System_Environment_get_bundled_machine_config.

Mark all icalls doing get_bundled_machine_config as ICALL_EXPORT so maccore can link them in/out.

[System.ServiceModel] Move a few types into System.IdentityModel

They were moved there in MS.NET 4.5. Added typeforwards so existing references continue to work.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=35662

Merge pull request #3755 from kumpera/async-reader-hardering-2

[System] Another round of hardening around disposal of Process while doing async reads.

[System] Add tests for IPv6-enabled FtpWebRequest

[System] Add IPv6 support to FtpWebRequest

When connecting to an FTP server we weren't handling the RFC2428
extension to the FTP protocol which allows connections over IPv6
for the data channel.

We'd try to connect via IPv4 and the server would return an error
saying that this protocol is not supported.

The fix is to add handling for the protocol extension, namely
to use EPSV (for passive FTP) or EPRT (for active FTP) when opening
the data channel and send/parse the IPv6 addresses.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=44025

Note: we're now using the IP address of the the control channel we connected to for the
data channel instead of the address that is returned by the server in the FTP response message.
The reason is that for EPSV there's no IP returned by the server, and it should be
more reliable for normal PASV as well since the server might not know the
correct external address. This is also what MS does in referencesource.

[mcs] Handle interpolated strings with escaped quotes. Fixes #45286

[System] Make sure FtpWebRequest processing happens in a background thread

We don't want it to block app shutdown.

Bump ikvm for mcs fixes

Enable System.Runtime.Remoting tests on Windows

Making named pipe connects alertable on Windows

This fix makes sure that an aborted thread will wake up
a blocking named pipe connect.

Merge pull request #3754 from marek-safar/rs-sockets

[System] More Socket types from referencesource

[Mono.Data.Sqlite] Regression introduced by 04162ffbbdfed88ba298341f0384a35949b3c0f9 which changed _datetimeFormats order. Fixes #40603

[Mono.Data.Sqlite] Enable more tests

Merge pull request #3749 from BrzVlad/fix-mips-fix

[mips] Fix mips

Merge pull request #3753 from henricm/enable-windowsbase-tests-on-windows

Enable WinowsBase tests on Windows

[System] Warnings cleanup

[System] More Socket types from referencesource

Merge pull request #3750 from marek-safar/socket

[System] More Socket pieces from referencesource

[mips] Disable div with mul on 32bit mips

[llvm] Avoid generating invalid IL for valuetypes+vphi+volatile variables in gsharedvt methods. Fixes part of #45270.

[corlib] Fix UdpClient tests on watchos

They were reenabled in 1fa85ad4afb4139e607876121a080a3be122a7a9,
but UdpClient throws PlatformNotSupportedException on watchos.

Merge pull request #3715 from kumpera/fix-44707

[corlib] Don't load the machine config file if it's missing. Fixes #44707

[System] Another round of hardening around disposal of Process while doing async reads.

This round ensures stream and decoder are protected from dispose and that we properly
bail out to the EOS case.

[cert-sync]: Change back to using the '--btls' argument.

Without arguments, 'cert-sync' now operates on the old certificate store
again, like it was before.  To test BTLS, you need to explicitly run it
with '--btls'.

(cherry picked from commit 46379bda6d13e6e216ca3fc35654eb910c891c41)

Merge pull request #3745 from akoeplinger/fix-bug44937

[io-layer] Correctly detect a PE32+ assembly as managed when starting process

[System.ServiceModel] Split unreliable tests

[System] Set more error details on failed https proxy connect. Fixes #45108

[mono] Fixes hardcoded stack limit in EnsureSufficientExecutionStack check

[System] More Socket pieces from referencesource

Enable WinowsBase tests on Windows

Merge pull request #3662 from henricm/fix-windowsbase-on-win

WindowsBase zlib, ZipSharp and Package fixes for Windows

Making sure stream is closed when exception is thrown

Stream will never be closed if we throw exception in Open
which leads to file being locked in Windows and that we
leak file handles.

Setting Culture to en-us for ToStringTest

Make ZipSharp work on Windows

This patch adds the zlib functions needed by ZipSharp to the VS
MonoPosixHelper.def export file.

This patch also changes the ZipSharp code to use different code paths
depending on the size of the C long type on the underlying platform. On
gcc/clang the C long type follows the bitness of the targeted architecture,
it's 32-bit on 32-bit systems and 64-bit on 64-bit systems. With the VS
compiler however, the C long type is always 32-bit regardless of the target
architecture. zlib and minizip uses C long in a number of different function
signatures and structs.

Merge pull request #3746 from ntherning/fix-SocketResponder-on-windows

Fix SocketResponder on Windows

Merge pull request #3747 from marek-safar/updclient

UpdClient from referencesource

[mips] Add missing define