NET Code hot reload

Что за «Code hot reload»?
Обновление кода приложения без перезапуска этого приложения.
.NET Framework (4.6 +)
Надеюсь такие слова вас не пугают:
CLR, MSIL, Assembly, указатель.

DirectumRX – ECM-система

DirectumRX Development Studio

Прикладная разработка DirectumRX
Development Studio (IDE)
Локальный сервер приложений
Код платформы (framework)
Прикладной код
Новый прикладной код
Deploy (dll)
compile
restart

Зачем нам HotReload
Development Studio (IDE)
Локальный сервер приложений
Код платформы (framework)
Прикладной код
Новый прикладной код
Deploy
compile
restart

Дополнительные ограничения и пожелания
Если поменялась структура БД, одним HotReload не обойтись.
HotReload и отладка в Dev Studio (breakpoints, watch).
Подходит и для серверного, и для клиентского кода
(у нас есть Desktop-клиент).

Основная идея
Избавиться от перезапуска сервера.
Встраивать код напрямую в работающее приложение.
Development Studio (IDE)
Локальный сервер приложений
Код платформы
Прикладной код
Новый прикладной код
Исходник
или Assembly
inject

Решения в лоб
Reflection – LoadAssembly
(Shadow Copy Assemblies)
Managed Extensibility Framework (MEF, VS-MEF)
Mono.Cecil

Решения в лоб. Проблемы
Не повлияем на уже существующие в памяти объекты.
Новые объекты, создаваемые через new будут ссылаться на старые типы.
В случае с MEF прикладной код придётся переписать особым образом (атрибуты, интерфейсы).

Emit
CodeDom – компиляция С# в Assembly сразу в память в AppDomain.
Emit – генерация IL-кода.
Development Studio (IDE)
Локальный сервер приложений
Платформа
Прикладной код
Новые прикладные исходники
C#
compile
emit

Emit. Проблемы
Emit работает только с DynamicAssembly.
А при компиляции CodeDom’a мы получаем обычную Assembly.
Чтобы «завести» динамический класс,
нужно вызвать у него CreateType().
Это блокирует его дальнейшие модификации.

Edit and Continue
Встроенный в Visual Studio хитрый механизм, генерирующий некоторые дельты.
Общедоступного API нет.
Даже в самой VS механизм не работает в ряде случаев.

Method Inject
v1

­Method Inject v1
Суть – замена указателя на метод.
MethodInfo methodToReplace = … ;
MethodInfo methodToInject = … ;
unsafe
{
long* target = (long*) methodToReplace.MethodHandle.Value.ToPointer();
long* inject = (long*) methodToInject.MethodHandle.Value.ToPointer();
*target = *inject;
}
В реальности чуток сложнее, потому что надо учесть x86/x64, Debug/Release.

Как хранятся описания классов в .NET
Заголовок
MethodTable ptr
Field value 1
Field value 2
…
ObjectInstance
…
ToString() ptr
Equals() ptr
….
MyMethod1() ptr
…
MethodTable
{
Console.WriteLine(1);
}
На самом деле тут IL, конечно

Method Inject v1. Суть
Заголовок
MethodTable ptr
Field value 1
Field value 2
…
ObjectInstance
…
ToString() ptr
Equals() ptr
….
MyMethod1() ptr
…
MethodTable
{
Console.WriteLine(1);
}
{
Console.WriteLine(2);
}

Method Inject v1. Проверяем на практике
Есть два класса…
Target
TargetMethod()
Injection
InjectionMethod()
Injector

Method Inject v1.
Проверяем на практике
Исходный MethodTable
TestClasses.Target.Test()
TestClasses.Target.TargetMethod()
TestClasses.Target.get_Value()
TestClasses.Target..ctor (System.String)
WinDbg + SOS

Method Inject v1.
Проверяем на практике
MethodTable после Inject
TestClasses.Target.Test()
TestClasses.Injection.InjectionMethod()
TestClasses.Target.get_Value()
TestClasses.Target..ctor (System.String)

Method Inject v1. Дополнительные работы
Сравнить прикладные исходники и найти изменившиеся методы.
Передать исходники методов на сервер.
Создать новый класс, засунуть в него методы и скомпилировать в память.
Найти старый метод и сделать MethodInject на новый.

Method Inject v1. ПРОБЛЕМА!
Прекрасно работает
пока мы не вызвали подменяемый метод.

Method Inject v1. ПРОБЛЕМА!
….
Code ptr
…
…
….
MyMethod1() ptr
…
MethodTable
{
Console.WriteLine(1);
}
MethodDesc
Stub
PreJitStub
native machine code
Write jmp
to jitted code
compileMethod

Method Inject
v2

Method Inject v2
public static class InjectionHelper
{
...
public static void Initialize()
public static void UpdateILCodes(MethodInfo method, byte[] ilCodes)
...
}

Method Inject v2
….
Code ptr
…
…
….
MyMethod1() ptr
…
MethodTable
IL
MethodDesc
Stub
PreJitStub
machine code
Write jmp
to jitted code
compileMethod

Injector
….
Code ptr
…
…
….
MyMethod1() ptr
…
MethodTable
IL
MethodDesc
Stub
PreJitStub
machine code
MethodDesc.Reset()
Method Inject v2
Write jmp
to jitted code
compileMethod
hook

Method Inject v2. Проблемки
Нормально заработало только
на .NET Framework 2.0 - 4.0
Inline маленьких методов.
Лезем внутрь CLR.
Слишком рискованно для продакшена.

Давайте вспомним, с чего мы начали
Есть платформа.
Она исполняет прикладной код.
Мы хотим подменять прикладной код.

Что за прикладной код?
Document
Name
Author
Created
…
ServerHandlers
BeforeSave()
AfterSave()
…
ServerFunctions
ServerFoo()
…
ClientHandlers
Showing()
…
ClientFunctions
ClientFoo()
…
Этот класс генерируется платформой

Class swap
Платформенный код создаёт прикладные объекты
(Dependency Injection).
Не возимся с методами – заменяем сразу весь объект.
Document1
Name
…
IDocument1ServerFunctions
Foo()
…
Document1ServerFunctions
Foo()
…
IDocument1ServerFunctions

Class swap
Document1
Document1ServerFunctions
Foo()
IDocument1ServerFunctions
AppTypesManager
Implementation
Create
ServerFunctions ()

Class swap
…
Document1
Document1ServerFunctions
Foo()
IDocument1ServerFunctions
AppTypesManager
Create
ServerFunctions ()
Injector
Create type
C# sources

Class swap
Document1
Document1ServerFunctions
Foo()
IDocument1ServerFunctions
Document1ServerFunctions
Foo()
IDocument1ServerFunctions
AppTypesManager
Implementation
Create
ServerFunctions ()
Injector
Create type
Register
C# sources

Заключение
В продакшен это не пошло :(
Деплой мы ускорили иначе – оптимизации.
Исследования – круто.
Погружение в детали инструмента – интересно.

()
.net core
JIT disable
Custom .NET CLR

THE END
Асадуллин Тимур
Directum, Уфа
[e-mail]