OMI Облачна и федеративна инфраструктура
OMI понастоящем може да се внедри върху конвенционална сървърна инфраструктура, включително и върху хостваната услуга „Open Manuscript Studio“. Дългосрочната стратегия за развитие на инфраструктурата е да се осигури хоризонтална мащабируемост на слоя на услугите, като същевременно се запази принципът, който е от основно значение за OMI: един ръкопис никога не трябва да бъде обвързан с една-единствена хоствана услуга.
OMI Следователно „облакът“ се разглежда като опционален слой от управлявани и обединими услуги, а не като заместител на локалните документи на .omi или на хранилищата, контролирани от институциите.
Цели
Предложената облачна архитектура трябва да дава възможност за:
- да свързва документи и работни пространства с потребителски профили в браузъра, на настолните компютри, както и в приложенията за Android и iOS/iPadOS;
- синхронизиране на ръкописи, версии, ресурси, права за достъп и състоянието на съвместната работа между различните устройства;
- да поддържа работни пространства за отделни лица, изследователски групи, издатели и институции;
- мащабиране на ресурсоемките операции по импортиране, преобразуване, валидиране и експортиране, независимо от интерактивния интерфейс „API“;
- да се посочат изрично изискванията за местонахождението на данните, сроковете за съхранение и изборът на доставчик на услуги за съхранение;
- да се позволи на институциите да използват свои собствени съвместими системи за съхранение или внедряване, когато това е необходимо;
- да се запазват преносимите локални файлове и да се осигурява лесен износ по всяко време.
Предложена топология на услугата
При внедряване в производствена среда е възможно да се раздели интерактивното предоставяне от дългосрочното съхранение и обработката във фонов режим:
Clients: Web · Windows · Linux · macOS · Android · iOS/iPadOS
│
CDN / ingress
│
Studio API
┌───────────────────┼───────────────────┐
│ │ │
identity/session manuscript/workspace integrations
│ │ │
└──────────── PostgreSQL ──────────────┘
│
S3-compatible object store
│
queue / background workers
│
PDF · DOCX · export · validation · indexing
Конкретният доставчик на облачни услуги умишлено не е включен в спецификацията „OMI“. Архитектурата трябва да се основава на преносими интерфейси и модели на внедряване, а не на собственически семантики за съхранение.
Съхранение на документи, свързани с акаунта
В режима „OMI Cloud“ (с управлявано обслужване) един потребителски акаунт може да притежава или да участва в едно или повече работни пространства. Работното пространство може да съдържа ръкописи, ресурси, история на версиите, продукти за експортиране и метаданни за контрол на достъпа.
Една полезна логическа йерархия е:
OMI Account
└─ Workspace
└─ Manuscript
├─ Versions
├─ Assets
├─ Review/collaboration state
└─ Exports
Структурираните метаданни, правата за достъп, състоянието на съвместната работа и препратките към версиите на транзакциите трябва да се съхраняват в база данни като PostgreSQL. По-големите неизменяеми или двоични обекти — изходни файлове DOCX/PDF, изображения, пакетирани експорти и други ресурси — са по-подходящи за съхранение в обектно хранилище, съвместимо с S3.
Фонова обработка и еластичност
Дълготрайната обработка на документи не бива да поддържа отворено интерактивно HTTP заявка. Мащабното пресъздаване на PDF, конвертирането на DOCX, визуализацията на публикации, валидирането, индексирането, както и бъдещи интеграции, изискващи значителни изчислителни ресурси, могат да бъдат представени като задачи.
Например:
Upload → Queued → Processing → Structural reconstruction → Validation → Ready
Работниците могат да се мащабират хоризонтално в зависимост от дължината на опашката. Това отделя ресурсоемките импорти от обичайния трафик при редактиране и прави услугата подходяща за по-мащабно институционално използване, без да се налага преработване на модела на ръкописа.
Суверенитет върху данните и федерация
OMI Облакът трябва да бъде проектиран така, че управляемият хостинг да е удобен, но никога да не е задължителен. Три режима на съхранение трябва да останат с приоритет:
- local-first — преносимите документи от типа „
.omi“ остават на собственото устройство на потребителя или в избраната от него файлова система; - Управляем облак „OMI“ — съхранението и синхронизацията, свързани с акаунта, се осигуряват от оператора на услугата „OMI“;
- институционално/федеративно хранилище — дадена институция може да използва собствено съвместимо хранилище за обекти, частен облак или разгръщане, като същевременно продължава да използва клиенти и формати за обмен на данни на OMI.
Външни доставчици като Nextcloud/WebDAV, OneDrive, Google Drive или други услуги, избрани от потребителя, могат да останат допълнителни цели за интеграция. Изборът на доставчик не трябва да предефинира модела на научния обект.
За внедряването в европейски институции пътната карта дава предимство на вариантите за съхранение на данни в ЕС/ЕИП, изричните правила за съхранение, криптирането при пренос и в състояние на покой, възможността за одит, възможността за експортиране, изтриването на акаунти и управлението, специфично за съответната институция. Това са изисквания за внедряване, а не промени в семантиката на ръкописите на „OMI“.
Избягване на зависимостта от един доставчик
Една облачна услуга не бива да отслабва гаранциите за преносимост, които са били в основата на създаването на „OMI“. Затова архитектурата дава предимство на:
- Когато е възможно, да се използват S3-съвместими обектни интерфейси, а не такива, които са специфични за даден доставчик;
- стандартно хранилище за транзакции, съвместимо с PostgreSQL;
- документирани формати за експортиране и архивиране;
- преносими пакети „
.omi“ като надежден изход за бягство; - явни абстракции на доставчиците на памет в бекенда на Studio;
- разграничение между идентичността на ръкописа и местоположението на инфраструктурата.
Целта е да се улесни използването на „OMI“ в голям мащаб, без да се създава нов затворен формат за съхранение на ръкописи.
Работни пространства в институциите
При внедряването в институции може да се разчита на съществуващото разграничение между лични акаунти, идентичността на научните сътрудници, членството в институцията и централната администрация. Работните пространства в облака трябва да спазват същото разграничение: административните правомощия по отношение на дадена институция или услуга не трябва автоматично да предоставят достъп до поверителни ръкописи, материали за рецензиране или редакционно съдържание.
Институционалните работни пространства могат впоследствие да поддържат квоти, политики за съхранение, делегирано съхранение, групови разрешения, работни потоци за публикуване и пространства за изследователски проекти, без да се променя основният формат на документите.
Път за миграция от настоящата инсталация
Миграцията трябва да се осъществи постепенно, а не чрез радикално пренаписване. Новите възможности на бекенда трябва да бъдат реализирани въз основа на заменяеми абстракции за съхранение и задачи, така че настоящото разгръщане да може да продължи да работи, докато се въвеждат компоненти, подготвени за работа в облака.
Една практична последователност е:
- да се дефинира абстракция на доставчика на хранилище около съществуващата персистентност от страна на сървъра;
- да се добави съвместимо с S3 хранилище за обекти за големи файлове и експорти;
- прехвърляне на ресурсоемките операции по импорт/експорт към устойчива опашка и работен процес;
- да въведем съхранение на документи в облака, свързано с работната среда, и препратки към версии;
- добавяне на конфигурация на институционален доставчик на хранилище и федерация;
- разполагайте резервни/безсъстоятелни инстанции на „API“ зад управляван Ingress, когато оперативното натоварване го налага.
Значение за финансирането и устойчивостта
Мащабируемата федеративна инфраструктура също представлява стратегическа насока в областта на изследователската инфраструктура. Тя може да поддържа пилотни проекти с участието на множество институции, университетски издателства, научни дружества и програми за отворена наука, като същевременно запазва отворени основните спецификации и референтната реализация на „OMI“.
Устойчивото европейско или институционално финансиране би позволило преминаването от сегашното компактно разгръщане на хостинг към устойчива услуга с много потребители, включваща хостинг в ЕС/ЕИП, оперативна сигурност, мониторинг, архивиране, възстановяване при бедствия и институционална федерация. Пътната карта не предполага, че такова финансиране вече е осигурено.
Статус
На тази страница се описва планирана архитектура и посока на развитие на инфраструктурата, зависеща от финансирането, а не се твърди, че пълната услуга „OMI Cloud“ вече е внедрена. Наличното локално хранилище, вградените работни потоци за файлове, облачните връзки в рамките на профила, инфраструктурата на акаунтите и Studio API осигуряват основата за реализацията на тази бъдеща стъпка.