Ордера архитектурные: Ордер архитектурный. Подробно об архитектурном термине.

Выявление архитектурного порядка с помощью количественных изображений без меток и глубокого обучения

Abstract

Мы сообщаем о количественных изображениях без меток с фазой и поляризацией (QLIPP) для одновременного измерения плотности, анизотропии и ориентации структур в немеченых живых клетках и срезах тканей. Мы объединяем QLIPP с глубокими нейронными сетями для прогнозирования флуоресцентных изображений различных структур клеток и тканей. Изображения QLIPP показывают анатомические области и ориентацию аксонов в пренатальных срезах ткани головного мозга человека, которые не видны при визуализации в светлом поле. Мы сообщаем о варианте архитектуры U-Net, многоканальной 2.5D U-Net, для вычислительно эффективного прогнозирования флуоресцентных изображений в трех измерениях и в больших полях зрения. Кроме того, мы разрабатываем методы нормализации данных для точного прогнозирования распределения миелина в больших областях мозга. Мы показываем, что экспериментальные дефекты маркировки тканей человека можно исправить с помощью количественной визуализации без меток и модели нейронной сети. Мы ожидаем, что предложенный метод позволит провести новые исследования архитектурного порядка в пространственных масштабах, начиная от органелл и заканчивая тканью.

Дайджест eLife

Микроскопия занимает центральное место в биологических исследованиях и позволяет ученым изучать структуру и динамику клеток и их внутренних компонентов. Часто используются флуоресцентные красители или трекеры, которые можно обнаружить под микроскопом. Однако эта процедура иногда может мешать изучаемым биологическим процессам.

Now, Guo, Yeh, Folkesson et al. разработали новый подход к исследованию структур внутри тканей и клеток без необходимости использования флуоресцентной метки. Метод, называемый QLIPP, использует фазу и поляризацию света, проходящего через образец, для получения информации о его составе.

Вычислительная модель использовалась для расшифровки характеристик света и предоставления информации о плотности и ориентации молекул в живых клетках и образцах тканей головного мозга мышей и человека. Таким образом, Guo et al. смогли выявить детали, которые упустила бы обычная микроскопия. Затем был использован тип машинного обучения, известный как «глубокое обучение», для преобразования изображений плотности и ориентации в флуоресцентные изображения, что позволило исследователям предсказать конкретные структуры в срезах тканей головного мозга человека.

QLIPP можно добавить в микроскоп как модуль, а его программное обеспечение доступно с открытым исходным кодом. Гуо и др. надеемся, что этот подход можно будет использовать во многих областях биологии, например, для картирования связей нервных клеток в человеческом мозгу или для определения того, как клетки реагируют на инфекцию. Однако для реализации всех преимуществ потребуется дальнейшая работа по автоматизации других аспектов, таких как подготовка и анализ проб.

Введение

Функция живых систем возникает в результате взаимодействия ее компонентов в пространственных и временных масштабах, которые варьируются на многие порядки. Световая микроскопия уникально полезна для записи динамического расположения молекул в контексте органелл, органелл в контексте клеток и клеток в контексте тканей. Сочетание флуоресцентной визуализации и автоматического анализа содержимого изображения с глубоким обучением (Moen et al., 2019).; Бельтангади и Ройер, 2019 г.; Van Valen et al. , 2016) открыл новые возможности для понимания сложных биологических процессов. Однако характеристика архитектуры и динамики с помощью флуоресценции остается сложной задачей во многих важных биологических системах. Выбор метки может внести погрешность наблюдения в эксперимент и нарушить изучаемый биологический процесс. Напр., мечение цитоскелетных полимеров часто нарушает кинетику их нативной сборки (Belin et al., 2014). Генетическая маркировка тканей человека и немодельных организмов не является простой задачей, и эффективность маркировки часто бывает низкой. Маркировка антителами или красителями может привести к артефактам и требует тщательной оптимизации протоколов маркировки. Сложность маркировки препятствует биологическим открытиям с использованием этих систем. Напротив, визуализация без меток требует минимальной подготовки образца, поскольку она измеряет внутренние свойства образца. Визуализация без меток позволяет визуализировать множество биологических структур одновременно с минимальной фототоксичностью и отсутствием фотообесцвечивания, что делает ее особенно подходящей для визуализации живых клеток. Измерения, выполненные без маркировки, часто более надежны, поскольку позволяют избежать экспериментальных ошибок, связанных с маркировкой. Мультиплексная визуализация с использованием флуоресценции и контрастов без меток позволяет охарактеризовать динамику меченых молекул в контексте органелл или клеток. Таким образом, визуализация без меток обеспечивает измерения, дополняющие флуоресцентную визуализацию, для широкого круга биологических исследований, от анализа архитектуры архивных тканей человека до характеристики динамики органелл в живых клетках.

Классические методы микроскопии без использования меток, такие как фазовый контраст (Zernike, 1955), дифференциальный интерференционный контраст (DIC) (Nomarski, 1955) и микроскопия в поляризованном свете (Schmidt, 1926; Inoue, 1953), являются качественными. Они превращают вызванные образцом изменения фазы (формы волнового фронта) и поляризации (плоскость колебаний электрического поля) света в модуляции интенсивности, которые можно обнаружить с помощью камеры. Эти модуляции интенсивности связаны со свойствами образцов посредством сложной нелинейной трансформации, что затрудняет их интерпретацию. Компьютерная визуализация превращает качественные модуляции интенсивности в количественные измерения свойств образцов с помощью обратных алгоритмов, основанных на моделях формирования изображения. Количественная фазовая визуализация (Popescu et al., 2006; Waller et al., 2010; Tian and Waller, 2015) измеряет длину оптического пути, то есть  образец фазы , который сообщает о плотности сухой массы (Barer, 1952). Количественная поляризационная микроскопия в режиме пропускания сообщает об угловой анизотропии длины оптического пути, то есть ретарданс , (Inoue, 1953; Oldenbourg and Mei, 1995; Mehta et al., 2013) и оси анизотропии, то есть ориентации , без этикетки.

Количественная визуализация без использования меток измеряет внутренние свойства образца и дает представление о биологических процессах, которое невозможно получить с помощью флуоресцентной визуализации. Например, количественная фазовая микроскопия (Park et al., 2018) использовалась для анализа мембранной механики, плотности органелл (Imai et al., 2017), миграции клеток и недавно быстрого распространения потенциала действия (Ling et al., 2019). Точно так же количественная поляризационная микроскопия позволила обнаружить динамическое веретено микротрубочек (Inoue, 1953; Keefe et al., 2003), проанализировать ретроградный поток F-актиновой сети (Oldenbourg et al., 2000), визуализировать белое вещество у взрослых. срезы ткани головного мозга человека (Axer et al., 2011a; Axer et al., 2011b; Menzel et al., 2017; Mollink et al., 2017; Zeineh et al., 2017; Henssen et al., 2019) и визуализация структурных изменений в мозговой ткани, зависящих от активности (Koike-Tani et al., 2019). Учитывая дополнительную информацию, предоставляемую плотностью образца и анизотропией, также была предпринята попытка совместного отображения фазы и замедления (Shribak et al., 2008; Ferrand et al., 2018; Baroni et al. , 2020). Однако современные методы совместной визуализации плотности и анизотропии ограничены по пропускной способности из-за сложности получения или могут использоваться только для 2D-визуализации из-за отсутствия точных моделей формирования 3D-изображения. Мы стремились разработать метод компьютерной визуализации для совместных измерений фазы и замедления живых 3D-образцов с более простым световым путем и более высокой пропускной способностью.

По сравнению с измерениями флуоресценции, которые обеспечивают молекулярную специфичность, измерения без меток обеспечивают физическую специфичность. Получение биологических сведений из изображений без меток часто требует определения конкретных молекулярных структур. Недавно глубокое обучение позволило преобразовать качественные и количественные фазовые изображения в флуоресцентные изображения (Ounkomol et al., 2018; Christiansen et al., 2018; Rivenson et al., 2018a; Rivenson et al., 2019; Lee et al., 2019; Петерсен и др., 2017). Среди различных архитектур нейронных сетей U-Net широко применяется для задач сегментации и перевода изображений (Ronneberger et al. , 2015; Milletari et al., 2016; Ounkomol et al., 2018; Lee et al., 2019).). Успех U-Net обусловлен, прежде всего, его способностью использовать особенности изображения в различных пространственных масштабах и использованием пропусков соединений между блоками кодирования и декодирования. Пропускные соединения дают блокам декодирования доступ к несложным функциям с высоким разрешением в блоках кодирования. При переводе изображений изображения из разных модальностей (в нашем случае без метки или флуоресценции) одного и того же образца представляются модели нейронной сети. Модель нейронной сети изучает сложное преобразование изображений без меток в флуоресцентные в процессе обучения. Обученная модель нейронной сети может прогнозировать флуоресцентные изображения на основе изображений без меток, что позволяет анализировать распределение конкретной молекулы. Точность, с которой можно предсказать молекулярную структуру, зависит не только от модели, но также от динамического диапазона и постоянства контраста, с которым структура видна в данных без меток. Некоторые из анизотропных структур не видны в данных фазовой визуализации и поэтому не могут быть изучены из данных фазовой визуализации. Известные методы трансляции изображений не использовали оптическую анизотропию, которая сообщает о важных структурах, таких как клеточная мембрана и пучки аксонов. Кроме того, предыдущая работа в основном продемонстрировала предсказание одиночных 2D-полей зрения. Сообщалось о объемном прогнозировании с использованием 3D U-Net, но оно требует больших вычислительных ресурсов, так что требуется понижающая дискретизация данных за счет пространственного разрешения (Ounkomol et al., 2018). Мы стремились повысить точность предсказания флуоресцентных изображений, используя информацию, содержащуюся в дополнительных измерениях плотности и анизотропии.

В этой работе мы сообщаем о сочетании количественных изображений без меток и моделей глубокого обучения для идентификации биологических структур по их плотности и анизотропии. Во-первых, мы представляем количественную визуализацию без меток с фазой и поляризацией (QLIPP), которая визуализирует различные структуры по их фазе, запаздыванию и ориентации. QLIPP сочетает количественную поляризационную микроскопию (Oldenbourg and Mei, 1995; Shribak and Oldenbourg, 2003; Mehta et al., 2013) с концепцией фазы от расфокусировки (Streibl, 19).84; Уоллер и др., 2010 г.; Стрейбл, 1985; Нода и др., 1990; Клаус и др., 2015; Дженкинс и Гейлорд, 2015а; Дженкинс и Гейлорд, 2015b; Soto et al., 2017), чтобы разработать новый метод объемного измерения фазы, замедления и ориентации (рис. 1А). Данные, полученные с помощью QLIPP, могут различать биологические структуры в различных пространственных и временных масштабах, что делает их ценными для выявления архитектуры посмертной архивной ткани и динамики органелл в живых клетках. Оптический путь QLIPP проще по сравнению с более ранними методами (Shribak et al., 2008), алгоритмы реконструкции более точны, а программное обеспечение для реконструкции открыто. QLIPP может быть реализован на существующих микроскопах в виде модуля и может быть легко мультиплексирован с флуоресценцией. Чтобы преобразовать трехмерное распределение фазы, замедления и ориентации в интенсивность флуоресценции, мы реализуем вычислительно эффективную многоканальную архитектуру 2. 5D U-Net (рис. 1B) на основе ранее описанной одноканальной 2.5D U-Net (Han, 2017). ). Мы используем QLIPP для визуализации путей аксонов и миелинизации в архивных срезах ткани головного мозга на двух стадиях развития. Безметочное измерение анизотропии позволило нам визуализировать ориентацию аксонов на целых срезах. Мы демонстрируем, что данные QLIPP повышают точность предсказания миелинизации в развивающемся мозге человека по сравнению с данными светлого поля. Наконец, мы демонстрируем устойчивость измерений без меток к экспериментальным вариациям маркировки, что приводит к более последовательному прогнозированию миелинизации, чем это возможно при экспериментальном окрашивании. В совокупности мы предлагаем новый подход к отображению архитектурного порядка в нескольких биологических системах и его анализу с помощью разумного сочетания подходов к моделированию, основанных на физике и данных.

Измерения с помощью QLIPP и анализ конструкций с помощью 2.

( A ) Световой тракт микроскопа. Объемы изображений с поляризационным разрешением получают путем освещения образца светом с различными состояниями поляризации. Состояние поляризации контролируется с помощью жидкокристаллического универсального поляризатора. Изменения длины оптического пути изотропного материала вызывают изменения волнового фронта (то есть фазы) света, которые можно измерить с помощью расфокусированного стека интенсивности. Анизотропный материал не только меняет волновой фронт, но и меняет поляризацию света в зависимости от степени оптической анизотропии (ретарданса) и направленности анизотропии. Z-стеки интенсивности образца образца ткани почки мыши при пяти состояниях поляризации освещения (IRCP, I0, I45, I90,I135. Изменения интенсивности, которые кодируют реконструированные физические свойства изотропного и анизотропного материала, показаны в стеке I ₁₃₅ . Эти стеки с разрешением по поляризации используются для восстановления (Материалы и методы) замедления образца, ориентации медленной оси и фазы. Ориентация медленной оси в данном вокселе сообщает ось в фокальной плоскости, вдоль которой материал является наиболее плотным, и представлена ​​​​цветом в соответствии с полуколесом, показанным на вставке. ( B ) Многоканальная модель 2.5D U-Net обучена прогнозировать флуоресцентные структуры на основе измерений без меток. В этом примере прогнозируется трехмерное распределение F-актина и ядер. Во время обучения пары изображений без меток и флуоресцентных изображений подаются в качестве входных данных и целей, соответственно, для модели U-Net. Модель оптимизируется путем минимизации разницы между предсказанием модели и целью. Во время вывода только изображения без меток используются в качестве входных данных для обученной модели для прогнозирования изображений флуоресценции.

Результаты

QLIPP обеспечивает совместное измерение плотности образца и анизотропии

Путь света QLIPP показан на рисунке 1A. Это трансмиссионный поляризационный микроскоп на основе жидкокристаллического универсального поляризатора, управляемого компьютером (Oldenbourg and Mei, 1995; Shribak and Oldenbourg, 2003; Mehta et al. , 2013). QLIPP предоставляет точную модель формирования изображения и соответствующий обратный алгоритм для одновременного восстановления фазы образца, замедления и медленной ориентации оси.

В QLIPP образцы освещаются с пятью эллиптическими состояниями поляризации для чувствительного определения замедления образцов (Shribak and Oldenbourg, 2003; Mehta et al., 2013). Для каждого освещения мы собираем Z-стек интенсивности, чтобы получить информацию о фазе образцов. Изменения плотности образца, например более низкая плотность ядер по сравнению с цитоплазмой, вызывают изменения показателя преломления и искажают волновой фронт падающего света. Искажения волнового фронта приводят к обнаруживаемым модуляциям интенсивности из-за интерференции в трехмерном пространстве при распространении света вдоль оптической оси. Модуляции интенсивности, вызванные изотропными вариациями плотности (фаза образца), могут быть зафиксированы путем получения суммирования интенсивностей вдоль оптической оси (Z) (Streibl, 19). 84; Уоллер и др., 2010). Анизотропные вариации плотности образцов являются результатом выравнивания молекул вдоль предпочтительной оси, например, липидная мембрана имеет более высокую анизотропию по сравнению с цитоплазмой из-за выравнивания молекул липидов. Это анизотропное изменение плотности (замедление образца) вызывает поляризационно-зависимую разность фаз. Замедление образцов часто характеризуется осью, вдоль которой анизотропный материал является наиболее плотным (медленная ось), или осью, перпендикулярной к ней (быстрая ось) (де Кампос Видаль и др., 19).80; Salamon and Tollin, 2001), и разница в фазе образца между этими двумя осями. Кроме того, многократное рассеяние на образце может уменьшить степень поляризации света. Замедление образца, ориентацию по медленной оси и степень поляризации можно измерить, исследуя образец светом в различных состояниях поляризации. Мы разрабатываем прямую модель преобразования, используя формализм частичной поляризации и фазовой передаточной функции, чтобы описать связь между физическими свойствами образца и обнаруженными интенсивностями. Затем мы используем приведенную выше прямую модель для разработки обратного алгоритма, который восстанавливает количественные физические свойства образца в 3D на основе обнаруженных модуляций интенсивности, как показано на рисунке 1A.

Во-первых, мы используем векторное представление Стокса для частично поляризованного света (Born and Wolf, 2013; Bass et al., 2009; Azzam, 2016) для моделирования преобразования оптических свойств образцов в приобретенные интенсивности (уравнение 7). Инвертируя это преобразование, мы реконструируем трехмерные объемы замедления, ориентации медленной оси, светлого поля и степени поляризации. Надлежащая коррекция фона имеет решающее значение для обнаружения низкой ретардации биологических структур при наличии высокого неоднородного фона, возникающего в результате работы оптики или камеры визуализации. Мы используем двухэтапный метод коррекции фона (Материалы и методы) для коррекции неравномерной поляризации фона (рис. 2 — дополнение к рис. 2). В дополнение к запаздыванию и ориентации по медленной оси, наше использование формализма Стокса позволяет реконструировать светлое поле и степень поляризации, в отличие от предыдущей работы, которая реконструирует только задержку и ориентацию по медленной оси (Shribak and Oldenbourg, 2003; Mehta et al. , 2013). Степень поляризации измеряет соответствие нашей модели эксперименту, как объяснено ниже, а изображения в светлом поле позволяют реконструировать фазу образца.

Во-вторых, мы используем формализм фазовой передаточной функции (Streibl, 1985; Noda et al., 1990; Claus et al., 2015; Jenkins and Gaylord, 2015a; Jenkins and Gaylord, 2015b; Soto et al., 2017) для моделирования как трехмерная фазовая информация преобразуется в контраст светлого поля (уравнение 17). Информация о фазе образца кодируется в изображениях светлого поля, но сложным образом. На светлопольных изображениях оптически плотные структуры проявляются более ярким контрастом, чем фон по одну сторону от фокуса, почти без контраста в фокусе и более темным по контрасту, чем фон по другую сторону от фокуса. Это иллюстрируется 3D-изображениями ядрышек в светлом поле, плотными субъядерными доменами внутри ядер (рис. 2 — видео 1). Мы инвертируем нашу прямую модель, чтобы оценить фазу образца по 3D-стеку светлого поля (уравнение 19). ). Фазовая реконструкция из объема светлого поля показывает ядрышки в положительном контрасте относительно фона, когда ядрышки перемещаются через фокус (рис. 2 — видео 1). Отметим, что двухэтапная коррекция фона необходима для бесфоновых изображений ретарданса и ориентации, но не для фазового изображения (рис. 2 — дополнение к рис. 2).

Широкую применимость QLIPP мы иллюстрируем изображениями эпителиальных клеток остеосаркомы кости человека (U2OS), срезом ткани из среза ткани мозга взрослой мыши из делящейся клетки U2OS (рис. 2 — видео 2, рис. 2 — видео 3), фазовым изображением показывает трехмерную динамику плотных клеточных органелл, таких как липидные везикулы, ядрышки и хромосомы. Ретарданс и медленная ось в клетках U2OS (рис. 2 — видео 2, рис. 2 — видео 3) показывают динамику границ мембраны, веретена и липидные капли. Отметим, что двухэтапная коррекция фона необходима для устранения смещения в изображениях ретарданса и ориентации, но не для фазового изображения (рис. 2 — дополнение к рис. 2). Рисунок 2 — видео 3 показывает, что специфические органеллы можно различить просто путем цветового кодирования измеренной фазы и замедления, иллюстрируя, что количественная визуализация без меток обеспечивает специфичность физических свойств.

В более крупном пространственном масштабе фазовое изображение идентифицирует клеточные тела и пути аксонов в срезах ткани мозга мыши и развивающихся человеческих тканей из-за различий в их плотности. Эти изменения плотности более заметны и интерпретируемы на фазовом изображении по сравнению с изображением в светлом поле (рис. 2 — дополнение к рис. 3). Тракты аксонов проявляются с заметно высоким контрастом в изображениях замедления и ориентации срезов мозга мыши и человека (рис. 2). Высокая задержка аксонов возникает в основном из-за миелиновой оболочки, которая имеет более высокую плотность перпендикулярно оси аксона (de Campos Vidal et al., 19).80; Мензель и др., 2015). Следовательно, медленная ось трактов аксонов перпендикулярна ориентации трактов. . На рис. 2 — дополнение к рис. 4 и на рис. 5 показаны сшитые изображения запаздывания и ориентации целого среза мозга мыши, на которых видны не только тракты белого вещества, но и ориентация аксонов в областях коры. Обратите внимание, что мелкая волнистая структура в правом полушарии среза вызвана артефактами пробоподготовки (рис. 2 — дополнение к рис. 3).

Дополнительные измерения фазы, замедления и ориентации по медленной оси позволяют различать биологические структуры.

Показаны изображения в светлом поле ( BF ), фазы (Φ), задержки (ρ) и ориентации по медленной оси (ω) клеток U2OS, ткани мозга человека и ткани мозга взрослой мыши. На ориентационных изображениях медленная ось и замедление образца представлены цветом (оттенком) и яркостью соответственно. В клетках U2OS хроматин, липидные капли, мембранные органеллы и границы клеток видны на фазовом изображении из-за различий в плотности, тогда как веретено микротрубочек, липидные капли и границы клеток видны из-за их анизотропии. В срезах мозга взрослых мышей пути аксонов более заметны на изображениях фазы, запаздывания и ориентации по сравнению с изображениями в светлом поле с медленной осью, перпендикулярной направлению пучков (cc: мозолистое тело, CP: каудопутамен, CTX: кора). Подобные изменения контраста без метки наблюдаются в развивающемся срезе ткани головного мозга человека, но с менее упорядоченными путями по сравнению с мозгом взрослой мыши из-за раннего возраста мозга. Трехмерный стек живых клеток U2OS был получен с масляным объективом 63 × 1,47 NA и 0,9Освещение с числовой апертурой, тогда как изображения ткани мозга мыши и человека были получены с воздушным объективом с числовой апертурой 10 × 0,3 и освещением с числовой апертурой 0,2.

Измерения степени поляризации показаны на (Рисунок 2 — дополнение 1 к рисунку). Разница между замедлением и степенью поляризации заключается в том, что замедление измеряет события однократного рассеяния в образце, которые изменяют поляризацию света, но не уменьшают степень поляризации. С другой стороны, низкая степень поляризации указывает на события многократного рассеяния, которые уменьшают поляризацию света и, таким образом, несоответствие оптических свойств образца предположениям модели. В будущем мы планируем разработать модели, учитывающие эффекты дифракции и рассеяния в микроскопии с поляризованным светом, что позволит более точно определять свойства образцов.

Приведенные выше данные впервые, насколько нам известно, иллюстрируют одновременные и количественные измерения плотности, структурной анизотропии и ориентации в трехмерных биологических образцах. Программное обеспечение Python для реконструкции QLIPP доступно по адресу https://github.com/mehta-lab/reconstruct-order. В следующих разделах мы обсудим, как эти дополнительные измерения без меток позволяют прогнозировать флуоресцентные изображения и анализировать архитектуру.

2.5D U-Net позволяет эффективно прогнозировать флуоресцентные структуры по многоканальным изображениям без меток

В отличие от флуоресцентной визуализации, измерение плотности и анизотропии без меток позволяет одновременно визуализировать несколько структур, однако отдельные структуры бывает трудно идентифицировать. На измерения без меток влияет экспрессия конкретных молекул, но они не сообщают об экспрессии напрямую. Чтобы получить изображения конкретных молекулярных структур из данных QLIPP, мы оптимизировали модели сверточной нейронной сети для преобразования трехмерных стеков без меток в трехмерные флуоресцентные стеки.

Правильное предсказание флуоресцентных структур с помощью глубокого обучения требует совместной оптимизации содержимого изображения, архитектуры нейронной сети и процесса обучения. Оптимизация привела нас к остаточной 2,5D U-Net, которая переводит небольшой набор (5–7 срезов) каналов без меток в центральный срез флуоресцентного канала по всему трехмерному объему. Мы используем изображения среза ткани почки мыши в качестве тестового набора данных для оптимизации архитектуры модели и стратегий обучения. Мы выбрали срез ткани почки мыши, потому что он имеет как анизотропную, так и изотропную структуру (F-актин и ядра). Кроме того, обе структуры надежно помечены без заметных артефактов. Позже мы продемонстрируем прогнозирование флуоресцентных меток в образце, где маркировка не является надежной (рис. 6).

Оптимизация модели 2.5D для предсказания флуоресцентных изображений

Наша работа основана на более ранней работе (Ounkomol et al., 2018) по прогнозированию стеков флуоресценции из стеков светлого поля с использованием 3D U-Net. Ounkomol et al., 2018 показали, что флуоресценция, предсказанная 3D U-Net, превосходит 2D U-Net. Однако применение 3D U-Net к микроскопическим изображениям имеет несколько ограничений. Типичные стеки микроскопии имеют большую протяженность в фокальной плоскости (~ 2000 × 2000 пикселей) и меньшую протяженность вдоль оптической оси (обычно <40 Z-срезов). Поскольку вход изотропно понижается в пути кодирования 3D U-Net, требуется достаточно большое количество Z-слоев для распространения данных через блоки кодирования и декодирования. Например, для минимум 3 слоев в U-Net и 16 пикселей в конце пути кодера потребуется не менее 64 Z-слоев (рисунок 3 — дополнение к рисунку 1). Поэтому использование 3D-моделей перевода часто требует повышения дискретизации данных в Z, что увеличивает размер данных и делает обучение 3D-модели перевода дорогостоящим в вычислительном отношении.

Чтобы снизить вычислительные затраты без потери точности прогноза, мы оценили точность прогноза как функцию размеров модели для высокоупорядоченной анизотропной структуры (F-актин) и для менее упорядоченной изотропной структуры (ядра) в ткани почки мыши. . В ткани почки мыши изображение замедления выделяет капилляры в клубочках и щеточные края в извитых канальцах, среди других компонентов ткани. Ядра выглядят более темными на изображении замедления из-за изотропной архитектуры хроматина. Мы оценили три архитектуры моделей для прогнозирования объемов флуоресценции: модели срез→срез (сокращенно 2D), которые предсказывают 2D-срезы флуоресценции на основе соответствующих 2D-срезов без меток, модели стек→срез (сокращенно 2,5D), которые прогнозируют центральный 2D-срез флуоресценции из стопка смежных срезов без меток и модели стек→стек (сокращенно 3D), которые предсказывают трехмерные флуоресцентные стеки из стеков без меток. Для моделей 2,5D трехмерное преобразование достигается путем прогнозирования одной плоскости двумерной флуоресценции на стопку (z = 3, 5, 7) входных данных без меток. Мы добавили остаточную связь между входом и выходом каждого блока, чтобы ускорить обучение модели (Milletari et al., 2016; Drozdzal et al., 2016).

Для того, чтобы уместить 3D-модели на GPU, нам нужно было предсказать перекрывающиеся подстеки, которые были сшиты вместе, чтобы получить весь 3D-стек (см. Материалы и методы и Рисунок 3 — дополнение к рисунку 1 для описания сетевой архитектуры и тренировочный процесс). Мы использовали коэффициент корреляции Пирсона и индекс структурного подобия (SSIM) (Wang and Bovik, 2009) между предсказанными флуоресцентными стопками и целевыми флуоресцентными стопками для оценки эффективности моделей (Материалы и методы). Мы сообщаем эти показатели на тестовом наборе (таблица 1, таблица 2, таблица 3), который не использовался во время обучения.

Точность трехмерного предсказания F-актина по стеку замедления с использованием различных нейронных сетей.

В приведенной выше таблице перечислены медианные значения корреляции Пирсона ( r ) и индекса структурного сходства (SSIM) между прогнозируемым и целевым объемами F-актина. Мы сообщаем показатели точности для моделей Slice→Slice (2D), Stack→Slice (2.5D) и Stack→Stack (3D), обученных прогнозировать F-актин по запаздыванию с использованием потери средней абсолютной ошибки (MAE или L1). Мы сегментировали целевые изображения с порогом канифоли, чтобы отбросить плитки, которые в основном содержали фоновые пиксели. Чтобы проанализировать различия в точности предсказания вдоль и поперек фокальной плоскости, мы рассчитали (Материалы и методы) тестовые метрики отдельно по срезам XY (9).0196 r _xy , SSIM _xy ) and XZ slices ( r _xy , SSIM _xz ) of the test volumes, as well as over entire test volumes (r _xyz , SSIM _xyz ). Модель с лучшими показателями по каждой метрике выделена жирным шрифтом.

Модель перевода	Вход(ы)	r xy	r xz	r xyz	SSIM xy	SSIM xz	SSIM xyz
Slice→Slice (2D)	ρ	0.82	0.79	0.83	0.78	0.71	0.78
Stack→Slice (2.5D, z=3)	ρ	0.85	0.83	0.86	0.80	0.75	0.81
Stack→Slice (2.5D, z=5)	ρ	0.86	0.84	0.87	0.81	0.76	0.82
Stack→Slice (2.5D, z=7)	ρ	0. 87	0.85	0.87	0.82	0.77	0.83
Stack→Stack (3D, z=96)	ρ	0.86	0.84	0.86	0.82	0.76	0.85

Точность предсказания F-актина в ткани почек мыши в зависимости от входных каналов.

Медианные значения корреляции Пирсона ( r ) и индекс структурного сходства (SSIM) между прогнозируемым и целевым объемами F-актина. Мы оценивали комбинации светлого поля (BF), фазы (Φ), замедления (ρ), ориентации x (ω _x ) и ориентации y (ω _y ) в качестве входных данных. Условия обучения модели и расчет тестовых метрик описаны в таблице 1.

Модель перевода	Вход(ы)	r xy	r xz	r xyz	SSIM xy	SSIM xz	SSIM xyz
Stack→Slice (2. 5D, z=5)	ρ	0.86	0.84	0.87	0.81	0.76	0.82
	BF	0.86	0.84	0.86	0.82	0.77	0.83
	Φ	0.87	0.85	0.88	0.83	0.78	0.84
	Φ, ρ, ω x , ω y	0.88	0.87	0.89	0.83	0.80	0.85
	BF, ρ, ω x , ω y	0.88	0.87	0.89	0.83	0,79	0,85

Точность предсказания ядер в ткани почки мыши.

Медианные значения корреляции Пирсона ( r ) и индекс структурного сходства (SSIM) между прогнозируемым и целевым объемами ядер. См. описание в таблице 2.

Translation model	Input(s)	r xy	r xz	r xyz	SSIM xy	SSIM xz	SSIM xyz
Stack→Slice (2.5D, z=5)	ρ	0.84	0.85	0.85	0.81	0.76	0.82
	BF	0.87	0.88	0.87	0.82	0.77	0.84
	Φ	0.88	0.88	0. 88	0.83	0.78	0.85
	Φ, ρ, ω x , ω y	0.89	0.89	0.89	0.84	0.80	0.86
	BF, ρ, ω x , ω y	0.89	0.90	0.89	0.84	0,80	0,86

Прогнозы с использованием 2D-моделей показывают артефакты сплошности по глубине (рис. 3, рис. 3 — видео 2), как это также наблюдалось в предыдущей работе (Ounkomol et al., 2018). Трехмерная модель предсказывает более гладкие структуры по оси Z с улучшенным предсказанием в плоскости XY. 2.5D-модель показывает точность прогнозирования, сравнимую с 3D-моделью, с более высокой точностью прогнозирования по мере увеличения количества z-срезов во входных данных 2. 5D-модели. (Рисунок 3C и D; Таблица 1; Рисунок 3—видео 2). Хотя 2.5D-модель демонстрирует производительность, аналогичную 3D-модели, мы отмечаем, что мы можем обучить 2.5D-модель с примерно в 3 раза большим количеством параметров, чем 3D-модель (Материалы и методы) за более короткое время. В наших экспериментах обучение 3D-модели с 1,5 M параметров потребовалось 3,2 дня, обучение 2D-модели с 2 M параметрами потребовало 6 часов, а обучение 2,5D-модели с 4,8 M параметров и пятью входными z-срезами потребовало 2 дня, используя ~100 обучающих объемов. Это связано с тем, что большое использование памяти 3D-модели значительно ограничивает размер пакета обучения и, следовательно, скорость обучения.

Точность прогнозирования 3D с 2D, 2.5D и 3D U-Nets.

Показаны ортогональные срезы (XY – вверху, XZ – внизу, YZ – справа) клубочка и окружающей его ткани из тестового набора, изображающие ( A ) замедление (входное изображение), ( B ) экспериментальную флуоресценцию F -актиновое пятно (целевое изображение) и ( C ) Прогнозы F-актина (выходные изображения) с использованием изображения замедления в качестве входных данных с различными архитектурами U-Net. ( D ) Скрипичные графики метрики структурного подобия (SSIM) между изображениями прогнозируемого и целевого пятна в плоскостях XY и XZ. Горизонтальные пунктирные линии на графиках для скрипки обозначают 25-й квартиль, медиану и 75-й квартиль SSIM. Желтый треугольник на C показывает структуру канальцев, предсказание которой улучшается по мере того, как модель получает доступ к большему количеству информации вдоль оси Z. Такое же поле зрения показано на рис. 3 — видео 1, рис. 3 — видео 2 и рис. 4—видео 1.

Код Python для обучения наших вариантов моделей перевода изображений доступен по адресу https://github.com/czbiohub/microDL.

Прогнозирование структур по нескольким контрастам без меток повышает точность

Принимая во внимание компромисс между скоростью вычислений и производительностью модели, мы используем модели 2.5D с пятью входными Z-срезами, чтобы изучить, как комбинации входных данных без меток влияют на точность прогнозирования флуоресцентных структур.

Мы обнаружили, что когда несколько измерений без меток совместно используются в качестве входных данных, как F-актин, так и ядра предсказываются с более высокой точностью по сравнению с тем, когда в качестве входных данных используется только одно измерение без меток (таблица 2 и таблица 3). . На рис. 4C–D показаны репрезентативные структурные различия в прогнозах того же клубочка, что и на рис. 3. Непрерывность прогноза по оси Z улучшается по мере того, как для прогноза используется больше контрастов без меток (рис. 4 — видео 1). Эти результаты показывают, что наша модель использует информацию о дополнительных физических свойствах для прогнозирования целевых структур. Мы отмечаем, что использование дополнительных контрастов без меток повышает производительность 2,5D-моделей, превосходя производительность одноканальных 3D-моделей без значительного увеличения стоимости вычислений (сравните Таблицу 1 и Таблицу 2). Примечательно, что было показано, что тонкие пучки F-actin сложно предсказать на основе одного ввода без метки. Мы обнаружили, что тонкие пучки F-актина можно предсказать на основе нескольких входных данных без меток, когда модель обучена минимизировать разницу между мишенью флуоресценции и предсказанием только для пикселей переднего плана в изображении (рис. 4 — дополнение к рисунку 2).

Точность предсказания повышается благодаря множеству контрастов без меток в качестве входных данных.

Трехмерные прогнозы упорядоченного F-актина и ядер из различных комбинаций контрастов без меток с использованием модели 2.5D U-Net. ( A ) Измерения без меток, используемые в качестве входных данных для обучения модели: замедление (ρ), фаза (Φ) и ориентация медленной оси (ω). ( B ) Соответствующий трехмерный объем, показывающий целевые флуоресцентные пятна. Меченый фаллоидином F-актин показан зеленым цветом, а ядра, меченные DAPI, показаны пурпурным цветом. ( C ) Показаны F-актин и ядра, предсказанные с помощью одноканальных моделей, обученных только замедлению (ρ) и фазе (Φ). ( D ) F-актин и ядра, предсказанные с помощью многоканальных моделей, обученных с комбинированным вводом замедления, ориентации и фазы. Желтый треугольник и белый треугольник указывают на структуры, отсутствующие в предсказанном распределении F-актина и ядер, когда в качестве входных данных используется только один канал, но предсказанные, когда используются все каналы. ( E ) Скрипичные графики метрики структурного подобия (SSIM) между изображениями предсказанного и экспериментального пятна в плоскостях XY и XZ. Горизонтальные пунктирные линии обозначают 25-й квартиль, медиану и 75-й квартиль SSIM. 3D-входные данные без меток, используемые для прогнозирования, показаны на рис. 3 — видео 1.

Интересно, что когда на вход подается только один контраст, модель, обученная на фазовых изображениях, имеет более высокую точность предсказания, чем модель, обученная на светлопольных изображениях. Возможно, это связано с тем, что фазовое изображение имеет постоянный количественный контраст по оси z, в то время как контрастность светлопольных изображений, зависящая от глубины, усложняет задачу перевода. Однако это улучшение использования фазы по сравнению с изображениями в светлом поле не наблюдается, когда в качестве входных данных также используются замедление и ориентация. Возможно, это связано с тем, что количественная задержка и ориентация дополняют качественный вход светлого поля и упрощают задачу перевода.

В заключение, вышеприведенные результаты показывают, что мультиконтрастные модели 2.5D предсказывают трехмерные структуры с большей точностью, чем одноканальные трехмерные модели U-Net, но имеют множество практических преимуществ, которые облегчают масштабирование подхода. Кроме того, результаты показывают, что структуры различной плотности и порядка могут быть изучены с большей точностью, когда в качестве входных данных используются дополнительные физические свойства.

Визуализация архитектуры ткани мозга мыши и человека с помощью QLIPP

Среди электронной микроскопии, световой микроскопии и магнитно-резонансной томографии архитектуры мозга разрешение и пропускная способность световой микроскопии обеспечивают возможность визуализировать целые срезы мозга с разрешением одного аксона за разумное время (Kleinfeld et al., 2011; Axer et al., 2011a; Axer et al., 2011b; Menzel et al., 2017; Mollink et al., 2017; Zeineh et al., 2017; Henssen et al., 2019). Световая микроскопия также подходит для визуализации биологических процессов, в то время как ткань мозга остается живой (Ohki et al., 2005; Koike-Tani et al., 2019).). С помощью количественной визуализации архитектуры и активности мозга при световом разрешении можно представить себе возможность построения вероятностных моделей, которые связывают связь и функции. Высокое разрешение, количественный характер QLIPP, чувствительность к низкой анизотропии серого вещества (рис. 2) и пропускная способность делают его привлекательным для визуализации архитектуры и активности в срезах мозга. Здесь мы исследуем, как QLIPP можно использовать для визуализации архитектуры разделов мозга взрослой мыши и архивных разделов пренатального человеческого мозга.

Ткань мозга взрослой мыши

Сначала мы визуализировали срез ткани мозга взрослой мыши, расположенный на уровне брегмы -1,355 мм (уровень 68 в справочном атласе мозга Аллена [Lein et al., 2007]) с помощью QLIPP и воспроизвели задержку и ориентацию по медленной оси двумя способами, как показано на рисунке. 5. Левая панель отображает измеренное замедление яркости и ориентацию медленной оси в цвете, выделяя анатомические особенности всех размеров. Правая панель отображает ориентацию по быстрой оси секции мозга мыши (ортогональную ориентации по медленной оси) в виде цветных линий. Было показано (де Кампос Видаль и др., 1980; Menzel et al., 2015), что когда аксоны миелинизированы, медленная ось перпендикулярна оси аксона, а быстрая ось параллельна ей. Визуализация на правой панели подчеркивает мезомасштабную ориентацию аксонов в ткани головного мозга мыши с пространственным разрешением ~ 100 мкм, то есть каждая линия представляет чистую ориентацию ткани на площади ~ 100 мкм × 100 мкм. Полный разрез, визуализированный с использованием обоих подходов, показан на рисунке 5 — дополнение к рисунку 1.

Анализ анатомии и ориентации аксонов ткани мозга взрослой мыши с помощью QLIPP.

Измерения замедления и ориентации визуализируются с двумя подходами в противоположных полушариях мозга мыши, соответственно. На левой панели ориентация медленной оси отображается цветом (оттенком), а замедление отображается яркостью, как показано в цветовой легенде внизу слева. На правой панели цветные линии представляют быструю ось и направление пучков аксонов в головном мозге. Цвет линии по-прежнему представляет ориентацию медленной оси, как показано в цветовой легенде в правом нижнем углу. Благодаря этим измерениям видны различные слои коры и анатомические структуры. Этот срез мозга мыши представляет собой коронарный срез на уровне около брегмы -1,355 мм и помечен в соответствии со справочным атласом мозга Аллена (уровень 68) (Lein et al. , 2007). cc: мозолистое тело, cing: пучок поясной извилины, CTX: кора, CP: каудопутамен, fi: фимбрии, HPF: формирование гиппокампа, HY: гипоталамус, int: внутренняя капсула, MOp: первичная моторная кора, MOs: вторичная моторная кора, opt: зрительный тракт, SSp: первичная соматосенсорная область, SSs: дополнительная соматосенсорная область, TH: таламус, VL: боковой желудочек.

Сравнивая размер и оптические измерения на наших изображениях без этикеток с эталонным атласом мозга Аллена, мы можем распознать многие анатомические ориентиры. Например, мозолистое тело (cc), пересекающее левое и правое полушария головного мозга, представляет собой сильно анизотропный пучок аксонов. Кора (CTX) является самой внешней областью мозга, аксоны которой проецируются вниз к мозолистому телу и другим подкорковым структурам. На внутренней периферии мозолистого тела мы можем идентифицировать еще несколько структур, таких как гиппокамп (HPF), боковой желудочек (VL) и каудопутамен (CP). Имея эти очевидные анатомические ориентиры, мы можем обратиться к справочному атласу мозга Аллена (Lein et al., 2007) и обозначить дополнительные анатомические области мозга, такие как сенсорные (SSp, SSs) и двигательные (MOp, MOs) области коры. .

Мы также обнаружили, что шесть слоев коры различимы по силе сигнала задержки и ориентационной модели. Эти данные согласуются с сообщениями о том, что слой I содержит пучки аксонов, параллельные корковому слою (Zilles et al., 2016). Слой VI содержит пучки аксонов, которые идут к мозолистому телу и от него, поэтому ориентация аксона не так ортогональна слоям коры, как аксоны в других слоях. Сигнал запаздывания возникает из-за коллективной анизотропии миелиновой оболочки, обертывающей аксоны. Слои IV и V содержат более высокую плотность клеточных тел и, соответственно, более низкую плотность аксонов, что приводит к более низкому запаздыванию сигнала.

Ткань развивающегося мозга человека

Затем мы визуализировали срезы головного мозга развивающихся образцов человека двух разных возрастов, 24-й недели беременности (GW 24) (рис. 6A–C, рис. 6 — дополнение к рисунку 1A) и GW20 (рис. 6D–F, рис. 6 — дополнение к рисунку 1A). которые соответствуют самым ранним стадиям созревания олигодендроцитов и ранней миелинизации в коре головного мозга (Jakovcevski et al., 2009; Miller et al., 2012; Snaidero, Simons, 2014). Подобно наблюдениям на срезе мозга мыши (рис. 5, рис. 2 — дополнение к рисунку 4), совмещенные изображения замедления и ориентации показывают как морфологию, так и ориентацию трактов аксонов, которые недоступны при светлопольной или фазовой визуализации, с ориентацией быстрой оси. параллельно оси аксона. Замедление в субпластинке выше, чем в кортикальных пластинках в обе временные точки, что согласуется со сниженной плотностью миелина в кортикальной пластинке по сравнению с белым веществом. Важно отметить, что с нашими процедурами калибровки и коррекции фона (Материалы и методы) наш подход к визуализации обладает чувствительностью для определения ориентации аксонов в развивающейся корковой пластинке, несмотря на более низкую задержку в развивающемся мозге по сравнению со взрослым мозгом из-за низкой миелинизации в раннем мозге. развития (Miller et al., 2012; Snaidero and Simons, 2014). Различные слои коры видны на изображениях замедления и ориентации в обе временные точки. При таком подходе мы могли идентифицировать различные анатомические структуры в развивающемся человеческом мозге без дополнительных окрашиваний, обращаясь к атласу развивающегося человеческого мозга (Байер и Альтман, 2003, рис. 6). Отдельные пути аксонов также видны на фазовом изображении, но с более низким контрастом, поскольку фазовое изображение измеряет изменение плотности, но не ориентацию аксона.

Безэтикеточное картирование путей аксонов в развивающемся срезе ткани головного мозга человека.

( A ) (вверху) Совмещенное изображение запаздывания и ориентации медленной оси среза головного мозга на 24-й неделе беременности (GW24) из тестового набора. Ориентация медленной оси кодируется цветом, как показано в легенде. (Внизу) Ориентация аксонов указана линиями. ( B ) Увеличение замедления + медленная ось, ориентация аксонов и светлое поле в областях мозга, обозначенных желтым и голубым прямоугольниками на ( A ). ( C ) Увеличение изображений без меток в областях мозга, обозначенных белым прямоугольником на ( B ) ( D – F ) То же, что ( A – C ), но для образца GW20. МЗ: маргинальная зона; CP: кортикальная пластинка; SP: опорная плита; ESS: наружный сагиттальный слой; ISS: внутренний сагиттальный слой; CC: мозолистое тело; СВЗ: субвентрикулярная зона; PcL: парацентральная долька PL: теменная доля; OL: затылочная доля; TL: височная доля. Анатомические области в ( B , D и E ) идентифицируются по развивающемуся атласу мозга человека (Bayer and Altman, 2003).

Чтобы проанализировать изменения плотности ткани головного мозга человека, мы реконструировали 2D-фазу, в отличие от реконструкции 3D-фазы для клеток U2OS (рис. 2) и ткани почек (рис. 4). Архивная ткань была тоньше (толщиной 12 мкм), чем глубина резкости (~16 мкм) объектива с малым увеличением (10X), который мы использовали для визуализации больших площадей. На рис. 6B, C, E и F показаны замедление, ориентация по медленной оси, ориентация аксонов, светлое поле и фазовые изображения. Основные области, такие как субпластина и кортикальная пластинка, могут быть идентифицированы в обоих образцах. В то время как информация о плотности, представленная светлопольными и фазовыми изображениями, может идентифицировать некоторые анатомические структуры, специфические для аксонов структуры могут быть лучше идентифицированы с помощью измерений анизотропии.

Насколько нам известно, приведенные выше данные являются первым отчетом о визуализации без меток архитектуры и ориентации аксонных путей в пренатальной ткани головного мозга. Способность определять ориентацию аксонов в корковой пластинке развивающегося мозга, которая демонстрирует очень низкую задержку, демонстрирует чувствительность и разрешение нашего подхода.

Прогнозирование миелинизации в отделах развивающегося мозга человека

Затем мы изучаем, как информация об измерениях фазы и замедления может быть использована для прогнозирования миелинизации в пренатальном мозге человека. Мозг человека подвергается быстрой миелинизации на поздних стадиях развития, что измеряется с помощью магнитно-резонансной томографии (МРТ) (Heath et al., 2018). Интерпретация миелинизации по МРТ-контрасту требует установления ее корреляции с гистологическими измерениями уровня миелина (Ходанович и др., 2019).). Надежные измерения миелинизации в посмертном человеческом мозге могут дать новое представление о миелинизации человеческого мозга во время развития и во время дегенерации. Данные QLIPP на рисунке 6 показывают, что измерения без меток позволяют прогнозировать уровень миелинизации, но взаимосвязь между ними сложна (рис. 7C и F). Мы использовали наши многоканальные модели 2D и 2.5D U-Net, чтобы изучить сложную трансформацию контрастов без меток в миелинизацию. Важно отметить, что мы разработали стратегию нормализации данных и обучения, которая позволяет прогнозировать миелинизацию на больших срезах и в несколько моментов времени развития. Мы также обнаружили, что правильно обученная модель может устранять несоответствия во флуоресцентной маркировке миелина, которая часто используется в качестве гистологического основания.

Прогнозирование миелинизации в развивающемся человеческом мозге на основе данных QLIPP и устранение непоследовательной маркировки.

( A ) Совмещенное изображение экспериментального окрашивания фтормиелином того же (GW24) среза мозга из тестового набора (вверху) и окрашивание фтормиелином, предсказанное по запаздыванию, ориентации медленной оси, светлому полю с помощью модели 2,5D (внизу). Голубая стрелка указывает на большие артефакты окрашивания в экспериментальном окрашивании FluoroMyelin, но спасены в предсказании модели. ( B ) Увеличение экспериментального и предсказанного окрашивания FluoroMyelin с использованием различных моделей в областях мозга, обозначенных желтым прямоугольником на ( A ), повернутых на 90 градусов. Слева направо: экспериментальное окрашивание FluoroMyelin; предсказание по светлому полю с использованием 2D-модели; прогнозирование по запаздыванию и фазе с использованием 2D-модели; прогноз по замедлению, фазе и ориентации с использованием 2D-модели; предсказание по замедлению, светлому полю и ориентации с использованием модели 2.5D. ( C ) Из региона, показанного на ( B ) мы показываем график рассеяния и корреляцию Пирсона целевой интенсивности FluoroMyelin по сравнению с задержка (слева), фаза (в центре), интенсивность FluoroMyelin, предсказанная по задержке, светлому полю и ориентации с использованием модели 2,5D (справа). Желтая пунктирная линия указывает на функцию y = x. ( D–F ) То же, что и ( A–C ), но для образца GW20. МЗ: маргинальная зона; CP: кортикальная пластинка; SP: опорная плита; ESS: наружный сагиттальный слой; ISS: внутренний сагиттальный слой; CC: мозолистое тело; СВЗ: субвентрикулярная зона; PcL: парацентральная долька PL: теменная доля; OL: затылочная доля; TL: височная доля.

Объединение данных для прогнозирования больших участков пренатального человеческого мозга

Чтобы обучить модель, мы измерили уровень миелинизации с помощью FluoroMyelin, липофильного красителя, который может окрашивать миелин без пермеабилизации (Monsma and Brown, 2012). Мы обнаружили, что детергенты, используемые в большинстве протоколов пермеабилизации, удаляют миелин из ткани и влияют на наши измерения без использования меток. Мы обучили мультиконтрастные 2D- и 2,5D-модели с различными комбинациями входных контрастов без меток и FluoroMyelin в качестве цели для прогнозирования. Чтобы избежать переобучения и построить модель, которая обобщает разный возраст развития и разные типы отделов мозга, мы объединили наборы данных изображений GW20 и GW24 с двумя разными разделами мозга для каждого возраста. Затем объединенный набор данных был разделен на обучающий, проверочный и тестовый наборы. Подобно наблюдениям в ткани почки мыши, точность прогнозирования улучшается по мере включения в обучение большего количества контрастов без меток, но с более высоким приростом точности по сравнению с тканью почки мыши. Скорее всего, это связано с тем, что дополнительная информация, полученная за счет добавления дополнительных каналов без меток, является более информативной для модели, позволяющей прогнозировать более сложные и изменчивые структуры человеческого мозга. С другой стороны, 2,5D-модель со всеми четырьмя входными каналами показывает производительность, аналогичную 2D-модели для этого набора данных, из-за относительно большой глубины резкости (∼16 мкм) по сравнению с толщиной образца (толщиной 12 мкм), поэтому дополнительные Z- срезы предоставляют только фазовую информацию, но не дополнительную структурную информацию по z-измерению. (таблица 4).

Точность предсказания FluoroMyelin в срезах ткани головного мозга человека в двух точках развития (GW20 и GW24).

Медианные значения корреляции Пирсона ( r ) и индекса структурного подобия (SSIM) между предсказаниями моделей трансляции изображений и целевой флуоресценции. Мы оценили комбинации задержки (ρ), ориентации x (ω _x ), ориентации y (ω _y ), фазы (Φ) и светлого поля ( BF ) в качестве входов. Эти показатели рассчитываются для 15% полей зрения из двух наборов данных GW20 и двух наборов тестовых данных GW24. Для сходимости 2D-моделей требуется ~ 4 часа, тогда как для 2,5D-моделей требуется ~ 64 часа.

Translation model	Input(s)	r xy	SSIM xy
Slice→Slice (2D)	BF	0.72	0.71
	ρ, Φ	0.82	0.82
	ρ, ω x , ω y , Φ	0.86	0.85
Stack→Slice (2.5D, z=5)	BF, ρ, ω x , ω y	0. 87	0.85

Чтобы проверить точность прогноза на больших срезах человеческого мозга, которые охватывают несколько полей зрения, мы предсказали FluoroMyelin, используя немаркированные изображения целых срезов мозга GW24 и GW20, которые не использовались для обучения или проверки модели. Мы выполнили вывод модели для каждого поля зрения, а затем соединили прогнозируемые изображения вместе, чтобы получить сшитый прогноз с разрешением 20 000 × 20 000 пикселей (рис. 7A и D). Насколько нам известно, это самое большое предсказанное флуоресцентное изображение срезов тканей, которое было создано. Мы смогли предсказать уровень миелинизации в срезах из обоих моментов времени с помощью одной модели с возрастающей точностью, поскольку мы включили в качестве входных данных больше каналов без меток, аналогично нашим наблюдениям из тестового набора данных среза почки мыши (таблица 4 и Рисунок 7В и Е). Диаграммы рассеяния интенсивности пикселей показывают, что предсказанная моделью интенсивность FluoroMyelin коррелирует с целевым окрашиванием FluoroMyelin значительно лучше, чем только контрасты без метки (рис. 7C и рис. 7F). Это иллюстрирует ценность предсказания флуоресценции по контрастам без меток: в то время как контрасты без меток предсказывают окрашивание FluoroMyelin, сложные отношения между ними затрудняют оценку уровня миелина по контрастам без меток. Нейронная сеть может изучать сложное преобразование контрастов без меток в окрашивание FluoroMyelin и обеспечивает надежную оценку уровней миелина.

Нормализация данных

В дополнение к архитектуре важно разработать правильную нормализацию изображения для правильного прогнозирования интенсивности в разных полях зрения на больших совмещенных изображениях. Мы обнаружили, что нормализация для каждого изображения, обычно применяемая к задачам сегментации изображений, не сохраняет вариации интенсивности между изображениями и приводит к артефактам в прогнозировании. В задачах перевода изображений необходимо учитывать две основные проблемы: (1) количество фоновых пикселей варьируется в зависимости от изображения и может исказить параметры нормализации, если они не исключены из нормализации (Yang et al. , 2019).) и (2) при объединении нескольких наборов данных для обучения существуют пакетные различия в процессе окрашивания и визуализации. В то время как вариация партии менее выражена в количественном изображении без меток, она остается весьма значительной на флуоресцентных изображениях окрашенных образцов и, следовательно, нуждается в коррекции. Мы обнаружили, что нормализация для каждого набора данных с помощью медианы межквартильного диапазона интенсивностей пикселей переднего плана дает наиболее точный прогноз интенсивности (рис. 7 — дополнение к рисунку 1).

Примечательно, что 2D-модель с фазой, запаздыванием и ориентацией в качестве входных данных имеет показатели корреляции и подобия, близкие к лучшей 2,5D-модели, но для обучения требуется всего 3,7 часа, в то время как для лучшей 2,5D-модели требуется 64,7 часа. (таблица 4). Вероятно, это связано с тем, что двухмерная фазовая реконструкция фиксирует изменение плотности, закодированное в Z-стеке светлого поля, что является информативным для модели для точного прогнозирования путей аксонов.

Спасение несовместимой этикетки

Надежное флуоресцентное мечение обычно требует оптимизации протоколов мечения и точного контроля условий мечения. Неоптимальные протоколы окрашивания часто приводят к появлению артефактов окрашивания и делают образцы непригодными для использования. Количественное изображение без меток, с другой стороны, обеспечивает более надежные измерения, поскольку создает контраст в физических единицах и не требует маркировки. Следовательно, флуоресцентные изображения, предсказанные на основе количественных входных данных без меток, более устойчивы к экспериментальным вариациям. Например, мы обнаружили, что интенсивность окрашивания FluoroMyelin неравномерно исчезала с течением времени и образовывала темные пятна на изображениях (обозначенных голубыми стрелками на рисунках 7A и D), возможно, из-за гашения FluoroMyelin химическим веществом, препятствующим выцветанию, в монтажной среде. Однако такое гашение красителя не влияет на физические свойства, измеряемые безметочными каналами. Таким образом, модель, обученная на изображениях без артефактов, предсказывала ожидаемую картину окрашивания даже при неудаче экспериментального окрашивания. Эта надежность особенно ценна для образцов драгоценных тканей, таких как архивная пренатальная мозговая ткань человека.

Обсуждение

Мы сообщили о QLIPP, новом методе компьютерной визуализации для измерения плотности и анизотропии без использования меток на основе трехмерных изображений с поляризационным разрешением. В то время как количественная флуоресцентная визуализация обеспечивает молекулярную специфичность, количественная визуализация без меток обеспечивает физическую специфичность. Мы показываем, что несколько органелл можно идентифицировать по их плотности и анизотропии. Мы также показываем, что несколько областей ткани мозга мыши и архивной ткани мозга человека могут быть идентифицированы без метки. Мы также сообщили о многоканальной архитектуре глубокого обучения 2.5D U-Net и стратегиях обучения для перевода этого физического описания образца в молекулярное описание. Далее мы обсудим, как мы решили сбалансировать компромиссы и будущие направления исследований, обеспечиваемые инновациями, о которых здесь сообщается.

Мы разработали QLIPP таким образом, чтобы его можно было легко использовать и объединять с флуоресцентной микроскопией. Для использования QLIPP требуется один жидкокристаллический модулятор поляризации и моторизованный Z-каскад. Наше программное обеспечение Python с открытым исходным кодом можно бесплатно использовать для некоммерческих исследований. Shribak (Shribak et al., 2008) сообщил о совместном отображении 2D-фазы и замедления с помощью независимого от ориентации дифференциального интерференционного контраста (OI-DIC) и независимого от ориентации PolScope (OI-POL), для чего потребовались шесть модуляторов поляризации и протокол сбора данных. сложнее, чем QLIPP. Метод восстановления фазы на основе птихографии был расширен чувствительными к поляризации компонентами для совместной визуализации двухмерной фазы и задержки (Ferrand et al. , 2018; Baroni et al., 2020), хотя для этого требуются сотни изображений. В нашем методе используется один модулятор поляризации по сравнению с шестью, используемыми OI-DIC, и меньше изображений (5 × количество Z-срезов) по сравнению с сотнями в методе, основанном на птихографии, для восстановления 3D-фазы, задержки и ориентации. Наши измерения также достигают разрешения, ограниченного дифракцией, и обеспечивают адекватное временное разрешение для визуализации живых клеток, как показано в 3D-видео клеток U2OS (рис. 2, рис. 2 — видео 2, рис. 2 — видео 3). Мы ожидаем, что модульность оптического пути и доступность программного обеспечения для реконструкции облегчат принятие QLIPP.

Информация о фазе изначально присутствует в сборе данных с разрешением по поляризации, но теперь может быть восстановлена ​​с использованием прямых моделей и соответствующих обратных алгоритмов, описанных здесь. Мы отмечаем, что наш подход восстановления фазы из распространения света сообщает о локальном изменении фазы, а не об абсолютной фазе. Локальное изменение фазы менее чувствительно к низкой пространственной частоте или крупномасштабным изменениям плотности, что видно из фазовых изображений n Рисунок 2 — дополнение к рисунку 3 и Рисунок 6 — дополнение к рисунку 1. путь для создания интерференции с опорным лучом, и реализовать его сложнее, чем QLIPP (Kim et al., 2018; Popescu et al., 2006). Тем не менее, большинство биологических процессов можно визуализировать с изменением локальной плотности. Кроме того, в нашем методе используется частично когерентное освещение, то есть одновременное освещение под разными углами, что улучшает пространственное разрешение, разделение по глубине и устойчивость к несовершенствам пути света вдали от фокальной плоскости.

QLIPP относится к классу изображений с поляризационным разрешением, при которых образец освещается на просвет. Двумя другими основными классами поляризационно-чувствительной визуализации являются поляризационно-чувствительная оптическая когерентная томография (PS-OCT) и флуоресцентная поляризация. PS-OCT — это метод визуализации без меток, при котором образец освещается в режиме отражения. PS-OCT использовался для измерения двукратной задержки и диаттенуации различных тканей, например ткани головного мозга (Wang et al., 2018). Но определение медленной оси в режиме отражения остается сложной задачей из-за того, что свет проходит через образец в двух направлениях. Флуоресцентная поляризационная визуализация основана на вращательно ограниченных флуоресцентных зондах (DeMay et al., 2011; Mehta et al., 2016). Измерения поляризации флуоресценции сообщают о вращательной диффузии и угловом распределении меченых молекул, что отличается от QLIPP, о котором мы сообщали здесь.

Мы также отмечаем, что, подобно другим системам визуализации с поляризационным разрешением (Mehta et al., 2016), наш подход сообщает о проекции анизотропии на фокальную плоскость, а не о трехмерной анизотропии. Анизотропные структуры, такие как пучки аксонов, кажутся изотропными для системы визуализации, когда они выровнены вдоль оптической оси пути визуализации. Методы визуализации трехмерной анизотропии с помощью различных моделей и систем (Oldenbourg, 2008; Spiesz et al., 2011; Axer et al., 2011c; Zilles et al., 2016; Schmitz et al., 2018a; Schmitz et al., 2018b; Yang et al., 2018; Tran and Oldenbourg, 2018) в настоящее время находятся в активной разработке. Восстановление трехмерной анизотропии вместе с трехмерной плотностью с использованием прямых моделей, учитывающих эффекты дифракции при распространении поляризованного света, станет важной областью исследований в будущем.

Мы продемонстрировали потенциал QLIPP для чувствительного определения ориентации пучков аксонов (рис. 5 и рис. 6). Сочетание этих измерений с алгоритмами трактографии может облегчить анализ мезомасштабной связности. Алгоритмы трактографии, разработанные для измерений диффузионно-взвешенной МРТ (Zhan et al., 2015), были адаптированы к изображениям головного мозга, полученным с помощью поляризационного микроскопа с более низким разрешением (∼60 мкм) (Axer et al., 2011c). Мы предполагаем, что объединение алгоритмов трактографии с анизотропией, измеренной с оптическим разрешением, которая сообщает об ориентации ансамбля аксонов, позволит разработать вероятностные модели связности. Хотя было разработано несколько методов отслеживания связей в мозге мыши на мезомасштабе (клеточном уровне) (Ragan et al., 2012; Oh et al., 2014; Zeng, 2018), они еще не были распространены на человеческий мозг. Объем головного мозга плода человека в третьем триместре (105⁢мм3-4×105⁢мм3) на 3 порядка превышает объем мозга взрослой мыши (∼1,5×10 ² мм ³ ). Наши данные показывают, что безметочное измерение миелинизации и ориентации аксонных трактов возможно с дифракционным разрешением ~ 1,5 мкм в масштабе целых срезов головного мозга плода человека. Для применения QLIPP к крупномасштабным органам потребуется дальнейшая работа по оптимизации подготовки образцов, визуализации, обработки данных и обучения моделей.

Наши многоканальные 2,5D-модели глубокого обучения предназначены для эффективного анализа многомерных 3D-данных. В отличие от более ранней работы по преобразованию изображений, в которой демонстрировалось 2D-прогнозирование (Christiansen et al., 2018; Rivenson et al., 2018a; Rivenson et al., 2018b), наша 2,5D-архитектура вдохновлена ​​Han, 2017 и обеспечивает сопоставимую точность прогнозирования. при меньших вычислительных затратах, чем при использовании 3D U-Net. Коэффициент корреляции Пирсона в 3D для предсказания ядер по изображениям в светлом поле составляет 0,87 по сравнению с ∼0,7, указанным в Ounkomol et al., 2018. была сформулирована как задача классификации 8-битных классов по пикселям, наша модель 2.5D формулирует преобразование изображения как задачу регрессии, которая позволяет прогнозировать гораздо больший динамический диапазон уровней серого. Хотя обучение одной модели, предсказывающей несколько структур, кажется привлекательным, эта более сложная задача требует увеличения размера модели в обмен на более длительное время обучения модели. Наша стратегия моделирования для обучения одной модели предсказанию только одной цели позволила нам использовать модели значительно меньшего размера, которые могут поместиться в память одного графического процессора для более быстрого обучения.

Мы систематически оценивали, как размеры и входные каналы влияют на точность предсказания. По сравнению с предыдущей работой, предсказывающей флуоресцентные изображения на основе контраста без меток (Ounkomol et al., 2018; Christiansen et al., 2018; Rivenson et al., 2018a; Rivenson et al., 2018b), мы показываем, что более высокая точность прогнозирования может быть достигнуто путем комбинирования нескольких контрастов без этикеток. Кроме того, мы сообщаем о стратегии нормализации изображения, необходимой для прогнозирования больших изображений, сшитых из меньших полей зрения из многоканальных входных данных.

Показатели качества изображения, которые мы используем для оценки производительности модели, зависят от точности прогноза, а также от шума в целевых изображениях. В будущем было бы полезно провести более прямое сравнение производительности моделей на одном и том же наборе данных. Кроме того, более гибкая 2.5D-сеть позволяет применять данные изображений, которые имеют лишь несколько Z-срезов, без повышающей или понижающей дискретизации данных, что делает ее полезной для анализа микроскопических изображений, которые часто имеют переменное количество Z-срезов. Несмотря на то, что в этой работе мы фокусируемся на переводе изображений, та же 2,5D-сеть может использоваться для 3D-сегментации. 3D-сегментация с использованием 2.5D-сети имеет дополнительные преимущества по сравнению с 3D-сетью, поскольку разреженные аннотации могут быть выполнены на подмножестве срезов, выбранных из 3D-объема, в то время как 3D-сегмент требует аннотирования всех срезов во входном объеме. Гибкость разреженных аннотаций позволяет лучше выбирать структурные вариации данных с теми же усилиями, что и при ручной аннотации.

Общим недостатком подходов к машинному обучению является то, что они плохо обобщают. Мы показали, что наша нормализация данных и процесс обучения приводят к моделям миелинизации, которые обобщаются до двух моментов времени развития. В отличие от реконструкции с использованием физических моделей, ошибки или артефакты при прогнозировании с помощью моделей машинного обучения сильно зависят от качества обучающих данных и их сходства с новыми входными данными. Следовательно, ошибки прогнозирования, сделанные моделями машинного обучения, трудно выявить в отсутствие достоверной информации. Расширение моделей преобразования изображений таким образом, чтобы они предсказывали не только значение, но и обеспечивали оценку доверительного интервала выходных значений, является важной областью исследований.

Заключение

Таким образом, мы сообщаем о реконструкции плотности и анизотропии образца с использованием количественного изображения без меток с фазой и поляризацией (QLIPP) и предсказании распределения флуоресценции по изображениям без меток с использованием глубоких сверточных нейронных сетей. Наши алгоритмы реконструкции (https://github.com/mehta-lab/reconstruct-order) и вычислительно эффективные варианты U-Net (https://github.com/czbiohub/microDL) облегчают измерение и интерпретацию физических свойств образцов. . Мы сообщили о совместном измерении фазы, запаздывания и ориентации с пространственным разрешением, ограниченным дифракцией, в трехмерных делящихся клетках и в двумерных срезах ткани мозга. Мы продемонстрировали визуализацию различных биологических структур: аксонных трактов и миелинизации в срезах мозга мыши и человека, а также множественных органелл в клетках. Мы продемонстрировали точное предсказание флуоресцентных изображений по плотности и анизотропии с помощью мультиконтрастной модели 2.5D U-Net. Мы продемонстрировали стратегии точного прогнозирования миелинизации на срезах пренатальной ткани мозга человека в сантиметровом масштабе. Мы показали, что непоследовательную маркировку тканей человека можно исправить с помощью качественных изображений без меток и обученных моделей. Мы ожидаем, что наш подход позволит проводить количественный анализ архитектурного порядка без использования меток в различных пространственных и временных масштабах, особенно в живых клетках и клинически значимых тканях.

Материалы и методы

Reagent type (species) or resource	Designation	Source or reference	Identifiers	Additional information
biological sample ( M. musculus )	mouse kidney tissue секция	Thermo-Fisher Scientific	Кат. № F24630
биологический образец ( M. Musculus )	мозг мыши Секция ткани	Эта статья		Линия мыши поддержал М. Han Lab, см. Specmen Preparation M. Han Lab, See Specmen Preparation в 4. . . . . 9024. . . . ( H. sapiens )	развивающийся человеческий мозг срез ткани	настоящий документ		архивная ткань, хранящаяся в лаборатории T. Nowakowski, см. Подготовка образцов в Материалы и методы
химическое соединение, лекарство	FluoroMyelin	Thermo-Fisher Scientific	Кат. # F34652
software, algorithm	reconstruction algorithms	https://github.com/mehta-lab/reconstruct-order
software, algorithm	2. 5 U-Net	https: //github.com/czbiohub/microDL
software, algorithm	Micro-Manager 1.4.22	https://micro-manager.org/	RRID:SCR_016865
software, algorithm	OpenPolScope	https://openpolscope.org /

Модель формирования изображения

Мы описываем зависимость изображений с поляризационным разрешением от свойств образца, используя векторное представление Стокса для частично поляризованного света (Bass et al., 2009)., гл.15). Это представление позволяет нам точно измерить поляризационно-чувствительный контраст в объеме изображения. Во-первых, мы получаем коэффициенты матрицы Мюллера образца, которые сообщают о линейном замедлении, ориентации по медленной оси, пропускании (светлое поле) и степени поляризации. Для краткости мы называем их «коэффициентами Мюллера» образца в этой статье. Коэффициенты Мюллера восстанавливаются из разрешенных по поляризации интенсивностей с использованием обратной инструментальной матрицы, которая фиксирует, как коэффициенты Мюллера связаны с полученными интенсивностями. Предполагая, что образец в основном прозрачен, точнее, удовлетворяет первому борновскому приближению (Born and Wolf, 2013), мы реконструируем фазу образца, замедление, медленную ось и степень поляризации образца из сумм коэффициентов Мюллера. Предположение о прозрачности обычно справедливо для интересующих нас структур, но не обязательно верно, когда образец проявляет значительное поглощение или ослабление. Чтобы гарантировать, что обратное вычисление является надежным, нам необходимо принять разумные решения о пути света, процедуре калибровки и оценке фона. Ключевым преимуществом инструментальной матрицы Стокса является то, что он легко обобщается на другие поляризационные различные методы визуализации. Микроскоп в поляризованном свете представлен непосредственно калиброванной инструментальной матрицей.

Для чувствительного обнаружения ретардации выгодно подавлять изотропный фон, освещая образец эллиптически поляризованным светом, направленным против анализатора со стороны детектора (Шрибак и Олденбург, 2003). Для экспериментов, описанных в этой статье, мы получили данные, последовательно освещая образец светом с правой круговой и эллиптической поляризацией, и проанализировали прошедший свет с левой круговой поляризацией при обнаружении.

Прямая модель: свойства образца → коэффициенты Мюллера

Мы предполагаем слаборассеивающий образец, моделируемый свойствами линейного запаздывания ρ, ориентации медленной оси ω, пропускания t и деполяризации p . Матрица Мюллера образца может быть выражена как произведение двух матриц Мюллера, 𝐌t, учитывающих влияние передачи и деполяризации от образца, и 𝐌r, учитывающих влияние замедления и ориентации образца. Выражение 𝐌r представляет собой стандартную матрицу Мюллера линейного замедлителя, которую можно найти в Bass et al. , 2009., Ch.14, и 𝐌t выражается как

(1) 𝐌t=[t0000t⁢p0000t⁢p0000t⁢p].

При использовании 𝐌t и 𝐌r матрица Мюллера образца определяется как

(2) 𝐌sm=𝐌t⋅𝐌r=[m00000**m10**m20-m1-m2m3],

, где знаки * обозначают нерелевантные записи, которые не могут быть получены по нашей схеме эксперимента. Соответствующие записи, которые можно извлечь, могут быть выражены в виде вектора коэффициентов Мюллера, который равен

(3) 𝐦=[m0m1m2m3]=[tt⁢p⁢sin⁡2⁢ω⁢sin⁡ρ-t⁢p⁢cos⁡2⁢ω⁢sin⁡ρt⁢p⁢cos⁡ρ]

Этот вектор совпадает с вектором Стокса при прохождении через образец света с правой круговой поляризацией. Целью измерения, которое мы описываем в следующих параграфах, является точное измерение этих коэффициентов Мюллера в каждой точке плоскости изображения микроскопа путем освещения образца и обнаружения рассеянного света с независимыми друг от друга состояниями поляризации. Как только карта этих коэффициентов Мюллера будет получена с высокой точностью, свойства образца могут быть получены из приведенного выше набора уравнений.

Прямая модель: коэффициенты Мюллера → интенсивности

Чтобы получить вышеуказанные коэффициенты Мюллера, мы освещаем образец серией света с правой круговой и эллиптической поляризацией (Шрибак и Олденбург, 2003). Векторы Стокса наших последовательных состояний освещения задаются как

(4) Si=[1001]i=RCP,[1sin⁡χ0cos⁡χ]i=0,[1−sin⁡χ0cos⁡χ]i=45, [10sin⁡χcos⁡χ]i=90,[10−sin⁡χcos ⁡χ]i=135

, где χ — компенсационная задержка, контролируемая LC, которая определяет эллиптичность четырех эллиптических состояний поляризации.

После того, как наше управляемое поляризованное освещение прошло через образец, мы обнаруживаем левосторонний круговой поляризованный свет, располагая левосторонний круговой анализатор перед нашим датчиком. Выразим вектор Стокса перед датчиком как

(5) 𝐒sensor,i=𝐌LCA⁢𝐌sm⁢𝐒i,

, где i={RCP,0,45,90,135} в зависимости от состояния освещения, а 𝐌LCA — матрица Мюллера левостороннего кругового анализатора (Bass et al. , 2009 , гл.14). Обнаруженные изображения интенсивности являются первой составляющей вектора Стокса на датчике при разном освещении (Ii=[𝐒sensor,i]0). Наложение изображений измеренной интенсивности для формирования вектора

(6) 𝐈=[IRCPI0I45I90I135],

мы можем связать взаимосвязь между измеренной интенсивностью и вектором образца через «матрицу прибора» 𝐀 как

(7) 𝐈=𝐀𝐦,

, где

(8) 𝐀=[100-11sin⁡χ0-cos⁡χ10sin⁡χ-cos⁡χ1-sin⁡χ0-cos⁡χ10-sin⁡χ-cos⁡χ].

Каждая строка матрицы прибора определяется взаимодействием между различными состояниями поляризации освещения и свойствами образца. Любая схема измерения с разрешением по поляризации может быть охарактеризована матрицей прибора, которая преобразует свойство поляризации образца в измеренные интенсивности. Калибровка системы поляризационной визуализации затем выполняется посредством калибровки этой инструментальной матрицы.

Вычисление коэффициентов Мюллера в плоскости изображения

После экспериментальной калибровки матрицы прибора вектор коэффициентов Мюллера может быть получен из зарегистрированных интенсивностей с использованием его обратного выражения (сравните уравнение 7),

(9) 𝐦=𝐀-1⁢𝐈,

Расчет свойств образцов с поправкой на фон

Мы получили вектор коэффициентов Мюллера, 𝐦, решив уравнение 9. Небольшая деформация или несоосность оптических компонентов или камеры для образца могут привести к появлению фона, маскирующего контраст образца. Фон обычно медленно изменяется по полю зрения и может приводить к ложным корреляциям при измерении. Крайне важно скорректировать вектор коэффициентов Мюллера для неравномерного фонового замедления, которое не было учтено в процессе калибровки. Чтобы скорректировать неравномерное замедление фона, мы получили фоновые поляризационные изображения в пустой области образца. Затем мы преобразовали образцы (i=sm) и фоновые (i=bg) векторы коэффициентов Мюллера следующим образом:0005

(10) m1¯i=m1i/m3i,m2¯i=m2i/m3i,DOPi=(m1i)2+(m2i)2+(m3i)2m0i,

Затем мы реконструировали свойства образца с поправкой на фон: светлое поле (BF) , замедление (ρ), медленная ось (ω) и степень поляризации (DOP) из преобразованного образца и фоновых векторов коэффициентов Мюллера 𝐦¯sm и 𝐦¯bg с использованием следующих уравнений:

(11)m1¯=m1 ¯sm−m1¯bg(12)m2¯=m2¯sm−m2¯bg(13)BF=m0sm/m0bg(14)ρ=arctan⁡2(m1¯2+m2¯2)(15)ω=12arctan ⁡2(m1¯−m2¯)(16)DOP=DOPsm/DOPbg

Если фон не может быть полностью удален с использованием описанной выше стратегии коррекции фона с помощью одного измерения фона (т. е. образец имеет пространственно изменяющееся замедление фона), мы применили второй раунд коррекции фона к измерениям. В этом втором раунде мы оценили остаточные преобразованные фоновые коэффициенты Мюллера путем подгонки двумерной полиномиальной поверхности низкого порядка к преобразованным коэффициентам Мюллера образца. В частности, мы уменьшили разрешение каждого изображения 2048 × 2048 до изображения 64 × 64 с биннингом 32 × 32. Мы взяли медиану каждого бина 32 × 32 как значение каждого пикселя в изображении с пониженной частотой дискретизации. Затем мы подгоняли двумерную полиномиальную поверхность второго порядка к изображению с пониженной дискретизацией каждого преобразованного образца с коэффициентом Мюллера для оценки остаточного фона. С этим вновь оцененным фоном мы выполнили еще одну коррекцию фона. Эффекты двух раундов коррекции фона показаны на рис. 2 — дополнение к рис. 2.

Фазовая реконструкция

Как видно из уравнения 3, первая составляющая в векторе коэффициентов Мюллера, м ₀ , равна общей проходящей напряженности электрического поля в фокальной плоскости. Предполагая образец со слабым поглощением, изменения интенсивности в Z-стеке кодируют информацию о фазе с помощью уравнения переноса интенсивности (TIE) (Streibl, 1984). Далее мы используем формализм слабой функции передачи объекта (WOTF) (Streibl, 19).85; Нода и др., 1990; Клаус и др., 2015; Дженкинс и Гейлорд, 2015а; Дженкинс и Гейлорд, 2015b; Soto et al., 2017), чтобы извлечь 2D- и 3D-фазу из этого фазового контраста TIE и описать соответствующий обратный алгоритм.

Передняя модель для фазовой реконструкции

Линейная зависимость между трехмерной фазой и интенсивностью светлого поля через фокус была установлена ​​в Streibl, 1985 с помощью приближения Борна и приближения слабого объекта. В нашем контексте мы переформулировали как (Streibl, 1985; Нода и др., 1990; Сото и др., 2017)

(17) m0⁢(𝐫)=m0,dc+ϕ⁢(𝐫)⊗𝐫hϕ⁢(𝐫)+μ⁢(𝐫)⊗𝐫hμ⁢(𝐫),

, где 𝐫=(𝐫⟂,z)=(x,y ,z) — трехмерный вектор пространственных координат, m0,dc — постоянный фон компонента м ₀ , ⊗𝐫 обозначает операцию свертки по координате 𝐫, Φ обозначает фазу, μ обозначает поглощение, hϕ⁢(𝐫) — функция рассеяния фазовой точки (ФРТ), а hμ⁢(𝐫) — абсорбционная ФРТ. Строго говоря, Φ и μ — это действительная и мнимая части потенциала рассеяния, масштабированные на Δ⁢z/2⁢k, где Δ⁢z — осевой размер пикселя эксперимента, а k — волновое число падающего света. Когда показатели преломления образца и окружающей среды близки, реальный и мнимый масштабированные потенциалы рассеяния сводятся к двум реальным величинам: фазе и поглощению.

Когда толщина образца больше, чем глубина резкости микроскопа (обычно в экспериментах с объективом с высокой числовой апертурой), стек интенсивности светлого поля содержит трехмерную информацию о фазе образца и поглощении. Без дополнительных предположений или получения дополнительных данных решение трехмерной фазы и поглощения по трехмерному светлому полю будет неверным, поскольку мы находим решение двух неизвестных по одному измерению. Предполагая, что поглощение образца незначительно (Noda et al., 1990; Дженкинс и Гейлорд, 2015b; Soto et al., 2017), которая обычно применяется к прозрачным биологическим образцам, мы превращаем эту задачу в задачу линейной деконволюции, в которой извлекается трехмерная фаза.

Когда толщина образца меньше, чем глубина резкости микроскопа (обычно в экспериментах с объективом с низкой числовой апертурой), весь трехмерный стек интенсивности создается только одним эффективным двухмерным поглощающим и фазовым слоем образца. Мы перепишем уравнение 17 как (Claus et al., 2015; Jenkins and Gaylord, 2015a)

(18) m0(r)=m0,dc+ϕ(r⊥)⊗r⊥hϕ(r⊥,z)+µ(r⊥)⊗r⊥hµ(r⊥,z).

В этой ситуации у нас есть несколько расфокусированных 2D-измерений для определения одного слоя двухмерного поглощения и фазы образца.

Обратная задача восстановления фазы

Имея линейную зависимость между первым компонентом вектора коэффициентов Мюллера и фазой, мы затем сформулировали обратную задачу для получения 2D- и 3D-фазы образца.

Когда мы распознаем образец как трехмерный образец, мы затем используем уравнение 17 и опускаем член поглощения для оценки трехмерной фазы образца с помощью следующего алгоритма оптимизации:

(19) minϕ⁢(𝐫)⁢∑𝐫|m0′⁢(𝐫)-ϕ⁢(𝐫)⊗𝐫hϕ⁢(𝐫)|2+τϕ⁢Reg⁢(ϕ⁢(𝐫)),

где m0′⁢(𝐫 )=m0⁢(𝐫)-m0,dc, τϕ — параметр регуляризации для применения различной степени шумоподавления, а член регуляризации, зависящий от выбора либо тихоновского, либо анизотропного шумоподавителя с полной вариацией (TV), выражается

Reg(ϕ(r))={∑r|ϕ(r)|2,Tichonov∑r∑i=x,y,z|∂iϕ(r)|,TV

При использовании тихоновской регуляризации эта оптимизация проблема имеет аналитическое решение, ранее описанное Noda et al. , 1990; Дженкинс и Гейлорд, 2015b; Soto et al., 2017. Что касается ТВ-регуляризации, для решения проблемы мы приняли альтернативный алгоритм минимизации, который был предложен и применен к фазовой визуализации в Wang et al., 2008 и Chen et al., 2018 соответственно.

Если мы рассматриваем образец как двумерный образец, мы превращаем уравнение 18 в следующую задачу оптимизации:

(20) minϕ,µ(r⊥)∑r|m0′(r)−ϕ(r⊥)⊗r⊥hϕ(r⊥,z)−µ(r⊥)⊗r⊥hµ(r⊥,z)|2+ τϕReg(ϕ(r⊥))+τµReg(µ(r⊥)),

, где здесь у нас есть дополнительный параметр регуляризации τµ для поглощения. При выборе регуляризации по Тихонову принимается аналитическое решение, подобное описанному в Chen et al., 2016.

Когда отношение сигнал/шум светлопольного стека высокое, регуляризация по Тихонову дает удовлетворительную реконструкцию за один шаг со временем вычисления, пропорциональным размеру стека изображений. Однако, когда шум высок, регуляризация по Тихонову может привести к высоко- и среднечастотным артефактам. Используя алгоритм итеративного ТВ-шумоподавления, мы можем найти компромисс между скоростью реконструкции и устойчивостью к шуму.

Подготовка образцов

среза ткани почки мыши (Thermo-Fisher Scientific). В срезе ткани почки мыши F-актин был помечен фаллоидином Alexa Fluor 568, а ядра были помечены DAPI. Клетки U2OS высевали и культивировали в камере, состоящей из двух свободных от штаммов покровных стекол, которые допускали газообмен.

Срез мозга мыши

Мышей анестезировали ингаляцией изофлурана в вытяжном шкафу, а затем вводили 25 мл фосфатно-солевого буфера (PBS) в левый сердечный желудочек, а затем 25 мл 4% параформальдегида (PFA) в растворе PBS. После этого мозг постфиксировали 4% ПФА на 12–16 ч, а затем переносили в 30% раствор сахарозы при температуре 4°С на 2–3 дня до опускания ткани на дно контейнера. Затем мозг заливали в среду для замораживания тканей (компаунд Tissue-Tek O. C.T. 4583, Sakura) и выдерживали при температуре -80°C. Для приготовления срезов тканей (12 и 50 мкм) использовали криостат-микротом (Leica CM 1850, Huston TX) при температуре -20°С, а предметные стекла хранили при температуре -20°С до использования. Для анализа миелинизации с помощью QLIPP ОКТ на предметных стеклах расплавляли, выдерживая предметные стекла при 37°C в течение 15–30 мин. Затем предметные стекла промывали в PBST (PBS+Tween-20 [0,1%]) в течение пяти минут, а затем промывали в PBS в течение пяти минут и закрывали покровным стеклом с помощью среды для заливки (F4680, FluromountTM водная сигма).

Пренатальный срез человеческого мозга

Деидентифицированные образцы мозговой ткани были получены с согласия пациента в соответствии с номером протокола, утвержденным Комитетом по исследованию гамет, эмбрионов и стволовых клеток человека (институциональный наблюдательный совет) Калифорнийского университета в Сан-Франциско. Образцы пренатального мозга человека фиксировали 4% раствором параформальдегида в фосфатно-буферном растворе (PBS) в течение ночи, затем промывали PBS, обезвоживали в 30% растворе сахарозы/OCT (Agar Scientific) при 4°C в течение ночи, затем замораживали в OCT при -80°C. °С. Замороженные образцы были разрезаны на 12 мкм м и закреплены на предметных стеклах микроскопа. Срезы окрашивали непосредственно красным FluoroMyelin (Thermo-Fisher Scientific, 1:300 в PBS) в течение 20 минут при комнатной температуре, трижды промывали PBS по 10 минут каждый, затем покрывали покровным стеклом ProLong Gold antifade (Invitrogen).

Получение и регистрация изображений

Мы внедрили LC-PolScope на инвертированном микроскопе Leica DMi8 с конфокальной линзой Andor Dragonfly для мультиплексного получения изображений с поляризационным разрешением и флуоресцентных изображений. Мы автоматизировали сбор данных с помощью Micro-Manager v1.4.22 и плагина OpenPolScope для Micro-Manager, который управляет универсальным жидкокристаллическим поляризатором (специальное устройство от Meadowlark Optics, технические характеристики доступны по запросу).

Мы объединили получение объемов без меток и флуоресценции. Объемы были зарегистрированы с использованием матриц преобразования, рассчитанных из аналогично полученных мультиплексированных объемов трехмерной матрицы колец из тестовой мишени ARGO-SIM (Argolight).

В микроскопе проходящего света разрешение увеличивается, а контраст изображения уменьшается с увеличением числовой апертуры освещения. Мы использовали масляный иммерсионный объектив с числовой апертурой 63 × 1,47 (Leica) и конденсор с числовой апертурой 0,9 для достижения хорошего баланса между контрастностью изображения и разрешением. Срез ткани почки мыши визуализировали с экспозицией 100 мс для пяти каналов поляризации, экспозицией 200 мс для канала 405 нм (ядра) при 1,6 мВт в конфокальном режиме, экспозицией 100 мс для канала 561 нм (F-актин) при 2,8 мВт в конфокальном режиме. конфокальный режим. Срез мозга мыши визуализировали с экспозицией 30 мс для пяти каналов поляризации. Клетки U2OS визуализировали с экспозицией 50 мс для пяти каналов поляризации. Для обучения нейронной сети мы получили 160 неперекрывающихся z-стеков 2048 × 2048 × 45 срезов ткани почки мыши с размером вокселя, выбранным Найквистом, 103 нм × 103 нм × 250 нм. Срезы головного мозга человека визуализировали с помощью объектива 10 × 0,3 NA и конденсора 0,2 NA с экспозицией 200 мс для каналов поляризации, экспозицией 250 мс для канала 568 (FluoroMyelin) в режиме эпифлуоресценции. Были визуализированы полные срезы головного мозга, примерно 200 изображений в зависимости от размера среза, с 5 Z-срезами в каждом месте. Зарегистрированные изображения среза ткани почки мыши доступны в архиве BioImage (https://www.ebi.ac.uk/biostudies/BioImages/studies/S-BIAD25).

Предварительная обработка данных для обучения модели

Изображения были скорректированы на плоское поле. Для обучения 3D-моделей объемы изображения повышались по оси Z, чтобы соответствовать размеру пикселя по осям XY с использованием линейной интерполяции. Изображения были разбиты на фрагменты размером 256 × 256 с 50-процентным перекрытием между фрагментами для 2D- и 2,5D-моделей. Объемы были разбиты на фрагменты размером 128 × 128 × 96 для 3D-моделей с 25% перекрытием по осям XYZ. Для обучения использовались плитки с достаточным передним планом флуоресценции (2D и 2,5D: 20%, 3D: 50%). Маски переднего плана вычисляли путем суммирования бинарных изображений ядер и F-актина, полученных при пороговой обработке Оцу в случае срезов ткани почки мыши, и бинарных изображений FluoroMyelin для срезов головного мозга человека. Изображения срезов человеческого мозга были визуально проверены и отобраны, чтобы исключить изображения, содержащие артефакты гашения, как показано на рисунке 7, перед обучением.

Надлежащая нормализация данных необходима для правильного прогнозирования интенсивности в различных полях зрения. Мы нашли общую схему нормализации, в которой каждое изображение нормализовано по его среднему значению, а стандартное отклонение не дает правильного прогноза интенсивности (рис. 7 — дополнение к рисунку 1). Мы нормализовали изображения для каждого набора данных, чтобы скорректировать вариации партии в процессе окрашивания и визуализации в разных наборах данных. Чтобы сбалансировать вклад разных каналов во время обучения многоконтрастных моделей, каждый канал необходимо масштабировать до аналогичного диапазона. В частности, для каждого канала мы вычли его медиану и разделили на его межквартильный диапазон (диапазон, определяемый квантилями 25% и 75%) интенсивности пикселей переднего плана. Мы использовали межквартильный диапазон для нормализации канала, поскольку стандартное отклонение недооценивает разброс распределения высококоррелированных данных, таких как пиксели на изображениях.

Архитектура нейронной сети

Мы экспериментировали с 2D-, 2,5D- и 3D-версиями моделей U-Net Активация нелинейности ReLU и уровень пакетной нормализации. Мы добавили остаточное соединение от входа блока к выходу блока, чтобы ускорить сходимость модели (Milletari et al., 2016; Drozdzal et al., 2016). Применяется понижающая дискретизация 2 × 2 со сверткой 2 × 2 с шагом два в конце каждого блока кодирования. На пути декодирования карты признаков проходили через аналогичные блоки свертки с последующей повышающей дискретизацией с использованием билинейной интерполяции. Карты объектов, выдаваемые каждым уровнем пути кодирования, были объединены с картами объектов в пути декодирования на соответствующих уровнях. Конечный выходной блок имел только слой свертки.

Путь кодирования нашего 2D и 2.5D U-Net состоит из пяти слоев с 16, 32, 64, 128 и 256 фильтрами соответственно, а 3D U-Net состоит из четырех слоев с 16, 32, 64 и 128 фильтрами каждый из-за более высоких требований к памяти. В версиях 2D и 3D используются сверточные фильтры размером 3 × 3 и 3 × 3 × 3 с шагом 1 для извлечения признаков и с шагом 2 для понижения дискретизации между блоками свертки.

2.5D U-Net имеет ту же архитектуру, что и 2D U-Net, со следующими отличиями:

1. Карты 3D-объектов преобразуются в 2D с использованием пропускных соединений, состоящих из допустимой свертки N × 1 × 1, где N = 3, 5, 7 – количество срезов во входных данных.

2. Фильтры свертки в пути кодирования имеют размер N × 3 × 3.

3. В пути кодирования карты объектов уменьшаются по блокам с использованием среднего объединения N × 2 × 2.

4. На пути декодирования карты признаков были увеличены с использованием билинейной интерполяции с коэффициентом 1 × 2 × 2, а фильтры свертки на пути декодирования имеют форму 1 × 3 × 3.

Сеть 2D, 2.5D, 3D с одноканальным вводом состояла из 2,0 млн, 4,8 млн, 1,5 млн обучаемых параметров соответственно.

Обучение модели и вывод

Мы случайным образом разделили изображения на группы по 70%, 15% и 15% для обучения, проверки и тестирования. Разделение поддерживается одинаковым для всех моделей обучения, чтобы сделать результаты сопоставимыми. Все модели обучаются с помощью оптимизатора Adam, функции потерь L1 и планировщика циклической скорости обучения с минимальной и максимальной скоростью обучения 5 × 10 9.1350 -5 и 6 × 10 ^-3 соответственно. Сеть 2D, 2.5D, 3D обучалась на мини-партиях размером 64, 16 и 4, чтобы удовлетворить требования к памяти каждой модели. Модели обучались до тех пор, пока потери при валидации не уменьшались в течение 20 эпох. Модель с минимальными потерями при проверке была сохранена. Одноканальные 2D-модели сходились за 6 часов, 2,5D-модели — за 47 часов, а 3D-модели — за 76 часов на графическом процессоре NVIDIA Tesla V100 с 32 ГБ ОЗУ.

Поскольку модели полностью сверточные, прогнозы модели были получены с использованием полных изображений XY в качестве входных данных для версий 2D и 2. 5D. Из-за требований к памяти для 3D-модели тестовые объемы были разбиты по осям x и y с сохранением всего экстента z (размер фрагмента: 512 × 512 × 96) с перекрытием в 32 пикселя вдоль X и Y. Предсказания были сшиты вместе путем линейного смешивания предсказаний модели по перекрывающимся областям. Время вывода для одноканальной модели U-Net составляло 105, 3 и 18 секунд/кадр для моделей 2D, 2,5D и 3D соответственно с разрешением 2048 × 2048 пикселей в кадре.

Оценка модели

Индекс корреляции Пирсона и структурного сходства (SSIM) по размерам XY, XZ и XYZ тестовых объемов использовался для оценки производительности модели.

Коэффициент корреляции Пирсона между целевым изображением T и прогнозируемым изображением P определяется как

(21) r⁢(T,P)=σT⁢PσT⁢σP

, где σT⁢P — ковариация T и P , а σT и σP — стандартные отклонения T и P соответственно.

SSIM сравнивает два изображения с использованием метода скользящего окна с размером окна N×N (N×N×N для XYZ). Предполагая целевое окно t и окно предсказания p ,

(22) SSIM⁢(t,p)=(2⁢µt⁢µp+c1)⁢(2⁢σt⁢p+c2)(µt2+µp2+c1)⁢(σt2+σp2+c2)

, где c1=(0,01⁢ L)2 и c2=(0,03⁢L)2, а L — динамический диапазон значений пикселей. Среднее значение и дисперсия представлены μ и σ2 соответственно, а ковариация между t и p обозначена σt⁢p. Мы используем N=7. Общий балл SSIM представляет собой средний балл, рассчитанный по всем окнам, SSIM (T, P) = 1M⁢∑SSIM⁢(t,p), всего М окна. Для измерений XY и XZ мы вычисляем одну тестовую метрику для каждой плоскости, а для измерения XYZ мы вычисляем одну тестовую метрику для каждого объема.

Важно отметить, что необходимо масштабировать предсказание модели обратно к исходному диапазону перед нормализацией для правильного расчета SSIM предсказания цели. Это связано с тем, что, в отличие от коэффициента корреляции Пирсона, SSIM не является независимой от масштаба метрикой.

Приложение 1

Глоссарий

• QLIPP: Количественное изображение без меток с фазой и поляризацией.

• Фаза образца: длина оптического пути (OPL) образца, которая пропорциональна произведению его толщины и разности показателей преломления относительно окружающей среды.

• Анизотропия образца: угловая анизотропия в OPL, которая относится к замедлению и ориентации медленной оси в совокупности.

• волновой фронт: поверхность в трехмерном пространстве, по которой время распространения света от источника является постоянным.

• фаза волнового фронта: временная задержка волнового фронта, на которую влияет фаза образца.

• retardance: Разница в OPL, вызванная анизотропией образца из-за зависящего от поляризации показателя преломления.

• ориентация медленной оси: ориентация, вдоль которой показатель преломления анизотропного материала является самым высоким. Свет, поляризованный по медленной оси, испытывает наибольшую фазовую задержку по сравнению со светом, поляризованным по другим осям.

• U-Net: полностью свернутая сеть, состоящая из сужающегося и расширяющегося пути, что придает архитектуре U-образную форму.

• 2D (Slice→Slice) U-Net: модель U-Net, использующая сверточные фильтры 3×3, которая предсказывает 2D-срез по входному 2D-срезу.

• 2.5D (Stack→Slice) U-Net: модель U-Net, использующая сверточные фильтры N×3×3 на сужающемся пути и 1×3×3 на расширяющемся пути, которая предсказывает 2D-срез из небольшого стек из N (N = 3,5,7) входных фрагментов.

• 3D (Stack→Stack) U-Net: модель U-Net с использованием сверточных фильтров 3×3×3, которая прогнозирует 3D-стек на основе входного 3D-стека.

• Нормализация по плиткам: данные, используемые для обучения нейронных сетей, разбиваются на плитки. В этой стратегии нормализации каждый момент времени нормализуется независимо, чтобы иметь нулевое среднее значение и единичную дисперсию.

• Нормализация на поле зрения: в этой стратегии нормализации каждое поле зрения (которое состоит из 16 плиток) нормализуется, чтобы иметь нулевое среднее значение и единичную дисперсию. Вариации между плитками фиксируют вариации входных и целевых данных в поле зрения.

• Нормализация набора данных: в этой стратегии нормализации весь обучающий набор нормализуется, чтобы иметь нулевое среднее значение и единичную дисперсию. Различия между плитками отражают различия во входных и целевых данных по всему набору данных, например, по большому срезу мозга.

• SSIM: индекс структурного сходства (SSIM) — это метод измерения сходства между двумя изображениями.

Доступность данных

В ходе наших экспериментов были получены данные визуализации тканей почек мышей и срезов ткани головного мозга человека, которые полезны для машинного обучения и других анализов. Данные доступны в архиве BioImage (http://www. ebi.ac.uk/bioimage-archive) под регистрационным номером S-BIAD25.

Были сгенерированы следующие наборы данных

1. 1. Го СМ
   2. Да LH
   3. Фолкессон Дж
   4. Иванов ИП
   5. Кришнан AP
   6. Киф MG
   7. Хашеми E
   8. Шин Д
   9. Чхун Б
   10. Чо N
   11. Леонетти М
   12. Хан MH
   13. Новаковский TJ
   14. Мехта S

   (2020) Архив BioImage

   ID S-BIAD25. Выявление архитектурного порядка с помощью количественных изображений без меток и глубокого обучения.

   https://www.ebi.ac.uk/biostudies/BioImages/studies/S-BIAD25?query=S-BIAD25

Каталожные номера

1. 1. Аксер М
   2. Грассель D
   3. Кляйнер М
   4. Даммерс J
   5. Дикшайд Т
   6. Рекфорт J
   7. Хютц Т
   8. Эйбен Б
   9. Петшик У
   10. Зилес К
   11. Амунтс К

   (2011а) Реконструкция волоконных путей головного мозга человека с высоким разрешением с помощью трехмерной визуализации в поляризованном свете

   Frontiers in Neuroinformatics 5 :34.

   https://doi.org/10.3389/fnif.2011.00034

   • пабмед
   • Google ученый
2. 1. Аксер Х
   2. Бек С
   3. Аксер М
   4. Шухардт F
   5. Хипе Дж
   6. Флюкен А
   7. Аксер М
   8. Прешер А
   9. Витте OW

   (2011б) Микроструктурный анализ архитектуры белого вещества человека с использованием изображений в поляризованном свете: взгляды из нейроанатомии

   Границы нейроинформатики 5 :28.

   https://doi.org/10.3389/fnif.2011.00028

   • пабмед
   • Google ученый
3. 1. Аксер М
   2. Амунтс К
   3. Грассель D
   4. Пальма С
   5. Даммерс J
   6. Аксер Х
   7. Петшик У
   8. Зилес К

   (2011с) Новый подход к изучению коннектома человека: картирование волокон головного мозга со сверхвысоким разрешением

   НейроИзображение 54 :1091–1101.

   https://doi.org/10. 1016/j.neuroimage.2010.08.075

   • пабмед
   • Google ученый
4. 1. Аззам RMA

   (2016) Вектор Стокса и поляриметрия матрицы Мюллера [приглашен]

   Журнал Оптического общества Америки A 33 :1396–1408.

   https://doi.org/10.1364/JOSAA.33.001396

   • Google ученый
5. 1. Барер Р

   (1952) Интерференционная микроскопия и определение массы

   Природа 169: 366–367.

   https://doi.org/10. 1038/169366b0

   • пабмед
   • Google ученый
6. 1. Барони А
   2. Шамар V
   3. Ферран П

   (2020) Распространение количественной фазовой визуализации на материалы, чувствительные к поляризации

   Прикладной медицинский осмотр 13 :054028.

   https://doi.org/10.1103/PhysRevApplied.13.054028

   • Google ученый

7. Книга

   1. Бас М
   2. ДеКусатис C
   3. Енох JM
   4. Лакшминараянан V
   5. Ли Г
   6. Макдональд С
   7. Махаджан В. Н.
   8. Стриленд EV

   (2009)

   Справочник по оптике, том I: геометрическая и физическая оптика, поляризованный свет, компоненты и приборы (набор)

   McGraw Hill Professional.

   • Google ученый

8. Книга

   1. Байер С.А.
   2. Альтман Дж

   (2003)

   Человеческий мозг в третьем триместре

   Тейлор и Фрэнсис.

   • Google ученый
9. 1. Белин БЖ
   2. Гоинс LM
   3. Маллинз РД

   (2014) Сравнительный анализ инструментов для визуализации архитектуры актиновой сети в живых клетках

   BioArchitecture 4 : 189–202.

   https://doi.org/10.1080/194.2014.1047714

   • пабмед
   • Google ученый
10. 1. Бельтангади C
    2. Ройер Л.А.

    (2019) Приложения, перспективы и подводные камни глубокого обучения для реконструкции флуоресцентных изображений

    Nature Methods 16 :1215–1225.

    https://doi.org/10.1038/s41592-019-0458-z

    • пабмед
    • Google ученый

11. Книга

    1. Дата рождения М
    2. Волк E

    (2013)

    Основы оптики: электромагнитная теория распространения, интерференции и дифракции света

    Elsevier.

    • Google ученый
12. 1. Чен М
    2. Тянь Л
    3. Уоллер Л

    (2016) Трехмерная дифференциальная фазово-контрастная микроскопия

    Биомедицинская оптика Экспресс 7 :3940.

    https://doi.org/10.1364/BOE.7.003940

    • пабмед
    • Google ученый
13. 1. Чен М
    2. Филлипс ZF
    3. Уоллер Л

    (2018) Количественная дифференциальная фазово-контрастная (ДФК) микроскопия с вычислительной коррекцией аберраций

    Оптика Экспресс 26 :32888.

    https://doi.org/10.1364/OE.26.032888

    • пабмед
    • Google ученый
14. 1. Кристиансен EM
    2. Ян SJ
    3. Андо DM
    4. Джавахериан А
    5. Скибински Г
    6. Липник S
    7. Крепление Е
    8. О’Нил А
    9. Шах К
    10. Ли АК
    11. Гоял П
    12. Федус W
    13. Поплин R
    14. Эстева А
    15. Берндл М
    16. Рубин ЛЛ
    17. Нельсон П
    18. Финкбайнер S

    (2018) Маркировка In Silico: прогнозирование флуоресцентных меток на немаркированных изображениях

    Клетка 173 :792–803.

    https://doi.org/10.1016/j.cell.2018.03.040

    • пабмед
    • Google ученый
15. 1. Клаус РА
    2. Наулло PP
    3. Нойройтер AR
    4. Уоллер Л

    (2015) Количественное определение фазы с произвольным зрачком и освещением

    Optics Express 23 :26672.

    https://doi.org/10.1364/OE.23.026672

    • пабмед
    • Google ученый
16. 1. де Кампос Видаль B
    2. Мелло ML
    3. Касейро-Фильо AC
    4. Годо С

    (1980) Анизотропные свойства миелиновой оболочки

    Acta Histochemica 66 :32–39.

    https://doi.org/10.1016/S0065-1281(80)80079-1

    • пабмед
    • Google ученый
17. 1. ДеМей BS
    2. Нода N
    3. Гладфельтер AS
    4. Ольденбург R

    (2011) Быстрая и количественная визуализация поляризованной флуоресценции возбуждения позволяет выявить упорядоченную динамику септина в живых дрожжах

    Biophysical Journal 101 :985–994.

    https://doi.org/10.1016/j.bpj.2011.07.008

    • пабмед
    • Google ученый

18. Препринт

    1. Дроздзаль М
    2. Воронцов Е
    3. Чартран G
    4. Кадури С
    5. Пал С

    (2016) Важность пропусков соединений в сегментации биомедицинских изображений

    архив.

    https://arxiv.org/abs/1608.04117

    • Google ученый
19. 1. Ферран П
    2. Барони А
    3. Аллен М
    4. Шамар V

    (2018) Количественное отображение свойств анизотропных материалов с помощью векторной птихографии

    Оптика Letters 43 :763.

    https://doi.org/10.1364/OL.43.000763

    • пабмед
    • Google ученый

20. Препринт

    1. Хан Х

    (2017) Автоматическая сегментация поражений печени с использованием метода глубокой сверточной нейронной сети

    архив.

    https://arxiv.org/abs/1704.07239

    • Google ученый
21. 1. Хит Ф
    2. Херли SA
    3. Йохансен-Берг H
    4. Сампайо-Баптиста C

    (2018) Достижения в области неинвазивной визуализации миелина

    Нейробиология развития 78 :136–151.

    https://doi.org/10.1002/dneu.22552

    • Google ученый
22. 1. Хенсен Д
    2. Моллинк J
    3. Курт Э
    4. ван Донген R
    5. Бартельс R
    6. Гребель D
    7. Козич Т
    8. Аксер М
    9. Ван Каппеллен ван Валсум AM

    (2019) Визуализация ex vivo путей тройничного нерва в стволе головного мозга человека с использованием диффузионной МРТ 11,7 Тл в сочетании с визуализацией под микроскопом в поляризованном свете

    Структура и функции мозга 224 :159–170.

    https://doi.org/10.1007/s00429-018-1767-1

    • пабмед
    • Google ученый
23. 1. Имаи Р
    2. Нодзаки Т
    3. Тани Т
    4. Кайдзу К
    5. Хибино К
    6. Иде S
    7. Тамура С
    8. Такахаши К
    9. Шрибак М
    10. Маэсима К

    (2017) Визуализация плотности гетерохроматина в живых клетках с помощью ориентационно-независимой ДИК-микроскопии

    Молекулярная биология клетки 28 :3349–3359.

    https://doi.org/10.1091/mbc.e17-06-0359

    • пабмед
    • Google ученый
24. 1. Иноуэ С

    (1953) [Поляризационно-оптические исследования митотического веретена. I. демонстрация веретена деления в живых клетках]

    Хромосома 5 :487–500.

    https://doi.org/10.1007/BF01271498

    • пабмед
    • Google ученый
25. 1. Яковцевски I
    2. Филипович Р
    3. Мо Z
    4. Ракич С
    5. Зечевич N

    (2009) Развитие олигодендроцитов и начало миелинизации в мозге плода человека

    Frontiers in Neuroanatomy 3 :5.

    https://doi.org/10.3389/neuro.05.005.2009

    • пабмед
    • Google ученый
26. 1. Дженкинс MH
    2. Гейлорд ТК

    (2015а) Количественная фазовая микроскопия с помощью оптимизированной инверсии фазовой оптической передаточной функции

    Applied Optics 54 :8566.

    https://doi.org/10.1364/AO.54.008566

    • пабмед
    • Google ученый
27. 1. Дженкинс MH
    2. Гейлорд ТК

    (2015б) Трехмерная количественная фазовая визуализация с помощью томографической фазовой микроскопии с деконволюцией

    Прикладная оптика 54 :9213–9227.

    https://doi.org/10.1364/AO.54.009213

    • пабмед
    • Google ученый
28. 1. Киф Д
    2. Лю Л
    3. Ван В
    4. Сильва С

    (2003) Визуализация мейотических веретен с помощью поляризационной световой микроскопии: принципы и применение в ЭКО

    Репродуктивная биомедицина онлайн 7 :24–29.

    https://doi.org/10.1016/S1472-6483(10)61724-5

    • пабмед
    • Google ученый
29. 1. Ходанович М
    2. Пищелко А
    3. Глазачева В
    4. Сковорода E
    5. Акулов А
    6. Светлик М
    7. Тюменцева Ю
    8. Ананьина Т
    9. Ярных В (индекс
    )

    (2019) Количественная визуализация ремиелинизации белого и серого вещества в модели купризоновой демиелинизации с использованием фракции макромолекулярных протонов

    Ячейки 8 :1204.

    https://doi.org/10.3390/cells8101204

    • Google ученый

30. Препринт

    1. Ким Д
    2. Ли С
    3. Ли М
    4. О J
    5. Ян С-А
    6. Парк Y

    (2018) Голотомография: показатель преломления как внутренний контраст визуализации для трехмерной визуализации живых клеток без меток

    bioRxiv.

    https://doi.org/10.1101/106328

    • Google ученый
31. 1. Кляйнфельд Д
    2. Бариоке А
    3. Блиндер P
    4. Бок ДД
    5. Бриггман КЛ
    6. Чкловский ДБ
    7. Денк В
    8. Хельмштедтер М
    9. Кауфхолд JP
    10. Ли W-CA
    11. Мейер HS
    12. Мичева КД
    13. Оберлендер М
    14. Прохаска S
    15. Рид RC
    16. Смит SJ
    17. Такемура С
    18. Цай PS
    19. Сакманн Б

    (2011) Крупномасштабная автоматизированная гистология в поисках коннектомов

    Journal of Neuroscience 31 :16125–16138.

    https://doi.org/10.1523/JNEUROSCI.4077-11.2011

    • Google ученый

32. Препринт

    1. Койке-Тани М
    2. Томинага Т
    3. Ольденбург R
    4. Тани Т

    (2019) Мгновенная визуализация в поляризованном свете выявляет зависящие от активности структурные изменения дендритов в срезах гиппокампа мыши

    bioRxiv.

    https://doi.org/10.1101/523571

    • Google ученый

33. Препринт

    1. Ли М
    2. Ли YH
    3. Песня J
    4. Ким Г
    5. Джо Ю
    6. Мин H
    7. Ким CH
    8. Парк Y

    (2019) DeepIS: платформа глубокого обучения для трехмерного отслеживания иммунологических синапсов без меток

    bioRxiv.

    https://doi.org/10.1101/539858

    • Google ученый

35. Препринт

    1. Лин Т
    2. Бойл KC
    3. Цукерман В
    4. Флорес Т
    5. Рамакришнан С
    6. Дейссерот К
    7. Паланкер Д

    (2019) Как нейроны двигаются во время потенциалов действия

    bioRxiv.

    https://doi.org/10.1101/765768

    • Google ученый
36. 1. Мехта СБ
    2. Шрибак М
    3. Ольденбург R

    (2013) Визуализация двулучепреломления и ослабления в поляризованном свете с высоким разрешением и высокой чувствительностью

    Journal of Optics 15 :0.

    https://doi.org/10.1088/2040-8978/15/9/0

    • пабмед
    • Google ученый
37. 1. Мехта СБ
    2. Маккуилкен М
    3. Ла Ривьер PJ
    4. Окчипинти P
    5. Верма А
    6. Ольденбург R
    7. Гладфельтер AS
    8. Тани Т

    (2016) Анализ динамики молекулярной сборки путем отслеживания ориентации и положения отдельных молекул в живых клетках

    PNAS 113 :E6352–E6361.

    https://doi. org/10.1073/pnas.1607674113

    • пабмед
    • Google ученый
38. 1. Мензель М
    2. Михильсен К
    3. Де Рэдт H
    4. Рекфорт J
    5. Амунтс К
    6. Аксер М

    (2015) Формализм матрицы Джонса для моделирования трехмерной визуализации ткани головного мозга в поляризованном свете

    Journal of the Royal Society Interface 12 :20150734.

    https://doi.org/10.1098/rsif.2015.0734

    • пабмед
    • Google ученый

39. Препринт

    1. Мензель М
    2. Рекфорт J
    3. Вейганд Д
    4. Кёсе Х
    5. Амунтс К
    6. Аксер М

    (2017) Диаттенюация мозговой ткани и ее влияние на трехмерную визуализацию в поляризованном свете

    arXiv.

    https://arxiv.org/abs/1703.04343

    • Google ученый
40. 1. Миллер DJ
    2. Дука Т
    3. Стимпсон CD
    4. Шапиро SJ
    5. Базе ВБ
    6. Макартур MJ
    7. Фоббс AJ
    8. Соуза АММ
    9. Сестан N
    10. Уайлдман DE
    11. Липович Л
    12. Кузава CW
    13. Хоф PR
    14. Шервуд CC

    (2012) Длительная миелинизация в эволюции неокортекса человека

    PNAS 109 :16480–16485.

    https://doi.org/10.1073/pnas.1117

41. 9
    • Google ученый

42. Конференц-связь

    1. Миллетари F
    2. Наваб N
    3. Ахмади С

    (2016) V-Net: Полностью сверточные нейронные сети для сегментации объемных медицинских изображений

    2016 Четвертая международная конференция по 3D Vision. стр. 565–571.

    https://doi.org/10.1109/3DV.2016.79

    • Google ученый
43. 1. Моэн E
    2. Бэннон Д
    3. Кудо Т
    4. Граф W
    5. Тайное M
    6. Ван Вален D

    (2019) Глубокое обучение для анализа клеточных изображений

    Природные методы 16 :1233–1246.

    https://doi.org/10.1038/s41592-019-0403-1

    • пабмед
    • Google ученый
44. 1. Моллинк J
    2. Кляйнниенхейс М
    3. Каппеллен ван Валсум AV
    4. Сотиропулос SN
    5. Коттаар М
    6. Мирфин С
    7. Генрих MP
    8. Дженкинсон М
    9. Паллебаж-Гамараллаж М
    10. Ансорж О
    11. Джбабди С
    12. Миллер КЛ

    (2017) Оценка дисперсии ориентации волокон в белом веществе: сравнение диффузионной МРТ, гистологии и визуализации в поляризованном свете

    NeuroImage 157 :561–574.

    https://doi.org/10.1016/j.neuroimage.2017.06.001

    • пабмед
    • Google ученый
45. 1. Монсма ПК
    2. Браун А

    (2012) FluoroMyelin red — это яркий, фотостабильный и нетоксичный флуоресцентный краситель для живой визуализации миелина

    Journal of Neuroscience Methods 209 :344–350.

    https://doi.org/10.1016/j.jneumeth.2012.06.015

    • пабмед
    • Google ученый
46. 1. Нода Т
    2. Кавата С
    3. Минами S

    (1990) Трехмерное фазово-контрастное изображение с помощью микроскопа с кольцевым освещением

    Applied Optics 29 :3810–3815.

    https://doi.org/10.1364/AO.29.003810

    • пабмед
    • Google ученый
47. 1. Номарский GM

    (1955)

    Дифференциальный микроинтерферометр с поляризованными волнами

    Journal de Physique et Le Radium 16 :9S.

    • Google ученый
48. 1. О SW
    2. Харрис JA
    3. Нг Л
    4. Уинслоу Б
    5. Каин N
    6. Михалас С
    7. Ван Q
    8. Лау С
    9. Куан Л
    10. Генри AM
    11. Мортруд МТ
    12. Уэллетт Б
    13. Нгуен ТН
    14. Соренсен С. А.
    15. Слотербек CR
    16. Уэйкман W
    17. Ли Ю
    18. Фэн Д
    19. Хо А
    20. Николай E
    21. Хирокава К.Е.
    22. Бон П
    23. Присоединяется км
    24. Пэн Х
    25. Гаврилич MJ
    26. Филлипс JW
    27. Хохманн JG
    28. Вохнутка П
    29. Герфен CR
    30. Кох С
    31. Бернард А
    32. Данг С
    33. Джонс AR
    34. Цзэн Х

    (2014) Мезомасштабный коннектом мозга мыши

    Природа 508 :207–214.

    https://doi.org/10.1038/nature13186

    • пабмед
    • Google ученый
49. 1. Оки К
    2. Чанг С
    3. Чанг YH
    4. Кара П
    5. Рид RC

    (2005) Функциональная визуализация с клеточным разрешением выявляет точную микроархитектуру зрительной коры

    Природа 433 :597–603.

    https://doi.org/10.1038/nature03274

    • пабмед
    • Google ученый
50. 1. Ольденбург R
    2. Като К
    3. Данусер G

    (2000) Механизм латерального движения филоподий и радиальных пучков актина через конусы роста нейронов

    Биофизический журнал 78 :1176–1182.

    https://doi.org/10.1016/S0006-3495(00)76675-6

    • пабмед
    • Google ученый
51. 1. Ольденбург R

    (2008) Полевая микроскопия в поляризованном свете: аналитический метод с использованием массива микролинз для одновременной фиксации как коноскопических, так и ортоскопических изображений двулучепреломляющих объектов

    Journal of Microscopy 231 :419–432.

    https://doi.org/10.1111/j.1365-2818.2008.02053.x

    • пабмед
    • Google ученый
52. 1. Ольденбург R
    2. Мэй Г

    (1995) Новый микроскоп в поляризованном свете с прецизионным универсальным компенсатором

    Журнал микроскопии 180 :140–147.

    https://doi.org/10.1111/j.1365-2818.1995.tb03669.x

    • пабмед
    • Google ученый
53. 1. Оункомол C
    2. Сешамани С
    3. Малекар ММ
    4. Коллман Ф
    5. Джонсон GR

    (2018) Безметочное предсказание трехмерных флуоресцентных изображений с помощью микроскопии в проходящем свете

    Nature Methods 15 :917–920.

    https://doi.org/10.1038/s41592-018-0111-2

    • пабмед
    • Google ученый
54. 1. Парк Y
    2. Депёрсенж C
    3. Попеску G

    (2018) Количественная фазовая визуализация в биомедицине

    Nature Photonics 12 :578–589.

    https://doi.org/10.1038/s41566-018-0253-x

    • Google ученый
55. 1. Петерсен Д
    2. Маварани Л
    3. Нидикер Д
    4. Фрейер Э
    5. Таннапфель А
    6. Кёттинг C
    7. Герверт К
    8. Эль-Маштолы СФ

    (2017) Виртуальное окрашивание ткани рака толстой кишки с помощью рамановской микроспектроскопии без меток

    The Analyst 142 :1207–1215.

    https://doi.org/10.1039/C6AN02072K

    • Google ученый
56. 1. Попеску G
    2. Икеда Т
    3. Дасари РР
    4. Фельд MS

    (2006) Дифракционная фазовая микроскопия для количественного определения клеточной структуры и динамики

    Optics Letters 31 :775–777.

    https://doi.org/10.1364/OL.31.000775

    • пабмед
    • Google ученый
57. 1. Раган Т
    2. Кадири LR
    3. Венкатараджу КУ
    4. Бальманн К
    5. Сутин Ж
    6. Таранда J
    7. Арганда-Каррерас I
    8. Ким Ю
    9. Сын ХС
    10. Остен П

    (2012) Серийная двухфотонная томография для автоматизированной визуализации мозга мышей ex vivo

    Nature Methods 9 :255–258.

    https://doi.org/10.1038/nmeth.1854

    • пабмед
    • Google ученый

58. Препринт

    1. Ривенсон Y
    2. Лю Т
    3. Вэй Z
    4. Чжан И
    5. Озкан А

    (2018а) PhaseStain: цифровое окрашивание изображений количественной фазовой микроскопии без меток с использованием глубокого обучения

    arXiv.

    https://arxiv.org/abs/1807.07701

    • Google ученый
59. 1. Ривенсон Y
    2. Джейлан Койдемир H
    3. Ван Х
    4. Вэй Z
    5. Рен Z
    6. Гюнайдин Х
    7. Чжан И
    8. Гёроч Z
    9. Лян К
    10. Ценг Д
    11. Озкан А

    (2018б) Микроскопия для мобильных телефонов с расширенными возможностями глубокого обучения

    ACS Photonics 5 :2354–2364.

    https://doi.org/10.1021/acsphotonics.8b00146

    • Google ученый
60. 1. Ривенсон Y
    2. Ван Х
    3. Вэй Z
    4. де Хаан К
    5. Чжан И
    6. Ву Ю
    7. Гюнайдин Х
    8. Цукерман JE
    9. Чонг Т
    10. Сиск АЕ
    11. Вестбрук LM
    12. Уоллес WD
    13. Озкан А

    (2019) Виртуальное гистологическое окрашивание немеченых изображений автофлуоресценции тканей с помощью глубокого обучения

    Nature Biomedical Engineering 3 : 466–477.

    https://doi.org/10.1038/s41551-019-0362-y

    • пабмед
    • Google ученый

61. Книга

    1. Роннебергер О
    2. Фишер П
    3. Брокс Т

    (2015) U-Net: сверточные сети для сегментации биомедицинских изображений

    In: Navab N, Hornegger J, Wells W, Frangi A, editors. Вычисление медицинских изображений и компьютерное вмешательство – MICCAI 2015 . Чам: Спрингер. стр. 234–241.

    https://doi.org/10.1007/978-3-319-24574-4_28

    • Google ученый
62. 1. Саламон Z
    2. Толлин Г

    (2001) Оптическая анизотропия в липидных бислойных мембранах: связанные плазмонно-волноводные резонансные измерения молекулярной ориентации, поляризуемости и формы

    Biophysical Journal 80 :1557–1567.

    https://doi.org/10.1016/S0006-3495(01)76128-0

    • пабмед
    • Google ученый
63. 1. Шмидт WJ

    (1926) Die Bausteine ​​des Tierkörpers in polarisiertem Lichte

    Protoplasma 1 : 618–619.

    https://doi.org/10.1007/BF01603040

    • Google ученый
64. 1. Шмитц Д
    2. Мюнцинг SEA
    3. Шобер М
    4. Шуберт N
    5. Миннероп М
    6. Липперт Т
    7. Амунтс К
    8. Аксер М

    (2018а) Вывод ориентации волокон из косых проекций срезов человеческого мозга в трехмерной визуализации в поляризованном свете

    Границы нейроанатомии 12 :75.

    https://doi.org/10.3389/fnana.2018.00075

    • пабмед
    • Google ученый

65. Конференц-связь

    1. Шмитц Д
    2. Амунтс К
    3. Липперт Т
    4. Аксер М

    (2018б) Метод наименьших квадратов для реконструкции ориентации нервных волокон из экспериментов с наклоняемыми образцами в 3D-PLI

    15-й международный симпозиум IEEE по биомедицинской визуализации (ISBI), 2018 г. стр. 132–135.

    https://doi.org/10.1109/ISBI.2018.8363539

    • Google ученый
66. 1. Шрибак М
    2. Лафонтен J
    3. Биггс Д
    4. Иноуэ S

    (2008) Ориентационно-независимая дифференциально-интерференционная контрастная микроскопия и ее комбинация с ориентационно-независимой системой поляризации

    Journal of Biomedical Optics 13 :014011.

    https://doi.org/10.1117/1.2837406

    • пабмед
    • Google ученый
67. 1. Шрибак М
    2. Ольденбург R

    (2003) Методы быстрых и чувствительных измерений двумерных распределений двулучепреломления

    Прикладная оптика 42 :3009–3017.

    https://doi.org/10.1364/AO.42.003009

    • пабмед
    • Google ученый
68. 1. Снайдеро N
    2. Саймонс М

    (2014) Миелинизация с первого взгляда

    Journal of Cell Science 127 :2999–3004.

    https://doi.org/10.1242/jcs.151043

    • пабмед
    • Google ученый
69. 1. Сото JM
    2. Родриго JA
    3. Алиева Т

    (2017) Количественное трехмерное томографическое изображение без маркировки для частично когерентной световой микроскопии

    Optics Express 25 :15699–15712.

    https://doi.org/10.1364/OE.25.015699

    • пабмед
    • Google ученый
70. 1. Шпиц ЭМ
    2. Каминский Ж
    3. Zysset PK

    (2011) Количественная оценка ориентации коллагеновых волокон с использованием измерений двойного лучепреломления: калибровка и применение к остеонам человека

    Journal of Structural Biology 176 :302–306.

    https://doi.org/10.1016/j.jsb.2011.09.009

    • пабмед
    • Google ученый
71. 1. Штрайбль N

    (1984) Фазовая визуализация по уравнению переноса интенсивности

    Optics Communications 49 :6–10.

    https://doi.org/10.1016/0030-4018(84)-8

    • Google ученый
72. 1. Штрайбль N

    (1985) Трехмерное изображение с помощью микроскопа

    Journal of the Optical Society of America A 2 :121–127.

    https://doi.org/10.1364/JOSAA.2.000121

    • Google ученый
73. 1. Тянь Л
    2. Уоллер Л

    (2015) Количественное дифференциальное фазово-контрастное изображение в микроскопе со светодиодной матрицей

    Optics Express 23 :11394–11403.

    https://doi.org/10.1364/OE.23.011394

    • пабмед
    • Google ученый
74. 1. Транс МТ
    2. Ольденбург R

    (2018) Картирование двойного лучепреломления в трех измерениях с использованием микроскопии поля поляризованного света: случай молоди моллюска

    Журнал микроскопии 271 : 315–324.

    https://doi.org/10.1111/jmi.12721

    • пабмед
    • Google ученый
75. 1. Ван Вален DA
    2. Кудо Т
    3. Переулок км
    4. Маклин ДН
    5. Квач NT
    6. ДеФеличе ММ
    7. Мааян I
    8. Танучи Y
    9. Эшли EA
    10. Тайное MW

    (2016) Глубокое обучение автоматизирует количественный анализ отдельных клеток в экспериментах по визуализации живых клеток

    PLOS Computational Biology 12 :e1005177.

    https://doi.org/10.1371/journal.pcbi.1005177

    • пабмед
    • Google ученый
76. 1. Уоллер Л
    2. Тянь Л
    3. Барбастатис G

    (2010) Транспортировка изображения фазы-амплитуды интенсивности с производными интенсивности более высокого порядка

    Optics Express 18 :12552–12561.

    https://doi.org/10.1364/OE.18.012552

    • пабмед
    • Google ученый
77. 1. Ван И
    2. Ян Дж
    3. Инь W
    4. Чжан И

    (2008) Новый альтернативный алгоритм минимизации для реконструкции изображений с полной вариацией

    SIAM Journal on Imaging Sciences 1 : 248–272.

    https://doi.org/10.1137/080724265

    • Google ученый
78. 1. Ван Х
    2. Магнайн С
    3. Ван Р
    4. Дабб Дж
    5. Варжабедян А
    6. Тиррелл LS
    7. Стивенс А
    8. Августинак JC
    9. Конукоглу Э
    10. Агандж I
    11. Фрош МП
    12. Шмахман JD
    13. Фишль Б
    14. Боас Д.А.

    (2018) as-PSOCT: объемное микроскопическое изображение архитектуры и связей человеческого мозга

    NeuroImage 165 :56–68.

    https://doi.org/10.1016/j.neuroimage.2017.10.012

    • пабмед
    • Google ученый
79. 1. Ван Z
    2. Бовик AC

    (2009) Среднеквадратическая ошибка: любить или оставить? Новый взгляд на показатели точности сигнала

    Журнал обработки сигналов IEEE 26 : 98–117.

    https://doi.org/10.1109/МСП.2008.

80. 9
    • Google ученый
81. 1. Ян Б
    2. Январь, штат Нью-Джерси,
    3. Бразилия B
    4. Вурхиз А
    5. Латроп KL
    6. Сигал IA

    (2018) Микроскопия в поляризованном свете для трехмерного картирования архитектуры коллагеновых волокон в тканях глаза

    Журнал биофотоники 11 :e201700356.

    https://doi.org/10.1002/jbio.201700356

    • пабмед
    • Google ученый

82. Препринт

    1. Ян Л
    2. Гоша RP
    3. Франклин Дж. М.
    4. Вы C
    5. Липхардт JT

    (2019) NuSeT: инструмент глубокого обучения для надежного разделения и анализа переполненных клеток

    bioRxiv.

    https://doi.org/10.1101/749754

    • Google ученый
83. 1. Зейне ММ
    2. Паломеро-Галлахер N
    3. Аксер М
    4. Грассель D
    5. Губран М
    6. Ври А
    7. Вудс Р
    8. Амунтс К
    9. Зилес К

    (2017) Прямая визуализация и картирование пространственного хода волокнистых трактов с микроскопическим разрешением в гиппокампе человека

    Кора головного мозга 27 :1779–1794.

    https://doi.org/10.1093/cercor/bhw010

    • пабмед
    • Google ученый
84. 1. Цзэн Х

    (2018) Мезомасштабная коннектомика

    Современное мнение в нейробиологии 50 :154–162.

    https://doi.org/10.1016/j.conb.2018.03.003

    • пабмед
    • Google ученый
85. 1. Зернике F

    (1955) Как я открыл фазовый контраст

    Наука 121 :345–349.

    https://doi. org/10.1126/science.121.3141.345

    • пабмед
    • Google ученый
86. 1. Чжан Л
    2. Чжоу Дж
    3. Ван И
    4. Джин И
    5. Джаханшад N
    6. Прасад Г
    7. Нир ТМ
    8. Леонардо CD
    9. Йе Дж
    10. Томпсон PM
    11. Для Инициативы нейровизуализации болезни Альцгеймера

    (2015) Сравнение девяти алгоритмов трактографии для выявления аномальных структурных сетей мозга при болезни Альцгеймера

    Границы нейробиологии старения 7 :48.

    https://doi.org/10.3389/fnagi.2015.00048

    • пабмед
    • Google ученый

87. Книга

    1. Зилес К
    2. Паломеро-Галлахер N
    3. Грассель Д
    4. Шлемер P
    5. Кремер М
    6. Вудс Р
    7. Амунтс К
    8. Аксер М

    (2016) Глава 18. Визуализация волокон и волокон с высоким разрешением с использованием микроскопии в поляризованном свете в мозге человека, обезьян, крыс и мышей

    В: Rockland K. S, editors. Аксоны и архитектура мозга . Сан-Диего: Академическая пресса. стр. 369–389.

    https://doi.org/10.1016/B978-0-12-801393-9.00018-9

    • Google ученый

Письмо-решение

Сводка о приемке:

В этой статье разрабатывается новый подход к компьютерному построению изображений без меток, который использует поляризацию для получения совместных измерений плотности и анизотропии. Авторы предоставляют доказательства того, что этот подход без меток можно сочетать с глубоким обучением, чтобы эффективно охарактеризовать архитектуру различных образцов в разных пространственных масштабах. Чтобы достичь этого, они вводят относительно эффективную в вычислительном отношении архитектуру глубокого обучения, основанную на 3D U-Net, которую можно использовать для прогнозирования структур из многоканальных изображений, а также для восстановления несогласованных маркировок.

В целом тема представляет большой интерес, и обозреватели согласны с тем, что сочетание количественной визуализации без меток и глубоких нейронных сетей живых и посмертных тканей является новым и важным. Поэтому работа представляет интерес для широкой научной аудитории.

Письмо с решением после экспертной оценки:

Благодарим вас за отправку вашей статьи «Выявление архитектурного порядка с помощью количественных изображений без меток и глубокого обучения» для рассмотрения eLife . Ваша статья была проверена тремя рецензентами, а за оценкой наблюдали редактор-рецензент и Вивек Малхотра в качестве старшего редактора. Следующее лицо, участвовавшее в рассмотрении вашей заявки, согласилось раскрыть свою личность: Дэвид Ван Вален (Рецензент №2).

Рецензенты обсудили обзоры друг с другом, и редактор-рецензент составил проект этого решения, чтобы помочь вам подготовить исправленное представление.

Мы хотели бы обратить ваше внимание на изменения в нашей политике пересмотра, которые мы внесли в ответ на COVID-19(https://elifesciences. org/articles/57162). В частности, когда редакторы считают, что представленная работа в целом относится к eLife , но некоторые выводы требуют небольшого количества дополнительных новых данных, как они делают с вашей статьей, мы просим, ​​чтобы рукопись была пересмотрена, чтобы либо ограничить претензии к те, которые подтверждаются имеющимися данными, или прямо указать, что соответствующие выводы требуют дополнительных подтверждающих данных.

Мы ожидаем, что авторы в конечном итоге проведут дополнительные эксперименты и сообщат о том, как они влияют на соответствующие выводы, либо в препринте на bioRxiv или medRxiv, либо, если это уместно, в качестве научного прогресса в eLife , любой из которых будет связан с исходным документом.

Резюме:

В этой статье разрабатывается новый подход к вычислительной визуализации для визуализации без меток, который использует поляризацию для получения совместных измерений плотности и анизотропии. Авторы предоставляют доказательства того, что этот подход без меток можно сочетать с глубоким обучением, чтобы эффективно охарактеризовать архитектуру различных образцов в разных пространственных масштабах. Чтобы достичь этого, они вводят относительно эффективную в вычислительном отношении архитектуру глубокого обучения, основанную на 3D U-Net, которую можно использовать для прогнозирования структур из многоканальных изображений, а также для восстановления несогласованных маркировок.

В целом тема получила очень высокую оценку, и рецензенты согласны с тем, что сочетание количественной визуализации без меток и глубоких нейронных сетей живых и посмертных тканей ценится. Однако есть несколько серьезных проблем, которые авторам необходимо решить, прежде чем эта рукопись может быть рассмотрена для публикации в eLife . Они перечислены ниже.

Важные изменения:

1) Идея безметочного предсказания структуры конкретной ткани на основе измерений плотности и анизотропии привлекательна и хорошо описана в рукописи. Однако выбранные типы тканей и некоторые общие выводы, сделанные (частично из перекрестных сравнений), являются спорными. Что делает мышиную почку, мышиный мозг и пренатальный человеческий мозг уникальными с точки зрения «выявления архитектурного порядка», но все же сопоставимыми? Кажется, не хватает знаний об анатомии и морфологии мозга, что важно для оценки результатов. Хотя измерения GW24 и GW20 впечатляют, показанные крошечные области интереса не подходят для убедительного выделения анатомических различий. Подходы глубокого обучения кажутся правильно реализованными и применяемыми, но их масштабируемость не становится очевидной (хотя и заявлено в аннотации). Отсутствуют критические дебаты об усилиях, необходимых для обращения к целым крупным органам. Основное дополнение к современным подходам или к предыдущим собственным публикациям не становится достаточно ясным.

2).Этика: Нет четкого заявления авторов относительно этического одобрения, происхождения образцов и т. д. Лечение пренатальной ткани человека требует другой информации, чем мозг мыши и ткань почки!

3) Основная идея, предлагаемая в этой статье, заключается в том, что, поскольку глубокое обучение основано на данных, эти методы можно улучшить, улучшая данные, а не внося существенные изменения в алгоритмы. Если в изображениях отсутствует информация, необходимая для точных прогнозов, почему бы не добавить ее? На мой взгляд, это недооцененное понимание, которым авторы ловко пользуются, и то, что сообщество наук о жизни в целом очень нуждается в том, чтобы услышать. Основываясь на представленных здесь результатах, есть большая вероятность, что ряд ранее игнорированных методов визуализации теперь будут иметь более высокую ценность из-за того, что можно сделать с помощью глубокого обучения. К сожалению, я не думаю, что статья в том виде, в каком она написана, хорошо передает этот концептуальный сдвиг, и это существенная проблема статьи. Вот некоторые из моих рекомендаций по решению этой проблемы:

3a) Реструктуризация введения. Предыдущая работа Грега Джонсона и других должна быть представлена ​​раньше, чтобы было ясно, что эта работа основана на их работе. Это облегчит читателям понимание того, что новизна заключается в сочетании этих методов с авторским подходом к количественным изображениям без меток.

3b) Лучше опишите новизну и прирост производительности. С точки зрения визуализации без меток неясно, насколько работа, представленная здесь, является новой, в отличие от прямого применения предыдущих методов, основанных на флуоресценции автора. Я думаю, это можно было бы лучше объяснить. Кроме того, преимущества их метода по отношению к архивным образцам (т. е. получение информации об окрашивании без потенциально повреждающих пятен) должны быть описаны ранее. Преимущество этих методов для визуализации живых клеток (получение данных без фотоповреждения по отношению к флуоресценции) также следует упомянуть, хотя и с соответствующей ссылкой.

4) В дополнение к этому, второй важный вопрос, связанный с этой статьей, заключается в том, насколько прирост производительности обеспечивает предложенный автором подход к созданию изображений без использования меток? В то время как концептуальный сдвиг, описанный выше, привлекателен и должен быть подчеркнут, аргумент авторов в том, что он меняет способность использовать модели перевода изображения в изображение на биологических изображениях, менее ясен. Авторы используют как корреляцию Пирсона, так и индекс структурного подобия для количественной оценки их реконструкции флуоресцентного актина в клетках U2OS и в срезах мозга. Однако различия между стандартной визуализацией без меток (светлое поле и фаза) и авторским подходом (светлое поле, фаза, запаздывание и ориентация) кажутся незначительными. Например, в таблице 2 разница в корреляции Пирсона составляет ~ 0,01-0,02 (разрыв кажется больше для FluoroMyelin, но представлено меньше сравнений). На первый взгляд, это кажется незначительным достижением (хотя можно спорить, относится ли оно к сфере статистической значимости), и как экспериментатор, это заставляет задуматься, стоит ли «сока» авторского метода «выжимание». . Однако, безусловно, бывают случаи, когда незначительное повышение точности приводит к большой разнице в способности использовать метод. Хотя способность измерять ориентацию, безусловно, полезна для отслеживания нервных волокон, похоже, что эта архитектурная информация имеет решающее значение для вывода паттернов флуоресценции, еще не было сделано.

https://doi.org/10.7554/eLife.55502.sa1

Ответ автора

Основные версии:

1) Идея предсказания конкретной структуры ткани без использования меток на основе измерений плотности и анизотропии привлекательна и хорошо описана в рукописи. Однако выбранные типы тканей и некоторые общие выводы, сделанные (частично из перекрестных сравнений), являются спорными. Что делает мышиную почку, мышиный мозг и пренатальный человеческий мозг уникальными с точки зрения «выявления архитектурного порядка», но все же сопоставимыми? Кажется, не хватает знаний об анатомии и морфологии мозга, что важно для оценки результатов. Хотя измерения GW24 и GW20 впечатляют, показанные крошечные области интереса не подходят для убедительного выделения анатомических различий. Подходы глубокого обучения кажутся правильно реализованными и применяемыми, но их масштабируемость не становится очевидной (хотя и заявлено в аннотации). Отсутствуют критические дебаты об усилиях, необходимых для обращения к целым крупным органам. Основное дополнение к современным подходам или к предыдущим собственным публикациям не становится достаточно ясным.

В этой редакции мы назвали наш метод компьютерной визуализации QLIPP (количественная визуализация без меток с фазой и поляризацией), чтобы пояснить, чем он отличается от методов количественной фазовой визуализации (QPI), количественной поляризационной визуализации или флуоресцентной поляризационной визуализации, описанных ранее в этой статье. . Мы отредактировали Резюме и Введение, чтобы определить основные достижения по сравнению с современным уровнем техники:

а) Совместное безэтикеточное измерение плотности (фаза образца) и анизотропии (замедление и ориентация).

b) Измерения плотности и анизотропии живых 3D-клеток и срезов пренатальной ткани головного мозга человека с высоким разрешением.

c) 2.5D многоканальная сверточная нейронная сеть (CNN) для прогнозирования флуоресценции в больших полях зрения.

Сравнение данных тканей мозга и живых клеток показывает, что QLIPP полезен для анализа архитектуры в различных пространственных масштабах. Перекрестные сравнения предназначены и ограничиваются иллюстрацией того, как можно интерпретировать архитектуру в нескольких масштабах на основе измерений, которые мы сообщаем. Мы реструктурировали первый результат (QLIPP обеспечивает совместное измерение плотности образца и анизотропии), чтобы подчеркнуть этот момент.

Ткань почки мыши представляет собой тестовый образец без каких-либо артефактов окрашивания, который мы использовали для разработки архитектуры CNN, методов обучения и показателей для оценки обученных моделей. Данные из ткани почки мыши теперь перемещены на рисунки 3 и 4, которые сообщают об оптимизации архитектуры CNN.

В разделе «Результаты и обсуждения» мы прояснили вопросы анализа динамики органелл и архитектуры мозговой ткани, которые становятся понятными с данными, которые мы сообщаем. В частности, видео (видео 1 и 2) делящейся клетки иллюстрируют, что органеллы можно отличить по псевдоокрашиванию значений плотности и замедления. Для ткани мозга мыши (рис. 5) и ткани мозга человека (рис. 6) мы визуализируем архитектуру на срезах сантиметрового размера. Для ткани головного мозга человека мы предсказываем изображения миелина как на 24-й неделе беременности (GW24), так и на GW20 (рис. 7). Эти данные показывают, что количественная визуализация плотности и анизотропии в сочетании с глубоким обучением может выявить архитектурный порядок в различных типах мозга.

Мы согласны с точкой зрения рецензента о том, что необходимо оценить масштабируемость количественной визуализации без меток и глубокого обучения для анализа архитектуры целых органов. Фактор, ограничивающий скорость, может быть не визуализацией или анализом, а скорее обработкой ткани. Мы осторожно используем термин «масштаб» только для обозначения пространственного и временного масштабов измерения, а не простоты использования подхода для анализа крупномасштабных органов.

2) Этика: У авторов нет четких заявлений относительно этического одобрения, происхождения образцов и т. д. Для лечения пренатальной ткани человека требуется информация, отличная от информации о мозге мыши и почечной ткани!

Отсутствие заявления об этическом одобрении использования пренатальных тканей человека было недосмотром. Мы описали этическое одобрение в разделе «Материалы и методы».

«Обезличенные образцы мозговой ткани были получены с согласия пациента в соответствии с протоколом, одобренным Комитетом по исследованию гамет, эмбрионов и стволовых клеток человека (институциональный наблюдательный совет) Калифорнийского университета в Сан-Франциско».

3) Основная идея, предлагаемая в этой статье, заключается в том, что, поскольку глубокое обучение основано на данных, эти методы можно улучшить за счет улучшения данных, а не внесения существенных изменений в алгоритмы. Если в изображениях отсутствует информация, необходимая для точных прогнозов, почему бы не добавить ее? На мой взгляд, это недооцененное понимание, которым авторы ловко пользуются, и то, что сообщество наук о жизни в целом очень нуждается в том, чтобы услышать. Основываясь на представленных здесь результатах, есть большая вероятность, что ряд ранее игнорированных методов визуализации теперь будут иметь более высокую ценность из-за того, что можно сделать с помощью глубокого обучения. К сожалению, я не думаю, что статья в том виде, в каком она написана, хорошо передает этот концептуальный сдвиг, и это существенная проблема статьи. Вот некоторые из моих рекомендаций по решению этой проблемы:

Мы согласны с рецензентом в том, что информативные данные так же важны, как и алгоритмы анализа на основе данных. Мы также признательны рецензентам за их ясность, которую мы использовали для реструктуризации введения и результатов, как описано в ответе на комментарий № 1 выше.

3a) Реструктуризация введения. Предыдущая работа Грега Джонсона и других должна быть представлена ​​раньше, чтобы было ясно, что эта работа основана на их работе. Это облегчит читателям понимание того, что новизна заключается в сочетании этих методов с авторским подходом к количественным изображениям без меток.

Мы переписали введение и обсуждение, чтобы прояснить, как наша работа основывается на работе Грега Джонсона, а) добавляя новые модальности данных и б) адаптируя их архитектуру глубокого обучения для эффективного обучения с вычислительной точки зрения.

3b) Лучше опишите новизну и прирост производительности. С точки зрения визуализации без меток неясно, насколько работа, представленная здесь, является новой, в отличие от прямого применения предыдущих методов, основанных на флуоресценции автора. Я думаю, это можно было бы лучше объяснить. Кроме того, преимущества их метода по отношению к архивным образцам (т. е. получение информации об окрашивании без потенциально повреждающих пятен) должны быть описаны ранее. Преимущество этих методов для визуализации живых клеток (получение данных без фотоповреждения по отношению к флуоресценции) также следует упомянуть, хотя и с соответствующей ссылкой.

С точки зрения визуализации без меток, новым вкладом QLIPP является более точная прямая модель формирования изображения и соответствующие обратные алгоритмы для совместной визуализации плотности и анизотропии с использованием простого светового пути. Световой путь идентичен просвечивающему поляризованному световому микроскопу (Mehta, Shribak and Oldenbourg, 2013), но отличается от методов поляризации флуоресценции, о которых ранее сообщал соответствующий автор (Mehta et al., 2016). Теперь мы четко отличаем QLIPP от других классов методов с поляризационным разрешением во Введении и Обсуждении.

4) В дополнение к этому, второй важный вопрос, связанный с этой статьей, заключается в том, насколько прирост производительности обеспечивает предложенный автором подход к созданию изображений без использования меток? В то время как концептуальный сдвиг, описанный выше, привлекателен и должен быть подчеркнут, аргумент авторов в том, что он меняет способность использовать модели перевода изображения в изображение на биологических изображениях, менее ясен. Авторы используют как корреляцию Пирсона, так и индекс структурного подобия для количественной оценки их реконструкции флуоресцентного актина в клетках U2OS и в срезах мозга. Однако различия между стандартной визуализацией без меток (светлое поле и фаза) и авторским подходом (светлое поле, фаза, запаздывание и ориентация) кажутся незначительными. Например, в таблице 2 разница в корреляции Пирсона составляет ~ 0,01-0,02 (разрыв кажется больше для FluoroMyelin, но представлено меньше сравнений). На первый взгляд, это кажется незначительным достижением (хотя можно спорить, относится ли оно к сфере статистической значимости), и как экспериментатор, это заставляет задуматься, стоит ли «сока» авторского метода «выжимание». . Однако, безусловно, бывают случаи, когда незначительное повышение точности приводит к большой разнице в способности использовать метод. Хотя способность измерять ориентацию, безусловно, полезна для отслеживания нервных волокон, похоже, что эта архитектурная информация имеет решающее значение для вывода паттернов флуоресценции, еще не было сделано.

Чтобы прояснить повышение производительности, достижимое с использованием данных анизотропии (запаздывание и ориентация), мы добавили рисунок 7 и обновили таблицу 4. Мы сообщаем о предсказанных изображениях FluoroMyelin в больших полях зрения и анализируем точность предсказания как функцию входных данных. : только светлое поле; запаздывание и фаза; запаздывание, фаза и ориентация; светлое поле, фаза и ориентация. По сравнению с обычными доступными данными (светлое поле) использование данных QLIPP обеспечивает значительное повышение точности предсказания, как видно из изображений на рисунке 7B и рисунке 7E. Мы добавили графики (рис. 7C, рис. 7F и рис. 7 — дополнение к рисунку 1), которые показывают корреляцию мишени FluoroMyelin с входной задержкой, фазой и FluoroMyelin, предсказанными нашими моделями. Как показано в таблице 4, использование данных QLIPP приводит к увеличению на 0,14 как корреляции Пирсона, так и SSIM между прогнозом и целью по сравнению с использованием только данных светлого поля. Прогноз более точен с данными QLIPP, потому что паттерн миелинизации в мозге закодирован в анизотропии. Хотя это увеличение невелико по шкале этих показателей (14%), оно является биологически значимым, как видно из изображений.

Одна известная проблема с метриками сходства изображений, такими как корреляция Пирсона и SSIM, заключается в том, что они могут быть нечувствительны к небольшим, но биологически важным особенностям изображения. Это связано с тем, что корреляция Пирсона и SSIM сообщают о среднем сходстве изображения с одинаковым весом каждого пикселя.

https://ieeexplore.ieee.org/document/5705575;

https://arxiv. org/abs/1406.7799;

https://ieeexplore.ieee.org/abstract/document/5596999

Мы проиллюстрировали вышеприведенный пункт, используя данные о ткани почки мыши (рис. 4 — дополнение к рисунку 1). Метрики сходства изображений могут измениться на одну и ту же небольшую величину при добавлении белого шума или удалении ядра. Эти источники искажений нельзя отличить с помощью показателей сходства изображений, поскольку они не полностью используют пространственный контекст. Мы также пересмотрели текст в разделе «Результаты» («Оптимизация 2,5D-модели с помощью тестового набора данных»), чтобы подчеркнуть этот момент.

Более информативная метрика будет взвешивать пиксели с биологической информацией больше, чем другие пиксели, например. отсутствующее ядро ​​должно иметь больший вес, чем несоответствие в фоновой флуоресценции. Мы рассмотрели показатели качества изображения, которые имитируют человеческое восприятие качества изображения, например. многомасштабный SSIM, индекс сходства признаков и предикторы качества на основе CNN. Однако их применимость для количественной оценки сходства между наборами биологических изображений еще предстоит установить. Мы решили сообщить о корреляции Пирсона и SSIM, потому что они чаще используются в сообществе биологии и визуализации. Поиск биологически релевантной метрики точности предсказания изображений является интересной темой будущих исследований.

https://doi.org/10.7554/eLife.55502.sa2

Статья и информация об авторе

Сведения об авторе

1. Сюань-Мин Го

   Биохаб Чана Цукерберга, Сан-Франциско, США

   Вклад

   Концептуализация, Ресурсы, Курирование данных, Программное обеспечение, Формальный анализ, Валидация, Исследование, Визуализация, Методология, Написание – первоначальный проект, Написание – просмотр и редактирование

   Внесено поровну с

   Ли-Хао Йе и Дженни Фолкессон

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

2. Ли-Хао Е

   Биохаб Чана Цукерберга, Сан-Франциско, США

   Вклад

   Концептуализация, Ресурсы, Курирование данных, Программное обеспечение, Формальный анализ, Валидация, Исследование, Визуализация, Методология, Написание – первоначальный проект, Написание – просмотр и редактирование

   Внесли равный вклад с

   Сюань-Мин Го и Дженни Фолкессон

   Конкурирующие интересы

   Конкурирующие интересы не заявлены «Этот ORCID iD идентифицирует автора этой статьи:» 0000-0003-2803-5996

3. Дженни Фолкессон

   Биохаб Чана Цукерберга, Сан-Франциско, США

   Вклад

   Ресурсы, Курирование данных, Программное обеспечение, Формальный анализ, Надзор, Валидация, Визуализация, Методология, Написание – первоначальный проект

   Внесли равный вклад с

   Сюань-Мин Го и Ли-Хао Йе

   Конкурирующие интересы

   Конкурирующие интересы не заявлены «Этот ORCID iD идентифицирует автора этой статьи:» 0000-0002-4673-0522

4. Иванов Иван Евгеньевич

   Биохаб Чана Цукерберга, Сан-Франциско, США

   Вклад

   Концептуализация, Программное обеспечение, Валидация, Исследование, Визуализация, Методология, Написание – обзор и редактирование

   Внесли равный вклад с

   Анита П. Кришнан и Мэтью Джи Киф

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

5. Анита П. Кришнан

   Биохаб Чана Цукерберга, Сан-Франциско, США

   Текущий адрес

   Дженентек, Сан-Франциско, США

   Вклад

   Курирование данных, Программное обеспечение, Формальный анализ, Валидация, Визуализация

   Внесли равный вклад с

   Иван Э. Иванов и Мэтью Джи Киф

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

6. Мэтью Джи Киф

   Кафедра анатомии, Калифорнийский университет, Сан-Франциско, Сан-Франциско, США

   Вклад

   Ресурсы, исследование, методология, написание – обзор и редактирование

   Внесли равный вклад с

   Иван Э. Иванов и Анита П. Кришнан

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

7. Эззат Хашеми

   Кафедра неврологии, Стэнфордский университет, Стэнфорд, США

   Взнос

   Ресурсы, методология, написание – первоначальный проект

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

8. Дэвид Шин

   Кафедра анатомии, Калифорнийский университет, Сан-Франциско, Сан-Франциско, США

   Вклад

   Ресурсы, методология

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

9. Брайант Б.

   Чхун Биохаб Чана Цукерберга, Сан-Франциско, США

   Взнос

   Ресурсы, обработка данных, программное обеспечение, проверка

   Конкурирующие интересы

   Конкурирующие интересы не заявлены

10. Натан Х Чо

    Биохаб Чана Цукерберга, Сан-Франциско, США

    Текущий адрес

    Калифорнийский университет, Сан-Франциско, Сан-Франциско, США

    Вклад

    Ресурсы, Расследование

    Конкурирующие интересы

    Конкурирующие интересы не заявлены

11. Мануэль Д Леонетти

    Биохаб Чана Цукерберга, Сан-Франциско, США

    Вклад

    Ресурсы, Надзор

    Конкурирующие интересы

    Конкурирующие интересы не заявлены

12. Май Х Хан

    Кафедра неврологии, Стэнфордский университет, Стэнфорд, США

    Вклад

    Ресурсы, Супервизия, Написание – просмотр и редактирование

    Конкурирующие интересы

    Конкурирующие интересы не заявлены

13. Томаш Дж.

    Новаковски Кафедра анатомии, Калифорнийский университет, Сан-Франциско, Сан-Франциско, США

    Вклад

    Концептуализация, Ресурсы, Надзор, Администрирование проекта, Написание – обзор и редактирование

    Конкурирующие интересы

    Конкурирующие интересы не заявлены

14. Шалин Б Мехта

    Биохаб Чана Цукерберга, Сан-Франциско, США

    Взнос

    Концептуализация, Ресурсы, Программное обеспечение, Формальный анализ, Надзор, Получение финансирования, Валидация, Исследование, Визуализация, Методология, Написание – первоначальный проект, Администрирование проекта, Написание – обзор и редактирование

    Для корреспонденции

    [email protected]

    Конкурирующие интересы

    Конкурирующие интересы не заявлены «Этот ORCID iD идентифицирует автора этой статьи:» 0000-0002-2542-3582

Финансирование

Биохаб Чана Цукерберга

• Сюань-Мин Го
• Ли-Хао Е
• Дженни Фолкессон
• Иван Е Иванов
• Мэтью Джи Киф
• Дэвид Шин
• Брайант Б. Чхун
• Натан Х Чо
• Томаш Дж. Новаковски
• Шалин Б Мехта

Спонсоры не участвовали в разработке исследования, сборе и интерпретации данных или принятии решения о представлении работы для публикации.

Благодарности

Мы благодарим Spyros Dermanis (CZ Biohub) и Бинга Ву (CZ Biohub) за предоставление среза мозга мыши, использованного для получения данных, показанных на рис. 5. Мы благодарим Грега Хубера, Лоика Ройера, Джошуа Бэтсона, Джима Карканиаса, Джо ДеРизи и Стива. Quake от Биохаба Чана Цукерберга за многочисленные обсуждения. Мы также благодарим Еву Дайер из Технологического института Джорджии за обсуждение приложений 2.5D-моделей. Это исследование было поддержано Chan Zuckerberg Biohub.

Этика

Субъекты-люди: Деидентифицированные образцы ткани головного мозга были получены с согласия пациента в соответствии с протоколом, одобренным Комитетом по исследованию гамет, эмбрионов и стволовых клеток человека (институциональный наблюдательный совет) Калифорнийского университета в Сан-Франциско.

Старший редактор

1. Вивек Мальхотра, Барселонский институт науки и технологий, Испания

Редактор-рецензент

1. Бирте Форстманн, Университет Амстердама, Нидерланды

Рецензент

1. Дэвид Ван Вален, Калифорнийский технологический институт, США

История публикаций

1. Получено: 27 января 2020 г.
2. Принято: 24 июля 2020 г.
3. Принятая рукопись опубликована: 27 июля 2020 г. (версия 1)
4. Версия записи опубликована: 17 августа 2020 г. (версия 2)

Авторское право

© 2020, Guo et al.

Эта статья распространяется в соответствии с лицензией Creative Commons Attribution License, которая разрешает неограниченное использование и распространение при условии указания оригинального автора и источника.

Показатели

Число цитирований статей, полученное путем опроса самых высоких значений из следующих источников: Crossref, Scopus, PubMed Central.

Ссылки для скачивания

Список ссылок, состоящий из двух частей, для загрузки статьи или частей статьи в различных форматах.

Открытые цитаты (ссылки для открытия цитат из этой статьи в различных онлайн-сервисах управления ссылками)

• Менделей
• ЧитатьКуб”>

Процитируйте эту статью (ссылки для загрузки цитат из этой статьи в форматах, совместимых с различными инструментами управления ссылками)

1. Сюань-Мин Го
2. Ли-Хао Е
3. Дженни Фолкессон
4. Иван Иванов
5. Анита П Кришнан
6. Мэтью Джи Киф
7. Эззат Хашеми
8. Дэвид Шин
9. Брайант Б Чхун
10. Натан Х Чо
11. Мануэль Д Леонетти
12. Май Х Хан
13. Томаш Дж.