Разные: Нейросеть научили слышать то, что люди говорят «про себя». И озвучивать это вслух
Разные: Нейросеть научили слышать то, что люди говорят «про себя». И озвучивать это вслух
3 года назад 2795 popmech.ru hightech.fm regnum.ru

Американские учёные разработали систему, которая распознаёт беззвучную речь и превращает её в слышимую при помощи нейросети – в будущем это может поспособствовать созданию гарнитуры, позволяющей разговаривать по телефону, не издавая звуков.

Теперь, чтобы быть услышанным, даже не нужно говорить вслух! 

Хотя при чтении «про себя» мы не произносим слова вслух и не произносим никаких звуков, мозг всё равно заставляет мышцы голосового тракта двигаться, пусть и намного меньше, чем при «обычной» речи – этот процесс называется субвокализацией. Инженеры умеют считывать эти мышечные сокращения различными методами — в основном при помощи электромиографии, которая регистрирует электрическую активность мышц при помощи электродов на шее и лице.

Однако существующие интерфейсы для распознавания субвокализации пока способны превращать беззвучную речь лишь в текст, поэтому американские учёные из Калифорнийского университета в Беркли решили разработать алгоритм, который мог бы «озвучивать» мышечные сокращения. Его обучили на трёх типах данных: записи слышимой речи и активности мышц как во время слышимой, так и неслышимой речи. В основе их метода лежит преобразование исходных сигналов.  

Алгоритм учитывает все три сигнала – две электромиограммы и слышимую речь. На первом этапе он находит оптимальное соответствие между двумя сигналами – слышимой и неслышимой речи, а на втором, используя полученное соответствие, создаёт из аудиозаписи слышимой речи аудиозапись речи из электромиограммы, то есть неслышимой речи. Такой алгоритм необходим для обучения нейросети, которая делает то же самое, получая на вход не три вида сигнала, а всего один – электромиограмму неслышимой речи.

Исследователи использовали рекуррентную нейросеть с долгой краткосрочной памятью, а данные, полученные на выходе из неё, передаются в нейросеть WaveNet, декодирующую их в аудиозапись человеческого голоса. Для обучения был собран датасет из 20 часов записи слышимой и беззвучной речи, представленной в виде трёх типов данных. После обучения разработчики проверили понятность генерируемых записей. 

В качестве метрики учёные использовали стандартную пословную вероятность ошибки — сумму изменённых, отсутствующих и лишних слов, поделённую на общую длину текста. Для простых фраз, наподобие дат и других чисел, вероятность ошибки полноценной нейросети составила 3,6, а для той, которую обучали только на слышимой речи, она составила 88,8. Для сложных фраз, вроде отрывков из книг, разница была не такой большой: 74,8 к 95,1 при проверке человеком и 68 к 91,2 при проверке системой распознавания речи Mozilla DeepSpeech.

Новый датчик определяет дальность полета слюны во время чихания

Создан мягкий датчик, который считывает динамику полета жидкостей во время чихания или выдоха.

Существующие эпидемиологические модели инфекционных респираторных заболеваний не учитывают физику, лежащую в основе передачи болезней. 

 Светапрово Чаудхури, профессор инженерии Университета Торонто 

Но жидкости и их динамика имеют решающее значение для формирования патогенов, которые влияют на передачу инфекционных заболеваний. 

Лидия Буруиба, директор Лаборатории гидродинамики передачи заболеваний Массачусетского технологического института, объяснила, что во время выдоха человек не просто выделяет изолированные капли, из него выходит турбулентное многофазное облако. Оно, по мнению Буруибы, имеет решающее значение для расширения диапазона и изменения физики испарения капель внутри этого диапазона. 

Буруиба привела в пример несколько инфекционных заболеваний, в том числе и COVID-19. Когда переносчики заболеваний вдыхают, этот процесс включает в себя различные скорости распространения воздуха — и это без учета капелек слюны. 

Для того, чтобы рассчитать, сколько времени потребуется вирусным каплям, чтобы добраться до вас в помещении, команда использовала математические уравнения, которые обычно используются в парфюмерной промышленности. Духи, которые разбрызгал на себя человек за соседним столиком или кабинкой, достигнут вашего носа благодаря турбулентности в воздухе. Таким же образом распространяются мелкие капельки, которые разбрасывает зараженный. 

Это показало нам, насколько бесполезно большинство правил социального дистанцирования, когда мы находимся в помещении.

Текст исследования

Ученые создали технологию быстрого изготовления одноразовых датчиков пота

Ученые из Калифорнийского университета в Беркли разработали дешёвые одноразовые датчики кожи, анализирующие состав и интенсивность пота. Об этом 16 августа сообщает Science Advances.

Анализ потоотделения может сказать об интенсивности обезвоживания при тренировке, а концентрация метаболитов и электролитный состав о состоянии здоровья. Динамика содержания глюкозы в жидкости пота говорит о концентрации глюкозы в крови, что имеет особое значение для лиц, страдающих диабетом. Датчики, разработанные калифорнийскими учёными, содержат спиральную микроскопическую трубку, которая отводит пот с кожи. Отслеживая скорость прохождения пота через микрофлюидную систему, датчики сообщают об интенсивности потоотделения. Химические сенсоры датчиков определяют концентрацию калия, натрия и глюкозы. Разработанные датчики могут отследить в динамике изменение состава и интенсивности пота.

Ранее проблемой являлось массовое производство дешёвых датчиков пота, которые можно было разместить в разных частях тела. Совместно с Центром технических исследований Финляндии была создана технология быстрого изготовления одноразовых датчиков-пластырей, которые анализируют состав пота пациента. Основа датчика, скрученная в рулон, обрабатывается способом похожим на трафаретную печать.

Новое устройство без электричества стерилизует медицинские инструменты

Автоклавы для стерилизации медицинских инструментов в больницах требуют постоянной подачи сжатого пара с температурой около 125°C. Во многих развивающихся странах, электроэнергия для этих целей недоступна. В MIT создали устройство, которое стерилизует медицинские инструменты без необходимости в электричестве.

Команда исследователей из Массачусетского технологического института и Индийского технологического института придумала способ пассивного генерирования необходимого пара, используя только энергию солнечного света, без потребности в топливе или электричестве. Устройство, для которого потребуется солнечный коллектор площадью около 2 м² для питания типичного автоклава небольшой клиники обеспечит доступ к безопасному, стерильному оборудованию по низкой цене в удаленных местах. Прототип успешно прошел испытания в Мумбаи, Индия.

Ключом к новой системе является использование оптически прозрачного аэрогеля. Материал представляет собой легкий пенопласт из кремнезема и состоит в основном из воздуха. Этот легкий материал обеспечивает эффективную изоляцию, сокращая потери тепла в десять раз.

Аэрогель приклеивается к верхней части оборудования для производства горячей воды для солнечной энергии. Оно состоит из медной пластины с теплопоглощающим черным покрытием. Когда солнце нагревает пластину, вода, текущая по трубам под ней, забирает это тепло. Но с добавлением прозрачного изоляционного слоя сверху и полированных алюминиевых зеркал на каждой стороне пластины, система генерирует высокотемпературный пар вместо просто горячей воды. В конце процесса пар под давлением подается в автоклав. 

На этом изображении показан прозрачный, похожий на облако термический аэрогель, изолирующий автоклав, работающий от солнечной энергии. Предоставлено: Линь Чжао

Большая часть развивающегося мира сталкивается с ограниченной доступностью надежной электроэнергии или доступного топлива, которое необходимо для автоклавирования или медицинской стерилизации. Новая разработка поможет решить эту проблему, уверены ученые.

Новый способ выявления бактерий позволяет изучать патогены в самом месте заражения

Международная команда исследователей разработала новый метод обнаружения бактерий и инфекций с помощью флуоресцентных наносенсоров. Это позволяет гораздо быстрее отслеживать патогены, чем с помощью известных методов.

Традиционные методы обнаружения бактерий требуют взятия и анализа образцов тканей. Ученые надеются избавиться от необходимости брать образцы, используя крошечные оптические датчики для визуализации патогенов непосредственно в месте заражения.

Датчики основаны на модифицированных углеродных нанотрубках диаметром менее одного нанометра. Если их облучают видимым светом, они излучают свет в ближнем инфракрасном диапазоне. Длина волны в таком случае составляет 1000 нанометров и более. Флуоресцентное свечение меняется, когда нанотрубки сталкиваются с определенными молекулами. Так как бактерии выделяют характерную смесь молекул, свет, излучаемый датчиками, указывает на присутствие определенных патогенов. 

В будущем это исследование составит основу для оптического обнаружения инфекций на интеллектуальных имплантатах, поскольку отбор проб больше не потребуется. Это позволит быстро обнаружить процесс заживления или возможную инфекцию, что приведет к лучшему уходу за пациентами, объясняют ученые. Например, возможна более быстрая диагностика сепсиса в посевах крови.

Микроскоп нового типа позволяет видеть мозг сквозь неповрежденный череп

Ученые изобрели микроскоп нового типа, который позволяет увидеть биологические ткани сквозь неповрежденный череп. В нем используется комбинация аппаратной и программной адаптивной оптики для восстановления изображения объекта.

Неинвазивные микроскопические методы, такие как оптическая когерентная и двухфотонная микроскопия, обычно используются для визуализации живых тканей in vivo. Когда свет проходит через биологические ткани, генерируются два типа света: баллистические и многократно рассеянные фотоны.

Баллистические фотоны проходят прямо через объект, без отклонения. Они используются для восстановления изображения объекта. В свою очередь, многократно рассеянные фотоны генерируются с помощью случайных отклонений при прохождении света через материал. В итоге они проявляются как зернистый шум на изображении. По мере того как свет распространяется все дальше, разница между рассеянными и баллистическими фотонами все возрастает, тем самым скрывая информацию об изображении.

У костных тканей множество сложных внутренних структур. Они вызывают сильное многократное рассеяние света и сложные оптические аберрации. Когда необходимо получить оптическое изображение мозга мыши через неповрежденный череп, тонкие структуры нервной системы трудно визуализировать. Мешает зернистый шум и другие искажения изображения. Это серьезное препятствие в нейробиологических исследованиях, где мыши часто используются в качестве модельного объекта. Из-за таких ограничений в методах визуализации череп мышей необходимо удалить или истончить, чтобы исследовать нейронные сети тканей мозга под ним.

Группа исследователей под руководством профессора Чои Воншика из Центра молекулярной спектроскопии и динамики Института фундаментальных наук (IBS) в Сеуле, Южная Корея, совершила крупный прорыв в оптической визуализации глубоких тканей. Они разработали новый оптический микроскоп, который может получать изображения через неповрежденный череп мыши. В итоге ученым доступна микроскопическая карта нейронных сетей в тканях мозга без потери пространственного разрешения.

Схема микроскопа с отражающей матрицей, разработанного исследователями Центра молекулярной спектроскопии и динамики IBS. Предоставлено: IBS

Новый микроскоп с отражающей матрицей и сочетает в себе возможности как аппаратного обеспечения, так и вычислительной адаптивной оптики (AO). Эта технология изначально разрабатывалась для наземной астрономии, чтобы корректировать оптических аберрации. Обычный конфокальный микроскоп измеряет сигнал отражения только в фокусной точке освещения и отбрасывает весь нефокусный свет.

Новый микроскоп с отражающей матрицей регистрирует все рассеянные фотоны в положениях, отличных от фокусной точки. Затем рассеянные фотоны корректируются с помощью вычислений с использованием нового алгоритма CLASS (замкнутое накопление однократного рассеяния. Этот алгоритм АО использует весь рассеянный свет для выборочного извлечения баллистического света и исправления оптических аберраций. 

У микроскопа с отражательной матрицей есть большое преимущество в том, что его можно напрямую комбинировать с обычным двухфотонным микроскопом, который уже широко используется в области наук о жизни. 

Наш микроскоп позволяет исследовать тонкие внутренние структуры глубоко в живых тканях. Это очень поможет в ранней диагностике заболеваний и ускорит исследования в области нейробиологии.

 Профессор-исследователь Юн Сокчан
0 комментариев
Архив