Форум проектов ISON и LFVN
21 Июль 2018, 20:36:41 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости:
 
  Сайт   Начало   Помощь Поиск Закладки Календарь Войти Регистрация Чат  
Страниц: [1] 2   Вниз
  Добавить закладку  |  Печать  
Автор Тема: Банк данных проекта ПулКОН  (Прочитано 6152 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« : 21 Сентябрь 2011, 23:45:10 »

В рамках договора с ЦНИИмаш по АСПОС ОКП приступили к созданию хранилища ПЗС-кадров со всех наших обсерваторий.

Компьютеры и диски для этого уже закуплены.


* image004.jpg (51.25 Кб, 729x972 - просмотрено 386 раз.)

* image002.jpg (62.08 Кб, 729x972 - просмотрено 401 раз.)
Записан
Vitaliy Tkachov
Гость
« Ответ #1 : 30 Июнь 2012, 23:59:23 »

Интересно. Продолжения темы нет. В любом случае - здесь.
Напросился  вопрос - а как сейчас обстоят дела с БДП?
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #2 : 01 Июль 2012, 00:08:29 »

Собирают помаленьку. Оказалось, что частично закупили не те компоненты. Пришлось дозакупать, а у нас с закупками очень непросто, даже если есть деньги. Закупали-то с электронными торгами. Потом долго ждали, что нам поможет собрать Проект-Техника, через которую проводилась закупка. В итоге, привлекли любителя астрономии, разбирающегося в электронике, который потихоньку возится.  

Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.

Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?

Записан
Vitaliy Tkachov
Гость
« Ответ #3 : 01 Июль 2012, 00:19:37 »

Думаю, тему можно развить. Коли это так актуально в скорем. Хотя и достал ее из недр форума.
Хотелось также поинтересоваться: каким образом будет наполнятся БДП? Автоматически или вручную. И как будет происходить администрирование банка данных. В частности решаться вопрос времени жизни тех или иных данных/результатов.
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #4 : 01 Июль 2012, 00:41:34 »

Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.

Идея в том, чтобы хранить данные пожизненно - чтобы переобрабатывать их время от времени на суперкомпьютере со все более улучшающимися алгоритмами. Обещают, что первая программа обработки на суперкомпьютере появится к осени. И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.

Необходимого количества сотрудников у нас пока нет. Но есть распоряжение Президиума РАН о необходимости целевого увеличения штата нашей организации. Готовим ответное письмо с обоснованием расширения. Но не быстро, поскольку кому-то захотелось расширить штат и других организаций, за счет этого же распоряжения.
Записан
Виктор Воропаев
Координатор проекта
Старожил
*
Offline Offline

Сообщений: 13862


+7 985 123 5097


« Ответ #5 : 01 Июль 2012, 07:19:03 »

 Кроме того, на совете по космосу возникло предложение интегрировать это хранилище в создаваемую единую базу научных данных Российской академии наук, как вклад Института прикладной математики. Но данный вопрос пока не прорабатывался даже в нулевом приближении.


Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.

 По большей части. Но на единичных пунктах (например, в Лесосибирске) будет возможность оперативно перегонять весь массив FITS'ов, отснятых за ночь. Мир не стоит на месте, связь развивается - впрочем, Виталий, как специалист по коммуникациям, знает об этом куда лучше.


Обещают, что первая программа обработки на суперкомпьютере появится к осени.

 Первая программа уже есть, в прошлом году Михаил с коллегой запускали задачу обработки первичных изображений (APEX II), пока без распараллеливания. Сейчас для К-100 рассматриваются три задачи:

- построение начальной базы данных по высокоэллиптическим КО;
- обнаружение новых объектов по коротким проводкам;
- дообработка первичных кадров (то, что сейчас наблюдатели делают вручную, просиживая много часов перед экраном).


И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.

 Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?
Записан
Виктор Воропаев
Координатор проекта
Старожил
*
Offline Offline

Сообщений: 13862


+7 985 123 5097


« Ответ #6 : 01 Июль 2012, 07:51:14 »

И как будет происходить администрирование банка данных.

 Вопрос к Виктору, он там пингвинов гоняет Улыбка.


Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моему, даже еще не все раздали.

 Полная коробка трёхтеррабайтников. Давай потратим полчаса и продумаем логистику - кому, куда и как обратно.


Цитировать
Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?

 На данный момент проблема: куда т. Л. задевал пакет с деталями? Одни шлейфы уже нашли, у Смольянова, в коробках на выброс  Грустный (по 250 баксов за штуку, так, на секундочку). А у LazyBSD вроде как всё работает, но ему нужен т. В.А. Будет во вторник, после совещания у директора в 11.
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #7 : 01 Июль 2012, 10:26:26 »

Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?
Не помню, м.б. я отвлекся на телефонный звонок. Как раз у МАСТЕРа с бай продуктов должно быть лучше, поскольку они наблюдают с часовым ведением. Мы говорили о том, что нельзя одновременно в оджном обзоре решать всезадачи сразу - и спутники, и астероиды, и гамма-всплески. Каждое направление требует своего режима направлений.

Первое, что приходит на ум, - метеоры. Они нам попадаются регулярно и представляют интерес для метеорщиков. Но надо научиться автоматически отбирать кадры с такми объектами.

Второе - звезды. Мы ж регулярно мониторим одни и те же области. Всякие переменки должны пачками попадаться. Но для этого надо научиться сворачивать треки. Володя К. говорил, что это легко.

Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.  
Записан
Вадим Саваневич
Участник проекта
Старожил
*
Offline Offline

Сообщений: 426



« Ответ #8 : 01 Июль 2012, 10:53:31 »

Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.  
В принципе прогу для этого мы почти сделали. Летом точно закончим. Будет автомат который будет ftp-качать и вести sql-базу фитов. Cейчас многое уже в стадии отладки.
Записан

neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)
VK
Участник проекта
Старожил
*
Offline Offline

Сообщений: 587


« Ответ #9 : 01 Июль 2012, 15:50:45 »

Да, сворачивать в точки можно, хотя это немного добавляет шума.

Ну и потихоньку в Апексе делается переход со старой модели распараллеливания на платформу OpenCL, что позволит ускорять обработку и на многопроцессорных системах (как раньше, но с меньшими накладными расходами), и на графических процессорах - в которых как раз основная сила ИПМ-овского кластера.
Записан
Александр Вольф
Участник проекта
Старожил
*
Offline Offline

Сообщений: 190


« Ответ #10 : 05 Июль 2012, 19:35:26 »

Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #11 : 05 Июль 2012, 19:36:57 »

Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.
А куда положить? Где мы найдем столько террабайтов?  И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.
Записан
Александр Вольф
Участник проекта
Старожил
*
Offline Offline

Сообщений: 190


« Ответ #12 : 05 Июль 2012, 19:42:28 »

А куда положить? Где мы найдем столько террабайтов?  И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.
Так я и говорю про общий архив, который ежесуточно пополняется этими суточными дозами. Куда положить - тут я деталей мало могу сказать. Насколько я понимаю вы творите такой большой массив из дисков для хранения FITS'ов (RAID-10 c ZFS на FreeBSD?) - так вот процесс складывания FITS'ов с НП на этот массив задача вполне автоматизируемая (на уровне FTP/HTTP протоколов).
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #13 : 05 Июль 2012, 20:01:50 »

Пока задача другая - оживить этот массив  Улыбка
Записан
Игорь
Администратор
Старожил
*
Offline Offline

Сообщений: 43354



« Ответ #14 : 06 Июль 2012, 19:29:25 »

Половина массива жива и здравствует:
Ура! Вот оно счастье  Смеющийся
Записан
Страниц: [1] 2   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006, Simple Machines Valid XHTML 1.0! Valid CSS!