Автор Тема: Банк данных проекта ПулКОН  (Прочитано 13407 раз)

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Банк данных проекта ПулКОН
« : Сентябрь 22, 2011, 00:45:10 »
В рамках договора с ЦНИИмаш по АСПОС ОКП приступили к созданию хранилища ПЗС-кадров со всех наших обсерваторий.

Компьютеры и диски для этого уже закуплены.

Vitaliy Tkachov

  • Гость
Re: Банк данных проекта ПулКОН
« Ответ #1 : Июль 01, 2012, 00:59:23 »
Интересно. Продолжения темы нет. В любом случае - здесь.
Напросился  вопрос - а как сейчас обстоят дела с БДП?

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #2 : Июль 01, 2012, 01:08:29 »
Собирают помаленьку. Оказалось, что частично закупили не те компоненты. Пришлось дозакупать, а у нас с закупками очень непросто, даже если есть деньги. Закупали-то с электронными торгами. Потом долго ждали, что нам поможет собрать Проект-Техника, через которую проводилась закупка. В итоге, привлекли любителя астрономии, разбирающегося в электронике, который потихоньку возится.  

Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.

Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?


Vitaliy Tkachov

  • Гость
Re: Банк данных проекта ПулКОН
« Ответ #3 : Июль 01, 2012, 01:19:37 »
Думаю, тему можно развить. Коли это так актуально в скорем. Хотя и достал ее из недр форума.
Хотелось также поинтересоваться: каким образом будет наполнятся БДП? Автоматически или вручную. И как будет происходить администрирование банка данных. В частности решаться вопрос времени жизни тех или иных данных/результатов.

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #4 : Июль 01, 2012, 01:41:34 »
Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.

Идея в том, чтобы хранить данные пожизненно - чтобы переобрабатывать их время от времени на суперкомпьютере со все более улучшающимися алгоритмами. Обещают, что первая программа обработки на суперкомпьютере появится к осени. И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.

Необходимого количества сотрудников у нас пока нет. Но есть распоряжение Президиума РАН о необходимости целевого увеличения штата нашей организации. Готовим ответное письмо с обоснованием расширения. Но не быстро, поскольку кому-то захотелось расширить штат и других организаций, за счет этого же распоряжения.

krypton

  • Гость
Re: Банк данных проекта ПулКОН
« Ответ #5 : Июль 01, 2012, 08:19:03 »
 Кроме того, на совете по космосу возникло предложение интегрировать это хранилище в создаваемую единую базу научных данных Российской академии наук, как вклад Института прикладной математики. Но данный вопрос пока не прорабатывался даже в нулевом приближении.


Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.

 По большей части. Но на единичных пунктах (например, в Лесосибирске) будет возможность оперативно перегонять весь массив FITS'ов, отснятых за ночь. Мир не стоит на месте, связь развивается - впрочем, Виталий, как специалист по коммуникациям, знает об этом куда лучше.


Обещают, что первая программа обработки на суперкомпьютере появится к осени.

 Первая программа уже есть, в прошлом году Михаил с коллегой запускали задачу обработки первичных изображений (APEX II), пока без распараллеливания. Сейчас для К-100 рассматриваются три задачи:

- построение начальной базы данных по высокоэллиптическим КО;
- обнаружение новых объектов по коротким проводкам;
- дообработка первичных кадров (то, что сейчас наблюдатели делают вручную, просиживая много часов перед экраном).


И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.

 Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?

krypton

  • Гость
Re: Банк данных проекта ПулКОН
« Ответ #6 : Июль 01, 2012, 08:51:14 »
И как будет происходить администрирование банка данных.

 Вопрос к Виктору, он там пингвинов гоняет :).


Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моему, даже еще не все раздали.

 Полная коробка трёхтеррабайтников. Давай потратим полчаса и продумаем логистику - кому, куда и как обратно.


Цитировать
Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?

 На данный момент проблема: куда т. Л. задевал пакет с деталями? Одни шлейфы уже нашли, у Смольянова, в коробках на выброс  :( (по 250 баксов за штуку, так, на секундочку). А у LazyBSD вроде как всё работает, но ему нужен т. В.А. Будет во вторник, после совещания у директора в 11.

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #7 : Июль 01, 2012, 11:26:26 »
Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?
Не помню, м.б. я отвлекся на телефонный звонок. Как раз у МАСТЕРа с бай продуктов должно быть лучше, поскольку они наблюдают с часовым ведением. Мы говорили о том, что нельзя одновременно в оджном обзоре решать всезадачи сразу - и спутники, и астероиды, и гамма-всплески. Каждое направление требует своего режима направлений.

Первое, что приходит на ум, - метеоры. Они нам попадаются регулярно и представляют интерес для метеорщиков. Но надо научиться автоматически отбирать кадры с такми объектами.

Второе - звезды. Мы ж регулярно мониторим одни и те же области. Всякие переменки должны пачками попадаться. Но для этого надо научиться сворачивать треки. Володя К. говорил, что это легко.

Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.  

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Банк данных проекта ПулКОН
« Ответ #8 : Июль 01, 2012, 11:53:31 »
Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.  
В принципе прогу для этого мы почти сделали. Летом точно закончим. Будет автомат который будет ftp-качать и вести sql-базу фитов. Cейчас многое уже в стадии отладки.
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

VK

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 614
Re: Банк данных проекта ПулКОН
« Ответ #9 : Июль 01, 2012, 16:50:45 »
Да, сворачивать в точки можно, хотя это немного добавляет шума.

Ну и потихоньку в Апексе делается переход со старой модели распараллеливания на платформу OpenCL, что позволит ускорять обработку и на многопроцессорных системах (как раньше, но с меньшими накладными расходами), и на графических процессорах - в которых как раз основная сила ИПМ-овского кластера.

Александр Вольф

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 209
Re: Банк данных проекта ПулКОН
« Ответ #10 : Июль 05, 2012, 20:35:26 »
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #11 : Июль 05, 2012, 20:36:57 »
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.
А куда положить? Где мы найдем столько террабайтов?  И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.

Александр Вольф

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 209
Re: Банк данных проекта ПулКОН
« Ответ #12 : Июль 05, 2012, 20:42:28 »
А куда положить? Где мы найдем столько террабайтов?  И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.
Так я и говорю про общий архив, который ежесуточно пополняется этими суточными дозами. Куда положить - тут я деталей мало могу сказать. Насколько я понимаю вы творите такой большой массив из дисков для хранения FITS'ов (RAID-10 c ZFS на FreeBSD?) - так вот процесс складывания FITS'ов с НП на этот массив задача вполне автоматизируемая (на уровне FTP/HTTP протоколов).

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #13 : Июль 05, 2012, 21:01:50 »
Пока задача другая - оживить этот массив  :)

Игорь

  • Администратор
  • Старожил
  • *
  • Сообщений: 56951
Re: Банк данных проекта ПулКОН
« Ответ #14 : Июль 06, 2012, 20:29:25 »
Половина массива жива и здравствует:
Ура! Вот оно счастье  ;D