Форум проектов ISON и LFVN
Общий раздел => Общий раздел => Тема начата: Игорь от Сентябрь 22, 2011, 00:45:10
-
В рамках договора с ЦНИИмаш по АСПОС ОКП приступили к созданию хранилища ПЗС-кадров со всех наших обсерваторий.
Компьютеры и диски для этого уже закуплены.
-
Интересно. Продолжения темы нет. В любом случае - здесь.
Напросился вопрос - а как сейчас обстоят дела с БДП?
-
Собирают помаленьку. Оказалось, что частично закупили не те компоненты. Пришлось дозакупать, а у нас с закупками очень непросто, даже если есть деньги. Закупали-то с электронными торгами. Потом долго ждали, что нам поможет собрать Проект-Техника, через которую проводилась закупка. В итоге, привлекли любителя астрономии, разбирающегося в электронике, который потихоньку возится.
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?
-
Думаю, тему можно развить. Коли это так актуально в скорем. Хотя и достал ее из недр форума.
Хотелось также поинтересоваться: каким образом будет наполнятся БДП? Автоматически или вручную. И как будет происходить администрирование банка данных. В частности решаться вопрос времени жизни тех или иных данных/результатов.
-
Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.
Идея в том, чтобы хранить данные пожизненно - чтобы переобрабатывать их время от времени на суперкомпьютере со все более улучшающимися алгоритмами. Обещают, что первая программа обработки на суперкомпьютере появится к осени. И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.
Необходимого количества сотрудников у нас пока нет. Но есть распоряжение Президиума РАН о необходимости целевого увеличения штата нашей организации. Готовим ответное письмо с обоснованием расширения. Но не быстро, поскольку кому-то захотелось расширить штат и других организаций, за счет этого же распоряжения.
-
Кроме того, на совете по космосу возникло предложение интегрировать это хранилище в создаваемую единую базу научных данных Российской академии наук, как вклад Института прикладной математики. Но данный вопрос пока не прорабатывался даже в нулевом приближении.
Наполняться будет путем обмена дисков с обсерваториями. Т.е. явно не автоматически.
По большей части. Но на единичных пунктах (например, в Лесосибирске) будет возможность оперативно перегонять весь массив FITS'ов, отснятых за ночь. Мир не стоит на месте, связь развивается - впрочем, Виталий, как специалист по коммуникациям, знает об этом куда лучше.
Обещают, что первая программа обработки на суперкомпьютере появится к осени.
Первая программа уже есть, в прошлом году Михаил с коллегой запускали задачу обработки первичных изображений (APEX II), пока без распараллеливания. Сейчас для К-100 рассматриваются три задачи:
- построение начальной базы данных по высокоэллиптическим КО;
- обнаружение новых объектов по коротким проводкам;
- дообработка первичных кадров (то, что сейчас наблюдатели делают вручную, просиживая много часов перед экраном).
И чтобы иметь возможность вытаскивать из кадров другие научные данные помимо спутников и астероидов.
Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?
-
И как будет происходить администрирование банка данных.
Вопрос к Виктору (http://lfvn.astronomer.ru/forum/index.php?action=profile;u=1531), он там пингвинов гоняет :).
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моему, даже еще не все раздали.
Полная коробка трёхтеррабайтников. Давай потратим полчаса и продумаем логистику - кому, куда и как обратно.
Викторы, как, там, дело движется? Есть успехи, нерешаемые проблемы?
На данный момент проблема: куда т. Л. задевал пакет с деталями? Одни шлейфы уже нашли, у Смольянова, в коробках на выброс :( (по 250 баксов за штуку, так, на секундочку). А у LazyBSD вроде как всё работает, но ему нужен т. В.А. Будет во вторник, после совещания у директора в 11.
-
Вроде бы в ГАИШе вам кто-то говорил, что астрофизического байпродукта (на снимках МАСТЕР'а - наших они, понятно, не видели) на кадрах, снятых широкопольными поисковыми системами в интегральном свете, почти нет?
Не помню, м.б. я отвлекся на телефонный звонок. Как раз у МАСТЕРа с бай продуктов должно быть лучше, поскольку они наблюдают с часовым ведением. Мы говорили о том, что нельзя одновременно в оджном обзоре решать всезадачи сразу - и спутники, и астероиды, и гамма-всплески. Каждое направление требует своего режима направлений.
Первое, что приходит на ум, - метеоры. Они нам попадаются регулярно и представляют интерес для метеорщиков. Но надо научиться автоматически отбирать кадры с такми объектами.
Второе - звезды. Мы ж регулярно мониторим одни и те же области. Всякие переменки должны пачками попадаться. Но для этого надо научиться сворачивать треки. Володя К. говорил, что это легко.
Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.
-
Кстати, надо спросить Лёню, а куда он свои астероидные кадры из Нью-Мексико девает. Раньше думали, что он их будет в Москву перекачивать. Но, кажется не качает.
В принципе прогу для этого мы почти сделали. Летом точно закончим. Будет автомат который будет ftp-качать и вести sql-базу фитов. Cейчас многое уже в стадии отладки.
-
Да, сворачивать в точки можно, хотя это немного добавляет шума.
Ну и потихоньку в Апексе делается переход со старой модели распараллеливания на платформу OpenCL, что позволит ускорять обработку и на многопроцессорных системах (как раньше, но с меньшими накладными расходами), и на графических процессорах - в которых как раз основная сила ИПМ-овского кластера.
-
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.
-
Опять же, частично закупили сменные жесткие диски для обсерваторий - ведь данные для банка надо собирать. Но, по-моемрому, даже еще не все раздали.
А вариант "положить через интернет" не рассматривался? Я понимаю, что объёмы приличные, но если малыми сериями (суточными), то они вполне подъёмные и более оперативные.
А куда положить? Где мы найдем столько террабайтов? И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.
-
А куда положить? Где мы найдем столько террабайтов? И, вся соль именно в том, чтобы хранить не суточную дозу данных, а именно весь огромный массив получаемых ПЗС-кадров.
Так я и говорю про общий архив, который ежесуточно пополняется этими суточными дозами. Куда положить - тут я деталей мало могу сказать. Насколько я понимаю вы творите такой большой массив из дисков для хранения FITS'ов (RAID-10 c ZFS на FreeBSD?) - так вот процесс складывания FITS'ов с НП на этот массив задача вполне автоматизируемая (на уровне FTP/HTTP протоколов).
-
Пока задача другая - оживить этот массив :)
-
Половина массива жива и здравствует:
Ура! Вот оно счастье ;D
-
Виктор доделал аппаратную часть комплекса (хранилище). В понедельник обсудит с А.Л. вопрос перекачки пакетов с XML, логично там же конвертировать с СИСТ прогой Саши Лапшина, как временное решение. Организация перекачки первичных кадров из Кисловодска - после подключения станции к ЛЭП.
Денис, пора прорабатывать вопрос передачи кадров с других обсерваторий сети, у кого есть возможности по каналу (Лесосибирск? Уссурийск? ...?)
-
197T
Эх, красота ;D
-
Надо, значит купим.
-
Считаю целесообразным использовать для этого в том числе ГЕНОНы и создать межтелескопную обработку.
Мы ПО для это все сделаем сами. Уже все продумали и уверены, что справимся.
Очень надеюсь, что нам позволят организовать маленький центр такой обработки (физически - это просто набор серверов, пусть пока один комп, которые находятся на чьей-то территории, например, ИПМ)
-
Вчера наконец в архив кадров начали заливаться данные - передали с оказией диск из Косала в Мексике, с наблюдениями ОРИ-25.