Автор Тема: Программа CLT для обработки обзоров  (Прочитано 149202 раз)

LeonidOS

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 4296
    • SpaceObs
Re: Программа CLT для обработки обзоров
« Ответ #165 : Ноябрь 12, 2012, 13:57:17 »
Цитировать
Леня!
Такой цели  не было.
Цель была простая = облегчить текущее ведение таблицы ТОР-20.
Если надо = то насколько глубоко надо?
Зачем? (я не выведываю тайны = просто спрашиваю = это надо для некоторой деятельности?)
Если на пару лет = не вопрос.
Потом - и форматы менялись.
Конечно можно сделать и нечто более грандиозное.
Какие цели? То есть, что еще брать и с каких таблиц. Было бы интересно брать что-то оперативное.
С другой стороны.  Ты же знаешь ограниченность нашего ресурса.
Как по мне = лучше усилить CLT.
Что думаешь?

Конечно лучше CLT, просто я понял что есть некий скрипт, который парсит циркуляры (может даже сам выкачивает pdf) и выдает результат и в принципе, ему все равно. Если это не так, то конечно есть дела более насущные.
ISON-NM Observatory (H15)
ISON-SSO Observatory (Q60)

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #166 : Ноябрь 12, 2012, 18:52:43 »
Конечно лучше CLT, просто я понял что есть некий скрипт, который парсит циркуляры (может даже сам выкачивает pdf) и выдает результат и в принципе, ему все равно. Если это не так, то конечно есть дела более насущные.
Попробуем.
Как глубоко по годам и когда надо?
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

LeonidOS

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 4296
    • SpaceObs
Re: Программа CLT для обработки обзоров
« Ответ #167 : Ноябрь 12, 2012, 21:18:58 »
Ну с 2010 или 2009.
ISON-NM Observatory (H15)
ISON-SSO Observatory (Q60)

Сталкер

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 868
  • Рулим Вселенной, не привлекая внимания санитаров
Re: Программа CLT для обработки обзоров
« Ответ #168 : Январь 17, 2013, 01:24:56 »
Ситуация со скачиванием кадров на ноут с CLT не меняется. Очень тормозит процесс работы.

brainbug

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 580
Re: Программа CLT для обработки обзоров
« Ответ #169 : Январь 17, 2013, 03:17:59 »
По этой причине удалённая работа стала полуудалённой...  :(
Спасибо Вадиму за поддержку рабочего процесса!
+7 929 818 52 05
C20, C40, C80, D00, L96...

Сталкер

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 868
  • Рулим Вселенной, не привлекая внимания санитаров
Re: Программа CLT для обработки обзоров
« Ответ #170 : Январь 22, 2013, 04:34:04 »
По-прежнему виснет ноут с CLT. Нажал на "просмотр кадров", не отвечает уже минут 20.

Сталкер

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 868
  • Рулим Вселенной, не привлекая внимания санитаров
Re: Программа CLT для обработки обзоров
« Ответ #171 : Январь 22, 2013, 06:01:45 »
По-прежнему виснет ноут с CLT. Нажал на "просмотр кадров", не отвечает уже минут 20.
После этого не отвечал ещё 40 минут. Потом выдал всё-таки кадры. Теперь на скачивание каждого кадра уходит 5-10 минут.

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #172 : Январь 22, 2013, 11:50:20 »
Вадим!
1.
Рад Вашей заинтересованности программой.
Очень прошу Вас писать нам непосредственно на почту или звонить/СМСить..
У нас нет такой обязанности/возможности просматривать форум постоянно.
Если Вы пишете на оба адреса = мне и Саше Брюховецкому - кто-то из нас обычно контролирует ситуацию и мы попробуем
-помочь немедленно
-понять ситуацию, чтобы программу сделать лучше в будущем.
Как я понимаю речь идет не собственно о программе -обработчике, а о вьювере.

2.
Сообщаю, Вам следующее.
2.1  Я слышу о таких проблемах только второй раз. Очень прошу сообщать нам онлайн всякие неудобства и сбои. Мы их будем устранять. От этого
большая польза нам, программе и, в итоге, и Вам - ее пользователям.
2.2 Мы дорабатываем программу и равнялка будет работать быстрее и есть меньше памяти, что улучшит это и то в многопроцессном режиме
обработки. Это будет в первой декаде февраля.
2.3 Мы делаем новый вьювер, он будет менее требовательным к ресурсам. Астероидная часть уже месяц как сделана полностью. В целом попробуем
новый вьювер поставить Вам в феврале.
2.4 Предлагаю Вам поставить сайт кропов. Пусть на любой соседний комп. Тогда Вы не будете тискать комп обработки для просмотра результатов
этой самой обработки во время обработки и тормозить и то и другое. Мы это сможем сделать с зимней версией (Это будет в первой декаде
февраля.). Можем поставить сайт и на Горе и где скажете - на любом сервере, можем поставить на своем. Тогда это (сайт на сервере вне горы) будет удобней и удаленно просматривать результат, со временем (весной 2013) - это сможет делать сразу несколько человек. Этот сайт мы в фоновом режиме сделали к 1 ноября и потихоньку дорабатываем (спасибо Леониду Еленину за помощь в тестировании). Виталию Невскому я его уже предлагал несколько раз. Если Вы не захотите пользоваться предлагаемыми средствами - будет немного досадно и непонятно.
2.5 Очень прошу не смотря ни на что не запускать 2 вьювера одновременно при работе обработчика...
2.6 Если Вы активно пользуетесь вьювером, и загружено максимально допустимое (по числу ядер) количество клонов и все они заняты, а не просто ждут = то не мудрено ... тогда уж попробуйте хотя бы запускать на 1 клон меньше. НО! Наверное лучше сайт кропов.
2.7 Очень надеюсь, что к новой зиме мы резко (в 3-4 раза не менее) сократим время счета программы и наладим взаимодействие с программой и просмотр ее результатов через сайт кропов. К сожалению, наш ресурс ограничен и быстрее - никак.
2.8 Как видим, уже все на сегодня отработало и вьювер работает на данный момент... все ли нормально?
2.9 Приношу свои извинения за причиненные неудобства. Очень жду Ваших ответов. НОВЫХ УСПЕХОВ!
С уважением,
Вадим Саваневич
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

Виктор Воропаев

  • Гость
Re: Программа CLT для обработки обзоров
« Ответ #173 : Январь 22, 2013, 12:02:55 »
to LazyBSD

2.4. - на сервере в нашей стойке?

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #174 : Январь 22, 2013, 12:06:59 »
to LazyBSD
2.4. - на сервере в нашей стойке?
Сайт кропов можно поставить и в ИПМ и на горе "на сервере в Вашей стойке". Отдельный комп точно не нужен. Уже переговоры вели. Можно где угодно. По ресурсам - он ест совсем немного. Наблюдатели поиграются недельку-другую и привыкнут. Заодно и CLT-комп, когда он работает на обработку кадров, разгрузят от вьювера/вьюверов.
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #175 : Январь 22, 2013, 14:05:48 »
Сайт кропов сейчас можно поставить только на горе.
Понял.  На горе поставим, вместе с новой версией программы в начале февраля.
Можно будет через мобильные девайсы просматривать результаты счета программы.
Синхронизацию работ нескольких людей через сайт возьмет на себя сайт.
Если одновременно использовать и сайт и вьювер = то надо будет между собой договариваться кто какие зоны просматривает.
Этот недочет к 1 мая (весенняя версия) уберем.

 
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

Сталкер

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 868
  • Рулим Вселенной, не привлекая внимания санитаров
Re: Программа CLT для обработки обзоров
« Ответ #176 : Январь 22, 2013, 15:34:35 »
Вадим, большое спасибо за помощь в рабочем процессе и за полезную инфу по CLT!

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #177 : Февраль 04, 2013, 00:02:05 »
Вышла очередная версия программы CoLiTec 2013-зима
1. Для визуализации астрономических изображений (формат FITS) и результатов их обработки программным комплексом CLT было разработано ПО "LookSky" (в качестве замены "ViewCLT").
Среди преимуществ новой программы следует отметить:
- повышение качества отображения файлов FITS;
- гибкая система корректировки изображения (в частности добавлены функции масштабирования и поворота);
- дополнительный инструментарий по управлению отображением объектов и сохранению полного отчета для проработанной серии кадров;
- дополнительный сервис навигации по кадру;
- функция создания анимационного файла (формат GIF) выбранного региона для серии кадров.
Значительный упор был сделан на экономное использование ресурсов ПК пользователя - программа позволяет загружать для просмотра серии "больших" (размером по 700 Мб и более) кадров.
Проделана большая робота в контексте пользовательского интерфейса - "LookSky" отличает аккуратный дизайн и достаточно высокий уровень usability.
2. Разработан модуль лайт-версии программы Track&Stack (созданный функционал): фильтрация кадров, астро-фоторедукции кадров, центрирование, сложение кадров с заданным астрономическим смещением. Модуль предназначен для использования в полуавтоматизированном режиме и более всего напоминает соответствующий АРМ наблюдателя.
3. Расширен функционал программы-фильтра FHF v.5.0 – разработана дополнительная процедура выравнивания фона кадра медианным фильтром. С ее помощью время выравнивания кадра сократилось не менее чем в три раза, также в ряде условий улучшить качество выравнивания фона на краях кадра.  
4. Разработана программа быстрого фитинга. Выигрыш по времени счета не менее чем в 5-7 раз получен за счет оптимизации кода без потерь точности.
Внедрение новых процедур выравнивания кадров и фитинга позволило сократить время внутрикадровой обработки едва ли не в 4 раза, а общее время счета программы сократилось не мее чем на 15%.
5. Обеспечена возможность использования в программе UCAC4 как астрометрического каталога.
6. Обеспечена возможность использования в программе каталогов UCAC4, USNOB, SDSS8, NOMAD1 с их онлайн подкачкой с Интернет-ресурсов (без необходимости их размещения на CLT-компе).
7. Доработаны модули сайта кропов и модули OLDAS-CLT взаимодействия с ним.

Дальнейшие направления усовершенствования программы:
1. Отработка программных средств публикации кадров обсерватории и использования опубликованных кадров других обсерваторий в рамках документов IVOA.
2.  Доработки и ввод в опытную эксплуатацию (для выявления оптических транзиентов) БД отметок.
3. Разработка прототипа модуля работы с быстряками (объекты, изображение которых на кадре смазано их собственным движением).
4. Повышением точности фитинга за счет более корректного фитинга близких объектов.
5. Разработка второй версии программы обработки кадров при выявлении и оценке параметров оптического послесвечения GRB.
5. Доработки онлайн-сервиса обработки кадров СLT-CЕРВИС.    
6. Создание сервиса адаптивной фоновой перекачки кадров с обсерватории на сервер.
7. Дальнейшие доработка и тестирование сайта кропов.
8. Продолжение разработки облегченной версии программы.

neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)

brainbug

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 580
Re: Программа CLT для обработки обзоров
« Ответ #178 : Февраль 04, 2013, 00:16:28 »
Вышла очередная версия программы CoLiTec 2013-зима
:o Класс!!!
Особо порадовало:
Выигрыш по времени счета не менее чем в 5-7 раз получен за счет оптимизации кода без потерь точности.
+7 929 818 52 05
C20, C40, C80, D00, L96...

Вадим Саваневич

  • Участник проекта
  • Старожил
  • *
  • Сообщений: 426
Re: Программа CLT для обработки обзоров
« Ответ #179 : Февраль 04, 2013, 01:44:44 »
Вышла очередная версия программы CoLiTec 2013-зима
:o Класс!!!
Особо порадовало:
Выигрыш по времени счета не менее чем в 5-7 раз получен за счет оптимизации кода без потерь точности.
К сожалению, это только фитинг. По внутрикадровой обработке у Вас считало примерно 4 минуты, будет секунд 70. При этом общий выигрыш составит около 15%, может чуть больше. Все равно вместо 18 часов будет 15. Вместо окончания работы программы в 14.30 будет 11.00.  Это уже кое-что. Постараемся еще 10% выкроить к 1 мая. А кардинально = постараемся к следующей зиме этот вопрос решить в разы.
Сейчас прога тестится на Н15, к концу недели = уже будет работать у Вас, надеюсь.
Придется немного помучиться с новым вьювером. Он чуток другой. Зато он по возможностям лучше.
Новых горизонтов.
neoastrasoft.org  --- разработка астрософта автоматизированного обнаружения астероидов и комет CLT (CoLiTec)