Фотографии - изничтожение дублей

альфа-версия программки
Теги:флот
 
+
-
edit
 

ko4evnik

опытный

альфа-версия программки для изничтожения дублей фотографий и изображений.

чтоб установить - скачать, распаковать архив и запустить setup.

при установке могут затребоваться некоторые новые виндовские компоненты - Windows Installer 3.1 и MS .Net Framework 3.5 - они автоматически скачаются с микрософтовского сайта. каждый из них мегов по 20-25 - может потребваться некторое время.перезагрузка после установки не требуется (под XP по крайней мере)

иконки в виндовское меню - добавляются в ветку \ko4evnik\.

мелкая неприятность - программка ставится в папку типа
"C:\Documents and Settings\имя-юзера\Local Settings\Apps\2.0\RAV4YX4Z.43O\VV9610TG.TZ2\gaze..tion_cde0d47b55\"

ничего с этим пока поделать не могу - не выставляется опция в среде разработки, хоть ты тресни...

P.S. кидаю сюда по следующим сображениям:
а) алгоритм дрессируется на флотских фотографиях и для работы с оными;
б) именно в этом подфоруме имеются люди, которые могут сформулировать чего им от такой программы надо, и просто - квалифицированно метнуть табуретку;


UPDATE 2009-07-09:
НОВАЯ ВЕРСИЯ - "gazegear-1.0.0.21-(2009-07-09).rar" :

из инсталлятора исключена автоматическая установка фрэймворка. если на машине его нет - ставить надо отдельно - скачав по ссылкам:

ссылка на .Net Framevork 3.5:

.Пакет обновления 1 (SP1) NET Framework 3.5 (полный пакет)

Пакет обновления 1 (SP1) Microsoft .NET Framework 3.5 является накопительным обновлением, которое содержит много новых функций, в основу которых положены платформы .NET Framework 2.0, 3.0 и 3.5, и включает накопительные обновления пакета обновлений 2 (SP2) .NET Framework 2.0 и пакета обновлений 2 (SP2) .NET Framework 3.0. // www.microsoft.com
 

ссылка на Windows Installer 3.1:

Windows Installer 3.1 Redistributable

Инструкции для этого файла загрузки скоро будут доступны на русском языке. Чтобы предоставить вам эти сведения как можно быстрее, предлагаются инструкции на английском языке. // www.microsoft.com
 

UPDATE 2009-07-16:
новая версия здесь -

Фотографии - изничтожение дублей

альфа-версия программки // www.balancer.ru
 

инсталлится так же как предыдущая.
Прикреплённые файлы:
gazegear-1.0.0.21-(2009-07-09) .rar (скачать) [317,69 кбайт, 68 загрузок] [attach=162092]
 
gazegear-1.0.0.22-(2009-07-16) .rar (скачать) [320,92 кбайт, 52 загрузки] [attach=163388]
 
 
 
Это сообщение редактировалось 16.07.2009 в 20:39
RU ko4evnik #30.06.2009 23:48  @ko4evnik#30.06.2009 23:30
+
-
edit
 

ko4evnik

опытный

чего с ней делать:
два пути:
А) в окошке "выбор каталогов" добавить интересующий каталог(-и) и нажать "искать файлов"

если в "параметрах" сравнения оставить только "Циклический Контрольный Код" - найдутся только "полностью идентичные файлы"
(скорость - ориентировочно - 1 гиг в минуту)

если есть желание извлечь данные по размеру и палитре изображений и искать "примерно-похожие" (обрезанные/масштабированные/с мелкими надписями) то нужно выставлять все галки - но скорость анализа сильно упадет.

для примера - на моей машине:
1.5 гига "Китайского флота" (5640 изображений) - 63 минуты;
2 гига "Северного флота" от Apple 16 (1500 изображений) - 33 минуты;
300 мег "Американец в Средиземке" (500 файлов) - 7 минут

после завершения анализа - появится списки файлов и катологов - по которым можно лазить и смотреть картинки
+ автоматически произведется группировка по CRC - можно поизучать и поприбивать дубли...

накопленные данные можно сохранить в xml-файл и работть сними позже

Б) загрузить данные из одного или нескольких ранее сохраненных xml-файлов и работать сразу с ними.
Прикреплённые файлы:
001.png (скачать) [298,09 кбайт, 54 загрузки] [attach=160896]
 
 
 
RU ko4evnik #30.06.2009 23:54  @ko4evnik#30.06.2009 23:48
+
-
edit
 

ko4evnik

опытный

касательно групп (не только CRC но и остальных ):
щелкая в окошке группы, на какой либо из элементов списка - будет появлятся список файлов входящих в нее - и сами файлы изображений - с которыми можно работать индивидуально.
Прикреплённые файлы:
002.png (скачать) [296,3 кбайт, 31 загрузка] [attach=160897]
 
 
 
RU ko4evnik #30.06.2009 23:56  @ko4evnik#30.06.2009 23:54
+
-
edit
 

ko4evnik

опытный

любую картинку и селекцию (=список файлов в группе) можно "пришпилить" - чтобы создать подобие точки опоры.
Прикреплённые файлы:
003.png (скачать) [506,66 кбайт, 21 загрузка] [attach=160898]
 
 
 
RU ko4evnik #30.06.2009 23:58  @ko4evnik#30.06.2009 23:56
+
-
edit
 

ko4evnik

опытный

полный список информации о конкретном файле - показывается в сплывающих "баллонах" при наведении курсора на картинку.
Прикреплённые файлы:
004.png (скачать) [203,34 кбайт, 11 загрузок] [attach=160899]
 
 
 
RU ko4evnik #01.07.2009 00:03  @ko4evnik#30.06.2009 23:58
+
-
edit
 

ko4evnik

опытный

при нажатии кнопки "все тесты" - будут просчитаны и показаны список следующих групп:

- по коду CRC
- по имени файла (Name)
- по длине файла (Length)
- по площади изображения (Square)
- по отношению сторон (Ratio)
- по времени модификации файла (Time)
- по коду цвета (color)

по всем по ним можно лазить и смотереть какие файлы они объединяют.

соответсвенно на окнах картинок - показывается цветными кнопками - в группы по каким признакам они входят.
Прикреплённые файлы:
005.png (скачать) [256,41 кбайт, 15 загрузок] [attach=160904]
 
 
 
RU ko4evnik #01.07.2009 00:08  @ko4evnik#01.07.2009 00:03
+
-
edit
 

ko4evnik

опытный

удаление ненужных файлов:
- либо нажатием на кнопку "удалить" в окне картинки;
- либо через окно селекции - выбрать ненужные и нажать "удалить выбранные".

во избежание инцидентов физическое удаление файла с диска не происходит сразу. список "неблагонадежных файлов" накапливается в "расстрельном списке" и потом уже изничтожается..
Прикреплённые файлы:
006.png (скачать) [254,2 кбайт, 14 загрузок] [attach=160907]
 
 
 
RU ko4evnik #01.07.2009 00:19  @ko4evnik#01.07.2009 00:08
+
-
edit
 

ko4evnik

опытный

кроме того селекцию можно производить следующим образом:

кнопки "Width x Height" (= Ширина х Высота), "Length x Square" (= Длина х Площадь), "@длина файлов" и "@площадь картинок" - рисуют картинку распределения по указанным параметрам - на которой можно регуляторами устаноывить интерсующую область - нажать "рассмотреть селекцию" и таким макаром получить список файлов в окошке селекции.

полезно для изничтожения слишком мелких файлов и слишком больших тоже...

кроме того - в окне селекции есть еще пара кнопок:

"исключить выбранные" - физически с диска файлы не удалит, но выкинет из массива данных информацию о них - чтоб не путались под ногами..

"экспортировать список" - список файлов выкинет в окошко лога.
Прикреплённые файлы:
007.png (скачать) [114,82 кбайт, 20 загрузок] [attach=160910]
 
 
 
RU ko4evnik #01.07.2009 00:24  @ko4evnik#01.07.2009 00:19
+
-
edit
 

ko4evnik

опытный

что касается самого смешного - принципа анализа картинок по цвету:

ежели рассматривать цветовой кубик по компонентам красного*синего*зеленого 256*256*256 то будут отрисовыватся от такие галактики:
Прикреплённые файлы:
octaga-2.png (скачать) [314,46 кбайт, 12 загрузок] [attach=160912]
 
octaga-3.png (скачать) [164,98 кбайт, 19 загрузок] [attach=160914]
 
 
 
RU ko4evnik #01.07.2009 00:25  @ko4evnik#01.07.2009 00:24
+
-
edit
 

ko4evnik

опытный

но для анализа можно обойтись более проствыи конструкциями
Прикреплённые файлы:
octaga-short-2.png (скачать) [25,38 кбайт, 9 загрузок] [attach=160915]
 
octaga-short.png (скачать) [27,16 кбайт, 9 загрузок] [attach=160917]
 
 
 
RU ko4evnik #01.07.2009 00:27  @ko4evnik#01.07.2009 00:25
+
-
edit
 

ko4evnik

опытный

соответсвенно самая красивая кнопка на окошке картинки "Цвет" - селектирует наиболее близкие к ней по цветовой гамме
Прикреплённые файлы:
008.png (скачать) [230,44 кбайт, 17 загрузок] [attach=160918]
 
 
 
RU ko4evnik #01.07.2009 00:33  @ko4evnik#01.07.2009 00:27
+
-
edit
 

ko4evnik

опытный

что соответсвенно позоляет довольно неплохо находить близкие серии фоток:
Прикреплённые файлы:
---seria-2.png (скачать) [215,29 кбайт, 19 загрузок] [attach=160919]
 
---seria.png (скачать) [381,14 кбайт, 27 загрузок] [attach=160920]
 
 
 
RU ko4evnik #01.07.2009 00:34  @ko4evnik#01.07.2009 00:33
+
-
edit
 

ko4evnik

опытный

всё. устала алла. хочу жрать и спать...
 
UA Serge_Kuzmin #01.07.2009 13:30
+
-
edit
 

Serge_Kuzmin

новичок

Попробовал под Win 2003 Server.
Весьма и весьма недурственно!!! :)

Мелкие неудобства (в целом не портящие картину):

1. При установке пробует стянуть MS .Net компоненты автоматом - но стабильно затыкается. После того как это делаешь вручную - всё ОК. М.б. если эти компоненты не установлены - просто выводить сообщение типа "У вас не установлены...... скачайте тут .... и повторите попытку установки".

2. Произвёл анализ своей фотосвалки (включены все флажки). После окончания проверки выдало список дублей с указанием количества дублей и галочкой. При нажатии на галочку открывает и демонстрирует все дубли. Всё отлично, но бяка в том что при убирании галочки - снова открывает все эти дубли.


Глубже не копал :)
 3.0.103.0.10
UA Анатолий #01.07.2009 14:11  @Serge_Kuzmin#01.07.2009 13:30
+
-
edit
 

Анатолий

аксакал
★★
Serge_Kuzmin> Попробовал под Win 2003 Server.
Serge_Kuzmin> Весьма и весьма недурственно!!! :)
Дорогой Сергей!
Приглашаю в гости...поубираем дубли.
Чай попьем...или компот из холодильника.
Дорогу осилит идущий.  7.07.0
BY Сумрак #01.07.2009 14:13  @Serge_Kuzmin#01.07.2009 13:30
+
-
edit
 

Сумрак

опытный

Serge_Kuzmin> Попробовал под Win 2003 Server.

Cергей, привет! Как дела у Вельможко?

Сорри за офф-топ.
Чем дольше всматриваться в бездну, тем больше бездна всматривается в тебя.  
UA Serge_Kuzmin #02.07.2009 00:13  @Анатолий#01.07.2009 14:11
+
-
edit
 

Serge_Kuzmin

новичок

Анатолий> Дорогой Сергей!
Анатолий> Приглашаю в гости...поубираем дубли.
Анатолий> Чай попьем...или компот из холодильника.

Здравствуйте! :)
Ответил на почту.
 2.0.0.202.0.0.20
UA Serge_Kuzmin #02.07.2009 00:16  @Сумрак#01.07.2009 14:13
+
-
edit
 

Serge_Kuzmin

новичок

Сумрак> Cергей, привет! ...
Сумрак> Сорри за офф-топ.

Виктор привет! :)
Давно не общались!! Дабы не разводить офтоп - отвечу на почту.
 2.0.0.202.0.0.20
RU ko4evnik #02.07.2009 01:28  @Serge_Kuzmin#01.07.2009 13:30
+
-
edit
 

ko4evnik

опытный

Serge_Kuzmin> 1. При установке пробует стянуть MS .Net компоненты автоматом - но стабильно затыкается. После того как это делаешь вручную - всё ОК.
на самом деле - если оставить его минут на 20 - он таки поставится (по крайней мере так было на единственной доступной мне машине-без-уставновленого-.Net, на которой я мог это протестировать).
это особенность именно Виндовского инсталлятора - какие мешки он там ворочал, я так и не постиг. но вообще я надеялся что это были проблемы той-конкретной-машины. ан нет... буду копать...

Serge_Kuzmin> М.б. если эти компоненты не установлены - просто выводить сообщение типа "У вас не установлены...... скачайте тут .... и повторите попытку установки".
это опять же галки внутри настроек инсталлятора.
но все я предпочитаю их там пока оставить -
отнюдь не каждый полезет самостоятельно выкачивать чего-то с микрософтовского сайта...

реально же - .Net-кие программы (если конечно сам .Net стоит) - как таковые инсталлятора не требует - можно .exe-шник скачать в любое место и запускать просто-так.

Serge_Kuzmin> 2. Произвёл анализ своей фотосвалки (включены все флажки). После окончания проверки выдало список дублей с указанием количества дублей и галочкой. При нажатии на галочку открывает и демонстрирует все дубли. Всё отлично, но бяка в том что при убирании галочки - снова открывает все эти дубли.

в окошках типа "Группа чего-то-там", "Файлы", "Директории" галки не несут никакой смысловой нагрузки (пока по крайней мере - попозжей я их возможно как нибудь их использую). их можно щелкать как угодно.

галки задействуются только в окошках "Селекция ..." и "Расстрельный список".

Serge_Kuzmin> Глубже не копал :)
и на том спасибо :)

P.S. ссылка на .Net Framevork 3.5:

Скачать бесплатно | Microsoft .NET Framework 3.5 Service pack 1 (Full Package) - Русский

Скачивайте обновления, пробные версии и бесплатные приложения в официальном Центре загрузок Microsoft." scheme="

// www.microsoft.com
 


ссылка на Windows Installer 3.1:

Скачать бесплатно | Windows Installer 3.1 Redistributable (v2) - Русский

Скачивайте обновления, пробные версии и бесплатные приложения в официальном Центре загрузок Microsoft." scheme="

// www.microsoft.com
 



GazeGear 1.0.0.20 exe-шник отдельно (после установки с предыдущих двух ссылок должен по-идее заработать и так):
Прикреплённые файлы:
GazeGear-exe.1.0.0.20.rar (скачать) [151,99 кбайт, 36 загрузок] [attach=161012]
 
 
 
RU ko4evnik #09.07.2009 20:44  @ko4evnik#02.07.2009 01:28
+
-
edit
 

ko4evnik

опытный

версия посвежее - 1.0.0.21.
из инсталлятора исключена автоматическая установка фрэймворка. ставить его надо отдельно - скачав по ссылке, что приведена в предыдущем посте
Прикреплённые файлы:
gazegear-1.0.0.21-(2009-07-09) .rar (скачать) [317,69 кбайт, 40 загрузок] [attach=162048]
 
 
 
RU ko4evnik #09.07.2009 21:04  @ko4evnik#09.07.2009 20:44
+
-
edit
 

ko4evnik

опытный

Касательно принципов анализа-по-близости-спектров.

алгоритм сбора спектральной информации имеет две ветви :
"цветная" и "черно-белая".

при "цветном" анализе спектральный кубик ( 256*256*256 оттенков красного*синего*зеленого ) делится на 4*4*4=64 области. нарезка областей довольно грубая - "пики" получаются относительно немногочисленные и четкие.

соответсвенно каждый пиксель изображения попадает в одну из этих областей - и увеличивает ее "относительный вес".

если в область попадает хотя бы какое-то количество пикселей - она маркируется как "попадающая в основной спектр" ("Full"; на приложенной картинке видны синие пометки).

если вес области превышает некоторый порог - она считается "попадающей в главный спектр" ("Main"; зеленые пометки).

для каждой области также считается ее "относительный вес" в сравнении с другими.

сравнение двух картинок может происходить с учетом всех трех показателей: "основного спектра", "главного спектра" и "сумме разностей весов":
Прикреплённые файлы:
2009-07-09 - кластер 2 цвет.png (скачать) [395,38 кбайт, 12 загрузок] [attach=162058]
 
 
 
Это сообщение редактировалось 09.07.2009 в 21:12
RU ko4evnik #09.07.2009 21:06  @ko4evnik#09.07.2009 21:04
+
-
edit
 

ko4evnik

опытный

но с черно-белыми изображениями такой фокус проходит плохо. типичный вид "цветного" спектра "черно-белой" картинки примерно такой:
Прикреплённые файлы:
-gray.png (скачать) [15,66 кбайт, 14 загрузок] [attach=162061]
 
 
 
Это сообщение редактировалось 09.07.2009 в 21:13
RU ko4evnik #09.07.2009 21:10  @ko4evnik#09.07.2009 21:06
+
-
edit
 

ko4evnik

опытный

соответсвенно в "черно-белой" ветке анализа те же 64 области выкраиваются чуть по другому. пиков получается больше и они более сглажены.

но параметры определяются те же: "основной спектр", "главный спектр" и "разница интенсивностей".
Прикреплённые файлы:
2009-07-09 - кластер 2 серый.png (скачать) [393,38 кбайт, 21 загрузка] [attach=162063]
 
 
 
UA Анатолий #09.07.2009 21:13
+
-
edit
 

Анатолий

аксакал
★★
Дорогой КОЖЕВНИК!
Оччень нужный топик и тема!!
Был в гостях,Сергей Кузьмин..посмотрели..попробовали..
я вообще чайник..в этом деле.
Но как говорит Сергей..программа сырая...надо сделать так чтоб небыло сбоев..
и мог с ней работать,любой непродвинутый!
У меня в компе дублей немерено...
возможно у многих тоже..типа запас карман нетянет..а он небезразмерный.
Да и ненадо хранить по 3-6 одинаковых дублей.
Просьба писать в личку,учить безграмотных.
Или тут показывать доходчиво.
С Уважением!
Дорогу осилит идущий.  7.07.0
RU ko4evnik #09.07.2009 21:54  @ko4evnik#09.07.2009 21:10
+
-
edit
 

ko4evnik

опытный

для разных типов изображений (из разных фотоальбомов) параметры сравнения могут сильно отличаться.

Меню: "Задачи" -> "Регуляторы сравнения по цвету" показывает окошко - в котором можно указать какие различия между двумя изображениями делают их "непохожими".

для шести упомянутых выше параметров - можно указать:
1) чиселку максимального различия;
2) галку - следует ли учитывать этот параметр при группировке/кластеризации.

Сравнение может происходить :
- в "жесткой форме" - чтобы "выполнялись все отмеченные условия" (= логическое "И");
- в "мягкой форме" - чтобы "выполнялись хотя бы одно отмеченное условие" (= логическое "ИЛИ").

параметры-из-этого-окошка действуют на "силу" действия кнопки "Цвет" (в окне "Картинка") - при нажатии на которую ищутся все изображения, отличия которых от текущего не превышают уазанных границ. в окошке селекции - наряду с именем файла указываются группки чисел [c:а|б|в] для "отличий по цвету" и [g:г|д|е] отличий "по серости" - на эти числа можно ориентироваться чтобы подогнать значения парметров для получения наилучшего результата.

кроме того эти параметры используется для автоматической кластеризации - в окошке "Каперанг" появилась кнопка ">>Кластеры" - которые производит такое же сравнение, только не для одного "опорного файла", а для всех - сравнивая какжый-с-каждым - и показывает список найденных групп-кластеров.

при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!). но дело того стоит...
Прикреплённые файлы:
b01.png (скачать) [276,09 кбайт, 12 загрузок] [attach=162083]
 
 
 

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru