Фотографии - изничтожение дублей

ko4evnik> при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!). но дело того стоит...
Мало что понял...но верно другое..чем больше фотофайлов..папок,тем значно дольше тянется время.А потом еще и разбиратся что к чему..и это только с Одним файлом..
а если их сотни...

Анатолий> Но как говорит Сергей..программа сырая...надо сделать так чтоб небыло сбоев..
где и чего сбоит - мне это очень любопытно.
дело в том, я с ней уже привык работать так, что мне ничего серьезно не мешает... соответсвенно - если я не вижу глюка - я про него не знаю, и следовательно - не исправляю...

Анатолий> и мог с ней работать, любой непродвинутый!
если есть предложения где и чего упростить - выдвигайте.

Анатолий> Просьба писать в личку, учить безграмотных.
Анатолий> Или тут показывать доходчиво.

по поводу лички - видимо у меня вид форума настроен так, что я не вижу вход в нее. соответвенно - не читаю и не отвечаю. но не по злобе, а просто по попустительству...

если мне писать - то лучше сразу на мыло. оно есть в профиле.

а документацию я буду записывать потихоньку.

P.S.
Анатолий> Дорогой КОЖЕВНИК!
"4"ку в нике предпочтительней читать как "Ч", а то я даже не сообразил поначалу, что вы ко мне

Анатолий>> Дорогой КОЖЕВНИК!
Привет КОЧЕВНИКАМ!
ko4evnik> "4"ку в нике предпочтительней читать как "Ч", а то я даже не сообразил поначалу, что вы ко мне
Все эти дела надо писать Сергею Кузьмину..он профи в тех делах
а я даже слова тут выговорить некоторые несмогу..
тем более чтото обьяснить..
/мне надо рядом все показывать и много раз../

GazeGear - 1.0.0.22. от сегодняшего 2009-07-16 числа.
видимо, крайняя версия на ближайшее время...

- добавлены суперкластеры;
- поправлена загрузка и объединение архивных xml-файлов;
- более корректное ручное удаление/воскрешение файлов через окно картинки;
- в окне картинки по-умолчанию-спрятана кнопка VRML;
- изничтожена пара мелких глюков.

ko4evnik> - добавлены суперкластеры;

кластеры и суперкластеры строятся по команде от одной и той же кнопки ">>Кластеры" в окне "Каперанг".

кластер строится с опорой на конкретный файл картинки.
и добавляются в него другие файлы, отличные от опорного не-более-чем на заданные величины.

при этом один и тот же файл может входить в несколько разных кластеров.

если множество файлов одного кластера полностью входит в другой кластер - как матрешка - он удаляется, т.к. в общем и целом бесполезен.

кластеры считаются отличающимися, если у них есть хотя бы один не-общий файл и при этом один не является полным подмножеством другого.

суперкластер - это объединение таких отличающихся кластеров, у которых пересекаются множества файлов.

в некоторых случаях - из этого получаются длинные бесполезные "сосиски" - как суперкластер №4 на картинке.

в других случаях такие объединения бывают полезны - как наример №11, который получается из кластеров 232 и 233...

ko4evnik> - более корректное ручное удаление/воскрешение файлов через окно картинки;

в окне картинки теперь есть две кнопки - "удалить" и "помиловать", которые сменяют друг друга в зависимости от присутсвия файла в "расстрельном списке" - даже если картинка открыта в нескольких окнах (например, если она "пришпилена" в отдельном окне)...

кроме всего прочего - кое-какие параметры программы можно настроить по собственному вкусу (это возможно и во всех предыдущих версиях программы)...

если кликнуть в меню "Задачи" - пункт "Сброс настроек" -
в каталоге программы создастся файл "settings.xml" следующего вида:

1. <?xml version="1.0"?>
2. <GazeGearSettings xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
3.   <BoneCrusherTrace>true</BoneCrusherTrace>
4.   <BoneCrusherReper>true</BoneCrusherReper>
5.   <MultiAccessMaxThreadAmount>10</MultiAccessMaxThreadAmount>
6.   <MultiAccessTestFileSize>true</MultiAccessTestFileSize>
7.   <MultiAccessMaxFileSize>50000000</MultiAccessMaxFileSize>
8.   <EmbeddedFormScreenShotEnable>true</EmbeddedFormScreenShotEnable>
9.   <EmbeddedFormScreenShotKey>F10</EmbeddedFormScreenShotKey>
10.   <DirSelectorDirectories />
11.   <DirSelectorSearchOption>AllDirectories</DirSelectorSearchOption>
12.   <DirSelectorFileTypeOption>1</DirSelectorFileTypeOption>
13.   <DirSelectorExtensionsOfPictures>.jpg;.jpeg;.png;.bmp;.gif;.tif;.tiff</DirSelectorExtensionsOfPictures>
14.   <DirSelectorExtensionsOfTexts>.txt;.rtf;.doc</DirSelectorExtensionsOfTexts>
15.   <DirSelectorEnableTestCRC>true</DirSelectorEnableTestCRC>
16.   <DirSelectorEnableTestImageGeometry>true</DirSelectorEnableTestImageGeometry>
17.   <DirSelectorEnableTestImageColor>true</DirSelectorEnableTestImageColor>
18.   <NumerousPictureColumnSize>3</NumerousPictureColumnSize>
19.   <NumerousPictureMaxCount>50</NumerousPictureMaxCount>
20.   <NumerousPictureBaseLocationX>605</NumerousPictureBaseLocationX>
21.   <NumerousPictureBaseLocationY>0</NumerousPictureBaseLocationY>
22.   <NumerousPictureWidth>300</NumerousPictureWidth>
23.   <NumerousPictureHeight>200</NumerousPictureHeight>
24.   <start_dirselector>true</start_dirselector>
25.   <start_dirselector_autorun>false</start_dirselector_autorun>
26.   <start_colonel>true</start_colonel>
27.   <mass_kill>true</mass_kill>
28.   <confirm_kill>true</confirm_kill>
29.   <show_result_xml>false</show_result_xml>
30.   <auto_Name>false</auto_Name>
31.   <auto_Length>false</auto_Length>
32.   <auto_CRC>true</auto_CRC>
33.   <auto_Ratio>false</auto_Ratio>
34.   <auto_Square>false</auto_Square>
35.   <auto_Color>false</auto_Color>
36.   <auto_Time>false</auto_Time>
37.   <ShowButtonSpectr>true</ShowButtonSpectr>
38.   <ShowButtonVRML>false</ShowButtonVRML>
39.   <ShowSmartFileInfo>true</ShowSmartFileInfo>
40.   <ColorMainSeparatorValue>0.03</ColorMainSeparatorValue>
41.   <GrayMainSeparatorValue>0.02</GrayMainSeparatorValue>
42.   <ColorMainDerivation>1</ColorMainDerivation>
43.   <ColorFullDerivation>10</ColorFullDerivation>
44.   <ColorHexDerivation>50</ColorHexDerivation>
45.   <GrayMainDerivation>5</GrayMainDerivation>
46.   <GrayFullDerivation>10</GrayFullDerivation>
47.   <GrayHexDerivation>30</GrayHexDerivation>
48.   <ColorMainCheck>true</ColorMainCheck>
49.   <ColorFullCheck>true</ColorFullCheck>
50.   <ColorHexCheck>true</ColorHexCheck>
51.   <GrayMainCheck>false</GrayMainCheck>
52.   <GrayFullCheck>false</GrayFullCheck>
53.   <GrayHexCheck>false</GrayHexCheck>
54.   <CompositionOfCheckByOr>false</CompositionOfCheckByOr>
55. </GazeGearSettings>

которые означают следующие вещи :
(true = ДА, выполнять;
false = НЕТ, не выполнять)


1. засекать ли время затраченное на проведение анализа для каждого конкртеного файла (были нужны мне для оценки производительности и построении графиков нагрузки; можно отключить - это уменьшит размер результирующих xml-файлов).
BoneCrusherTrace = true,
BoneCrusherReper = true,

2. Количество одновременно анализируемых файлов
(здесь интересно - улучшится ли на 2/3/4-ядерных процессорах, если увеличить это число?? )
MultiAccessMaxThreadAmount = 10,

3. не принимать к рассмотрению слишком большие файлы (т.к. файлы для анализа загружаются целиком - случайно затесавшаяся гигабайтная .mpg - может систему занять надолго...)
MultiAccessTestFileSize = true,

4. Ограничение размера файла картинки (=50Мб)
MultiAccessMaxFileSize = 50000000,

5. (отладочная фенька - позволяет делать скриншоты окошек; не нужна в обычной работе )
EmbeddedFormScreenShotEnable = true,
EmbeddedFormScreenShotKey = Keys.F10,

6. опции окна "Поиска в Каталогах"
6.1. список директорий по умолчанию (можно вписать например "с:\MyDownloads" или что-нибудь типа того)
DirSelectorDirectories = "",

6.2. значения переключателей по умолчанию
DirSelectorSearchOption = SearchOption.AllDirectories,
DirSelectorFileTypeOption = 1,

6.3. список расширений файлов (можно добавить...)
DirSelectorExtensionsOfPictures = ".jpg;.jpeg;.png;.bmp;.gif;.tif;.tiff",
DirSelectorExtensionsOfTexts = ".txt;.rtf;.doc",

6.4. значения галок по умолчанию - какие тесты проводить при поиске файлов:
DirSelectorEnableTestCRC = true,
DirSelectorEnableTestImageGeometry = true,
DirSelectorEnableTestImageColor = true,


7. Параметры показа группы картинок
- сколько штук в столбце
- рекомендуемое масимальное количество одновременно показываемых
- экранная позиция первой картинки - X/Y
- размер единичной картинки - Ширина/Высота

NumerousPictureColumnSize = 3,
NumerousPictureMaxCount = 50,
NumerousPictureBaseLocationX = 605,
NumerousPictureBaseLocationY = 0,
NumerousPictureWidth = 300,
NumerousPictureHeight = 200,

8. настройки по умолчанию галок в меню
8.1. запускать ли окна "Поиск в Каталогах"(dirselector) и "Каперанг"(colonel) при старте программы.
start_dirselector = true,
start_colonel = true,

работает в сочетании с параметром DirSelectorDirectories - "при запуске программы без всяких дополнительных каоманд начинает поиск файлов а каталогах по умолчанию"
start_dirselector_autorun = false,

8.2. какие группировки проводить после анализа файлов (по умолчанию - только CRC)
show_result_xml = false,
auto_Name = false,
auto_Length = false,
auto_CRC = true,
auto_Ratio = false,
auto_Square = false,
auto_Color = false,
auto_Time = false,

8.3.
не разрешать непосредственное удаление файла из окна картинки; действовать только через "расстрельный список":
mass_kill = true,
запрашивать подтвержедние при удалении файла:
confirm_kill = true,

9.1. показать ли кнопки "Спектр" и "VRML" в окне картинки
ShowButtonSpectr = true,
ShowButtonVRML = false,
9.2. в всплывающем баллоне показывать сокрашенный гламурный вариант файловой информации (иначе будет показан полный кондовый xml)
ShowSmartFileInfo = true,

10. Опции анализатора спектра - "процент попаданий", выше которого участок спектра считается "пиковым" - для "цветной" и "серой" веток алгоритма.
ColorMainSeparatorValue = 0.03,
GrayMainSeparatorValue = 0.02,

11. Значения по умолчанию, которые выставляются в окне "Регуляторы сравнения по цвету" - которые используется при кластеризации и при построении селекции похожих файлов по команде от кнопки "Цвет" в окне картинки:

"Цвет":
"Пики"
ColorMainDerivation = 1,
"Все"
ColorFullDerivation = 10,
"Сумма"
ColorHexDerivation = 50,

"Уровень серого":
"Пики"
GrayMainDerivation = 5,
"Все"
GrayFullDerivation = 10,
"Сумма"
GrayHexDerivation = 30,

соответсвующие им Галки на переключателях - срванивать ли файлы по этому параметру:
ColorMainCheck = true,
ColorFullCheck = true,
ColorHexCheck = true,

GrayMainCheck = false,
GrayFullCheck = false,
GrayHexCheck = false,

переключатель "Композиция Условий":
при false - по "И" - т.е. "должны одновременро выполняться все отмеченные условия"
при true - по "ИЛИ" - т.е. "должно выполняться хотя бы одно отмеченное условие"
CompositionOfCheckByOr = false,

ko4evnik>> при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!).
Анатолий> чем больше фотофайлов..папок,тем значно дольше тянется время.

тут ситуация чуть хуже. количество сравнений пропорционально квадрату количества файлов.

если надо сравнивать между собой
1000 файлов => число проверок 1000*999/2 = 499500
10000 файлов => число проверок 10000*9999/2 = 49995000

т.е. 5000 файлов сопоставятся за несколько минут.
а вот кластеризация 30000 - может затянуться на часы.

тут надо грамотно подбирать оптимальное количество, которое можно прожевать за раз...

P.S. это касается именно кластеризации!
при первичном анализе/группировке - зависимость линейная.

Не хочет чего то по две фотки цеплять. Так что по очереди вот чего выдаёт при установке.
,
Во! Получается. Когда тему пару раз обновишь.

snegovik3d> Во! Получается. Когда тему пару раз обновишь.
Только у меня так плохо редактирует? Ни чего не помогает.Нажимаешь редактировать - видно новое сообщение, обновляешь страницу опять старое.

на картинке "программулина" - типичный вид диалога обращения к микрососфтовскому сайту.
на картинке "программулина1" - стандартный запрос "доверяте ли вы издателю этой никому не известной программы" - то есть мне.

проблема обозначена на картине "программулина2" - у вас на машине не установлен MicroSoft .Net Framework 3.5.

т.е. дело касается вот этого момента:

при установке могут затребоваться некоторые новые виндовские компоненты - Windows Installer 3.1 и MS .Net Framework 3.5 - они автоматически скачаются с микрософтовского сайта. каждый из них мегов по ... - может потребваться некторое время.перезагрузка после установки не требуется (под XP по крайней мере)

 

- так было в самой первой выложенной версии.

но из-за того что у некоторых людей - по неизвестной мне причине - процесс автоматического скачивания (который у вас виден на картинке "программулина") занимал непропорционально долгое время - в последующих версиях его пришлось отключить.

так что перед инсталляцией собственно программы - требуется скачать и установить эти компоненты отдельно - с этих страниц:

1) ссылка на Windows Installer 3.1:
http://www.microsoft.com/downloads/...

и

2.А) ссылка на .Net Framework 3.5 (минимимальная установка - 2,5 мб) :



либо:

2.Б) ссылка на .Net Framework 3.5 Service Pack 1 (полная установка - 231 мб) :

ko4evnik> так что перед инсталляцией собственно программы - требуется скачать и установить эти компоненты отдельно - с этих страниц:
Скачал. Установил.
Программа, песня - только в одной папке нашёл 300 метров копий. Собственно ещё не до конца понял что и как работает - это в связи с незнанием большинства комп. терминов, поэтому приходится всё на ощупь методом тыка.
Пара вопросов возникла сразу.
1. Можно ли как нибудь сделать, что бы фотки(окна) дублей были по больше(в смысле по умолчанию).
2. И программа ищет ли каким нибудь образом дубли в разных местах компа - я точно знаю что у меня на разных винтах есть дубли. И много. Вчера вот в рукопашную нашёл две одинаковых папки по 950метров.