Фотографии - изничтожение дублей

альфа-версия программки
Теги:флот
 
UA Анатолий #09.07.2009 22:08  @ko4evnik#09.07.2009 21:54
+
-
edit
 
ko4evnik> при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!). но дело того стоит...
Мало что понял...но верно другое..чем больше фотофайлов..папок,тем значно дольше тянется время.А потом еще и разбиратся что к чему..и это только с Одним файлом..
а если их сотни...
Дорогу осилит идущий.  7.07.0
RU ko4evnik #09.07.2009 22:18  @Анатолий#09.07.2009 21:13
+
-
edit
 

ko4evnik

опытный

Анатолий> Но как говорит Сергей..программа сырая...надо сделать так чтоб небыло сбоев..
где и чего сбоит - мне это очень любопытно.
дело в том, я с ней уже привык работать так, что мне ничего серьезно не мешает... соответсвенно - если я не вижу глюка - я про него не знаю, и следовательно - не исправляю...

Анатолий> и мог с ней работать, любой непродвинутый!
если есть предложения где и чего упростить - выдвигайте.

Анатолий> Просьба писать в личку, учить безграмотных.
Анатолий> Или тут показывать доходчиво.

по поводу лички - видимо у меня вид форума настроен так, что я не вижу вход в нее. соответвенно - не читаю и не отвечаю. но не по злобе, а просто по попустительству...

если мне писать - то лучше сразу на мыло. оно есть в профиле.

а документацию я буду записывать потихоньку.

P.S.
Анатолий> Дорогой КОЖЕВНИК!
"4"ку в нике предпочтительней читать как "Ч", а то я даже не сообразил поначалу, что вы ко мне ;)
 
UA Анатолий #09.07.2009 22:23  @ko4evnik#09.07.2009 22:18
+
-
edit
 
Анатолий>> Дорогой КОЖЕВНИК!
Привет КОЧЕВНИКАМ!
ko4evnik> "4"ку в нике предпочтительней читать как "Ч", а то я даже не сообразил поначалу, что вы ко мне ;)
Все эти дела надо писать Сергею Кузьмину..он профи в тех делах
а я даже слова тут выговорить некоторые несмогу..
тем более чтото обьяснить..
/мне надо рядом все показывать и много раз../
Дорогу осилит идущий.  7.07.0
RU ko4evnik #16.07.2009 18:56  @Анатолий#09.07.2009 22:23
+
-
edit
 

ko4evnik

опытный

GazeGear - 1.0.0.22. от сегодняшего 2009-07-16 числа.
видимо, крайняя версия на ближайшее время...

- добавлены суперкластеры;
- поправлена загрузка и объединение архивных xml-файлов;
- более корректное ручное удаление/воскрешение файлов через окно картинки;
- в окне картинки по-умолчанию-спрятана кнопка VRML;
- изничтожена пара мелких глюков.
Прикреплённые файлы:
 
 
RU ko4evnik #16.07.2009 19:15  @ko4evnik#16.07.2009 18:56
+
-
edit
 

ko4evnik

опытный

ko4evnik> - добавлены суперкластеры;

кластеры и суперкластеры строятся по команде от одной и той же кнопки ">>Кластеры" в окне "Каперанг".

кластер строится с опорой на конкретный файл картинки.
и добавляются в него другие файлы, отличные от опорного не-более-чем на заданные величины.

при этом один и тот же файл может входить в несколько разных кластеров.

если множество файлов одного кластера полностью входит в другой кластер - как матрешка - он удаляется, т.к. в общем и целом бесполезен.

кластеры считаются отличающимися, если у них есть хотя бы один не-общий файл и при этом один не является полным подмножеством другого.

суперкластер - это объединение таких отличающихся кластеров, у которых пересекаются множества файлов.

в некоторых случаях - из этого получаются длинные бесполезные "сосиски" - как суперкластер №4 на картинке.

в других случаях такие объединения бывают полезны - как наример №11, который получается из кластеров 232 и 233...
Прикреплённые файлы:
 
 
Это сообщение редактировалось 16.07.2009 в 19:23
RU ko4evnik #16.07.2009 19:20  @ko4evnik#16.07.2009 18:56
+
-
edit
 

ko4evnik

опытный

ko4evnik> - более корректное ручное удаление/воскрешение файлов через окно картинки;

в окне картинки теперь есть две кнопки - "удалить" и "помиловать", которые сменяют друг друга в зависимости от присутсвия файла в "расстрельном списке" - даже если картинка открыта в нескольких окнах (например, если она "пришпилена" в отдельном окне)...
Прикреплённые файлы:
 
 
RU ko4evnik #16.07.2009 20:20  @ko4evnik#16.07.2009 19:20
+
-
edit
 

ko4evnik

опытный

кроме всего прочего - кое-какие параметры программы можно настроить по собственному вкусу (это возможно и во всех предыдущих версиях программы)...

если кликнуть в меню "Задачи" - пункт "Сброс настроек" -
в каталоге программы создастся файл "settings.xml" следующего вида:

code text
  1. <?xml version="1.0"?>
  2. <GazeGearSettings xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
  3.   <BoneCrusherTrace>true</BoneCrusherTrace>
  4.   <BoneCrusherReper>true</BoneCrusherReper>
  5.   <MultiAccessMaxThreadAmount>10</MultiAccessMaxThreadAmount>
  6.   <MultiAccessTestFileSize>true</MultiAccessTestFileSize>
  7.   <MultiAccessMaxFileSize>50000000</MultiAccessMaxFileSize>
  8.   <EmbeddedFormScreenShotEnable>true</EmbeddedFormScreenShotEnable>
  9.   <EmbeddedFormScreenShotKey>F10</EmbeddedFormScreenShotKey>
  10.   <DirSelectorDirectories />
  11.   <DirSelectorSearchOption>AllDirectories</DirSelectorSearchOption>
  12.   <DirSelectorFileTypeOption>1</DirSelectorFileTypeOption>
  13.   <DirSelectorExtensionsOfPictures>.jpg;.jpeg;.png;.bmp;.gif;.tif;.tiff</DirSelectorExtensionsOfPictures>
  14.   <DirSelectorExtensionsOfTexts>.txt;.rtf;.doc</DirSelectorExtensionsOfTexts>
  15.   <DirSelectorEnableTestCRC>true</DirSelectorEnableTestCRC>
  16.   <DirSelectorEnableTestImageGeometry>true</DirSelectorEnableTestImageGeometry>
  17.   <DirSelectorEnableTestImageColor>true</DirSelectorEnableTestImageColor>
  18.   <NumerousPictureColumnSize>3</NumerousPictureColumnSize>
  19.   <NumerousPictureMaxCount>50</NumerousPictureMaxCount>
  20.   <NumerousPictureBaseLocationX>605</NumerousPictureBaseLocationX>
  21.   <NumerousPictureBaseLocationY>0</NumerousPictureBaseLocationY>
  22.   <NumerousPictureWidth>300</NumerousPictureWidth>
  23.   <NumerousPictureHeight>200</NumerousPictureHeight>
  24.   <start_dirselector>true</start_dirselector>
  25.   <start_dirselector_autorun>false</start_dirselector_autorun>
  26.   <start_colonel>true</start_colonel>
  27.   <mass_kill>true</mass_kill>
  28.   <confirm_kill>true</confirm_kill>
  29.   <show_result_xml>false</show_result_xml>
  30.   <auto_Name>false</auto_Name>
  31.   <auto_Length>false</auto_Length>
  32.   <auto_CRC>true</auto_CRC>
  33.   <auto_Ratio>false</auto_Ratio>
  34.   <auto_Square>false</auto_Square>
  35.   <auto_Color>false</auto_Color>
  36.   <auto_Time>false</auto_Time>
  37.   <ShowButtonSpectr>true</ShowButtonSpectr>
  38.   <ShowButtonVRML>false</ShowButtonVRML>
  39.   <ShowSmartFileInfo>true</ShowSmartFileInfo>
  40.   <ColorMainSeparatorValue>0.03</ColorMainSeparatorValue>
  41.   <GrayMainSeparatorValue>0.02</GrayMainSeparatorValue>
  42.   <ColorMainDerivation>1</ColorMainDerivation>
  43.   <ColorFullDerivation>10</ColorFullDerivation>
  44.   <ColorHexDerivation>50</ColorHexDerivation>
  45.   <GrayMainDerivation>5</GrayMainDerivation>
  46.   <GrayFullDerivation>10</GrayFullDerivation>
  47.   <GrayHexDerivation>30</GrayHexDerivation>
  48.   <ColorMainCheck>true</ColorMainCheck>
  49.   <ColorFullCheck>true</ColorFullCheck>
  50.   <ColorHexCheck>true</ColorHexCheck>
  51.   <GrayMainCheck>false</GrayMainCheck>
  52.   <GrayFullCheck>false</GrayFullCheck>
  53.   <GrayHexCheck>false</GrayHexCheck>
  54.   <CompositionOfCheckByOr>false</CompositionOfCheckByOr>
  55. </GazeGearSettings>


которые означают следующие вещи :
(true = ДА, выполнять;
false = НЕТ, не выполнять)


1. засекать ли время затраченное на проведение анализа для каждого конкртеного файла (были нужны мне для оценки производительности и построении графиков нагрузки; можно отключить - это уменьшит размер результирующих xml-файлов).
BoneCrusherTrace = true,
BoneCrusherReper = true,

2. Количество одновременно анализируемых файлов
(здесь интересно - улучшится ли на 2/3/4-ядерных процессорах, если увеличить это число?? )
MultiAccessMaxThreadAmount = 10,

3. не принимать к рассмотрению слишком большие файлы (т.к. файлы для анализа загружаются целиком - случайно затесавшаяся гигабайтная .mpg - может систему занять надолго...)
MultiAccessTestFileSize = true,

4. Ограничение размера файла картинки (=50Мб)
MultiAccessMaxFileSize = 50000000,

5. (отладочная фенька - позволяет делать скриншоты окошек; не нужна в обычной работе )
EmbeddedFormScreenShotEnable = true,
EmbeddedFormScreenShotKey = Keys.F10,

6. опции окна "Поиска в Каталогах"
6.1. список директорий по умолчанию (можно вписать например "с:\MyDownloads" или что-нибудь типа того)
DirSelectorDirectories = "",

6.2. значения переключателей по умолчанию
DirSelectorSearchOption = SearchOption.AllDirectories,
DirSelectorFileTypeOption = 1,

6.3. список расширений файлов (можно добавить...)
DirSelectorExtensionsOfPictures = ".jpg;.jpeg;.png;.bmp;.gif;.tif;.tiff",
DirSelectorExtensionsOfTexts = ".txt;.rtf;.doc",

6.4. значения галок по умолчанию - какие тесты проводить при поиске файлов:
DirSelectorEnableTestCRC = true,
DirSelectorEnableTestImageGeometry = true,
DirSelectorEnableTestImageColor = true,


7. Параметры показа группы картинок
- сколько штук в столбце
- рекомендуемое масимальное количество одновременно показываемых
- экранная позиция первой картинки - X/Y
- размер единичной картинки - Ширина/Высота

NumerousPictureColumnSize = 3,
NumerousPictureMaxCount = 50,
NumerousPictureBaseLocationX = 605,
NumerousPictureBaseLocationY = 0,
NumerousPictureWidth = 300,
NumerousPictureHeight = 200,

8. настройки по умолчанию галок в меню
8.1. запускать ли окна "Поиск в Каталогах"(dirselector) и "Каперанг"(colonel) при старте программы.
start_dirselector = true,
start_colonel = true,

работает в сочетании с параметром DirSelectorDirectories - "при запуске программы без всяких дополнительных каоманд начинает поиск файлов а каталогах по умолчанию"
start_dirselector_autorun = false,

8.2. какие группировки проводить после анализа файлов (по умолчанию - только CRC)
show_result_xml = false,
auto_Name = false,
auto_Length = false,
auto_CRC = true,
auto_Ratio = false,
auto_Square = false,
auto_Color = false,
auto_Time = false,

8.3.
не разрешать непосредственное удаление файла из окна картинки; действовать только через "расстрельный список":
mass_kill = true,
запрашивать подтвержедние при удалении файла:
confirm_kill = true,

9.1. показать ли кнопки "Спектр" и "VRML" в окне картинки
ShowButtonSpectr = true,
ShowButtonVRML = false,
9.2. в всплывающем баллоне показывать сокрашенный гламурный вариант файловой информации (иначе будет показан полный кондовый xml)
ShowSmartFileInfo = true,

10. Опции анализатора спектра - "процент попаданий", выше которого участок спектра считается "пиковым" - для "цветной" и "серой" веток алгоритма.
ColorMainSeparatorValue = 0.03,
GrayMainSeparatorValue = 0.02,

11. Значения по умолчанию, которые выставляются в окне "Регуляторы сравнения по цвету" - которые используется при кластеризации и при построении селекции похожих файлов по команде от кнопки "Цвет" в окне картинки:

"Цвет":
"Пики"
ColorMainDerivation = 1,
"Все"
ColorFullDerivation = 10,
"Сумма"
ColorHexDerivation = 50,

"Уровень серого":
"Пики"
GrayMainDerivation = 5,
"Все"
GrayFullDerivation = 10,
"Сумма"
GrayHexDerivation = 30,

соответсвующие им Галки на переключателях - срванивать ли файлы по этому параметру:
ColorMainCheck = true,
ColorFullCheck = true,
ColorHexCheck = true,

GrayMainCheck = false,
GrayFullCheck = false,
GrayHexCheck = false,

переключатель "Композиция Условий":
при false - по "И" - т.е. "должны одновременро выполняться все отмеченные условия"
при true - по "ИЛИ" - т.е. "должно выполняться хотя бы одно отмеченное условие"
CompositionOfCheckByOr = false,
 
RU ko4evnik #16.07.2009 20:38  @Анатолий#09.07.2009 22:08
+
-
edit
 

ko4evnik

опытный

ko4evnik>> при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!).
Анатолий> чем больше фотофайлов..папок,тем значно дольше тянется время.

тут ситуация чуть хуже. количество сравнений пропорционально квадрату количества файлов.

если надо сравнивать между собой
1000 файлов => число проверок 1000*999/2 = 499500
10000 файлов => число проверок 10000*9999/2 = 49995000

т.е. 5000 файлов сопоставятся за несколько минут.
а вот кластеризация 30000 - может затянуться на часы.

тут надо грамотно подбирать оптимальное количество, которое можно прожевать за раз... ;)

P.S. это касается именно кластеризации!
при первичном анализе/группировке - зависимость линейная.
 
RU snegovik3d #31.07.2009 20:14
+
-
edit
 

snegovik3d

опытный

Очень нужная прграмулина - заранее спасибо. Вот только научите как её поставить. :( По буржуйски чего то лапочет, а чего не понять. Правда и ставиться как я понял не хочет. У меня пикаса - точно показывала тьму совпадений, но ей замучился вычищать.
Прикреплённые файлы:
 
 3.5.13.5.1
RU snegovik3d #31.07.2009 20:17  @snegovik3d#31.07.2009 20:14
+
-
edit
 

snegovik3d

опытный

Не хочет чего то по две фотки цеплять. Так что по очереди вот чего выдаёт при установке.
,
Во! Получается. Когда тему пару раз обновишь.
Прикреплённые файлы:
 
 3.5.13.5.1
Это сообщение редактировалось 31.07.2009 в 20:27
RU snegovik3d #31.07.2009 20:44  @snegovik3d#31.07.2009 20:17
+
-
edit
 

snegovik3d

опытный

snegovik3d> Во! Получается. Когда тему пару раз обновишь.
Только у меня так плохо редактирует? Ни чего не помогает.Нажимаешь редактировать - видно новое сообщение, обновляешь страницу опять старое.
 3.5.13.5.1
RU ko4evnik #01.08.2009 17:55  @snegovik3d#31.07.2009 20:44
+
-
edit
 

ko4evnik

опытный

на картинке "программулина" - типичный вид диалога обращения к микрососфтовскому сайту.
на картинке "программулина1" - стандартный запрос "доверяте ли вы издателю этой никому не известной программы" - то есть мне. :)

проблема обозначена на картине "программулина2" - у вас на машине не установлен MicroSoft .Net Framework 3.5.

т.е. дело касается вот этого момента:
при установке могут затребоваться некоторые новые виндовские компоненты - Windows Installer 3.1 и MS .Net Framework 3.5 - они автоматически скачаются с микрософтовского сайта. каждый из них мегов по ... - может потребваться некторое время.перезагрузка после установки не требуется (под XP по крайней мере)
 

- так было в самой первой выложенной версии.

но из-за того что у некоторых людей - по неизвестной мне причине - процесс автоматического скачивания (который у вас виден на картинке "программулина") занимал непропорционально долгое время - в последующих версиях его пришлось отключить.

так что перед инсталляцией собственно программы - требуется скачать и установить эти компоненты отдельно - с этих страниц:

1) ссылка на Windows Installer 3.1:
http://www.microsoft.com/downloads/...

и

2.А) ссылка на .Net Framework 3.5 (минимимальная установка - 2,5 мб) :

Скачать бесплатно | Microsoft .NET Framework 3.5

Скачивайте обновления, пробные версии и бесплатные приложения в официальном Центре загрузок Microsoft." scheme="

// www.microsoft.com
 



либо:

2.Б) ссылка на .Net Framework 3.5 Service Pack 1 (полная установка - 231 мб) :

Скачать бесплатно | Microsoft .NET Framework 3.5 Service pack 1 (Full Package) - Русский

Скачивайте обновления, пробные версии и бесплатные приложения в официальном Центре загрузок Microsoft." scheme="

// www.microsoft.com
 

 
RU snegovik3d #06.08.2009 08:39  @ko4evnik#01.08.2009 17:55
+
-
edit
 

snegovik3d

опытный

ko4evnik> так что перед инсталляцией собственно программы - требуется скачать и установить эти компоненты отдельно - с этих страниц:
Скачал. Установил.
Программа, песня - только в одной папке нашёл 300 метров копий. Собственно ещё не до конца понял что и как работает - это в связи с незнанием большинства комп. терминов, поэтому приходится всё на ощупь методом тыка.
Пара вопросов возникла сразу.
1. Можно ли как нибудь сделать, что бы фотки(окна) дублей были по больше(в смысле по умолчанию).
2. И программа ищет ли каким нибудь образом дубли в разных местах компа - я точно знаю что у меня на разных винтах есть дубли. И много. Вчера вот в рукопашную нашёл две одинаковых папки по 950метров.
Прикреплённые файлы:
 
 3.5.13.5.1
Это сообщение редактировалось 06.08.2009 в 16:22

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru