Решил я в с своем никчемном плагине докрутить одну никому не нужную фишку
Фишка - маскирует области, похожие цветом на выделенный прямоугольничек.
Я знаю, что вопрос цветопохожести - не для слабых духом. Поэтому я пошел простым путем:
для прямоугольничка я нахожу крайние значения каждой из цветовых координат, а далее для каждой точки изображения смотрю удаленость (линейная ф-ция от 1 до 0) от крайних значений по каждой координате. Значения покоординатных функций перемножаю.

Вот пример на мухе Марии Влеволодовны:


Для простенького алгоритма - неважнецкий результат.
Можно не кликать. Видно, что полмухи с точки зрения алгоритма имеет почти тот же цвет, что и фон Также видно, что заливка ровненькая...

Дальше я (ничего не меняя) конвертнул муху в Lab и...

Вот тут стоит кликнуть!
Во-первых муха замечательно цветоотделилась! С чего бы это раз?
Во-вторых фон замельтешил жпежными квадратиками, которых раньше не было видно! С чего бы это два?

А зачем её "цветоотделять"?
Джипежные квадратики — это известный порок jpg-файлов, чем чаще такой файл открываешь, тем он хуже становится.

Мария Всеволодовна, Ваша картинка удостоена чести быть взятой только в качестве "подопытного кролика" (на её месте может быть любая другая), поэтому и надо её и "цветоотделять", и над квадратиками голову поломать... Это, имхо, интересный эффект, который надо поисследовать, в чём там дело?

А ежели снова обратно картинку перевести в RGB, то, наверное, всё по старому, как в 1-м случае? Может, это связано с неадекватностью прямого переноса этой простой эвристичной функции "схожести цветов" из системы координат RGB в систему L*a*b*. Я бы на самом деле воспользовался стандартными функциями для расстояний между цветами. Например, вот с этого можно начать: http://en.wikipedia.org/wiki/Color_difference, там как раз для Лаба простые выражения (и они из "базовых", на самом деле...), а для RGB д.б. сложнее, вроде как...

P.S. Ещё там на буровато-зелёном фоне откровенно то зеленее, то краснее, как раз по одной из хроматических Lab-осей... А 3-я ось (L) - вообще нехроматическая...

Да, все возвращается, но... при другом расположении прямоугольника и других настройках функции "безразличия" я и на RGB увидел квадраты. Даже похлеще!
Дим, ты, походу, был прав относительно зелено-бур-малинового. На таком цвете мой алгоритм в Лабовских координатах находит бОльшие различия, чем глаз

ЗЫ: Статью, конечно, видел. Сложноватенько это для моих целей

Андрей, а там, вроде, нужна-то только одна классическая формула для Лаба: расстояние между цветами = корень из суммы квадратов разностей по всем трём координатам, та, что самая первая под заголовком "CIE76"... В принципе, это - базовое выражение, а для RGB надо делать соответствующее преобразование координат, иными словами и по сути - переводить RGB-цвета в Lab и только с ними мерять расстояния.