Удаление дублей в тексте

Обсуждение любого программного обеспечения. No warez or cracks here...

Сообщение sbornik2001 » Пт май 09, 2003 2:44 pm

Есть текстовый документ с перечнем мыл спамщиков. Регулярно добавляю туда из разных источников новые данные. Но документ уже слишком большой для ручного редактирования. Какой программой можно искать поиск дублей в тексте и автоматического удаления? Ну, чтобы она (прога) сама искала и сама удаляла дубликаты уже имеющихся мыл. Пока был текст маленький - вручную ещё редактировал. Но сейчас... <!--emo&:(-->Изображение<!--endemo-->
sbornik2001
Мл. сержант
 
Сообщений: 18
Зарегистрирован: Чт янв 16, 2003 11:23 am
Откуда: Mozdok
Пункты репутации: 0

Сообщение Миша Спларов » Пт май 09, 2003 5:15 pm

2sbornik2001
PHP владеешь?
Если да, то это без проблем реализуется (на localhoste'e)
Последний раз редактировалось Миша Спларов Пт май 09, 2003 5:18 pm, всего редактировалось 1 раз.
«Проектирование интерфейсов — увлекательный дизайнерский процесс. Схожее удовольствие можно получить от сложной верстки, от создания многомерных схем и решения других задач на логику и эстетику». (q) A. Лебедев
Миша Спларов
Генерал-лейтенант
 
Сообщений: 3022
Зарегистрирован: Пн апр 22, 2002 7:58 am
Откуда: Россия, Томск
Пункты репутации: 0

Сообщение sbornik2001 » Сб май 10, 2003 4:56 am

Max Drowdy
Да, нет. Ничем не владею. В том-то и дело <!--emo&:(-->Изображение<!--endemo-->
Для чайника нужна прога. Для полного ламера <!--emo&:)-->Изображение<!--endemo-->
sbornik2001
Мл. сержант
 
Сообщений: 18
Зарегистрирован: Чт янв 16, 2003 11:23 am
Откуда: Mozdok
Пункты репутации: 0

Сообщение x0r » Сб май 10, 2003 5:14 am

<a href='http://www.pearlfox.com' target='_blank'>http://www.pearlfox.com</a> - Advanced Replacer - клевая софтя, если нужно по всему файлу или нескольким искать и заменять, удалять, переправлять одинаковые фразы. Платно. У меня версия 2.5. Архив - 780 кб, таблетка - 65 кб.

<a href='http://www.astonshell.com/rus/bred/index.html' target='_blank'>http://www.astonshell.com/rus/bred/index.html</a> - Bred2 - самая лучшая замена стандартному блокноту - может делать почти такие-же финты ушами, но весит при этом архив - 70 Кб и бесплатен.
Последний раз редактировалось x0r Сб май 10, 2003 5:14 am, всего редактировалось 1 раз.
x0r
Ст. лейтенант
 
Сообщений: 132
Зарегистрирован: Вс мар 09, 2003 11:11 am
Откуда: Россия, Челябинск.
Пункты репутации: 0

Сообщение Anthony Fox » Вт май 13, 2003 9:09 am

Я могу предложить даже алгоритм:

1.Считываешь первое мыло.
2.Сравниваешь со всеми остальными, совпадающие удаляешь.
3.Повторить пункт 1 пока незакончится файл с e-mail.

Думаю, лучше реализовать все это на C++ или Pascal.
When the sun and moon are joined, the entrance to eternity is opened...
<a href='http://foxsite.hut1.ru' target='_blank'>http://www.foxsite.hut1.ru</a>
Anthony Fox
Капитан
 
Сообщений: 277
Зарегистрирован: Вс май 11, 2003 8:17 am
Откуда: Россия, Татарстан
Пункты репутации: 0

Сообщение ita » Вт май 13, 2003 9:24 am

2sbornik2001
если тебе конкретно мылы проверять, то возми <a href='http://www.massmail.ru/amv/?famv_425' target='_blank'>Advanced Maillist Verify</a>
он тебе и одинаковые найдет, и проверит несуществующие(хотя зачем..).
2Anthony Fox
<!--QuoteBegin--></span><table border='0' align='center' width='95%' cellpadding='3' cellspacing='1'><tr><td>QUOTE </td></tr><tr><td id='QUOTE'><!--QuoteEBegin-->Да, нет. Ничем не владею. В том-то и дело <!--QuoteEnd--></td></tr></table><span class='postcolor'><!--QuoteEEnd-->
а ты про С++, Паскаль.. <!--emo&:)-->Изображение<!--endemo-->
Последний раз редактировалось ita Вт май 13, 2003 9:25 am, всего редактировалось 1 раз.
Продается лунный грунт! Предоплата 100%, самовывоз.
ita
Подполковник
 
Сообщений: 717
Зарегистрирован: Ср сен 11, 2002 12:00 am
Откуда: dp.ua
Пункты репутации: 0

Сообщение Anthony Fox » Ср май 14, 2003 3:42 am

Хорошо, я через некоторое время напишу, OK?
When the sun and moon are joined, the entrance to eternity is opened...
<a href='http://foxsite.hut1.ru' target='_blank'>http://www.foxsite.hut1.ru</a>
Anthony Fox
Капитан
 
Сообщений: 277
Зарегистрирован: Вс май 11, 2003 8:17 am
Откуда: Россия, Татарстан
Пункты репутации: 0

Сообщение MAPA3bM » Ср май 14, 2003 3:52 am

2Anthony Fox
Тады сперва отсортируй список по алфавиту - тогда сравнивать только соседние элементы придётся. Меньше времени потратишь...если потом, конечно, добавлять их сразу в нужное место(вроде как заменяешь линейный список бинарным деревом)
MAPA3bM
Полковник
 
Сообщений: 1270
Зарегистрирован: Вт дек 31, 2002 12:54 am
Откуда: Приморье
Пункты репутации: 0

Сообщение Anthony Fox » Чт май 15, 2003 10:17 am

<a href='http://www.anthony-fox.fromru.com/doubledel.zip' target='_blank'>Здесь</a> можешь скинуть нужну прогу (202 Kb). Ссылка будет работать в течении двух месяцев со дня написания сообщения. Главное: в каждой строке файла один адрес без лишних пробелов, Загл=стр. Enjoy!
When the sun and moon are joined, the entrance to eternity is opened...
<a href='http://foxsite.hut1.ru' target='_blank'>http://www.foxsite.hut1.ru</a>
Anthony Fox
Капитан
 
Сообщений: 277
Зарегистрирован: Вс май 11, 2003 8:17 am
Откуда: Россия, Татарстан
Пункты репутации: 0

Сообщение sbornik2001 » Сб май 17, 2003 9:52 pm

Всем спасибо. Проблема решена с помощью программы Text Duplicate Killer _http://gyraboo.com/files/tdk.zip 356Kb.
Модерам: тему можно закрывать.
sbornik2001
Мл. сержант
 
Сообщений: 18
Зарегистрирован: Чт янв 16, 2003 11:23 am
Откуда: Mozdok
Пункты репутации: 0


Вернуться в Software

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron