C++ Работа с файлами. Заменить слова файла, найденные в словаре слов, звездочками

Опубликовано 16.06.2015 | Автор: admin

Задача:

Есть файл с текстом. Есть словарь слов. Все слова, которые есть в словаре слов, нужно найти в файле с текстом и каждое такое заменить на звёздочку.

Может, и покажется, что очень просто сделать, но это не совсем так. Всё зависит от того, как мы видим проблему и какое именно нам нужно решение. В большинстве случаев люди с форумов или студенты, сдающие лабораторные, выполнят решение, нарушив сам текст. Наиболее вероятно, что обрежут пробелы. Ну, или что-то в этом роде. Меня такой расклад не очень устраивает, поэтому я выбрал вариант решения с сохранением всех символов. Показываемое решение далеко от идеала и в нём есть что можно поправить для небольшого ускорения работы. Тем не менее, показываемый код может полезен кому-нибудь.

	//Листинг #1			Visual Studio 2015		
	#include <iostream>
	#include <fstream>
	#include <string>
	#include <cstring>

	using namespace std;

	/* ФУНКЦИЯ ПРОВЕРКИ НУЖНОСТИ ФИЛЬТРАЦИИ СЛОВА */
	bool filter_hide_star(const char* word, const char* dictionary) {		//на приём: проверяемое слово, название файла-словаря слов
		char S[255] = "";						//слово, читаемое из словаря
		ifstream FDict(dictionary);				//файловый поток FDict для обхода словаря

		/*ЧТЕНИЕ СЛОВ СЛОВАРЯ*/
		while ( FDict  >> S) { {
			if (!strcmp(S,word)) {				//Если входящее в функцию слово word найдено в словаре,
				return true;					//говорим "true"
			}
		}
		FDict.close();							//Закрываем файловый поток
		return false;							//Если проход холостой, обозначаем "false"
	}

	/* ФУНКЦИЯ СОБИРАЕТ СЛОВА ИЗ СИМВОЛОВ С СОХРАНЕНИЕМ ВСЕХ НЕСЛОВЕСНЫХ СИМВОЛОВ*/
	void read_word(ifstream &input, const char* SEPARATOR, const char* dictionary) {	//на приём: анализируемый файловый поток, строка разделителей, название файла словаря
		char ch = 0;							//символ, читаемый в анализируемом файле
		char word[255] = "";					//строка для сборки слов
		unsigned count = 0;						//счётчик-курсор для помощи нам в ориентации позиции в строке
		bool word_flush;						//признак собранного слова

		/*ОБХОД ФАЙЛА*/
		while ((ch = input.get()) != EOF){					//обходим посимвольно, пока в символ ch не попадёт символ-признак окончания файла
			if (strchr(SEPARATOR, ch) || ch == '\n') {		//проверяем символ на принадлежность к разделителям и на перенос строки
				if (!word_flush) {							//проверяем признак сборки слова
					//cout << word;
					if (filter_hide_star(word, dictionary)) {		//проверяем необходимость замены слова на символ(ы)-маску
						cout << '*';								//если слово свстретилось в словаре, то пишем не само слово, а, например, звёздочку
					}
					else {											//если слово не встретилось в словаре,
						cout << word;								//то пишем слово как есть
					};
					count = 0;										//сбрасываем счётчик-курсор в начальную позицию
					word[0] = 0;									//делаем слово пустым
					word_flush = true;								//обозначаем, что слово было собрано и будет собираться заново
				}
				cout << ch;
			}
			else {
				word[count++] = ch;									//добавляем символ вправо к собираемому слову						
				word[count] = 0;									//Последний символ строки должен быть признаком окончания строки, насильно записываем туда ноль-символ
				word_flush = false;									//обозначаем, что слово собирается

			}
		}

		/*последнее собранное слово собралось, но не анализировалось, дополнительно анализируем, сразу после цикла*/
		if (filter_hide_star(word, dictionary)) {				//если слово найдено в словаре, меняем его на маску
			cout << '*';
		}
		else {													//в противном случае выводим слово как есть
			cout << word;
		};
		cout << '\n';
	}

	int main() {
		setlocale(LC_ALL, "");
		const char *DICTIONARY = "dictionary.txt";				//Файл-словарь
		const char *INPUT = "input.txt";						//Файл для анализа
		const char *SEPARATOR = " !?.,";						//строка разделителей


		ifstream FNAme(INPUT);									//Открываем файловый поток для чтения и анализа
		

		read_word(FNAme, SEPARATOR, DICTIONARY);				//Собираем слова (в этой же функции подмена нужных слов маской-звёзочкой)
		system("PAUSE");
	}

//Листинг #1 Visual Studio 2015

#include <iostream>

#include <fstream>

#include <string>

#include <cstring>

using namespace std;

/* ФУНКЦИЯ ПРОВЕРКИ НУЖНОСТИ ФИЛЬТРАЦИИ СЛОВА */

bool filter_hide_star(const char* word, const char* dictionary) { //на приём: проверяемое слово, название файла-словаря слов

char S[255] = ""; //слово, читаемое из словаря

ifstream FDict(dictionary); //файловый поток FDict для обхода словаря

/*ЧТЕНИЕ СЛОВ СЛОВАРЯ*/

while ( FDict >> S) { {

if (!strcmp(S,word)) { //Если входящее в функцию слово word найдено в словаре,

return true; //говорим "true"

}

FDict.close(); //Закрываем файловый поток

return false; //Если проход холостой, обозначаем "false"

}

/* ФУНКЦИЯ СОБИРАЕТ СЛОВА ИЗ СИМВОЛОВ С СОХРАНЕНИЕМ ВСЕХ НЕСЛОВЕСНЫХ СИМВОЛОВ*/

void read_word(ifstream &input, const char* SEPARATOR, const char* dictionary) { //на приём: анализируемый файловый поток, строка разделителей, название файла словаря

char ch = 0; //символ, читаемый в анализируемом файле

char word[255] = ""; //строка для сборки слов

unsigned count = 0; //счётчик-курсор для помощи нам в ориентации позиции в строке

bool word_flush; //признак собранного слова

/*ОБХОД ФАЙЛА*/

while ((ch = input.get()) != EOF){ //обходим посимвольно, пока в символ ch не попадёт символ-признак окончания файла

if (strchr(SEPARATOR, ch) || ch == '\n') { //проверяем символ на принадлежность к разделителям и на перенос строки

if (!word_flush) { //проверяем признак сборки слова

//cout << word;

if (filter_hide_star(word, dictionary)) { //проверяем необходимость замены слова на символ(ы)-маску

cout << '*'; //если слово свстретилось в словаре, то пишем не само слово, а, например, звёздочку

}

else { //если слово не встретилось в словаре,

cout << word; //то пишем слово как есть

};

count = 0; //сбрасываем счётчик-курсор в начальную позицию

word[0] = 0; //делаем слово пустым

word_flush = true; //обозначаем, что слово было собрано и будет собираться заново

}

cout << ch;

}

else {

word[count++] = ch; //добавляем символ вправо к собираемому слову

word[count] = 0; //Последний символ строки должен быть признаком окончания строки, насильно записываем туда ноль-символ

word_flush = false; //обозначаем, что слово собирается

}

/*последнее собранное слово собралось, но не анализировалось, дополнительно анализируем, сразу после цикла*/

if (filter_hide_star(word, dictionary)) { //если слово найдено в словаре, меняем его на маску

cout << '*';

}

else { //в противном случае выводим слово как есть

cout << word;

};

cout << '\n';

}

int main() {

setlocale(LC_ALL, "");

const char *DICTIONARY = "dictionary.txt"; //Файл-словарь

const char *INPUT = "input.txt"; //Файл для анализа

const char *SEPARATOR = " !?.,"; //строка разделителей

ifstream FNAme(INPUT); //Открываем файловый поток для чтения и анализа

read_word(FNAme, SEPARATOR, DICTIONARY); //Собираем слова (в этой же функции подмена нужных слов маской-звёзочкой)

system("PAUSE");

}

Для лучшего понимания кода рекомендую сначала отвлечься от конечной цели и просто вывести на экран слова из файла, причём собирать слова посимвольно. Поскольку есть две цпочки: символы, в группе дающие слово, и символы — цепь разделителей, — то я использовал в коде дополнительную переменную, которая означает слово сейчас собирается или же собранное слово сбрасывается (например, выводится на экран). После сброса собранного слова, для анализа я обнуляю позиции: делаю слово пустым и ставлю курсор в начало слова. Это один из ключей моего подхода к решению пословного чтения без потери несловесных символов.

Когда слова собираются как нужно, следует их искать в файле-словаре. Для поиска по словарю создана дополнительная функция. Именно результутат этой функции даёт нам понять, нужно ли подменять слово. Внутри функции главное правильно описать алгоритм поиска слова в словаре. Т. е. как только слово собрано, мы сбрасываем его в эту функцию, где слово проверяется по файлу-словарю. Нашли слово — сообщаем, что нашли, и наоборот. Когда понятно, нашли мы слово или нет, нам понятно, нужно делать подмену или нет. Вот и всё.

Файл с текстом содержит любой текст с любым количеством строчек.

Файл-словарь хранит слова построчно или через пробелы.

Если у вас получилось, что в начале непонятно что вместо первого слова из файла, то, значит, это невидимый символ. Вероятнее всего, текстовый документ был сохранён в кодировке UTF-8 c каким-то там BOOM. Лучше вместо обычного блокнота использовать Notepad++. Можно просто пересоздать словарь. Создать новый документ, сохранить в кодировке ANSI и сохранить в него словарь. В общем, как угодно убрать непечатаемый, скрытый с наших глаз символ.

Файлы, проверяемые во время создания:
input.txt

Test string file
	Mama mila ramu
	Polevoi lopata kupol epel
	oskolki  okean povest
	golova  serdce
	angel   svoboda krila   nebesa
	tesT test

dictionary.txt

test
	Test
	povest
	swoboda

В таком виде, как есть, файлы должны находиться в каталоге, где находится исполняемый файл. Проверку на успешное открытие имеет смысл добавить, я не добавил, только чтобы такая информация не мешало смотреть на основную часть кода.

Рубрика: Решения задач, строки, Файлы