82 lines
2.9 KiB
Python
82 lines
2.9 KiB
Python
|
import re
|
|||
|
|
import logging
|
|||
|
|
from typing import List
|
|||
|
|
|
|||
|
|
logger = logging.getLogger(__name__)
|
|||
|
|
|
|||
|
|
ENGLISH_TO_RUSSIAN_LETTERS = {
|
|||
|
|
'a': 'а',
|
|||
|
|
'c': 'с',
|
|||
|
|
'e': 'е',
|
|||
|
|
'o': 'о',
|
|||
|
|
'p': 'р',
|
|||
|
|
'x': 'х',
|
|||
|
|
'y': 'у',
|
|||
|
|
'B': 'В',
|
|||
|
|
'M': 'М',
|
|||
|
|
'T': 'Т',
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
LETTER_DIGIT_PATTERN = re.compile(r'([а-яё]+)(\d+)', re.IGNORECASE)
|
|||
|
|
|
|||
|
|
RUSSIAN_LETTER_PATTERN = re.compile(r'[а-яё]', re.IGNORECASE)
|
|||
|
|
|
|||
|
|
def is_majority_russian(word: str) -> bool:
|
|||
|
|
"""Проверяет, составляет ли большинство букв в слове русские буквы."""
|
|||
|
|
letters = re.findall(r'[а-яёА-ЯЁ]', word)
|
|||
|
|
if not letters:
|
|||
|
|
return False
|
|||
|
|
russian_count = len(letters)
|
|||
|
|
total_letters = len(word)
|
|||
|
|
return russian_count > (total_letters / 2)
|
|||
|
|
|
|||
|
|
def replace_similar_english_letters(word: str) -> str:
|
|||
|
|
"""Заменяет похожие английские буквы на русские эквиваленты."""
|
|||
|
|
return ''.join([ENGLISH_TO_RUSSIAN_LETTERS.get(char, char) for char in word])
|
|||
|
|
|
|||
|
|
def replace_digits(word: str) -> str:
|
|||
|
|
"""Заменяет цифры '3' и '0' на буквы 'з' и 'о' соответственно."""
|
|||
|
|
return word.replace('3', 'з').replace('0', 'о')
|
|||
|
|
|
|||
|
|
def split_letters_digits(word: str) -> str:
|
|||
|
|
"""Разделяет буквы и цифры в слове."""
|
|||
|
|
return LETTER_DIGIT_PATTERN.sub(r'\1 \2', word)
|
|||
|
|
|
|||
|
|
def preprocess_text(text: str) -> str:
|
|||
|
|
"""
|
|||
|
|
Предобрабатывает текст:
|
|||
|
|
1. Приводит к нижнему регистру.
|
|||
|
|
2. Заменяет похожие английские буквы на русские.
|
|||
|
|
3. В словах с большинством русских букв заменяет '3' на 'з' и '0' на 'о'.
|
|||
|
|
4. Разделяет буквы и цифры.
|
|||
|
|
"""
|
|||
|
|
logger.debug("Начало предобработки текста.")
|
|||
|
|
text = text.lower()
|
|||
|
|
logger.debug(f"Текст после приведения к нижнему регистру: {text}")
|
|||
|
|
|
|||
|
|
words = text.split()
|
|||
|
|
processed_words: List[str] = []
|
|||
|
|
|
|||
|
|
for word in words:
|
|||
|
|
original_word = word
|
|||
|
|
|
|||
|
|
|
|||
|
|
if is_majority_russian(word):
|
|||
|
|
word = replace_similar_english_letters(word)
|
|||
|
|
logger.debug(f"Слово после замены английских букв: {word}")
|
|||
|
|
word = replace_digits(word)
|
|||
|
|
logger.debug(f"Слово после замены цифр: {word}")
|
|||
|
|
|
|||
|
|
word = split_letters_digits(word)
|
|||
|
|
logger.debug(f"Слово после разделения букв и цифр: {word}")
|
|||
|
|
|
|||
|
|
processed_words.append(word)
|
|||
|
|
logger.debug(f"Слово '{original_word}' преобразовано в '{word}'.")
|
|||
|
|
|
|||
|
|
preprocessed_text = ' '.join(processed_words)
|
|||
|
|
logger.debug(f"Текст после предобработки: {preprocessed_text}")
|
|||
|
|
|
|||
|
|
return preprocessed_text
|
|||
|
|
|
|||
|
|
|