ابدأ بالتطابق الحرفي عندما لا تعرف قواعد البيانات بعد

الحذف الأكثر تحفظًا هو إزالة السطر فقط عندما يطابق سطرًا سابقًا حرفيًا. هذه الطريقة قد تترك بعض التكرار الظاهري، لكنها لا تفترض أن اختلافًا في المسافة أو حالة الأحرف أو التشكيل بلا معنى.

افصل بين النص الذي تعرضه والمفتاح الذي تقارن به

إحدى الطرق الآمنة في معالجة البيانات هي الاحتفاظ بالسطر الأصلي كما هو، وإنشاء نسخة مؤقتة منه تستخدم فقط للمقارنة. هذه النسخة تسمى هنا «مفتاح المقارنة». تستطيع تطبيق قواعدك عليها دون أن تشوه النص الذي ستحتفظ به.

Unicode Normalization لا يعني «نظف كل شيء». هو يوحد تمثيلات Unicode التي تعد مكافئة وفق قواعد محددة. NFC مناسب غالبًا للنص العام، لكن التطبيع لا يحذف تلقائيًا كل مسافة خفية، ولا يزيل التشكيل، ولا يحول كل الحروف إلى حالة واحدة.

إزالة التكرار لا تعني بالضرورة فرز القائمة

هذه نقطة يقع فيها كثير من الأدوات والسكربتات البسيطة. أمر GNU uniq مثلًا يزيل التكرارات المتجاورة فقط افتراضيًا. للتعامل مع تكرارات غير متجاورة يقترح الدليل استخدام sort -u، لكن الفرز يغير ترتيب البيانات.

أول ظهور أم آخر ظهور؟

في قائمة عادية قد يكفي الاحتفاظ بأول سطر. في سجل إعدادات يمكن أن يكون آخر ظهور هو الأحدث والأهم. «إزالة التكرار» لا تحدد أي نسخة يجب أن تبقى؛ قاعدة البيانات هي التي تحدد ذلك.

النص العربي يحتاج قرارات لغوية، لا مقصًا آليًا

قد ترى «محمد» و«مُحَمَّد» وتقرر أنهما الاسم نفسه في قائمة بحث. لكن إزالة التشكيل تغيّر النص الأصلي، وقد لا تكون مقبولة في محتوى لغوي أو ديني أو تعليمي. والأمر نفسه مع التطويل وبعض صور الحروف في بيانات قادمة من مصادر متعددة.

إذا كان هدفك البحث المرن أو اكتشاف التكرار المحتمل، استخدم نسخة مقارنة مبسطة واترك النص الأصلي محفوظًا. بذلك تستطيع عرض الاسم كما أُدخل، وفي الوقت نفسه العثور على القيم التي تستحق مراجعة بشرية.

أما المسافات والمحارف الخفية، فقد شرحناها بتفصيل في دليل المسافات المخفية في النص. لا تحذفها جماعيًا قبل معرفة ما الذي لديك فعلًا.

مسار تنظيف يصعّب عليك حذف شيء بالخطأ

1. انسخ الأصل.لا تجعل أول تجربة تنظيف هي النسخة الوحيدة من البيانات.
2. احسب عدد الأسطر قبل أي تعديل.العدد وحده لا يكفي للمراجعة، لكنه يعطيك إشارة مبكرة إذا اختفت كمية غير متوقعة.
3. ابدأ بالتطابق الحرفي.احذف ما تعرف يقينًا أنه نسخة مطابقة قبل إدخال قواعد أوسع.
4. افحص ما بقي من التكرار الظاهري.اختر 10 أو 20 حالة واكتشف: هل الفرق مسافة؟ Unicode؟ حالة أحرف؟ شيء مقصود؟
5. أضف قاعدة واحدة في كل مرة.طبّقها على عينة، قارن الناتج، ثم وسّعها فقط إذا كانت النتيجة صحيحة.
6. احفظ تقريرًا أو عينة من المحذوف.في البيانات المهمة، معرفة ما حُذف مفيدة بقدر معرفة ما بقي.