👀Як взагалі можна спалити 158 000 токенів там, де вистачає 2 800?

Дуже легко. Показую.

Той самий код, ті самі 212 дублікатів. Один інструмент пошуку копіпасту віддає AI звіт на 2 800 токенів, інший — на 158 000.

Різниця — це ваші гроші, спалені на токенах.

Проблема:
Більшість інструментів видають «важкі» звіти, не оптимізовані для LLM — величезні JSON або неструктуровані дані. Вони забивають контекстне вікно, сповільнюють відповідь і роздувають вартість кожного запиту.

А тепер наочно. Ефективність на 212 клонах:

🔴 Гроші на вітер — не для LLM:

• Duplo — 158 000 токенів, величезний JSON із купою false positives
• PMD CPD — 21 000 токенів, розкидані по 34 файлах

🟡 Частково придатні:

• Simian — 15 000 токенів, без структурованих метаданих
• Fallow — 400 токенів, та це не економія: він просто бачить мізерну частину коду

🟢 Готові до роботи з AI — економно:
• jscpd@5 — 2 800 токенів
• jscpd@4 — 2 700 токенів
• jscpd-rs — 3 000 токенів

У jscpd є окремий флаг --reporters ai — компактний звіт без зайвого шуму, створений саме для AI-пайплайнів.

⚠️ Важлива ремарка:
Токени на клон не можна порівнювати між інструментами напряму — кожен визначає «клон» по-своєму. Порівнюйте лише всередині однієї групи.

Висновок:
Коли звіт іде в LLM, його розмір — це прямі витрати вашого часу й бюджету. Той самий результат можна віддати економно або спалити на ньому гроші. Обирайте інструменти, які поважають ваш токен-ліміт.

Це друга з трьох частин про порівняння Copy-Paste Detector (CPD) інструментів. Частина 1 — про швидкість. Далі — як інструменти бачать дублікати між різними форматами файлів.

🔗 Бенчмарк токенів: jscpd.dev/benchmarks/ai-token-efficiency
💻 GitHub: github.com/kucherenko/jscpd
☕ Підтримати: opencollective.com/jscpd

#TokenEconomics #LLM #CopyPasteDetector #jscpd

97% вашого коду - «унікальні». Так каже інструмент, який не бачить дубль, якщо змінну просто назвали інакше.

👀jscpd 5.2.0 бачить.

Три класи копій, які раніше не потрапляли у звіт: перейменовані, зі вставленим рядком і переписані по всій функції.

Половину цього коду написав агент, а він не робить Ctrl+C: генерує заново і рідко тими самими іменами. Тому дірка у звіті - не крайній випадок, а норма.

1. Перейменовані копії
--ignore-identifiers, --ignore-literals, --ignore-annotations

Нормалізують класи токенів перед хешуванням: усі ідентифікатори стають одним класом, ключові слова зберігають своє значення, рядки і числа лишаються різними класами, анотації @Name(...) відкидаються. Java, Kotlin, Scala, Groovy, Python, Dart, Swift, JS, TS. Копія з іншими іменами тепер має kind: renamed.

2. Копії з розривом
--max-gap-lines N

Копія, куди вставили рядок посередині, раніше показувалась як два коротких клони. Тепер фрагменти однієї пари файлів, між якими не більше N незіставлених рядків, зливаються в один клон kind: similar зі значенням similarity. Схожість нижче 0.5 - злиття не відбувається.

3. Схожість функцій, JS/TS
--similarity RATIO

Правки, розмазані по всій функції, не ловить жодне вікно токенів. jscpd порівнює кожну функцію, метод і стрілкову функцію за набором 4-грам по типах вузлів AST та індексує через MinHash. Імена і літерали участі не беруть: перейменована копія дає 1.0, один вставлений рядок - близько 0.9, дві вставлені інструкції плюс перейменування - близько 0.75.

Кожен клон тепер несе kind: exact, renamed або similar - у консолі, JSON, XML і HTML. У SARIF і Code Climate додались правила jscpd/renamed-code та jscpd/similar-code.

На npm зараз 5 156 441 М завантаження за тиждень. Саме тому все нове - opt-in: жоден з цих пайплайнів не змінить поведінку після оновлення. Без прапорців результат той самий, плюс поле "kind": "exact".

Реліз v5.2.0

Яка у вас цифра дублювання у CI і скільки їй років?

👀 - зараз перевірю
🔥 - вже перевірив

#jscpd #CopyPasteDetector