Дроп: jscpd v4.1.0 🎩

🚨Що нового:

→ AI Reporter (--reporters ai) - компактний вивід для feeding у LLM
→ MCP Server та Agent Skill для AI-агентів - підключайте через те, що любите
→ Підтримка Apex, CFML, GDScript

🫢Якщо ваш агент задихається на copy-paste у згенерованому коді - спробуйте AI reporter.

🏁Швидкий старт зі скілом: npx skills add kucherenko/jscpd

✔️Скіл працює з Claude, Cursor, Copilot, Gemini та іншими.

До речі, якщо ще не знали - skills.sh це реєстр з купою корисних скілів, не тільки наш.

npm: npmjs.com/package/jscpd

https://github.com/kucherenko/jscpd

#CopyPasteDetector #jscpd #TokenEconomics #LLM

🎩 Дроп: jscpd v4.2.0

🧩Cross-format detection - головна фіча. Тепер блок коду в одному форматі матчиться з блоком в іншому

🚀 Скрипт у .vue файлі - з
.ts файлом. Code block у Markdown - з .py файлом. Цього не вміє жоден з конкурентів

🔎223 підтримуваних формати - додали 71
новий в одному релізі. Apex, CFML, GDScript,
Svelte, Astro та ще 70+. Найбільший приріст
мов за всю історію проєкту📈

⚡️+11.5% швидше - замінив prismjs на
власний reprism-based engine.

Виміряно на реальному проєкті: 1126ms → 997ms на скані 548 файлів

🔍 Shebang detection - скрипти без розширень (з #!/usr/bin/env python3) тепер автоматично визначаються

🏎️Швидкий старт для AI agents:

npx skills add kucherenko/jscpd

Працює з Claude, Cursor, Copilot, Gemini 🤖

🏁Швидкий старт для людей:

npx jscpd ./path

У npm: npmjs.com/package/jscpd

changelog: github.com/kucherenko/jscpd/blob/master/CHANGELOG.md

P.S. Якщо jscpd колись зекономив вам час, прошу
підтримати на opencollective.com/jscpd

#CopyPasteDetector #jscpd #TokenEconomics #LLM

Поки тиша на каналі - я писав статтю на HackerNoon.

Запустив jscpd на 49 проектах з GitHub, які створені AI-агентами. Хотів виміряти скільки коду вони копіпастять.

Знайшов інше🤯

Перший проект у рейтингу за дуплікацією виявився не AI-додатком, а бібліотекою скілів для AI-агентів.

Другий - теж
бібліотека скілів.

Третій - фреймворк
для агентів.

‼️Тобто інфраструктура, яка вчить AI писати чистий код, сама на 30-40% складається з повторів.

Стаття пройде editorial review - кину посилання. А поки що почитайте сирі дані:

🔗 kucherenko.github.io/cpd-vibe-coding-report

Цікаво подивитись на свій проект jscpd-ом?

#CopyPasteDetector #jscpd #TokenEconomics #LLM #SDD #VibeCoding #SpecDrivenDevelopment

jscpd v5: 83 секунди → 3.4 секунди

Copy-paste detector для коду тепер у 24–37 разів швидший - повне переписування engine на Rust.

Реальні цифри (10 прогонів, Apple Silicon, v4 Node.js проти v5):

→ 548 файлів: 1.03с → 0.03с (34x)
→ 9K файлів, 164 MB: 15.8с → 0.43с (37x)
→ 17K файлів, 902 MB: 83с → 3.4с (24x)

Чому різниця така велика:

Зник startup overhead - на малому репозиторії майже весь 1.03с був запуском Node.js, ще до
сканування. Нативний бінарник стартує миттєво.
Тепер усі ядра - старий engine був однопотоковий, новий спалює 7.3с CPU за 3.4с реального часу.

І головне: drop-in заміна. Ті самі прапорці, конфіг, 223 формати.

Встановлення те саме - npm install -g jscpd.

Запустіть на своєму найбільшому репозиторії і напишіть результат у коментарях)

github.com/kucherenko/jscpd

#CopyPasteDetector #jscpd #TokenEconomics #LLM

А ви знали, що більше знайдених дублікатів не означає кращий пошук? Іноді це лише більше… помилок.

Я постійно вдосконалюю свій jscpd, тож вирішив перевірити, як справляються інші. Зібрав сім інструментів і прогнав на одній базі: 547 файлів, 150+ форматів, для всіх однакові умови.

І ось що показали цифри.

Багато клонів, мало сенсу:

⚠️ Duplo - 162 мс, 518 клонів, найбільше з усіх. Зіставляє сирий текст без токенізації, реагує на відмінності у форматуванні - тому більшість збігів false positives.

Майже нічого не бачить:

⚠️ Fallow dupes - 164 мс, 10 клонів. Аналізує лише JS/TS, решту 513 файлів із 547 не опрацьовує - непридатний для багатомовних баз.

Повільні й обмежені в покритті:

⚠️ Simian - 964 мс, 424 клони. Звітує агрегованими блоками, без поділу на мови - не зрозуміти, у якій секції коду дублікат.
⚠️ PMD CPD - 36 с, 56 клонів. Ретельний у межах однієї мови, але повільний: опрацював лише 71 файл із 547.

Один клон різниці - і 32 рази у швидкості. Переписування на Rust дало приріст, зберігши якість виявлення:

✅ jscpd v5 (Rust) - 84 мс, 212 клонів.
✅ jscpd v4 (JavaScript) - 2.7 с, 211 клонів.

Суть у тому, що велике число знайдених клонів нічого не гарантує. Текстові інструменти швидкі, але завищують кількість збігами, яких насправді немає. Точні працюють повільно або бачать лише кілька форматів. Токенізація дозволяє не вибирати: тримає і швидкість, і точність водночас.

Це перший із трьох розборів цього бенчмарку. Далі - як інструменти розпізнають дублікати між різними форматами файлів, і скільки токенів з'їдає звіт кожного з них під час роботи з LLM (частина 2)

🔗 Повний бенчмарк: jscpd.dev/benchmarks/detection-speed
💻 GitHub: github.com/kucherenko/jscpd
☕ Підтримати: opencollective.com/jscpd

#CopyPasteDetector #jscpd #TokenEconomics #LLM

🟠 Svelte — головний герой цієї історії про токени. І найдивніший.

Бо за всіма законами токенізації мав би програти. А він виграє.

Розберемо детально.

Сторона перша: стиснення (tokenizer affinity). Текст однакової довжини перетворюється на різну кількість токенів — це і є стиснення. У токенізатора є чесний показник — «токенів на символ» (tokens-per-char): чим нижче, тим щільніше код лягає в модель. Svelte тут має 0.320 — НАЙГІРШЕ значення в усій групі. Його синтаксис шаблонів напханий пунктуацією, яка просто не стискається. SolidJS для порівняння — 0.269, найкраще в тесті.

За цією логікою Svelte у хвості. Логічно?

Сторона друга: обсяг (verbosity). А тепер питання, яке ми забуваємо поставити — скільки взагалі коду довелося написати? І ось тут Svelte розвертається. Ті самі 5 компонентів він описує найкоротше з усіх. Бо за нього думає компілятор: ти ставиш count++ — він сам розгортає це в реактивність. React змушує виписати setCount і useEffect руками. Angular зверху ще накидає декоратори — @Component, standalone, imports.

Сторона третя: підсумок. Краща токенізація програє меншому обсягу коду. SolidJS стискається найкраще в цьому тесті — і все одно програє, бо коду в нього більше. Svelte бере не щільністю символів. Він бере тим, що символів узагалі менше.

Саме тому головний висновок не про Svelte. Він про те, від чого насправді залежить вартість коду для LLM. Її визначають два незалежні фактори:

1️⃣ наскільки ефективно код токенізується;
2️⃣ скільки цього коду взагалі довелося написати.

Більшість порівнянь зосереджується саме на першому факторі. Svelte показує, що другий фактор може виявитися важливішим.

Під мікроскопом важлива токенізація. У рахунку — обсяг коду.

#TokenEconomics #LLM #Svelte