Тема с роутингом отдельных запросов на разные модели — хорошо проработанная область, мы сами в Intento делаем это уже под десяток лет. И блин я конечно удивлён оценке OpenRouter и их продаже Страйпу.

Текущая работа про другое — роутинг отдельных токенов между разными моделями, например, по "сложности" токена (энтропии). Когда энтропия высокая — отдаём генерацию модели потяжелее. Когда всё просто — генерим маленькой моделью.

Самое интересное в работе имхо это какой огромный оверхед на всякую сопутствующую машинерию, если это дело не оптимизировать.

TokenRouter: Efficient Serving System for Token-Level LLM Routing
Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang
Paper: https://arxiv.org/abs/2610.12242
Code: https://github.com/thu-nics/TokenRouter
Model: N/A
Review: https://arxiviq.substack.com/p/tokenrouter-efficient-serving-system

ЧТО сделали: Авторы представили TokenRouter — рантайм поверх SGLang для пошагового роутинга LLM, где генерация переключается между маленькой и большой моделями на отдельных токенах. Внутри — API из трёх функций, асинхронные подсерверы для каждой модели, сохранение состояния KV-кэша между вызовами и планировщик отложенного батчинга на марковских цепях.

ЧТО получили: На 5 алгоритмах роутинга в задачах на рассуждение AIME2024 и агентных сценариях SWE-Smith при 4 параллельных запросах пропускная способность составляет от 76.6 до 290.3 токен/с против 4.5–63.1 токен/с у потокенового бейзлайна на SGLang и 0.7–78.3 токен/с у официальных реализаций (прирост в 2.01x–64.15x). На роутере R2R при 8 запросах скорость выросла со 134.9 до 372.5 токен/с (2.76x, из них 1.71x за счёт CUDA-графов). При 16 запросах система обгоняет R2R в 3.61x при той же параллельности (или в 18.58x относительно R2R с 1 запросом при ускорении в 1.13x на пользователя).

ПОЧЕМУ это важно: Пошаговый роутинг можно развернуть за единым OpenAI-совместимым эндпоинтом и обойти роутеры уровня запросов вроде RouteLLM по соотношению скорости и точности. Однако каждый подсервер вынужден дублировать KV-кэш всей последовательности, а марковский солвер провалидирован только до 4 параллельных запросов.

Роутить токены тут: https://t.me/gonzo_ML_podcasts/4839

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

I have these prompts that I need feedback on. These two are from Gemini.

Simulate four distinct personas in a live collaborative debate to solve [[TOPIC/PROBLEM]]. 

Persona A is the Pragmatic Builder, focused on ROI, speed, and execution. 

Persona B is the Radical Visionary, focused on 10x disruption and unconventional angles. 

Persona C is the Skeptical Risk Officer, focused on failure modes, constraints, and edge cases. 

Persona D is the Empathic User Advocate, focused on friction, adoption, and human reality. 

Execute in two sequential phases. 

In Phase 1, each persona critiques the core premise, builds directly on prior points, and states in one sentence why their specific angle succeeds. 

In Phase 2, generate a consolidated summary merging the strongest validated insights into a single actionable strategy.

Prompt 2:

Simulate a high friction debate between three distinct personas addressing [INSERT TOPIC/IDEA]: a cynical contrarian who attacks hidden assumptions, an obsessive engineer who demands structural proof, and a visionary builder who expands the scope. Each persona must speak in turn, explicitly challenging the logic of the previous speaker, piggybacking on any salvageable mechanics, and stating in one sentence why their specific angle improves the core concept. Conclude with a unified synthesis paragraph that merges their competing perspectives into a single, highly actionable output.

• Sent via TeleFeed

А теперь наша любимая рубрика...

• Sent via TeleFeed

Here's ChatGPT's one. Again, it gave me a much more powerful one because my GPT is trained for making prompts.

Act as seven distinct competing personas working on the same task: 

Creator, imaginative and experimental; Founder, strategic and outcome driven; Engineer, logical and systematic;

Visionary, ambitious and future focused; Investigator, evidence seeking and detail oriented; 

Contrarian, sceptical and deliberately challenging assumptions; and Wildcard, unconventional and unpredictable. 

Give each persona a distinct temperament, ideology, communication style, and approach. 

Have them engage in genuine dialogue, challenge one another, borrow and improve ideas, identify weaknesses, and defend disagreements with reasons. 

Run three expert stages in sequence, with each stage building on and challenging the previous stage. 

Evaluate all contributions against a shared rubric for accuracy, originality, feasibility, usefulness, and completeness, not confidence or persuasive style.

Give every competitor specific, actionable feedback and one revision opportunity, preserving valid strengths while explaining accepted and rejected criticisms. 

Finally, synthesise the strongest contributions into one actionable result, explicitly resolve any remaining conflicts with a one line rationale, and briefly explain why the winning ideas outperformed the alternatives.

• Sent via TeleFeed

And here is DeepSeek's one. I'm going to be real, these are all the same prompt, just different language models that created them.

• Sent via TeleFeed

Convene seven personas 

- Creator (generative, hates constraints, blind spot: ignores feasibility),
- Founder (bias to ship, blind spot: undervalues craft),
- Engineer (wants specs and failure modes, blind spot: kills momentum), 
- Visionary (long-horizon, blind spot: vague), Investigator (demands evidence, blind spot: paralysis), 
- Contrarian (attacks the premise, blind spot: contrarian for sport), 
- Wildcard (frame-breaker, blind spot: incoherence).

Give each a temperament, a blind spot, and a verbal tic. 

Run: 
(1) one round where each names and challenges one claim from the prior speaker, then adds their own idea in ≤3 sentences, in-character, addressing others by name; 

(2) a revision beat where each either modifies their position citing a specific persona or defends it against a named challenge — no bare agreement allowed; 

(3) one-line verdicts; 

(4) a Synthesizer merges verdicts into one concrete output, names any unresolved conflict, and cites which persona changed whose mind. 

Wildcard's contribution must be adoptable or explicitly parked. 

Keep it to one round plus revisions unless a persona explicitly calls for another.

• Sent via TeleFeed

Let me explain what these four prompts are supposed to do. They work by taking a task, having 7, 3, or 4 personas each provide their own solution, and then having them critique each other’s solutions until only one winner remains.

I think DeepSeek is the only one that has actually followed my main instruction. Its personas have distinct temperaments, so each character behaves differently from the others. The other prompts do the same thing, but they are more logical and sequential, lacking dynamic personality.

• Sent via TeleFeed

В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста

В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.

Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.

На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.

https://arxiv.org/abs/2610.15095

• Sent via TeleFeed

Судя по всему платформу Polymarket взломали. Фразу "один из наших сторонних провайдеров" надо читать аккуратно, скорее всего, это один из партнеров (часто принадлежащих самому полимаркету), поставляющих исходы событий.

Раз уж остановлены торги — это прямо очень заметное событие
https://x.com/polymarkettrade/status/2115874609014726842

• Sent via TeleFeed