Post

Ethan Kravitz
Ethan Kravitz@EthosVentures·
@MiTypeScript Lol that makes no sense and just means images are mispriced and will soon increase unfortunately
English
4
0
407
60K
Gopuff
Gopuff@gopuff·
No middleman means no markups. Add $0 delivery on your first order and 100s of deals, and staying on the couch starts to look financially responsible.
English
0
7
211
606K
Tim Soret
Tim Soret@timsoret·
@MiTypeScript Absolutely no way that this is more token efficient. It's just mispriced.
English
0
0
30
2K
Andrew Mayne
Andrew Mayne@AndrewMayne·
The blog post mentions speeding up audio for cheaper transcription. This is actually a terrible method because the recognition rate drops dramatically. In the image method you’re telling the model to get the “gist” of the text and not word for word. The real test is doing needle in the haystack and seeing if it catches frequently mistaken worlds. Models are really good at inferring missing pieces so you could theory just take all of the vowels out of your text and send that to the model as well and get better compression with a certain amount of lossiness. It’s not some super clever hack as much as taking advantage of the fact that models can fill in a lot of gaps because they’re very good at pattern recognition.
English
0
0
16
4.5K
Evrim Ağacı
Evrim Ağacı@evrimagaci·
@MiTypeScript Cool concept but too many caveats (obviously), if you read the repo.
English
1
0
11
6.5K
BIGO LIVE
BIGO LIVE@BIGOLIVEapp·
Up late and bored? Tap into live conversations.
English
21
20
349
4.6M
Ziwen
Ziwen@ziwenxu_·
@MiTypeScript I remember it was introduced from deekseep.
English
0
0
7
2.8K
Just Tim
Just Tim@TimMacc·
I couldn’t wrap my head around why this would work. I think the key is that the way the llm interprets images- it’s not doing ocr, it’s scanning pixels and pattern matching the actual pixels. So the token cost is tied to pixel count and image resolution, not characters. So if you can cram enough characters into the pixels you get an actual “one weird trick”. Am I on the right track?
English
3
0
9
3.9K
Kyle Sorensen
Kyle Sorensen@kylensorensen·
@MiTypeScript Careful submitting these images to your llms, never know whats in there
English
0
0
8
2.2K
mvvvqv
mvvvqv@mvvvqv·
@MiTypeScript There’s a reason they don’t do this. The vision encoder compresses the image and the latent representations get disconnected. You could break an entire codebase due to misreading one character or cause the model to waste more time than it saves on input cost.
English
0
0
7
866
JQUAVE
JQUAVE@jquave·
@MiTypeScript doesn’t the ocr just turn it in to text and inject it in the context?
English
3
0
8
10K
Robinhood
Robinhood@RobinhoodApp·
Trade crypto, stocks, options & futures - all in one app.
English
32
30
439
769K
Ed
Ed@edvard_exe·
@MiTypeScript Even the author of the “paper” you reference says it doesn't work well. Sometimes it's good to read beyond introduction
English
0
0
6
1.6K
Frazer
Frazer@frazerful·
@MiTypeScript maybe its better these days, but accuracy using OCR was ~90% for me about 3 years ago. we spent forever trying to fix mistakes, would love to know the OCR accuracy today
English
1
0
4
5.1K
AccelCurious
AccelCurious@AccelCurious·
@MiTypeScript Is this why when you copy and paste large texts into an LLM it changes it to a picture?
English
0
0
3
760
Pump.fun
Pump.fun@Pumpfun·
The only trade you'll regret is the one you didn't make. Download now👇
English
0
24
239
3.3M
KarmaWarrior
KarmaWarrior@merovingian_man·
@MiTypeScript It does makes sense LLMs does text at a time vs VLM would try make sense on entire picture at once Similar to how chess grandmaster can make sense of whole board at one glance
English
1
0
2
967
Aditya
Aditya@adityavg13·
@MiTypeScript Excited to try this with your new OCR @doodlestein and then I might try and apply my lossless on top of it to see what happens
English
1
0
2
149
OrkStr
OrkStr@OrkStr·
@MiTypeScript Absurde ? Oui. Efficace ? Les chiffres disent -89% sur le system prompt, -59% end-to-end sur 13 000 requêtes réelles. Voilà la mécanique complète 👇 x.com/OrkStr/status/…
OrkStr@OrkStr

Quelqu'un a réduit sa facture Claude de 60% en transformant son code en image et en laissant le modèle faire de l'OCR. La blague, c'est que ça marche. Voilà les chiffres, et pourquoi c'est plus malin qu'il n'y paraît. 👇 Une image 1080×1920 coûte environ 2 700 tokens à Claude pour le lire. Le texte qu'il contient en coûterait 27 000. Soit 10 fois plus cher pour la même information. Pourquoi ? Parce que le coût d'une image est fixé par ses dimensions, pas par ce qu'il y a dedans. Tu mets 500 lignes ou 5 000 lignes de code dans ce PNG : même prix. Le texte, lui, se facture à la ligne. Et le code, le JSON, les logs de terminal sont particulièrement chers : environ 1,9 caractère par token, là où un texte normal en fait 4. Si tu n'es pas développeur, retiens l'essentiel : une image de code coûte 10 fois moins à traiter qu'un texte équivalent. Ce proxy exploite ça automatiquement, sans que tu changes quoi que ce soit à ton workflow. **La technique : pxpipe (GitHub teamchong/pxpipe)** C'est un proxy local. Une ligne pour le lancer, une variable d'environnement pour pointer Claude Code dessus : npx pxpipe-proxy ANTHROPIC_BASE_URL=http://127.0.0.1:47821 claude C'est tout. Côté workflow, rien ne change. Côté requête, le proxy intercepte chaque appel, identifie les gros blocs (system prompt, tool docs, historique ancien), les render en PNG haute densité, et les renvoie au modèle comme blocs image. Le modèle fait de l'OCR, répond normalement. Point sécurité important : ce proxy est purement local, il tourne sur 127.0.0.1 et traite tes requêtes sur ta machine avant qu'elles ne partent. Ta clé API Anthropic ne transite jamais par un serveur tiers. Ce n'est pas un proxy cloud intermédiaire. Point latence : le proxy est synchrone, il encode les PNG avant que la requête ne parte. Ça ajoute un délai côté client sur les gros contextes. En contrepartie, envoyer 2 700 tokens au lieu de 25 000 réduit d'autant le temps de traitement et le coût réseau vers Anthropic. Sur du contexte dense, la compression l'emporte. **Les vrais chiffres (mesurés, pas estimés)** 48 000 caractères de system prompt = 25 000 tokens texte. En PNG : 2 700 tokens. 89% de moins sur ce seul bloc. Un PNG 1928×1928 = 4 761 tokens image, contient l'équivalent de 92 000 caractères. En texte brut, ça aurait coûté ~48 000 tokens. End-to-end sur 13 709 requêtes réelles : -59%. Une facture de 100€ → 41€ sans toucher au workflow. **Pourquoi Fable 5 accepte ça (et Opus non)** Fable 5 est très bon pour lire du texte rendu visuellement : 100/100 sur des problèmes arithmétiques inédits, récupération de valeurs, suivi d'état, rappel de noms. Pas du pattern-matching hasardeux : de la vraie lecture. Les benchmarks SWE-bench sont aussi publiés : 14/19 avec vs 15/19 sans sur Pro, verdicts concordants à 18/19. La différence tient à la variance run-to-run, pas à la compression. **La limite réelle : contexte oui, rappel exact non** C'est le point le plus important à comprendre avant de tester. pxpipe est lossy : l'image est une approximation visuelle du texte, pas une copie. Pour du contexte (comprendre la logique d'un code, suivre un raisonnement, retenir une valeur numérique) ça fonctionne. Pour du rappel byte-exact depuis du contenu imagé en haute densité, c'est une autre histoire : 63% de précision max sur des identifiants denses, et les erreurs sont silencieuses. Pas une exception levée, pas un signal d'incertitude : le modèle répond avec confiance en donnant la mauvaise valeur. Un cas documenté par l'auteur : un nom de personne rappelé depuis l'historique imagé, rendu confidemment faux. Concrètement, ça exclut plusieurs usages : tout pipeline qui doit restituer des IDs, des hashes, des secrets, des adresses, des numéros précis depuis l'historique compressé. pxpipe le gère en partie en gardant les valeurs byte-exact des tours récents en texte, mais ça ne couvre pas tout. Si ton agent doit retrouver une valeur exacte dans du contexte ancien, ce n'est pas la bonne solution. Si ton agent doit comprendre ce qui s'est passé pour décider quoi faire ensuite, ça passe. **Ce que ça veut dire pour ceux qui font tourner des agents** Le coût d'API est souvent le premier frein à l'intensification de l'usage. Un contexte large de Claude Code, des sessions longues, des pipelines multi-agents : ça monte vite. Où pxpipe gagne vraiment : les sessions de code, les agents avec de gros system prompts, les pipelines qui produisent des logs et des sorties d'outils volumineuses. C'est là que le ratio token image vs token texte est le plus favorable. Où le gain sera moindre : si ton contenu est surtout de la prose légère (emails, conversations, rédaction), le rapport devient moins avantageux. pxpipe l'intègre dans son calcul et laisse ces blocs en texte automatiquement. Expérimental, oui. Mais sourcé sur 13 709 requêtes réelles, pas sur des estimations. Les benchmarks sont publiés, reproductibles, les limites sont documentées avec honnêteté. C'est plus qu'on n'en voit sur la plupart des outils en production. Vous l'avez testé vous ? Quel gain sur votre workload ? ✍

Français
0
0
2
2.3K
EnergyX
EnergyX@energyx·
EnergyX extracts lithium 3x more efficiently than traditional methods - at one of the lowest costs in the entire industry. This is your chance to invest before the next commercial phase. Visit our website to learn more.
English
82
126
824
2M
Paylaş