AI&Chips
346 posts
AI&Chips
@ai_chip_expert
Semiconductor (15+ Years), AI Service (7+ Years)
Korea Katılım Nisan 2010
195 Takip Edilen1.7K Takipçiler
한국말에서 앞으로 인공지능 관련해서 '추론'이라는 단어는 없애고, 인퍼런스 아니면 리즈닝이라고 썼으면 좋겠다. AI 관련 글 읽을때 너무 헷갈림 ㅠㅠ
한국어
AI&Chips retweetledi
So happy to annouce that #NAVER Cloud released our own Korean-aware multimodal multilingual foundation model, #HyperCLOVA_SEED via hugging face with #commercial license. The models include 3B, 1.5B, and 0.5B parameter models.
You can find them here:
huggingface.co/naver-hyperclo…
English
@jeff_in_every 고속 interface가 중요한 ai 반도체에서 내부 공정의 선택은 사실 그렇게까지 중요하지 않습니다. 어짜피 많은 연산기 넣어봐야 utilization이 많이 떨어질 수 밖에 없는게 AI 반도체이기도 하고요.. 엔비디아가 괜히 독점인게 아니더라고요. 고속 인터페이스의 황제 엔비디아와 브로드컴이 괜히..
한국어
@jeff_in_every AI 반도체는 memory-intensive 성격이 워낙 커서 HBM 컨트롤러 기술이 중요한데 로켓 사이언스 성격의 분야라 10년 이상의 업력과 시스템적인 설계가 중요합니다.. 어센드를 보니 HBM 관련 전성비나 bandwidth가 nvidia에 비하면 5년은 뒤쳐진듯.. 국내 반도체는... 생략...
한국어
@jeff_in_every 전력은 2배 절약될 때 같은 모델 사이즈를 구동하려면 칩을 4배-10배 더 쓰고 그래서 네트웍 등에서 전력을 훨씬 더 많이 소비하기도 하고, Attention 계산이 점점 고도화되는데 최신 기술은 반영했는지도 그렇고.. 온갖 회사들의 거짓말과 환상에 실망을 많이 해서 지쳐있습니다.
한국어
@jeff_in_every 실제 반도체 사용해서 LLM 서비스 하는 사람들은 전혀 이렇게 생각하고 있지 않은데요? 괴리감이 너무 크네요...
한국어
내 이럴 줄 알았따...
엔비디아 또 다른 격변에 직면하고 있을까? 중국의 딥식이가 효율적인 AI 모델로 파장을 일으킨 후,
화웨이의 Ascend 910C가 이제 주목을 받으며 인상적인 추론 능력을 보여주고 있다!
TrendForce@trendforce
👀 Is #NVIDIA facing another shake-up? After China’s #DeepSeek made waves with its efficient AI model, #Huawei’s Ascend 910C is now in the spotlight, showing impressive inference power! 💡More: buff.ly/4huwfTx 🔗
한국어
@Jukanlosreve @Alisvolatprop12 반도체 종사자 같긴한데 임원급의 고급정보를 가진 것은 확실히 아닌것 같습니다. 관심받고 싶어하는 정신이 좀 아픈 공정 엔지니어인듯
한국어
@Alisvolatprop12 밈 계정이긴합니다. 다만 가지고 있는 지식은 진짜더라구요
knowyourmeme.com/memes/ouhhh-hu…
한국어
최근 화제가 되고 있는 TSMC 연구 부사장이라고 주장하는 한국계 김서연 박사는 실제로 존재하는 사람인가에 대한 Grok의 답변
“아니다”
x.com/i/grok/share/4…
한국어
@ai_chip_expert 이미 전부터 뉴욕구상세팅할때 토론토대가 왜 의미가 있냐라고 물어보던 사례가 많이 잇어.. 사실 몇분의 석학으로는 바꾸지 못할꺼 같아 너무 아쉬움이 더 커져만 갔습니다..
한국어
@ai_chip_expert 이 정책도 두갈래로 나누어져 있기에... 초기 도입시절에는 환영을 했는데, 수당은 2배로 근무강도는 절반으로 떨어져서... 그러나, 지금은 저것 좀 폐지하고 유연하게 근무하고, 쉬던지 pay 를 더 받던지. 이렇게 되어 버렸습니다. 비단 저의 Case 지만.
한국어
@Yuchenj_UW @kimmonismus Any supporting data? MatMul or LLaMA experiments?
Català
@kimmonismus There are many rumors saying Huawei 910c can achieve 95% performance of H100, I think it’s false.
The 60% number was from an experienced engineer who develop on Huawei chips, so I think it’s more trustworthy.
English
I am surprised that the Huawei 910c chips achieve 60% of the performance of an H100. That's more than I expected.
In the context of global chip production and locations, I always have the book “Chip War” by Chris Miller in the back of my mind (a highly recommended book that explains in great detail how TSMC rose to become a world power in the chip production industry). In it, Miller describes how much the modern production facilities depend on each other.
ASML from Europe, for example, is a necessary supplier of the ultra-violet light systems that are needed to etch anything onto the wafers. And for the systems, in turn, precise glasses from Zeiss in Germany are required.
The EU, USA and Southeast Asia have free markets and exchange products with each other, so that the supply chains for the production facilities are possible and TSMC produces the state-of-the-art chips. China is completely excluded from this supply chain and if I remember correctly, it would take China around 15 years to build similar production facilities to those of TSMC using its own resources.
In this context, chips that perform at 60% of the power of an H100 are very high and surprise me.
Yuchen Jin@Yuchenj_UW
DeepSeek could spark the golden era for Chinese chips: - DeepSeek V3 supports inference on Huawei Ascend chips from Day 1 - The Huawei 910C (competitor to Nvidia's H100), can do both training and inference - Nvidia's key moat is CUDA (software + ecosystem), Huawei maintains its own pytorch repo, which allows one line import to port CUDA to CUNN (its own CUDA). - Inference performance on Huawei 910C achieves 60% of the H100's performance from developers experience. With hand-written CUNN kernels and optimizations, the performance is higher. My prediction: - As AI model architectures converge to the Transformer, the importance of CUDA and PyTorch compilers diminishes since the engineers can handwrite the kernels in CUNN to highly optimize the performance. - With DeepSeek's cracked team working on Huawei chips, they could significantly reduce dependency on Nvidia, reducing costs by a lot. It's a choice they have to make since they never know when the US will have more GPU export restrictions. - Training remains a more challenging area where Nvidia maintains a strong lead, as the stability of long-term training seems to be a major hurdle for Chinese chips.
English
감히 IBM Research 출신이라고 뻥을 치다니... 한국 사람 몇 되지도 않고 서로 잘 알고 지냅니다. 다른건 몰라도 가끔 IBM resesarch 나왔다고 사기치는 사람들 나오면 피꺼솟!
Alis volat propriis@Alisvolatprop12
추정하기론 중국계(대만인일 가능성 또는 중국계 미국인 가능성) 인물이 한국인을 사칭하며 만든 가짜. 김서연을 KIM-SEO-YUEN으로 적는 한국인은 없을 것이다. (일반적으로 YEON)
한국어
이런걸 보고도 소버린 AI가 필요없다는 얘기 제발 안나왔으면... AI는 전기나 에너지 같은게 아님. 국적이 있고 만든 사람의 의지가 들어가는 물건인지라 아무나 만든거 갖다 쓰는게 아님.
리얼치킨보이@RealChickenBoy9
딥시크의 한계
한국어