Akira Sakamoto

A map for your machine learning needs: bit.ly/3lEZkj4

必要に駆られて時系列分析を学んでいるのですが、自分にとっては、群を抜いてわかりやすかったです > Pythonによる時系列分析 ―予測モデル構築と企業事例― Kindle: amzn.to/3PrHMav

【新着記事🧠】 Transformerの「計算量増加問題」に対する革新的なアプローチ！ 「Sparse Transformers」を解説します🔥 メモリの使用量をどれくらい抑えられるのか？ 有用性や仕様について、記事で詳しく解説します🧑‍🏫 ai-scholar.tech/articles/trans…

これは神 論文PDFを数式込みで全文読み取るモデル　米Metaが「Nougat」開発　スキャンした古書の画像もOK：Innovative Tech - ITmedia NEWS itmedia.co.jp/news/articles/…

AI Agents Learning to Model the World w/ Language -Agent learns a multimodal world model that predicts future texts & images -It learns to act from its imagined rollouts -Can be pretrained on text, video, or both to further improve agent task performance arxiv.org/abs/2308.01399

CLIC is a multi-modal SLAM algorithm, supporting various sensor combinations and ensuring real-time performance, even with complex continuous-time formulations. CLIC Continuous-Time Fixed-Lag Smoothing for LiDAR-Inertial-Camera SLAM github.com/APRIL-ZJU/clic

最近のAI研究の動向がまとめられている資料（全277ページ） 人工知能研究の新潮流2〜基盤モデル・生成AIのインパクト〜 jst.go.jp/crds/report/CR…

ViT（Transformerを使った画像認識モデル）のべき乗則について。M:MLPの次元数、D:深さ、W:幅（内部表現次元数）とした時、M≈Θ(D^1.5), D≈Θ(W^1.5)と増やし、また訓練データ量を10倍にした時にパラメータ数は7倍にするのが最適。広いタスクで成り立つarxiv.org/abs/2305.13035

生成AIなども含め,最近のAI開発の潮流についてまとまった凄い資料です "人工知能研究の新潮流2 ~基盤モデル・生成 AI のインパクト~" jst.go.jp/crds/report/CR… 生成AI以外の分野も含めたAI分野全体のトレンドがまとまっており,大変参考になります （私ではないですが研究室の人も執筆に協力してます）

Tracking Anything in High Quality paper page: huggingface.co/papers/2307.13… Visual object tracking is a fundamental video task in computer vision. Recently, the notably increasing power of perception algorithms allows the unification of single/multiobject and box/mask-based tracking. Among them, the Segment Anything Model (SAM) attracts much attention. In this report, we propose HQTrack, a framework for High Quality Tracking anything in videos. HQTrack mainly consists of a video multi-object segmenter (VMOS) and a mask refiner (MR). Given the object to be tracked in the initial frame of a video, VMOS propagates the object masks to the current frame. The mask results at this stage are not accurate enough since VMOS is trained on several closeset video object segmentation (VOS) datasets, which has limited ability to generalize to complex and corner scenes. To further improve the quality of tracking masks, a pretrained MR model is employed to refine the tracking results. As a compelling testament to the effectiveness of our paradigm, without employing any tricks such as test-time data augmentations and model ensemble, HQTrack ranks the 2nd place in the Visual Object Tracking and Segmentation (VOTS2023) challenge.

Paper: Video-LLaMA, a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video arxiv.org/pdf/2306.02858…

長期記憶が持たないことはChatGPTの大きな弱点の一つ サービスを作ろうとしても、日本語だと3000字くらいの記憶能力しかなく、開発できるものの幅が狭まる 対策として情報をベクトル化する、などがあるが、それらいくつかの手法を検証した記事 チャットアプリ作るなら必見 qiita.com/shyamagu/items…

Could a Large Language Model be Conscious? David J. Chalmers による大規模言語モデルが意識を獲得するまでのロードマップ考察．大規模言語モデルがマルチモーダルLLMに進化することで，グローバルワークスペースを獲得し，意識を獲得するかもしれない．株式会社アラヤの論文が引用されている "すでに人々はこれらのモデルを意識と結びつけ始めています．Yoshua Bengio氏と彼の同僚たちは，複数のニューラルモジュール間のグローバルワークスペースのボトルネックが，遅い意識的な推論の特異な機能を果たすことができると主張しています．Arthur Juliani氏, 金井良太氏, 笹井俊太朗氏による最近の素晴らしい論文では，マルチモーダルシステムの1つであるPerceiver IOが，自己注意と交差注意のメカニズムを通じてグローバルワークスペースの多くの側面を実装していると主張しています．だからこそ，ここには興味深い研究プログラムが存在します" x.com/davidchalmers4…

【再掲】【決定版】プログラマーが情報収集で必ず確認するべきWEBサイト 8選(2022年10月時点) 情報収集で困っているなら、本記事で紹介しているWEBサイトにアクセスしてください。 #駆け出しエンジニアと繋がりたい #今日の積み上げ #プログラミング zenn.dev/nameless_sn/ar…

第31回MLOps勉強会は，来週30日19時からになります！ピクシブのsugasugaさんによる「ピクシブにおける機械学習基盤」とNTTドコモのsawaraさんによる「ストリーミング処理基盤におけるMLOps化の取り組みについて」となります！ イベント登録&参加お願いします！！ mlops.connpass.com/event/281497/

MatrixFlowがおるやんけ。 AI開発ツールのおすすめ7選を比較【2023年版】 – ITツール･Webサービス比較サイト| STRATE[ストラテ] strate.biz/ai_development…

事前学習済みの言語モデル(LLaMa)から，たった1000個の「良いプロンプトとレスポンス」でfine tuningするだけで，そこそこの性能になったらしい．ChatGPTみたく強化学習とか評価モデルとか何も使わないでもOK． arxiv.org/abs/2305.11206

For a one-stop resource on detecting data drift with hypothesis testing, bookmark @MichalOleszak's clear, easy-to-follow guide. buff.ly/3BCSVxE

Meta-In-Context Learning in LLMs -In-context learning abilities can be recursively improved via in-context learning itself -Meta-ICL adaptively reshapes LLM priors & modifies learning strategies -On real-world regression: competitive w/ traditional algos arxiv.org/abs/2305.12907

「生の有限性」「地球環境の有限性」の両者をポジティブな形で乗り越えていく思想のありようを構想する 広井良典『無と意識の人類史―私たちはどこへ向かうのか』 amazon.co.jp/dp/B0919JS78Z/…