Hazy Ideas

日々の勉強の気づきを書き出しています

2020-01-01から1年間の記事一覧

ブログ移行しました

旧ブログから移行しました。タイトルは同じです。

QIIME2でNCBIデータベースを扱う

Anaconda環境下でインストールしたCUI遺伝子解析ソフトQIIME2で、NCBIから落としたntデータベースを扱いたいので、メモ。 どうやらBroccとRESCRIPtという2種類の方法があるようなので、qiime2-2020.8の上でとりあえずインストールする。 Brocc pip install …

ubuntu 備忘録7

機械学習に必要な環境準備、アプリのインストール 環境:ubuntu20.04, Anaconda 1.Nvidia driverインストール #PPAのリポジトリを追加 sudo add-apt-repository ppa:graphics-drivers/ppa アップデート sudo apt update インストールするバージョンチェッ…

ubuntu 備忘録6

Anaconda環境でQGISをインストールして動かす。 Using QGIS from Conda – GIS Unchained 仮想環境を作成して環境を立ち上げる conda create --name qgis_env python=3 conda activate qgis_env QGISのlong time release版をインストールして起動 conda insta…

博士課程x年目で思うところ

年が変わる前に、一回、最近思うことを改めて文章にしてみようと思う。記録と頭の整理用。 おさらいとして、私は社会人を数年経験して、博士課程に進学した者である。国際協力系の分野にかつては憧れつつも、自分ができることは理系の基礎研究系だったので、…

ubuntu 備忘録5

sudo apt でインストールしたパッケージのアンインストール sudo apt remove --purge パッケージ名 関係するファイル系も全部消したいなら sudo apt autoremove パッケージ名

UbuntuにGRASSをインストールする

バージョン確認 cat /etc/os-release conda info grass --help 環境 Ubuntu 20.04.1 Focal Fossa Anaconda version 4.9.2 Python version 3.8.5 GRASS GIS 7.8.2 GRASSを以下のコマンドでインストール(最新版が入るはず) sudo apt-get install grass grass…

ubuntu備忘録3

anacondaのダウンロードとインストールについて自分用メモ。 くわしくは以下の2記事を参照。 qiita.com www.kkaneko.jp

ubuntu忘備録2

訳あってまた初期化して入れ直したので、色々忘れてる。 日本語入力の仕方(日本語PC) SettingからManage installed languageを押し、Language Supportをダウンロードする。 ibus mozcをネットからインストール。 再起動する。 言語からJapanese(Mozc)を選…

最近の思うこと(博士課程)

最近のもやもやしてることを記録しておく。 博士課程○年目を迎え、数ヶ月。修士の時には見えなかった、アカデミックの現実的な部分、つまり明るいことだけじゃないということがよく見えてきた。その上で、会社員時代より長時間、土日祝も関係なく働き、研究…

Python: インストール途中

*個人用メモ、忙しくて更新できず、久々になってしまった。反省。 ループ:Rと書き方似てるけど for i in [1,2,3]: pirnt(i) numpy, pandas, scipy, matplotlibのインストール とりあえずIDLEで動かしたいが・・・Macだとどうなん Anaconda上にはインストー…

Python: 機械学習

*個人用メモ モデル:教師あり(ラベルあり)、教師なし、オンライン学習(常にモデルを修正)、強化学習 過学習:学習に使ったデータに適合しすぎて、新データには汎用性が低い 未学習:うまくモデルがデータに適合しない モデルのパラメータを増やせば当て…

忘備録:ubuntuの起動ディスク

Ubuntuの起動ディスク(USB)を作成したい時 Linuxから 標準のアプリ、Make Startup Diskから作成する Macから Etcherをダウンロードして使う balenaEtcher - Flash OS images to SD cards & USB drives Windowsから Rufusをダウンロードして使う

Python: 基本ライブラリのまとめ

*個人用メモです Pythonのデータ可視化モジュールmatplotlib python -m pip install matplotlib ベクトルはオブジェクトである(線形代数を学んだ方が良い) NumPyライブラリを使うと高度な配列クラスと算術演算が可能 SciPyライブラリは多様な統計機能を使…

Python:基礎

*個人メモ フォーマットは{}(波括弧)ではなく、インデント(空白) リスト:要素を変更可能なデータ構造、角カッコbrancket x = [1, 2, 3] タプル:要素変更ができないデータ構造、丸カッコparentheses y = (1, 2, 3) パッケージのことをモジュールと呼ぶ …

R: モデル評価

*個人勉強用、R基礎本はこれで終わる! 残渣評価は、モデルが適合していれば、予測と目的変数の差は正規分布に従うという考え。 GLMのモデルをANOVAに入れて、最も良いモデル選択をすることもできる。 anova(model1, model2, model3) *それぞれのmodelがlm関…

R: 確率分布と統計

*個人用メモ 正規分布:rnorm(n=数字, mean=平均, sd=標準偏差) 確率数値を返す:dnorm(確率分布) 二項分布:rbinom(n=試行回数, size=試行のサイズ, prob=成功確率) ポアソン分布:rpois(n=出力するデータ個数, lamda=平均と分散) 統計 最小最大、平均、中…

R: データ整形

*個人用メモ 複数のデータセットを統合する。 行・列数が同じならcbind、rbindで結合できる。 2つのdata.frameを結合するにはmerge関数、だが遅いのが欠点。 plyrパッケージのjoin関数が早い。 dplyrにおいて、同様の関数はbind_rowsとbind_cols(読みやすい…

R: applyとdplyrとpurrr

*個人勉強用メモ applyファミリーの関数は、データ操作に使われる。 データの分割、適用、結合にはplyrパッケージが使われる。 dplyrとpurrrに代替される。 dplyrによるグルーピング操作 上記パッケージよりも高速で使いやすい。 列select、行filter/slice、…

Python: 関数、リスト

*個人勉強用メモです。今日は疲れたので軽めの勉強で。 関数を定義できる def spam(): グローバルスコープ:関数の外で代入された変数の存在する場所 ローカルスコープ:関数の中で代入された変数の存在する場所 例: def spam(): aaa = 11 bbb() print(aaa)…

R: 基本グラフィクス

*個人勉強用メモです。 データdiamondsとする。 ヒストグラム hist(diamonds$carat) 散布図 plot(price ~ carat, data = diamonds) 箱ひげ図 boxplot(diamonds$carat) ggplot2での作図:文章が多くなるが、見やすく、細かな編集をしやすい ヒストグラム ggpl…

お金に落ちた話(博士課程)

2つ立て続けに、奨学金+研究費のセットに落ちてしまった。 通れば月20万円と、年間幾らかの研究費が貰えたんだが、落ちたので今年も貧乏生活だ。 修士は理学系だったので、博士課程は貧乏でひたすら研究だけするものだと思ってた。医学系の環境って、育…

Python: 雑多な基礎編

*個人用、基礎本の最初の方の使うとこだけメモ ブール型:TrueとFalseの2種類だけの値をとる RはTRUEだったが、PythonはTrue ブール演算子:and, or, not if文:最もよく使うフロー制御文 # if:条件式にTrueかFalseを評価する if name == 'Alice': print('…

R: 基本編

*個人用勉強メモです。 変数に数値などを代入、削除する。 assign("j", 4) rm(j) #remove(j)でも良い Rには主に4つのデータ型がある。 numeric、character、Data/POSIXct、logical 数値numericは他言語におけるfloatやdouble。 整数のみにするときはinteger…

G-HUB設定

旧モデルはLogicool Gaminig Software (LGS)という安定した設定ソフトが対応していました。これを長年使っていた人も多いかと思います。2018年以降?くらいのモデルから、G-HUBという新しいソフトウェアが代替ソフトとして、Logicool社製品を一括管理できる…

QGIS: 作図、SVG出力

これも備忘録。 QGIS上で、観測値点などの座標データ、道路や水路などのベクターデータ、OSMなどの地図データを統合した後、 論文用に凡例、スケール、方位などを入れて、SVGや画像出力する。 データのレイヤーを整えた後、 Project -> New Print Layout で…

R: ANOVA、多重比較検定、ヒートマップ

今日は本の勉強ではなく、実際に今日やったことの備忘録。 一元配置分散分析(ANOVA) 3つ以上の比較対象があるときに、全体的な有意差があるか調べる手法。 csvかxlsの対象データをdata.frameとしてインポートする。 data <- data.frame(リスト名)anova <- a…

Python: 勉強再開

*個人勉強用メモ 以前、Macに対してpython3とminicondaを入れたので、本来はこの環境で勉強すべきなのだが、どの道Anacondaに移行しろとなるので、Anacondaを入れることにした。 容量が小さいPCなので、結構大変だが仕方ない。独立した別環境で、動かせば問…

R: 空間構造のある階層ベイズ

*個人勉強用メモです。 データのとる空間配置の影響があるような実験系の場合、 それぞれの場所が独立とは言い切れないことも多い(隣接している場合など)。 野外調査の場合は、空間構造が二次元、三次元となる。 場所jごとに空間関数がある観測データyjを…

R: 階層ベイズモデル

R

*個人勉強用メモです。 一般化線形混合モデルGLMMを、階層事前分布を使ってベイズ化する。 個体差だけでなく複数の考慮が必要なモデルを扱える、より複雑なモデルのパラメータを推定することができる。 GLMMのリンク関数と線形予測子をlogit(q) = ß + r と…