アメリエフのブログ

バイオインフォマティクスの紹介と社員の日々
ファイルのコピーに失敗するときは転送速度を落としてみる
 こんにちは、久保(kubor)です。
 少し前からオフィスの近くで大阪風のお好み焼きを提供するお店を探しているのですが、どうも広島風の赤いお店が多い気がします。

外付けHDDからのコピーに失敗することがある

 ところで、弊社では日々お客様からのデータを受け取り、解析をしています。その際、データを受け取ると、まずは解析サーバにデータをコピーします。サイズはまちまちですが、ゲノムデータなどの大きいデータのコピーはよく失敗してしまいます。
 特に、USB3.0が使えるなど、高速転送できるときに遭遇する気がします。
 そんな時は、せっかくの高速転送ですが、諦めて転送速度を落としてあげると正常にコピーできることが多いです。

rsyncで転送速度を落としてコピー

 Linux上でのデータのコピーは、cpコマンドを使うことが多いと思います。ですが、少し複雑なことをしようとするとrsyncを使うことになります。基本的な使い方はcpと同じですが、オプションが豊富に用意されています。
例えば、データコピー時に権限や所有者、タイムスタンプなどをそのままにしてコピーするときに使う-aオプションは、-rlptgoDとオプション指定した場合と同義になります。つまりこれらを分割することもできるということです。僕は、コピー状況を確認するために-vをつけたり、-hを付けて読みやすい単位でファイルサイズを表示させたりして使用しています。
 さて、表題の転送速度を落とすオプションは以下です。
--bwlimit:転送速度(KB/s)を指定
 コピーに失敗するときには、このオプションで調節します。例えば、--bwlimit 10000とすれば、10MB/sで転送されます。
 /mnt/hdd/sampleA_R1.fastqがあったとしてカレントディレクトリへのコピーは以下のようにします。
$ rsync --avh --bwlimit 10000 /mnt/hdd/sampleA_R1.fastq ./
 コピーに失敗する際はお試し下さい。
| kubor | バイオインフォマティクス | 14:48 | comments(0) | - |
Chromeで開いてる全てのタブのタイトルとURLをMarkdown形式で取得する
こんにちは、雪のようなくちどけを経験できなかった青春時代は、アニメや漫画で上書きすればいいと思っている久保(kubor)です。
メルティーキッス くちどけラム&レーズンすごく美味しい!

いつのまにかChromeのタブが増える

さて、バイオインフォマティシャンにとって日頃使用するソフトたちの情報収集は欠かせない業務の1つです。様々な研究所、研究者たちがGitHubや彼らのWEBサイトにて情報を公開していますので、一重に情報が集約されていることは大変少ないです。
そういった理由もあり、調べ物をしているといつの間にかChromのタブが大量に開かれることになりがちです。

調査をある程度進めた後は、開いたページを参考文献として保存するのですが、 各タブのURLをコピーするのはかなり骨が折れます。
そんな時はChrome拡張機能の「Copy All URLs」を使うと幸せになれます。

Copy All URLsで便利にURLをコピーする

Copy All URLsのダウンロードとインストールは以下から行えます。
Copy All URLs | Chrome ウェブストア



インストールしたらブラウザの右上に傘のマークが出てきますので、こちらからCopyやPasteを選ぶことができます。
デフォルトではURLを取得するだけですが、Optionsから設定を加える事ができます。

Markdownでページタイトルと一緒に取ってくる

弊社ではテキストのフォーマットに制約を設けてはいませんので、各自好きなフォーマットを利用しています。僕は、Markdown派なので、URLもMarkdownで取得したいです。



ついでにページタイトルも取得しましよう。
Options > Format > Customを選択すると入力フォームが出てきます。
こちらに以下のテキストを入力します。
※空白行が無いと複数のURLが改行無しで取得されてしまいます。
[$title]($url)
これで完了です。



それでは早速タブをたくさん開いてみたので、URLを取得してみます。
[samtools/samtools](https://github.com/samtools/samtools)
[arq5x/bedtools2](https://github.com/arq5x/bedtools2)
[taoliu/MACS](https://github.com/taoliu/MACS/)
[apple/swift](https://github.com/apple/swift)
[pydata/pandas](https://github.com/pydata/pandas)
[hadley/ggplot2](https://github.com/hadley/ggplot2)
[tensorflow/tensorflow](https://github.com/tensorflow/tensorflow)
[アメリエフのブログ](http://blog.amelieff.jp/)
[ゲノム解析ならアメリエフ株式会社](http://amelieff.jp/)
上手く取得できましたね。
他にも好きなフォーマットにすることができますので、良ければお試し下さい。
| kubor | バイオインフォマティクス | 16:54 | comments(0) | - |
  12345
6789101112
13141516171819
20212223242526
2728293031  
<< December 2015 >>

このページの先頭へ