bpmappersのバージョン0.9を公開しました。
リポジトリはbeproud organization以下にありますが、権限を頂いて引き続きメンテナンスしています。
以前のバージョンでは、django.utilsにあったSortedDictとMultiValueDictをコピーして使っていたのですが、これを廃してOrderedDictとdefaultdictで動作するように改修しました。
また、テストコードはunittest+noseからpytestに変更しました。
古いDjangoのサポートを外して、1.8～1.11をサポートするようにしました。現状、Django 2.0で使えなくなるAPIを使っているところがあるので、次のバージョンでは直していきたいです。
django-ftpserverのバージョンを0.5.0に上げました。
pyftpdlibのFileSystemにDjangoのStorageAPIをつなげる機能を追加してみました。
StorageAPIとつなげると、面白そうだなーというのは前から考えてたんですが、StorageAPI側の機能が足りなくてラッパーが必須でいい解決方法が思い浮かばず放置になってました。
DjangoのStorageAPIはバージョンが上がるにつれて、ちょっとずつ機能が増えて、ようやく少しのラッピングでFileSystemの実装ができそうだったので、やってみた感じ。
django-storages経由でS3にFTPクライアントでつなげたり、django-gcloud-storage経由でGCSにつなげたりして遊んでました。
たのしい(^o^)
PyQというプログラミング学習サービスの紹介と宣伝です。
↓ これ ↓
以前、私が勤務していた株式会社ビープラウドが開発しています。
ビープラウドは、Python言語が得意でシステム開発をやってる会社です。connpassというイベントサイトの開発、運営もやってますね。
返金に関して月の途中解約による返金は廃止されたそうです。
料金、定期購読に関する詳しい説明 — Pythonオンライン学習サービス PyQドキュメント
PyQに機械学習、データ分析のコンテンツが追加されました。コンテンツの不足部分が補われたという感じで、より充実したものになっています。
機械学習のコンテンツは、サイボウズ・ラボの西尾さんが監修。Webで検索すれば西尾さんの勉強会等での資料等が見つかりますが、わかりやすい内容だと思いました。
PyQの機械学習コンテンツもやってみましたが、わかりやすく入門者に優しいものでした。これだけでもオススメできます。
https://www.beproud.jp/news/20170907/www.beproud.jp
追記ここまで。
Webブラウザ上で、プログラムコードを記述、実行しながら学習できるサービスです。
プログラミング言語は今のところPythonをターゲットにしているようです。
画面はこんな感じ。左側に説明文が表示されて、右側にエディタと実行結果の表示などが並びます。
見やすいです。
使ってみるとわかりますが、問題数は結構多いです。1つずつこなしていくとかなり時間がかかります。1日1時間ぐらいのペースで進めても、2～3ヶ月くらいかかりそうな感じ。
これからもコンテンツは増えていくようなので、期待できます。
PyQを使う大きな理由の一つかと思います。
プログラミングを学習する場合、最初に学習用の環境構築(ソフトウェアのインストールや設定)が必要になることがほとんどです。
OSやプログラミングの知識が無いと、この環境構築で結構手間取ります。
「プログラミングの勉強をしたいのに、準備でつまづいてしまう」
というのは、よくあります。私もはじめのころはつまづいてました。プログラミング研修の講師をしていたときも、つまづいている方を多く見かけました。
PyQは、Webブラウザ上でエディタやコマンドシェルを使えるので、環境構築が不要ですぐにはじめられます。複数のパソコンを所有してても、それぞれに環境を用意する必要もありません。
私も使ってみてますが、実際に書いたコードを動かせるのは良いですね。
この記事を書いている時点(2017/05)の時点では、サービス利用料金はライトプランで 2,980円/月 となってます。
個人学習ならライトプランでまずは十分かと思います。
プログラミング学習の本を1冊買うと3000円ぐらいはしますし、同程度の金額でPyQを1ヶ月使えるならありだなーと思います。
支払いのFAQを見ると、中途半端な日数で解約しても日割りで返金されるとあるので、ちょっと試してみてイマイチならすぐ解約するのも大丈夫そうです。 仕様変更で日割りでの返金は廃止されたみたいです。
料金、定期購読に関する詳しい説明 — Pythonオンライン学習サービス PyQドキュメント
PyQには、複数の利用者をチームとしてまとめて管理する機能があります。個人向けではなく、教育現場や会社などの組織向けの機能ですね。
PyQで学習している人の進捗具合を確認できる機能があります。誰がどの問題までクリアしたか、わかります。
講師や管理者などの指導する立場の方にはうれしい機能です。
まだ発展途上のサービスなので、細かな部分で気になるところもありますが、私が少し物足りないなーと思った点は次の通り。
上記は2017/05の段階で書いてますので、今後改善される可能性があります。気がついたら内容を更新します。
私はどちらかというと教える側なので、チーム管理の機能が便利だし、講師をやるときには使っていきたいなーという感じです。
そんな感じでPyQを応援しているので、よろしくお願いします。
CentOS7 (7.3) にCartonをインストールするところでハマったのでメモを残す。
GitHub - perl-carton/carton: Bundler or pip freeze for Perl
cpanmコマンドまではインストール済み。Cartonをインストールするとcartonコマンドを使えるようになる。
CentOS7はvagrantのboxから起動したもの。
Digest::MD5が入っていないとインストール途中でコケたので、先に入れておく。
$ cpanm --sudo Digest::MD5 $ cpanm --sudo Carton
Cartonが依存しているPath::Tinyのテストがfailしてインストールに失敗していた。依存しているDigest::MD5が入ってなかったらしい。
t/00-report-prereqs.t ............. ok t/basename.t ...................... ok t/basic.t ......................... ok t/children.t ...................... ok t/chmod.t ......................... ok Can't locate Digest/MD5.pm in @INC (@INC contains: t/lib /home/vagrant/.cpanm/work/1494991121.11260/Path-Tiny-0.104/blib/lib /home/vagrant/.cpanm/work/1494991121.11260/Path-Tiny-0.104/blib/arch /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at /usr/share/perl5/Digest.pm line 41. # Tests were run but no plan was declared and done_testing() was not seen. # Looks like your test exited with 2 just after 4. t/digest.t ........................ Dubious, test returned 2 (wstat 512, 0x200) All 4 subtests passed t/exception.t ..................... ok t/exports.t ....................... ok t/filesystem.t .................... ok t/input_output.t .................. ok t/input_output_no_PU_UU.t ......... ok t/input_output_no_UU.t ............ ok t/locking.t ....................... ok t/mkpath.t ........................ ok t/mutable_tree_while_iterating.t .. ok t/normalize.t ..................... ok t/overloading.t ................... ok t/parent.t ........................ ok t/recurse.t ....................... ok t/rel-abs.t ....................... ok t/subsumes.t ...................... ok t/symlinks.t ...................... ok t/temp.t .......................... ok t/visit.t ......................... ok t/zz-atomic.t ..................... skipped: Test::MockRandom required for atomicity tests t/zzz-spec.t ...................... ok Test Summary Report ------------------- t/digest.t (Wstat: 512 Tests: 4 Failed: 0) Non-zero exit status: 2 Parse errors: No plan found in TAP output Files=26, Tests=1696, 2 wallclock secs ( 0.16 usr 0.02 sys + 1.94 cusr 0.21 csys = 2.33 CPU) Result: FAIL Failed 1/26 test programs. 0/1696 subtests failed. make: *** [test_dynamic] Error 255 -> FAIL Installing Path::Tiny failed. See /home/vagrant/.cpanm/work/1494991121.11260/build.log for details. Retry with --force to force install it. -> FAIL Installing the dependencies failed: Module 'Path::Tiny' is not installed -> FAIL Bailing out the installation for Carton-v1.0.28. 14 distributions installed
これでようやく依存管理できそう?
CentOS7 (7.3) にcpanminusをインストールするところでハマったのでメモを残す。
GitHub - miyagawa/cpanminus: cpanminus - get, unpack, build and install modules from CPAN
cpanminusを導入するとcpanmコマンドを使えるようになる。
CentOS7はvagrantのboxから起動したもの。
perlコマンドが入ってないのでperlパッケージを事前にインストールする。
また、ビルド関連のツールも必要になるので、Development Toolsパッケージグループでまとめてインストールした。
$ sudo yum groupinstall "Development Tools" $ sudo yum install perl perl-devel $ curl -L https://cpanmin.us | perl - --sudo App::cpanminus
cpanmコマンドが有効になっていればok.
$ cpanm -V
$ curl -L https://cpanmin.us | perl - --sudo App::cpanminus
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 298k 100 298k 0 0 145k 0 0:00:02 0:00:02 --:--:-- 146k
--> Working on App::cpanminus
Fetching http://www.cpan.org/authors/id/M/MI/MIYAGAWA/App-cpanminus-1.7043.tar.gz ... OK
==> Found dependencies: ExtUtils::MakeMaker
--> Working on ExtUtils::MakeMaker
Fetching http://www.cpan.org/authors/id/B/BI/BINGOS/ExtUtils-MakeMaker-7.24.tar.gz ... OK
Configuring ExtUtils-MakeMaker-7.24 ... OK
Can't locate ExtUtils/Manifest.pm in @INC (@INC contains: FatPacked::28003208=HASH(0x1ab4b88) /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at - line 132.
Windowsで認証にActiveDirectoryを使っている環境だと、シングルサインオン(SSO)などやるときにKerberos認証を使いたいこともあるだろうということで調べていました。
他の認証方法はNTLMがあるけど、非推奨のようなのでKerberosのほうを調べることに。
Kerberosのサーバー実装はOSSでもあるので、開発だとUbuntuだとkrb5-serverなどを使えばよいみたい。
Dockerで手軽に動かせるものを探したところ以下は良さそうだった。
GitHub - gcavalcante8808/docker-krb5-server: A Krb5Server Docker Image very easy and simple to use.
READMEの通り。docker-composeで起動。
cd tmp git clone https://github.com/gcavalcante8808/docker-krb5-server.git cd docker-krb5-server docker-compose up -d
adminのパスワードは環境変数で指定しない場合は、自動生成されてdockerのログに出力されている。
docker logs dockerkrb5server_kdc_1
クライアント側はkrb5-userをインストールしといて /etc/krb5.conf にREALMの設定をしておく。
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = EXAMPLE.COM
[realms]
EXAMPLE.COM = {
kdc = localhost
admin_server = localhost
}
kadminでプリンシパルを追加しとく。
$ kadmin admin/admin@EXAMPLE.com Authenticating as principal admin/admin@EXAMPLE.COM with password. Password for admin/admin@EXAMPLE.COM: adminのパスワードを入力 kadmin: addprinc user01@EXAMPLE.COM WARNING: no policy specified for user01@EXAMPLE.COM; defaulting to no policy Enter password for principal "user01@EXAMPLE.COM": Re-enter password for principal "user01@EXAMPLE.COM": Principal "user01@EXAMPLE.COM" created. kadmin: q
AppleのcaldavのプロジェクトがPythonのKerberosモジュールを公開していて、PyPIに登録されている。
kerberos 1.2.5 : Python Package Index
Ubuntuだとlibkrb5-devが必要。
パスワードが正しいか試す最小限のコードであればこれぐらい。
import kerberos user = "user01" password = "p@ssw0rd" kerberos.checkPassword(user, password, "localhost", "EXAMPLE.COM")
検証に失敗すると例外が発生する。
前段にApacheを置いてもよいのであれば、ApacheモジュールでKerberos認証(mod_kerberosなど)を使って、X-Remote-Userヘッダをアプリケーション側で使う。
Python側でKerberos認証を処理するなら、前述のkerberosモジュールなどを使う。
ちょっと探してみたところ、WSGIミドルウェアだとwsgi-kerberosがよく出来てる感じだった。
GitHub - mkomitee/wsgi-kerberos: WSGI Kerberos Authentication Middleware
Djangoだとdjango-kerberosとdjango-auth-kerberosというのがあった。
django-auth-kerberosは認証バックエンド実装のみなので、シングルサインオンには使えない。
django-kerberosはViewの実装もあり、シングルサインオンにも対応しているが、ライセンスがAGPLなので利用する場合は気をつける必要がある。
wsgi-kerberosを使っとくのが無難かもしれない。
3年ぐらいGoogleAppEngine (GAE)を使っていなかったのですが、GCPの無料枠も増えてるみたいだし久しぶりに触ってみようと思って調べていました。 以下、GAEとGCP周辺の知識のアップデートなメモ書き。
https://cloud.google.com/shell/docs/?hl=jacloud.google.com
