README

   1 A 5 Minute Guide to Orcehstra
   2 -----------------------------
   3
   4 What is it?
   5 ===========
   6
   7 Orchestra is a series of tools for Getting Shit Run.
   8
   9 It consists of a Conductor, which is the coordinating process, and
  10 Players, which are the actual daemons running on nodes to do the work.
  11
  12 To prevent arbitrary execution of code, Players can only execute
  13 predefined scores which have to be installed on them seperately.  You
  14 can use puppet, cfengine or other configuration management system to
  15 do this.
  16
  17 Canonically, entities requesting work to be done are known as the
  18 Audience.
  19
  20 Please read the Orchestra paper (in doc/) for more information.
  21
  22 License
  23 =======
  24
  25 Copyright (c) 2011, Anchor Systems Pty Ltd
  26 All rights reserved.
  27
  28 Redistribution and use in source and binary forms, with or without
  29 modification, are permitted provided that the following conditions are met:
  30     * Redistributions of source code must retain the above copyright
  31       notice, this list of conditions and the following disclaimer.
  32     * Redistributions in binary form must reproduce the above copyright
  33       notice, this list of conditions and the following disclaimer in the
  34       documentation and/or other materials provided with the distribution.
  35     * Neither the name of Anchor Systems Pty Ltd nor the
  36       names of its contributors may be used to endorse or promote products
  37       derived from this software without specific prior written permission.
  38
  39 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  40 ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  41 WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  42 DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY
  43 DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  44 (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  45 LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  46 ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  47 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48 SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  49
  50
  51 Building
  52 ========
  53
  54 Install the Go Release 59 compiler.  Prior to compilation, apply the
  55 patches in go-patches/ in order to fix a few package bugs.
  56
  57 From the top level directory, run make.  It will use goinstall to
  58 build the binaries in bin/
  59
  60 Source Layout
  61 =============
  62
  63 src/     -- All the go sources for the conductor, player, and the
  64            submitjob and getstatus sample implementations.
  65
  66 doc/     -- Documentation about Orchestra and it's implementation.
  67
  68 samples/ -- Sample configuration files.
  69
  70 clientlibs/ -- Sample client libraries for communicating with the
  71                Conductor as the Audience.
  72
  73 go-patches/ -- Patches against the Release version of Go to fix
  74                critical bugs or missing features encountered when
  75                implementing Orchestra
  76
  77 Patches Included
  78 ================
  79
  80  * json-unmarshal-immediate.diff : Fix for Go Bug #2170
  81  * syslog-auto-reconnect.diff : Fix for Go Bug #2264
  82
  83 New In This Release
  84 ===================
  85
  86 v0.3.0:
  87  * BUGFIX: Fixed conductor ignoring the last_id checkpoint file after
  88      clean shutdowns.
  89  * FEATUREFIX: Fix the exported fieldnames in the audience interface
  90      so they no longer contain capitals.  Refactor slightly to reuse
  91      state types defined for persistence.
  92  * Separation of some of the more esoteric shared code from the common
  93      library
  94  * Conductor Queue Persistence.
  95  * Patches against the Go standard packages. :(
  96
  97 v0.2.0:
  98  * First public release.
  99
 100 Known Issues
 101 ============
 102
 103  * There is no clean up of job data, or persistance of results at this
 104    time.  This is intended to be implemented as soon as time permits.
 105
 106  * getstatus gets back a lot more information than it displays.
 107
 108  * No efficient 'wait for job' interface yet.  You have to poll the
 109    audience interface for completion results for now.  (The polls are,
 110    however, stupidly cheap)
 111
 112  * Disconnect/Reconnect behaviour for players is not particualrly well
 113    tested.  Annecdotal evidence suggests that this is relatively
 114    robust however.
 115
 116  * Jobs will be left dangling if a player is removed from the
 117    conductor's configuration and the conductor HUP'd whilst there is
 118    still work pending for that player.
 119
 120  * Some of the more advanced score scheduling ideas that we've had
 121    remain unimplemented, resulting in Orchestra looking a lot blander
 122    than it really is meant to be.
 123
 124  * There is no support for CRLs yet.